💻 computer science

Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning

डार्विन फैमिली फ्रेमवर्क एक प्रशिक्षण-मुक्त विकासवादी विलय दृष्टिकोण पेश करता है जो बिना किसी अतिरिक्त ग्रेडिएंट-आधारित प्रशिक्षण के बड़े भाषा मॉडलों की तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाने के लिए ग्रेडिएंट-मुक्त वेट-स्पेस पुनर्संयोजन, अनुकूली ट्रस्ट-आधारित संलयन और क्रॉस-आर्किटेक्चर ब्रीडिंग का उपयोग करता है।

मूल लेखक: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो विशेषज्ञ शेफ हैं। एक इतालवी व्यंजन का उस्ताद है (जिसे हम "पिता" कह सकते हैं), और दूसरा फ्रेंच पेस्ट्री का उस्ताद है (जिसे हम "माता" कह सकते हैं)। दोनों शेफों ने अपने बुनियादी चाकू कौशल और रसोई के लेआउट एक ही प्रसिद्ध पाक विद्यालय ("प्रीट्रेन्ड बेस") से सीखे हैं।

अब, आप एक परम "सुपर शेफ" बनाना चाहते हैं जो दोनों बेहतरीन पास्ता और बेहतरीन क्रोइसैन्ट बना सके, लेकिन आपके पास उन्हें किसी नए कुकिंग स्कूल में भेजने का समय नहीं है। आप उन्हें प्रशिक्षित करने के लिए एक नई टीम को काम पर रखने का भी जोखिम नहीं उठाना चाहते। आप बस उनके मौजूदा कौशल को अभी इसी वक्त आपस में मिलाना चाहते हैं।

यह बिल्कुल वही काम करता है जो डार्विन फैमिली (Darwin Family) पेपर करता है, लेकिन शेफ के बजाय, यह लार्ज लैंग्वेज मॉडल्स (LLMs) (AI दिमागों) को मिलाता है ताकि वे रीजनिंग (कठिन तर्क पहेलियों को हल करने) में बेहतर बन सकें, बिना किसी नए प्रशिक्षण के।

उन्होंने इसे सरल उपमाओं का उपयोग करके इस प्रकार किया है:

1. समस्या: केवल "मिलाना" आमतौर पर क्यों विफल होता है

आमतौर पर, यदि आप दो AI मॉडल्स को मिलाने की कोशिश करते हैं, तो यह एक स्मूदी में स्टेक और केले को मिलाने जैसा होता है। यह बहुत गड़बड़ हो जाता है। AI भ्रमित हो जाता है क्योंकि दोनों मॉडल्स ने अलग-अलग चीजों को अलग-अलग तरीकों से सीखा है।

पुराने तरीके सामग्री को औसत निकालने (50% स्टेक, 50% केला) जैसे थे। यह अक्सर एक खराब स्वाद (खराब प्रदर्शन) का परिणाम देता है क्योंकि मॉडल्स एक-दूसरे के काम में बाधा डालते हैं।
डार्विन का समाधान एक स्मार्ट 'सॉस-शेफ' की तरह है जो जानता है कि शेफ A से कौन सा चाकू लेना है और शेफ B से कौन सा व्हिस्क (फेंटने वाला उपकरण) लेना है, और फिर उन्हें पूरी तरह से संयोजित करता है।

2. डार्विन के तीन गुप्त घटक

पेपर ने इस मिश्रण को सफल बनाने के लिए तीन मुख्य उपकरण पेश किए हैं:

A. "14-डायमेंशनल जीनोम" (रेसिपी बुक)

एक AI मॉडल को कई कमरों (लेयर्स) वाली एक विशाल इमारत के रूप में सोचें। डार्विन टीम ने एक "रेसिपी बुक" (जिसे जीनोम कहा जाता है) बनाई जिसमें 14 अलग-अलग नॉब्स (बटन/नियंत्रक) हैं।

पूरी इमारत को एक साथ मिलाने के बजाय, वे नॉब्स घुमाकर तय कर सकते हैं: "शेफ A के सोचने वाले कमरों का 80% लें, लेकिन शेफ B के रचनात्मकता वाले कमरों का 20% लें।"
वे एक कंप्यूटर प्रोग्राम (इवोल्यूशनरी सर्च) का उपयोग करके स्वचालित रूप से हजारों ऐसी रेसिपी आज़माते हैं, जो सबसे अच्छा स्वाद देती हैं उन्हें रखते हैं और खराब वाली को फेंक देते हैं।

B. "MRI-ट्रस्ट फ्यूजन" (स्मार्ट गाइड)

यह इस पेपर का सबसे बड़ा नवाचार है। कल्पना करें कि स्मार्ट सॉस-शेफ के पास एक विशेष स्कैनर (MRI) है जो AI के मस्तिष्क के अंदर देखता है कि कौन से हिस्से वास्तव में रीजनिंग (तर्क) के लिए भारी काम कर रहे हैं।

समस्या: कभी-कभी स्कैनर थोड़ा धुंधला या शोर वाला होता है। कभी-कभी रेसिपी का अनुमान लगाने वाला कंप्यूटर भी गलत अनुमान लगा सकता है।
समाधान: सिस्टम में एक "ट्रस्ट डायल" (जिसे $\tau$ कहा जाता है) होता है। यह पूछता है: "हमें MRI स्कैनर पर कितना भरोसा करना चाहिए बनाम हमें कंप्यूटर के रैंडम अनुमान पर कितना भरोसा करना चाहिए?"
सिस्टम इस संतुलन को सीखना सीख जाता है। यदि स्कैनर कहता है: "यह कमरा तर्क के लिए महत्वपूर्ण है," तो सिस्टम उसकी बात सुनता है। यदि स्कैनर भ्रमित है, तो सिस्टम अधिक परीक्षण-और-त्रुटि (trial-and-error) पर निर्भर रहता है। यही संतुलन अंतिम परिणाम को इतना मजबूत बनाता है।

C. "आर्किटेक्चर मैपर" (अनुवादक)

कभी-कभी, आप एक मॉडल को जो ट्रांसफॉर्मर (एक मानक AI संरचना) की तरह बना है, उसे एक मॉडल के साथ मिलाना चाहते हैं जो मांबा (Mamba) (एक नया, अलग संरचना) की तरह बना है। वे अलग-अलग "भाषाएं" बोलते हैं।

आर्किटेक्चर मैपर एक अनुवादक के रूप में कार्य करता है। वह दोनों मॉडल्स को देखता है और कहता है, "ठीक है, भले ही वे अलग दिखते हों, लेकिन मॉडल A का यह विशिष्ट हिस्सा मॉडल B के इस हिस्से के समान है।"
यह उन्हें पूरी तरह से अलग प्रकार के AI परिवारों के हिस्सों को मिलाने की अनुमति देता है, जो आमतौर पर बिना रिट्रेनिंग के संभव नहीं था।

3. परिणाम: "सुपर शेफ" उभरता है

टीम ने इसे Darwin-27B-Opus नामक एक फ्लैगशिप मॉडल पर टेस्ट किया।

टेस्ट: उन्होंने इसे GPQA डायमंड के माध्यम से परखा, जो स्नातक स्तर के विज्ञान और तर्क के कठिन प्रश्नों का एक परीक्षण है (जैसे पीएचडी प्रवेश परीक्षा)।
स्कोर: इसे 86.9% मिला।
रैंकिंग: इसने मूल्यांकन किए गए 1,252 मॉडल्स में से #6 स्थान प्राप्त किया।
जादू: इसने अपने स्वयं के "पिता" मॉडल (मूल बेस मॉडल) को भी मात दी और उन बहुत बड़े मॉडल्स को भी पीछे छोड़ दिया जिन्हें महीनों तक प्रशिक्षित किया गया था।
लागत: उन्होंने यह बिना किसी नए प्रशिक्षण के किया। उन्होंने इसे नया डेटा नहीं दिया या महंगे गणित (ग्रेडिएंट्स) का उपयोग करके इसके वेट्स (weights) को एडजस्ट नहीं किया। उन्होंने बस उनके पास मौजूद मौजूदा वेट्स को पुनर्व्यवस्थित किया।

4. उन्होंने क्या पाया (अहा! क्षण)

"फोकस" को बनाए रखना: जब उन्होंने जीतने वाली रेसिपी को देखा, तो उन्होंने एक पैटर्न देखा। सिस्टम लगभग हमेशा मूल बेस मॉडल से "अटेंशन" (Attention) वाले हिस्सों को रखता है (वे हिस्से जो AI को सही शब्दों पर ध्यान केंद्रित करने में मदद करते हैं), लेकिन "फीड-फॉरवर्ड" (Feed-Forward) हिस्सों (वे हिस्से जो वास्तविक गणना करते हैं) को विशेषज्ञ मॉडल के साथ बदल देता है। यह शेफ के स्थिर हाथ को बनाए रखने और उसमें एक नई रेसिपी बुक डालने जैसा है।
यह हर जगह काम करता है: उन्होंने 4 बिलियन से लेकर 35 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया। एक ही "मिक्सिंग रूल्स" सभी के लिए काम कर गए, जिससे पता चलता है कि उन्होंने AI रीजनिंग को बेहतर बनाने का एक सार्वभौमिक तरीका खोज लिया है।

सारांश

डार्विन फैमिली पेपर यह साबित करता है कि आपको हमेशा एक स्मार्ट AI बनाने के लिए लाखों डॉलर और महीनों का समय खर्च करने की आवश्यकता नहीं होती है। इसके बजाय, आप मौजूदा AI मॉडल्स को ले सकते हैं, एक स्मार्ट "स्कैनर" का उपयोग करके देख सकते हैं कि वे क्या जानते हैं, और उन्हें पौधों की तरह एक साथ "ब्रीड" (प्रजनन) कर सकते हैं, जिससे एक नया, स्मार्ट मॉडल बनता है जो अपने माता-पिता की तुलना में तर्क करने में बेहतर होता है—और वह भी बिना एक भी लाइन का नया ट्रेनिंग कोड लिखे।

मुख्य निष्कर्ष: उन्होंने नया ज्ञान नहीं बनाया; उन्होंने बस पहले से मौजूद ज्ञान को पुनर्गठित किया ताकि वह बेहतर तरीके से काम कर सके।

तकनीकी सारांश: डार्विन फैमिली – MRI-ट्रस्ट-वेटेड इवोल्यूशनरी मर्जिंग

1. समस्या विवरण

यह शोध पत्र पारंपरिक पोस्ट-ट्रेनिंग पाइपलाइनों (जैसे इंस्ट्रक्शन ट्यूनिंग, रीइन्फोर्समेंट लर्निंग और डिस्टिलेशन) के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमता (reasoning capabilities) में सुधार करने से जुड़ी उच्च कम्प्यूटेशनल लागत और पुनरुत्पादकता (reproducibility) की चुनौतियों को संबोधित करता है। जबकि ये विधियाँ कार्य सटीकता में सुधार करती हैं, वे तर्क की सत्यनिष्ठा (reasoning faithfulness), मजबूती (robustness) और स्थानांतरणीयता (transferability) को कम कर सकती हैं।

हालिया नैदानिक अध्ययन सुझाव देते हैं कि मुख्य तर्क तंत्र (core reasoning mechanisms) काफी हद तक प्रीट्रेनिंग के दौरान स्थापित होते हैं और मॉडल की परतों (layers) में असमान रूप से वितरित होते हैं, जिसमें तर्क-महत्वपूर्ण गणना विशिष्ट उपसमुच्चयों (subsets) में केंद्रित होती है। यह अवलोकन एक मौलिक प्रश्न खड़ा करता है: क्या मौजूदा चेकपॉइंट्स में पहले से एनकोडेड अंतर्निहित क्षमताओं को पुनर्गठित करके, बिना किसी अतिरिक्त प्रशिक्षण के तर्क प्रदर्शन में सुधार किया जा सकता है?

यह शोध पत्र तर्क देता है कि मॉडल मर्जिंग (model merging) एक प्रशिक्षण-मुक्त विकल्प प्रदान करती है। हालाँकि, मौजूदा मर्जिंग विधियाँ सीमाओं से ग्रस्त हैं:

स्थिर ह्यूरिस्टिक्स (Static Heuristics): वेट एवरेजिंग या फिक्स्ड लीनियर कॉम्बिनेशन जैसी विधियाँ विषम विशेषज्ञों (heterogeneous specialists) को मर्ज करते समय टास्क इंटरफेरेंस के कारण विफल हो जाती हैं।
नैदानिक अंधापन (Diagnostic Blindness): वर्तमान विकासवादी मर्जिंग (evolutionary merging) दृष्टिकोण नैदानिक मार्गदर्शन का अभाव रखते हैं, जो सभी मापदंडों (parameters) को समान रूप से मर्ज करने योग्य मानते हैं और तर्क सर्किट के संरचनात्मक बाधाओं को अनदेखा करते हैं।

2. कार्यप्रणाली: डार्विन फ्रेमवर्क

डार्विन फ्रेमवर्क एक प्रशिक्षण-मुक्त, ग्रेडिएंट-मुक्त विकासवादी मर्जिंग (evolutionary merging) प्रक्रिया पेश करता है जो पूरी तरह से वेट स्पेस (weight space) में संचालित होती है। यह एक स्पष्ट फ्यूजन मैकेनिज्म के माध्यम से नैदानिक मार्गदर्शन को विकासवादी अन्वेषण (evolutionary exploration) से अलग करता है।

मुख्य घटक

मॉडल-लेयर रिस्पॉन्स इम्पोर्टेंस (MRI):
- एक नैदानिक पूर्ववर्ती (diagnostic prior) जो तर्क व्यवहार के लिए व्यक्तिगत पैरामीटर टेंसरों की कार्यात्मक प्रासंगिकता का अनुमान लगाता है।
- यह स्थिर टेंसर सांख्यिकी (नॉर्मलाइज्ड एंट्रॉपी, वेरिएंस, कैप $\ell_2$ -नॉर्म) और प्रोब-आधारित कार्यात्मक प्रतिक्रियाओं (तर्क-कंडीशन्ड और जेनेरिक एक्टिवेशन्स के बीच कोसाइन डिस्टेंस) को जोड़ता है।
- MRI एक सॉफ्ट प्रायर रेशियो ( $r_{MRI}$ ) उत्पन्न करता है जो विशिष्ट टेंसरों के लिए पैरेंट मॉडल्स के मापदंडों के सापेक्ष महत्व को दर्शाता है।
14-डायमेंशनल एडेप्टिव मर्ज जीनोम:
- डार्विन मर्ज रणनीतियों को एक 14-डायमेंशनल वेक्टर ( $g$ $g$ ) के रूप में एनकोड करता है जो नियंत्रित करता है:
  - ग्लोबल मर्ज बैलेंस ( $\gamma$ )।
  - अटेंशन ( $\alpha_{attn}$ ), फीड-फॉरवर्ड नेटवर्क ( $\alpha_{ffn}$ ), और एम्बेडिंग्स ( $\alpha_{emb}$ ) के लिए कंपोनेंट-लेवल मिक्सिंग रेश्यो।
  - पैरेंट डेल्टा के लिए स्पारसिफिकेशन डेंसिटीज ( $\rho_A, \rho_B$ )।
  - ब्लॉक-लेवल स्पेशलाइजेशन कोएफिशिएंट्स ( $r_0 \dots r_5$ )।
  - MRI ट्रस्ट पैरामीटर ( $\tau$ ) और मर्ज कर्नेल इंटरपोलेशन व्यवहार ( $\lambda$ )।
- यह यूनिफॉर्म एवरेजिंग के बजाय फाइन-ग्रेंड, कंपोनेंट- और ब्लॉक-लेवल पुनर्संयोजन की अनुमति देता है।
MRI-ट्रस्ट फ्यूजन:
- एक प्रमुख नवाचार जो डायग्नोस्टिक सिग्नल्स और इवोल्यूशनरी सर्च के बीच अनुकूल रूप से संतुलन बनाता है।
- अंतिम मर्ज रेशियो ( $r_{final}$ ) को इस प्रकार परिभाषित किया गया है:
  $r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$
- ट्रस्ट पैरामीटर $\tau \in [0, 1]$ को इवोल्यूशन के माध्यम से सीखा जाता है, जिससे सिस्टम को डायग्नोस्टिक शोर (noise) को ठीक करने और स्ट्रक्चर्ड प्रायर्स को बनाए रखने की अनुमति मिलती है।
आर्किटेक्चर मैपर:
- विषम मॉडल परिवारों (जैसे ट्रांसफॉर्मर और मम्बा) के बीच क्रॉस-आर्किटेक्चर ब्रीडिंग को सक्षम बनाता है।
- यह संख्यात्मक पुनर्संयोजन से पहले टेंसर-लेवल पत्राचार स्थापित करने के लिए फंक्शनल रोल, डायमेंशनल कंसिस्टेंसी और पैरामीटर शेप सिमिलैरिटी के आधार पर एक कम्पैटिबिलिटी स्कोर की गणना करता है।
इवोल्यूशनरी ऑप्टिमाइजेशन (दो-चरणीय):
- चरण 1: अकल्पनीय जीनोम्स को फिल्टर करने के लिए एक लाइटवेट प्रॉक्सी फिटनेस स्कोर का उपयोग करके स्ट्रक्चरल स्क्रीनिंग।
- चरण 2: अंतिम मॉडल चुनने के लिए रीजनिंग बेंचमार्क्स पर उच्च-गुणवत्ता वाले उम्मीदवारों का अनुभवजन्य मूल्यांकन।
- फ्रेमवर्क डिस्ट्रक्टिव इंटरफेरेंस को कम करने के लिए DARE-TIES (ड्रॉप-एंड-रीस्केल विद टास्क-इंटरवल एलिमिनेशन) को प्राथमिक मर्ज कर्नेल के रूप में उपयोग करता है, जो लीनियर इंटरपोलेशन और SLERP से बेहतर प्रदर्शन करता है।

3. मुख्य योगदान

डायग्नोस्टिक-गाइडेड इवोल्यूशनरी मर्जिंग: पहला फ्रेमवर्क जो 'ब्लाइंड' ऑप्टिमाइजेशन से आगे बढ़कर फंक्शनल इम्पोर्टेंस डायग्नोस्टिक्स (MRI) को सीधे इवोल्यूशनरी सर्च में एकीकृत करता है।
MRI-ट्रस्ट फ्यूजन: एक सीखने योग्य मैकेनिज्म जो डायग्नोस्टिक प्रायर्स बनाम इवोल्यूशनरी एक्सप्लोरेशन पर निर्भरता को गतिशील रूप से संतुलित करता है, जिससे संभावित रूप से शोर वाले सिग्नल्स पर अत्यधिक निर्भरता को रोका जा सकता है।
क्रॉस-आर्किटेक्चर ब्रीडिंग: एक आर्किटेक्चर मैपर जो बिना रिट्रेनिंग के विषम घटकों (जैसे ट्रांसफॉर्मर अटेंशन के साथ मम्बा स्टेट-स्पेस फीड-फॉरवर्ड लेयर्स) के पुनर्संयोजन को सक्षम करता है।
स्केल-इनवेरिएंट प्रिंसिपल्स: विकसित जीनोम्स में स्थिर संरचनात्मक पैटर्न की खोज, विशेष रूप से बेस मॉडल से अटेंशन लेयर्स का एसिमेट्रिक संरक्षण और स्पेशलाइज्ड मॉडल्स से फीड-फॉरवर्ड लेयर्स का आक्रामक पुनर्संयोजन।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क को 4B से 35B पैरामीटर्स तक के मॉडल्स पर सत्यापित किया गया।

फ्लैगशिप परफॉरमेंस (Darwin-27B-Opus):
- GPQA डायमंड बेंचमार्क पर 86.9% प्राप्त किया।
- 1,252 मूल्यांकित मॉडल्स में से #6 स्थान प्राप्त किया (अप्रैल 2026 तक)।
- बिना किसी ग्रेडिएंट-आधारित प्रशिक्षण के अपने पूरी तरह से प्रशिक्षित फाउंडेशन मॉडल (Qwen3.5-27B) और अपने रीजनिंग-डिस्टिल्ड पैरेंट से बेहतर प्रदर्शन किया।
- स्टैटिक बेसलाइन्स (Simple Avg, SLERP) और डायग्नोस्टिक मार्गदर्शन के बिना इवोल्यूशनरी बेसलाइन्स की तुलना में निरंतर सुधार प्रदर्शित किया।
सामान्यीकरण (Generalization):
- स्केल: 4B से 35B तक के मॉडल्स ने लगातार अपने पैरेंट्स से बेहतर प्रदर्शन किया।
- जेनरेशन: फ्रेमवर्क रिकर्सिव मल्टी-जेनरेशन इवोल्यूशन (जैसे Darwin-4B-Opus से विकसित Darwin-4B-David) का समर्थन करता है।
- आर्किटेक्चर: Darwin-4B-Genesis ने ट्रांसफॉर्मर और मम्बा घटकों को सफलतापूर्वक मर्ज किया, और लक्षित बेंचमार्क्स पर दोनों पैरेंट्स से बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज:
- MRI मार्गदर्शन को हटाने ( $\tau=0$ ) से महत्वपूर्ण प्रदर्शन गिरावट हुई (GPQA पर 84.4% बनाम 86.9%)।
- केवल स्टैटिक MRI ( $\tau=1$ ) पर निर्भर रहने से भी एडेप्टिव वेरिएंट की तुलना में कम प्रदर्शन हुआ, जो डायग्नोस्टिक्स को इवोल्यूशनरी सर्च के साथ संतुलित करने की आवश्यकता की पुष्टि करता है।
- DARE-TIES को लीनियर इंटरपोलेशन और SLERP की तुलना में श्रेष्ठ मर्ज कर्नेल के रूप में पहचाना गया।

5. महत्व और दावे

शोध पत्र का दावा है कि डार्विन फैमिली यह प्रदर्शित करती है कि डायग्नोस्टिक-गाइडेड इवोल्यूशनरी मर्जिंग, तर्क-केंद्रित भाषा मॉडल्स के लिए महंगी पोस्ट-ट्रेनिंग पाइपलाइनों का एक व्यावहारिक और पुनरुत्पादक विकल्प है।

लागत दक्षता: यह दृष्टिकोण पारंपरिक प्रीट्रेनिंग या फाइन-ट्यूनिंग की तुलना में तीन से छह ऑर्डर ऑफ मैग्नीट्यूड कम कंप्यूट कॉस्ट पर फ्रंटियर-लेवल रीजनिंग परफॉरमेंस प्राप्त करता है।
पुनर्गठन बनाम निर्माण: फ्रेमवर्क नई क्षमताओं को शून्य से (ex nihilo) पैदा नहीं करता है; बल्कि यह प्रीट्रेनड चेकपॉइंट्स में पहले से एनकोडेड अंतर्निहित क्षमताओं को पुनर्गठित करता है। यह तब सबसे प्रभावी होता है जब पैरेंट्स के पास पूरक (complementary) तर्क संरचनाएं हों।
ओपन साइंस: स्वतंत्र सत्यापन को सक्षम करने और सिद्धांतिक, डायग्नोस्टिक-गाइडेड वेट-स्पेस ऑप्टिमाइजेशन में अनुसंधान को उत्प्रेरित करने के लिए सभी मॉडल्स, V6 कोडबेस और MRI टूल्स को Apache 2.0 लाइसेंस के तहत जारी किया गया है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें पैरेंट क्षमताओं पर निर्भरता (लुप्त कौशल को वापस नहीं पा सकता), आर्किटेक्चरल अलाइनमेंट बाधाएं (इष्टतम प्रदर्शन के लिए एक सामान्य बेस की आवश्यकता), और इवोल्यूशनरी सर्च की गैर-शून्य लागत शामिल है। हालाँकि, वे डार्विन को तर्क क्षमताओं के कुशल, प्रशिक्षण-मुक्त स्केलिंग की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करते हैं।