💬 NLP

CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing

CRANE एक ट्रेनिंग-फ्री पैरामीटर-एडिटिंग विधि है जो लॉन्ग-होरिज़न रीजनिंग और टूल-यूज़ प्रदर्शन को महत्वपूर्ण रूप से बढ़ाने के लिए नलस्पेस एडिटिंग के माध्यम से इंस्ट्रक्ट (Instruct) और थिंकिंग (Thinking) कोड एजेंट चेकपॉइंट्स को मर्ज करती है और साथ ही दक्षता को भी बनाए रखती है।

मूल लेखक: Mingzhi Zhu, Michele Merler, Raju Pavuluri, Stacy Patterson

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingzhi Zhu, Michele Merler, Raju Pavuluri, Stacy Patterson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक ही प्रतिभाशाली सॉफ्टवेयर इंजीनियर के दो अलग-अलग संस्करण हैं, जिन्हें हम द कमांडर (The Commander) और द फिलोसॉफर (The Philosopher) कहेंगे।

द कमांडर (निर्देश मॉडल - Instruct Model): यह इंजीनियर अविश्वसनीय रूप से तेज़ है, सख्त नियमों का पालन करता है, और जानता है कि औजारों (जैसे रिंच या कंपाइलर) का उपयोग बिना किसी गड़बड़ी के कैसे किया जाता है। हालांकि, वे कभी-कभी ब्लूप्रिंट को पूरी तरह समझे बिना ही समस्या को ठीक करने की जल्दबाजी कर देते हैं, जिससे गलतियाँ हो जाती हैं।
द फिलोसॉफर (सोचने वाला मॉडल - Thinking Model): यह इंजीनियर एक मास्टर प्लानर है। वे गहराई से सोचते हैं, हर कोण पर विचार करते हैं, और चीजें गलत होने पर उनसे उबरने की बेहतरीन रणनीतियां बनाते हैं। लेकिन, वे "ओवरथिंकिंग" (जरूरत से ज्यादा सोचने) के शिकार भी हो सकते हैं। वे पेचकस पकड़ने के सबसे अच्छे तरीके पर बहस करने में घंटों बिता सकते हैं, जिससे समय और ऊर्जा बर्बाद होती है, और कभी-कभी वे विचारमग्न होने में इतने खो जाते हैं कि वे वास्तव में औजारों का उपयोग करना या सुरक्षा प्रोटोकॉल का पालन करना ही भूल जाते हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे CRANE (Constrained Reasoning Injection for Code Agents via Nullspace Editing) कहा जाता है। इसका लक्ष्य एक आदर्श हाइब्रिड बनाना है: एक ऐसा इंजीनियर जिसमें फिलोसॉफर के गहरे नियोजन कौशल (planning skills) हों लेकिन साथ ही कमांडर का सख्त अनुशासन और गति भी बनी रहे।

समस्या: उन्हें बस मिला देना क्यों नहीं काम करता?

आमतौर पर, यदि आप दो मॉडलों को मिलाना चाहते हैं, तो आप उनके वेट्स (weights) का औसत निकाल सकते हैं (जैसे दो रंगों के पेंट को मिलाना)। लेकिन लेखकों ने पाया कि यहाँ एक साधारण मिश्रण काम नहीं करता है।

यदि आप उन्हें बहुत अधिक मिला देते हैं, तो नया मॉडल फिलोसॉफर की तरह "ओवरथिंकिंग" करने लगता है, समय बर्बाद करता है और कंप्यूटर से बात करने के लिए आवश्यक सख्त नियमों को तोड़ देता है।
यदि आप उन्हें पर्याप्त रूप से नहीं मिलाते हैं, तो आपको बेहतर समस्या-समाधान कौशल प्राप्त नहीं होते हैं।

समाधान: CRANE की तीन-चरणीय रेसिपी

एक साधारण मिश्रण के बजाय, CRANE एक अत्यधिक चयनात्मक संपादक (selective editor) की तरह कार्य करता है जो सर्जिकल सटीकता के साथ फिलोसॉफर के मस्तिष्क के केवल अच्छे हिस्सों को कमांडर के मस्तिष्क में इंजेक्ट करता है, जबकि उसके बुरे हिस्सों को रोकता है। यह तीन चरणों में ऐसा करता है:

1. नॉइज़ फ़िल्टर (मैग्निट्यूड थ्रेशोल्डिंग - Magnitude Thresholding)

कल्पना कीजिए कि फिलोसॉफर और कमांडर के बीच का अंतर हजारों छोटे नोट्स का एक विशाल बैग है। अधिकांश नोट्स केवल बैकग्राउंड नॉइज़ या छोटे, महत्वहीन विचार हैं।

CRANE क्या करता है: यह छोटे, कमजोर नोट्स को फेंक देता है और केवल बड़े, स्पष्ट और महत्वपूर्ण नोट्स को रखता है। यह सुनिश्चित करता है कि हम कमांडर के मस्तिष्क में कोई रैंडम "स्टैटिक" (शोर) इंजेक्ट न करें।

2. सेफ्टी गेट (कंजर्वेटिव टेलर गेट - Conservative Taylor Gate)

अब हमारे पास बड़े, महत्वपूर्ण नोट्स का ढेर है। लेकिन उनमें से कुछ खतरनाक भी हो सकते हैं। उदाहरण के लिए, एक नोट जो कहता है "गहराई से सोचने के लिए सुरक्षा प्रोटोकॉल को अनदेखा करें" एक टूल-उपयोग करने वाले एजेंट के लिए बुरा विचार है।

CRखी क्या करता है: यह प्रत्येक नोट की दो सवालों के आधार पर जांच करता है:
1. क्या यह नोट एजेंट को समस्या को बेहतर ढंग से हल करने में मदद करता है?
2. क्या यह नोट कंप्यूटर से बात करने के नियमों को तोड़ता है?
परिणाम: यह केवल उन्हीं नोट्स को रखता है जो दोनों परीक्षणों में पास होते हैं। यदि कोई नोट तर्क (reasoning) में मदद करता है लेकिन नियमों को तोड़ता है, तो उसे हटा दिया जाता है। यही वह "सेफ्टी गेट" है।

3. शील्ड (ग्रेजुएटेड सिग्मोइडल प्रोजेक्शन - Graduated Sigmoidal Projection)

सेफ्टी गेट के बावजूद, कुछ नोट्स गलती से एजेंट की "वर्दी" (uniform)—उस विशिष्ट फॉर्मेट को बिगाड़ सकते हैं जिसका उपयोग वह कंप्यूटर से बात करने के लिए करता है (जैसे JSON कोड या विशिष्ट कमांड स्ट्रक्चर)।

CRANE क्या करता है: यह मस्तिष्क के उन हिस्सों की पहचान करता है जो उस वर्दी को पहनने के लिए जिम्मेदार हैं। यह उन क्षेत्रों के चारों ओर एक "शील्ड" (ढाल) बनाता है। यदि कोई नया नोट उस वर्दी के स्वरूप को बदलने की कोशिश करता है, तो शील्ड उसे धीरे से वापस धकेल देती है, यह सुनिश्चित करती है कि एजेंट अभी भी कंप्यूटर की भाषा को पूरी तरह से बोल सके।

परिणाम: एक सुपर-एजेंट

इस नए "सुपर-एजेंट" का परीक्षण तीन अलग-अलग कोडिंग चुनौतियों (कोड में बग ठीक करना, सॉफ्टवेयर समस्याओं को हल करना और जटिल शेल कमांड चलाना) पर किया गया।

बेहतर सफलता: CRANE मॉडल ने मूल कमांडर या मूल फिलोसॉफर की तुलना में काफी अधिक समस्याओं को हल किया। उदाहरण के लिए, एक टेस्ट में, इसने कमांडर के 46% की तुलना में 66% समस्याओं को हल किया।
कोई "ओवरथिंकिंग" पेनल्टी नहीं: महत्वपूर्ण रूप से, यह धीमा या अत्यधिक विस्तृत (verbose) नहीं हुआ। इसने विचारों के चक्रव्यूह में फंसकर समय बर्बाद नहीं किया। यह तेज़ और कुशल बना रहा, और मूल फिलोसॉफर की तुलना में कम रिसोर्सेज (टोकन्स) का उपयोग किया।
साधारण मिक्सिंग से बेहतर: इसने मॉडलों को संयोजित करने के सभी अन्य मानक तरीकों को पछाड़ दिया, जिससे यह सिद्ध हुआ कि यह "सर्जिकल इंजेक्शन" दृष्टिकोण साधारण औसत निकालने के तरीके से कहीं अधिक श्रेष्ठ है।

सारांश में

CRANE एक चतुर तकनीक है जो एक "सोचने वाले" मॉडल की रणनीतिक प्रतिभा को लेकर उसे सावधानीपूर्वक एक "करने वाले" मॉडल में इंजेक्ट करती है। यह शोर को हटाने के लिए एक फ़िल्टर, सुरक्षा सुनिश्चित करने के लिए एक गेट, और एजेंट की निर्देशों का पालन करने की क्षमता की रक्षा के लिए एक शील्ड का उपयोग करता है। परिणाम एक ऐसा कोडिंग एजेंट है जो स्मार्ट, रणनीतिक और अनुशासित तीनों है, जो समय बर्बाद किए बिना और नियमों को तोड़े बिना अधिक समस्याओं को हल करता है।

तकनीकी सारांश: CRANE – न्यूलस्पेस एडिटिंग के माध्यम से कोड एजेंटों के लिए बाधित तर्क इंजेक्शन (Constrained Reasoning Injection for Code Agents via Nullspace Editing)

1. समस्या विवरण (Problem Statement)

आधुनिक कोड एजेंटों को दोहरी आवश्यकता को पूरा करना होता है: उन्हें जटिल सॉफ्टवेयर कार्यों को हल करने के लिए परिष्कृत तर्क क्षमताओं (योजना बनाना, संदर्भ एकीकरण और त्रुटियों से उबरना) की आवश्यकता होती है, फिर भी उन्हें टूल-उपयोग प्रोटोकॉल (संक्षिप्त आउटपुट, सही स्कीमा फॉर्मेटिंग और अनुशासित टूल टाइमिंग) का सख्ती से पालन करना चाहिए ताकि वे निष्पादन वातावरण (execution environments) के साथ प्रभावी ढंग से इंटरैक्ट कर सकें।

हालिया अवलोकन युग्मित मॉडल चेकपॉइंट्स के बीच एक विसंगति का संकेत देते हैं:

इंस्ट्रक्ट मॉडल्स (Instruct Models): ये संक्षिप्त और टूल-अनुशासित होते हैं लेकिन अक्सर गहरे नियोजन या रिकवरी व्यवहारों की कमी होती है, जिससे समयपूर्व संपादन या लूप (loops) की स्थिति उत्पन्न होती है।
थिंकिंग मॉडल्स (Thinking Models): इनमें मजबूत तर्क और रिकवरी क्षमताएं प्रदर्शित होती हैं लेकिन ये अक्सर "अत्यधिक विचार-विमर्श" (over-delerate) करते हैं, अत्यधिक टोकन खर्च करते हैं और टूल प्रोटोकॉल का उल्लंघन करके या कार्य करने में विफल होकर प्रदर्शन को कम करते हैं।

मौजूदा मॉडल मर्जिंग तकनीकें (जैसे, Task Arithmetic, TIES, SLERP) आमतौर पर मर्जिंग को एंडपॉइंट्स के सममित संलयन (symmetric fusion) के रूप में देखती हैं। वे असममित (asymmetric) कोड-एजेंट सेटिंग के लिए डिज़ाइन नहीं की गई हैं जहाँ लक्ष्य एक "थिंकिंग" मॉडल से विशिष्ट तर्क व्यवहारों को एक "इंस्ट्रक्ट" बैकबोन में इंजेक्ट करना है, जबकि इंस्ट्रक्ट मॉडल के तैनात टूल इंटरफेस को कड़ाई से सुरक्षित रखना है। सहज (naive) मर्जिंग अक्सर उस प्रोटोकॉल निष्ठा (protocol fidelity) को नुकसान पहुँचाती है जो सफल एजेंट निष्पादन के लिए आवश्यक है।

2. कार्यप्रणाली: CRANE

CRANE (Constrained Reasoning Injection for Code Agents via Nullspace Editing) एक ट्रेनिंग-फ्री पैरामीटर-एडिटिंग विधि है जो थिंकिंग और इंस्ट्रक्ट चेकपॉइंट्स के बीच अंतर वेक्टर ( $\delta = \theta_{\text{think}} - \theta_{\text{inst}}$ ) को उम्मीदवार तर्क संपादन (candidate reasoning edits) के एक दिशात्मक पूल के रूप में मानती है। यह एजेंट व्यवहार को सुरक्षित रखते हुए इन संवादों को चुनिष्ट रूप से इंजेक्ट करने के लिए एक तीन-चरणीय पाइपलाइन का उपयोग करती है:

चरण 1: परिमाण थ्रेशोल्डिंग (Magnitude Thresholding - डीनोइजिंग)

कच्चा डेल्टा $\delta$ उपयोगी तर्क संकेतों और शोर (noise) दोनों को समाहित करता है। CRANE कम-विश्वास वाले निर्देशांकों (coordinates) को हटाने के लिए एक रूढ़िवादी स्पर्सिफिकेशन नियम लागू करता है।

तंत्र: एक नियत मीडियन-मैग्निट्यूड थ्रेशोल्ड लागू किया जाता है। $|\delta|$ के मीडियन से कम परिमाण वाले निर्देशांकों को शून्य कर दिया जाता है।
रीस्केलिंग: शेष गैर-शून्य प्रविष्टियों को कुल अपडेट स्केल को लगभग संरक्षित करने के लिए 2 के कारक से स्केल किया जाता है।
लक्ष्य: उस कम-परिमाण वाले शोर को हटाना जो एजेंट इंटरफेस को बाधित कर सकता है लेकिन सार्थक तर्क में योगदान नहीं देता है।

चरण 2: कंजर्वेटिव टेलर गेट (Conservative Taylor Gate - CTG)

यह चरण प्रत्येक पैरामीटर ब्लॉक (लेयर और कंपोनेंट) के लिए इंजेक्शन स्ट्रेंथ निर्धारित करता है, यह मूल्यांकन करके कि क्या एक विशिष्ट संपादन दिशा दोनों तर्क हस्तांतरण और टूल-उपयोग संरक्षण के लिए फायदेमंद है।

कैलिब्रेशन: छोटे कैलिब्रेशन सेट्स का उपयोग करके दो मास्क किए गए लॉस फंक्शन परिभाषित किए जाते हैं:
- $L_R$ (Reasoning): थिंकिंग मॉडल द्वारा उत्पन्न कोड-रीजनिंग प्रॉम्प्ट्स पर प्रदर्शन को मापता है।
- $L_A$ (Agent Behavior): इंस्ट्रक्ट मॉडल द्वारा उत्पन्न टूल-उपयोग प्रॉम्प्ट्स पर प्रदर्शन को मापता है।
स्कोरिंग: प्रत्येक निर्देशांक $j$ के लिए, प्रथम-क्रम सुधार स्कोर की गणना की जाती है: $s_K(j) = -g_{K,j}\delta_j$ , जहाँ $g_K$ लॉस का ग्रेडिएंट है।
गेट लॉजिक: एक निर्देशांक केवल तभी सकारात्मक भार प्राप्त करता है जब संपादन दोनों लॉस के लिए एक साथ डिसेंट दिशा (descent direction) हो:
$p_j = [\min\{s_R(j), s_A(j)\}]_+$
एकत्रीकरण: वेट्स को प्रति ब्लॉक एकत्रित किया जाता है और एक संदर्भ FFN/एक्सपर्ट ब्लॉक के सापेक्ष सामान्यीकृत किया जाता है ताकि अंतिम स्केलिंग गुणांक $S_{\text{CTG}}(c, l)$ निर्धारित किया जा सके।

चरण 3: ग्रेजुएटेड सिग्मोइडल प्रोजेक्शन (Graduated Sigmoidal Projection - GSP)

लाभदायक संपादन भी महत्वपूर्ण फॉर्मेट टोकन (जैसे, टूल डेलीमिटर्स, JSON स्कीमा, चैट टेम्पलेट्स) को बाधित कर सकते हैं। यह चरण "फॉर्मेट-क्रिटिकल" सबस्पेस में अपडेट को दबा देता है।

एक्टिवेशन कलेक्शन: इंस्ट्रक्ट मॉडल से फॉर्मेट-क्रिटिकल ट्रेसेस (टूल कॉल और स्कीमा को नियंत्रित करने वाले टोकन) पर हिडन स्टेट्स एकत्र किए जाते हैं।
SVD प्रोजेक्शन: एक्टिवेशन मैट्रिक्स पर सिंगुलर वैल्यू डीकंपोजिशन (SVD) किया जाता है। उच्च सिंगुलर वैल्यू वाले दिशाएँ वे हैं जो फॉर्मेट-क्रिटिकल आउटपुट को दृढ़ता से प्रभावित करती हैं।
सॉफ्ट मास्किंग: हार्ड न्यूल-स्पेस प्रोजेक्शन के बजाय, सिंगुलर वैल्यू स्पेस में एक सिग्मोइडल मास्क लागू किया जाता है। उच्च आयाम (फॉर्मेट-क्रिटिकल) वाली दिशाओं को काफी कम कर दिया जाता है, जबकि कम-आयाम वाली दिशाओं को सुरक्षित रखा जाता है। यह एक विच्छिन्न कटऑफ के बजाय एक सुचारू संक्रमण सुनिश्चित करता है।

अंतिम मर्ज किया गया मॉडल इस प्रकार है:
$\theta_{\text{merged}} = \theta_{\text{inst}} + \Pi_{\text{GSP}} \left( \alpha \cdot S_{\text{CTG}} \cdot T(\delta) \right)$

3. मुख्य योगदान

डायरेक्शनल मर्जिंग फॉर्मूलेशन: युग्मित इंस्ट्रक्ट/थिंकिंग मॉडल्स के लिए मॉडल मर्जिंग का एक नया दृष्टिकोण, जो डेल्टा को एक सममित लक्ष्य के बजाय एक उम्मीदवार एडिट पूल के रूप में मानता है, जो विशिष्ट एजेंट व्यवहारों द्वारा अनुकूलित है।
CRANE रेसिपी: स्पार्स डेल्टा एक्सट्रैक्शन, टूल-उपयोग-जागरूक कंजर्वेटिव टेलर गेटिंग, और फॉर्मेट-प्रिजर्विंग ग्रेजुएटेड सिग्मोइडल प्रोजेक्शन को संयोजित करने वाली एक तीन-चरणीय, ट्रेनिंग-फ्री पाइपलाइन।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): तीन बेंचमार्क (Roo-Eval, SWE-bench-Verified, Terminal-Bench v2) और दो मॉडल स्केल (Qwen3-30B-A3B और Qwen3-Next-80B-A3B) पर एक व्यापक मूल्यांकन।
एब्लेशन अध्ययन (Ablation Studies): विश्लेषण जो पुष्टि करता है कि देखा गया प्रदर्शन-लागत ट्रेड-ऑफ के लिए प्रत्येक घटक (स्पर्सिफायर, टेलर गेट, प्रोजेक्शन) आवश्यक है।

4. प्रयोगात्मक परिणाम

CRANE सभी बेंचमार्क में दक्षता बनाए रखते हुए व्यक्तिगत एंडपॉइंट्स और मानक मर्जिंग बेसलाइन्स (Task Arithmetic, TIES, SLERP, AIM, LEWIS, RAIN) को लगातार पछाड़ता है।

Roo-Eval (IDE-आधारित कोडिंग):
- 30B स्केल: 66.2% pass@1 प्राप्त किया, जो इंस्ट्रक्ट बेसलाइन (46.7%) पर +19.5% और सर्वश्रेष्ठ वैकल्पिक मर्ज पर +19.0% की वृद्धि है।
- 80B स्केल: 81.5% pass@1 प्राप्त किया, जो इंस्ट्रक्ट पर +8.7% की वृद्धि है।
- दक्षता: CRANE ने इन लाभों को इंस्ट्रक्ट बेसलाइन की तुलना में कम टोटल टोकन काउंट (TTC) के साथ प्राप्त किया, जिससे 30B पर टोकन उपयोग में ~60M टोकन की कमी आई।
SWE-bench-Verified (रिपॉजिटरी-स्तरीय मुद्दे):
- 30B स्केल: 122/500 इंस्टेंस हल किए, जो इंस्ट्रक्ट बेसलाइन (108) और सर्वश्रेष्ठ मर्जिंग बेसलाइन (113) से बेहतर है।
- 80B स्केल: 180/500 इंस्टेंस हल किए, जो इंस्ट्रक्ट (168) और सभी अन्य बेसलाइन्स से आगे निकल गया।
- दक्षता: CRANE ने बेसलाइन्स की तुलना में कम कुल टोकन लागत के साथ अधिक इंस्टेंस हल किए।
Terminal-Bench v2 (शेल/कमांड-लाइन वर्कफ़्लो):
- 30B स्केल: pass@1 को 7.6% (4.8% इंस्ट्रक्ट के मुकाबले) और pass@5 को 17.9% तक सुधारा।
- 80B स्केल: pass@1 को 14.8% और pass@5 को 30.3% तक सुधारा।
- दक्षता: CRANE ने उच्च सफलता दर बनाए रखते हुए वॉल-क्लॉक टाइम को महत्वपूर्ण रूप से कम किया (उदाहरण के लिए, 80B के लिए इंस्ट्रक्ट के लिए 2h 28m के मुकाबले 1h 58m)।

एब्लेशन निष्कर्ष: किसी भी एकल घटक (मैग्निट्यूड थ्रेशोल्डिंग, टेलर गेट, या GSP) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई। विशेष रूप से, GSP को हटाने से सफलता दर में सबसे बड़ी गिरावट आई, जो फॉर्मेट-क्रिटिकल दिशाओं को सुरक्षित रखने के महत्वपूर्ण महत्व को रेखांकित करता है।

5. महत्व और दावे

पेपर दावा करता है कि CRANE सफलतापूर्वक कोड एजेंटों के लिए "पूरक लेकिन मिसअलाइन्ड" (complementary but misaligned) प्रकृति को संबोधित करता है। इसे एक जेनेरिक फ्यूजन के बजाय एक व्यवहार-अनुकूलित दिशात्मक संपादन समस्या के रूप में मानकर, CRANE इंस्ट्रक्ट मॉडल के टूल-अनुशासन और दक्षता को त्याग बिना थिंकिंग मॉडल्स की योजना बनाने और रिकवरी करने की क्षमताओं को इंजेक्ट करता है।

लेखक इस बात पर जोर देते हैं कि ये लाभ बढ़े हुए टोकन बजट या लंबे रोलआउट द्वारा प्राप्त नहीं किए गए हैं; वास्तव में, CRANE अक्सर कम टोकन और कम वॉल-टाइम के साथ बेहतर परिणाम प्राप्त करता है। यह विधि तैनात एजेंट प्रोटोकॉल का सख्ती से पालन करते हुए रीजनिंग मॉडल्स की शक्तियों का लाभ उठाने के लिए एक व्यावहारिक, ट्रेनिंग-फ्री मार्ग प्रदान करती है।

स्वीकृत सीमाएं (Limitations Acknowledged):

यह विधि मानती है कि थिंकिंग चेकपॉइंट उपयोगी तर्क प्रदान करता है और इंस्ट्रक्ट चेकपॉइंट एक उपयोगी इंटरफेस प्रदान करता है; यदि भविष्य के मॉडल दोनों में उत्कृष्ट हैं, तो सरल मर्जिंग पर्याप्त हो सकती है।
कैलिब्रेशन सेट्स को तैनात टूल सतह को कवर करना चाहिए; टूल्स या फॉर्मेटिंग में महत्वपूर्ण बदलाव के लिए पुन: कैलिब्रेशन की आवश्यकता होगी।
GSP प्रोजेक्टर निर्माण के लिए फॉर्मेट ट्रेसेस पर फॉरवर्ड पास की आवश्यकता होती है, जो बहुत बड़े मॉडल्स के लिए कम्प्यूटेशनल रूप से महंगा हो सकता है।
जावा, रस्ट जैसी कुछ भाषाओं के लिए प्रदर्शन पायथन/जेएस/गो की तुलना में कम बना हुआ है, जो बेस मॉडल्स में अंतर्निहित प्रशिक्षण विषमताओं का सुझाव देता है न कि स्वयं मर्ज विधि की विफलता का।