💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

यह शोधपत्र फंक्शन-अवेयर फिल-इन-द-मिडल (FIM) मिड-ट्रेनिंग पेश करता है, जो एक स्व-पर्यवेक्षित (self-supervised) दृष्टिकोण है जो कोडिंग एजेंट लूप और फंक्शन कॉल्स के बीच संरचनात्मक समानता का लाभ उठाता है ताकि SWE-Bench जैसे बेंचमार्क पर कोडिंग एजेंट के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके और साथ ही सामान्य कोडिंग और टूल-यूज़ क्षमताओं को सुरक्षित रखा जा सके जो अक्सर मानक पोस्ट-ट्रेनिंग द्वारा कम हो जाती हैं।

मूल लेखक: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोड की एक विशाल, अव्यवस्थित लाइब्रेरी में बग्स (bugs) ठीक करना सिखा रहे हैं। आमतौर पर, हम इन रोबोटों को शुरू से अंत तक, बाएं से दाएं किताबें पढ़ने के माध्यम से सिखाते हैं। लेकिन एक समस्या है: जब एक रोबोट वास्तव में एक बग को ठीक करने जाता है, तो वह केवल आगे नहीं पढ़ता। वह एक कदम उठाता है, देखता है कि क्या हुआ (शायद किसी टूल ने कोई एरर दिया), और फिर तय करता है कि आगे क्या करना है। यह एक लूप है: एक्शन (Action) → ऑब्जर्वेशन (Observation) → अगला कदम (Next Step)।

इस पेपर के लेखकों ने गौर किया कि यह रोबोट लूप सामान्य कंप्यूटर कोड में एक फंक्शन कॉल (function call) जैसा दिखता है।

रोबोट का एक्शन एक फंक्शन द्वारा दूसरे फंक्शन को कॉल करने जैसा है।
रोबोट का ऑब्जर्वेशन उस वैल्यू की तरह है जो फंक्शन वापस (return) करता है।
रोबोट का अगला कदम उस वैल्यू का उपयोग करके बाकी कोड चलाने जैसा है।

बड़ा विचार क्या है? कोड को केवल आगे से पढ़ने के बजाय, लेखकों ने अपने रोबोट मॉडल्स को इन फंक्शन कॉल्स के साथ एक "खाली स्थान भरने" (fill-in-the-blank) का खेल खेलने के लिए प्रशिक्षित किया। वे इसे फंक्शन-अवेयर फिल-इन-द-मिडल (FIM) मिड-ट्रेनिंग (Mid-Training) कहते हैं।

खेल: "गायब हिस्से का अनुमान लगाना"

कल्पना कीजिए कि आपके पास एक कहानी है जहाँ एक पात्र (कॉलर/caller) अपने एक मित्र (कली/callee) से एक कार्य करने के लिए कहता है, लेकिन मित्र का वास्तविक कार्य छिपा हुआ है। रोबोट को यह अनुमान लगाना है कि मित्र ने क्या किया और उसने ऐसा क्यों किया, केवल पहले और बाद के संदर्भ (context) के आधार पर।

इस खेल को प्रभावी बनाने के लिए, लेखकों ने केवल रैंडम शब्द नहीं चुने। उन्होंने पहेलियों को खोजने के लिए कोड के एक विशेष मानचित्र (एक "प्रोग्राम डिपेंडेंसी ग्राफ") का उपयोग किया। उन्होंने ऐसे फंक्शन्स को खोजा जो थे:

पर्याप्त जटिल ताकि एक अच्छा चैलेंज बन सकें (बहुत आसान नहीं, और असंभव भी नहीं)।
पर्याप्त अनुमान योग्य (predictable) ताकि रोबोट आसपास के सुरागों से उन्हें वास्तव में समझ सके।

उन्होंने रोबोट को कोड लिखने से पहले एक "रीजनिंग नोट" (चेन-ऑफ-थॉट) लिखने के लिए भी प्रेरित किया, जिससे वह कोड लिखने से पहले सोचने के लिए मजबूर हो जाए, ठीक वैसे ही जैसे एक मानव प्रोग्रामर करता है।

परिणाम: क्या यह काम करता है?

लेखकों ने तीन अलग-अलग रोबोट दिमागों (मॉडल्स) पर इसका परीक्षण किया: Qwen2.5-Coder परिवार के दो (7 बिलियन और 14 बिलियन पैरामीटर्स) और नए Qwen3 परिवार का एक (8 बिलियन पैरामीटर्स)। उन्होंने इन रोबोटों को 2.6 बिलियन टोकन (शब्द और प्रतीक) के विशाल डेटासेट पर प्रशिक्षित किया, जो 968 वास्तविक दुनिया के पायथन (Python) कोड रिपॉजिटरीज़ से लिया गया था।

यहाँ उन्होंने क्या पाया:

बग्स ठीक करने में बेहतर: SWE-Bench-Verified (जो वास्तविक दुनिया के सॉफ्टवेयर मुद्दों का अनुकरण करता है) नामक एक प्रसिद्ध बेंचमार्क पर परीक्षण करने पर, रोबोट्स में महत्वपूर्ण सुधार हुआ।
- 7B मॉडल में +2.8% का सुधार हुआ।
- 14B मॉडल में +3.0% का सुधार हुआ।
- 8B मॉडल में +3.2% का सुधार हुआ।
आसान कार्यों पर और भी बेहतर: एक हल्के संस्करण वाले टेस्ट (SWE-Bench-Lite) पर, लाभ और भी अधिक थे, जहाँ 8B मॉडल +5.4% उछल गया।
यह हर जगह काम करता है: ये सुधार तब भी हुए जब रोबोट्स को बाद में अलग-अलग तरीकों से प्रशिक्षित किया गया। यह सुझाव देता है कि उनके "फिल-इन-द-मिडल" प्रशिक्षण ने उन्हें एक ठोस आधार दिया जो बाद में पॉलिश करने के बावजूद बना रहा।

आश्चर्य: इसने अन्य कौशल को नहीं तोड़ा

आमतौर पर, जब आप एक रोबोट को एक सुपर-स्पेशलिस्ट (जैसे बग-फिक्सिंग एजेंट) बनाने के लिए प्रशिक्षित करते हैं, तो वह अन्य चीजें, जैसे सरल कोड लिखना या टूल्स का उपयोग करना, भूल जाता है। लेखकों को डर था कि ऐसा होगा।

लेकिन, इस "मिड-ट्रेनिंग" ने रोबोट के अन्य कौशलों को बचा लिया!

इस अतिरिक्त प्रशिक्षण के बिना, रोबोट अपने आप में कोड लिखने में कमजोर हो गए (LiveCodeBench जैसे बेंचमार्क पर गिरावट आई)।
इस FIM प्रशिक्षण के साथ, वे न केवल समान रहे, बल्कि वे बेहतर (+11.1% on LiveCodeBench) भी हो गए।
भले ही प्रशिक्षण डेटा केवल पायथन कोड था, रोबोट पूरी तरह से अलग संदर्भों (जैसे τ-bench और BFCL) में टूल्स का उपयोग करने में बेहतर हो गए, जो यह सुझाव देता है कि उन्होंने "कारण-और-प्रभाव" (cause-and-effect) के बारे में सोचने का एक सामान्य कौशल सीखा है जो विभिन्न कार्यों में स्थानांतरित हो गया।

उन्होंने स्पष्ट रूप से किसे खारिज किया

लेखकों ने सावधानीपूर्वक कहा कि यह तरीका क्या नहीं है:

यह केवल एक स्मार्ट शिक्षक की नकल करना नहीं है: उन्होंने परीक्षण किया कि क्या रोबोट केवल एक शक्तिशाली AI (Gemini-3-Flash) की नकल कर रहा था जिसने प्रशिक्षण डेटा बनाने में मदद की थी। उन्होंने पाया कि जब रोबोट ने अपने स्वयं के रीजनिंग नोट्स बनाए, तब भी उसमें सुधार हुआ। इसलिए, जादू केवल "शिक्षक की नकल करना" नहीं है; यह खेल की संरचना ही है।
यह हर चीज़ के लिए जादुई समाधान नहीं है: यह तरीका तब सबसे अच्छा काम करता है जब कोड मॉड्यूलर (साफ-सुथरे फंक्शन्स में विभाजित) हो। यदि कोड एक विशाल, अव्यवस्थित स्क्रिप्ट है जहाँ सब कुछ मिला-जुला हुआ है, तो यह तरीका उतना अच्छा काम नहीं करता क्योंकि यह स्पष्ट "फंक्शन कॉल" पहेलियों को हल नहीं कर पाता।
यह अभी तक सभी भाषाओं के लिए सिद्ध नहीं हुआ है: उनका प्रशिक्षण डेटा केवल पायथन था। हालांकि रोबोट अन्य कार्यों में बेहतर हुए, लेखक स्वीकार करते हैं कि उन्होंने अभी तक यह साबित नहीं किया है कि यह Java, C++, या Rust के लिए भी काम करता है।

वे कितने आश्वस्त हैं?

लेखक अपने नंबरों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने परिणामों को केवल भाग्य नहीं बनाने के लिए अलग-अलग रैंडम सीड्स के साथ परीक्षण तीन बार किया। उन्होंने सुधारों को सटीक रूप से मापा (जैसे, +2.8%, +3.0%) और दिखाया कि रोबोटों ने लगातार अधिक समस्याओं को हल किया और फंसने पर कम गलतियाँ कीं।

उनका सुझाव है कि यह "मिड-ट्रेनिंग" चरण एक महत्वपूर्ण लुप्त कड़ी है। यह रोबोट को वास्तविक दुनिया में भेजने से पहले एक विशिष्ट प्रकार का जिम वर्कआउट देने जैसा है, जिससे यह सुनिश्चित होता है कि उसके पास "एक्ट, ऑब्जर्व, एंड कंटिन्यू" के जटिल लूप को संभालने के लिए सही मांसपेशियां हों, बिना अपनी अन्य क्षमताओं को खोए।

तकनीकी सारांश: कोडिंग एजेंट फाउंडेशन मॉडल्स के लिए मिड-ट्रेनिंग के रूप में फंक्शन-अवेयर फिल-इन-द-मिडल

समस्या विवरण

वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग समस्याओं को हल करने के लिए डिज़ाइन किए गए कोडिंग एजेंट एक विशिष्ट कंडीशनिंग संरचना पर निर्भर करते हैं: एक इतिहास ( $h_t$ ) बनाए रखना, एक एक्शन ( $a_t$ ) सैंपल करना, एक बाहरी ऑब्जर्वेशन ( $o_{t+1}$ ) प्राप्त करना, और पूर्ण ट्रेस के आधार पर तर्क (reasoning) जारी रखना। जबकि मानक कोड प्रीट्रेनिंग (लेफ्ट-टू-राइट नेक्स्ट-टोकन प्रेडिक्शन) मॉडल को कोड के संपर्क में लाती है, यह इस विशिष्ट "एक्शन $\to$ ऑब्जर्वेशन $\to$ कंटीन्यूएशन" लूप के लिए शायद ही कभी ऑप्टिमाइज़ करती है। फलस्वरूप, बेस मॉडल की प्रीट्रेनिंग और एजेंटिक पोस्ट-ट्रेनिंग पाइपलाइन्स (जैसे, SWE-Gym, R2E-Gym) की मांगों के बीच एक अंतर मौजूद है।

इसके अलावा, कोड प्रीट्रेनिंग में उपयोग किए जाने वाले मानक फिल-इन-द-मिडल (FIM) ऑब्जेक्टिव्स एजेंट रीजनिंग के साथ तीन कारणों से मेल नहीं खाते हैं:

मनमाने सीमाएं (Arbitrary Boundaries): रैंडम-स्पैन मास्किंग अक्सर एक्सप्रेशंस को बीच से काट देती है, जिससे फंक्शन-लेवल डिपेंडेंसी कैप्चर करने में विफलता होती है।
रीजनिंग का अभाव: मानक FIM में बिना किसी इंटरमीडिएट रीजनिंग स्टेप्स (Chain-of-Thought) के सीधा जनरेशन आवश्यक होता है, जो एजेंटों के "थिंक-देन-एक्ट" पैटर्न के विपरीत है।
एमोर्टाइज्ड सिग्नल (Amortized Signal): जब FIM को विशाल प्रीट्रेनिंग में विलीन कर दिया जाता है, तो एजेंटिक पोस्ट-ट्रेनिंग शुरू होने से पहले इसकी स्ट्रक्चरल प्रायर (structural prior) ट्रिलियंस असंबंधित टोकन के बीच कम हो जाती है।

कार्यप्रणाली (Methodology)

लेखक फंक्शन-अवेयर FIM मिड-ट्रेनिंग का प्रस्ताव करते हैं, जो प्रीट्रेनिंग और एजेंटिक पोस्ट-ट्रेनिंग के बीच डाला गया एक समर्पित सेल्फ-सुपरवाइज्ड स्टेज है। यह दृष्टिकोण साधारण कोड में एक फंक्शन कॉल साइट और एक कोडिंग एजेंट के स्टेप के बीच स्ट्रक्चरल आइसोमोर्फिज्म (structural isomorphism) का लाभ उठाता है:

कॉन्टेक्स्ट/हिस्ट्री: इरादे (intent) को स्थापित करने वाला प्री-कॉल कोड।
एक्शन/कॉल: स्वयं फंक्शन कॉल।
ऑब्जर्वेशन/रिटर्न: वह वैल्यू जो कॉलर (callee) द्वारा कंप्यूट की गई है (तत्काल स्कोप के बाहर)।
कंटीन्यूएशन: रिटर्न वैल्यू का उपयोग करने वाला डाउनस्ट्रीम कोड।

मुख्य घटक

फंक्शन-अवेयर टारगेट सिलेक्शन:
रैंडम स्पैन के बजाय, यह विधि प्रोग्राम डिपेंडेंसी ग्राफ (PDG) विश्लेषण का उपयोग करके फंक्शन ग्रेन्युलैरिटी पर मास्किंग टारगेट्स का चयन करती है।
- कॉम्प्लेक्सिटी स्कोर ( $\hat{H}$ ): लाइन्स ऑफ कोड (LoC), मैकेबे साइक्लोमैटिक कॉम्प्लेक्सिटी और नेस्टिंग डेप्थ के आधार पर आंतरिक कठिनाई को मापता है।
- इन्फेरेबिलिटी स्कोर ( $\hat{I}$ ): यह मापता है कि एक फंक्शन को उसके कॉन्टेक्स्ट से कितना रिकवर किया जा सकता है, जो कॉलर आर्गुमेंट्स, कॉली (callee) डिपेंडेंसीज, टाइप सिग्नेचर, डॉकस्ट्रिंग्स और क्लास सिब्लिंग्स से सिग्नल को एग्रीगेट करता है।
- सिलेक्शन क्राइटेरिया: टारगेट्स को $\hat{H}$ और $\hat{I}$ के हार्मोनिक-मीन-लाइक कॉम्बिनेशन के माध्यम से चुना जाता है, जो उन टारगेट्स को दंडित करता है जो या तो बहुत सरल हैं या पूर्ण कॉन्टेक्स्ट के बावजूद सीखने योग्य नहीं हैं।
चेन-ऑफ-थॉट (CoT) ऑग्मेंटेशन:
चुने गए टारगेट्स के लिए, मॉडल को फंक्शन बॉडी से पहले एक स्टेप-बाय-स्टेप रैशनले (rationale) जेनरेट करने के लिए प्रशिक्षित किया जाता है।
- जेनरेशन: एक फ्रंटियर मॉडल (Gemini-3-Flash) केवल मास्क किए गए फाइल कॉन्टेक्स्ट के आधार पर (ग्राउंड ट्रुथ एक्सेस के बिना) रैशनले और एक कैंडिडेट बॉडी जेनरेट करता है।
- फिल्टरिंग: एक जज मॉडल फेजिबिलिटी और क्वालिटी के आधार पर पेयर्स को फिल्टर करता है।
- ट्रेनिंग फॉर्मेट: ट्रेनिंग प्रॉम्प्ट <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body> का पालन करता है। यह मॉडल को "थिंक-देन-एक्ट" स्ट्रक्चर सीखने के लिए मजबूर करता है।
डेटा क्यूरेशन:
इस कॉर्पस में GitHub से 968 डीकंटैमिनेटेड पायथन रिपॉजिटरीज (2.6B टोकन) शामिल हैं। SWE-Bench के स्रोतों के साथ ओवरलैप करने वाली रिपॉजिटरीज को हटा दिया गया है, और कमिट्स को SWE-Bench बेस कमिट्स से पहले तक सीमित रखा गया है ताकि टेस्ट-टाइम लीकेज को रोका जा सके।

मुख्य योगदान

स्ट्रक्चरल एनालॉजी: फंक्शन कॉल साइट्स को एक साधारण कोडिंग एजेंट के एक्शन-ऑब्जर्वेशन-कंटीन्यूएशन लूप के इंटरनेट-स्केल एनालॉग के रूप में फ्रेम करना, जो फंक्शन-ग्रेन्युलैरिटी FIM को एक सेल्फ-सुपरवाइज्ड प्रायर के रूप में प्रेरित करता है।
पाइपलाइन डिज़ाइन: PDG-आधारित चयन, कॉम्प्लेक्सिटी-इन्फेरेबिलिटी डबल क्राइटेरिया और एम्बेडेड CoT रैशनल्स को संयोजित करने वाली एक मिड-ट्रेनिंग पाइपलाइन।
रोबस्टनेस वैलिडेशन: विभिन्न मॉडल साइज (Qwen2.5-Coder 7B/14B, Qwen3-8B), विभिन्न पोस्ट-ट्रेनिंग पाइपलाइन्स (R2E-Gym, SWE-Smith, SWE-Lego) और विभिन्न बेस मॉडल फैमिलीज़ पर निरंतर लाभ प्रदर्शित करना।
क्रॉस-डोमेन ट्रांसफर: यह दिखाना कि पायथन-ओनली मिड-ट्रेनिंग कॉर्पस नॉन-कोडिंग टूल-यूज़ बेंचमार्क्स ( $\tau$ -bench, BFCL) पर प्रदर्शन में सुधार करता है और सामान्य कोडिंग क्षमताओं (LiveCodeBench) को बनाए रखता है जो आमतौर पर एजेंटिक पोस्ट-ट्रेनिंग के दौरान क्षीण हो जाती हैं।
ओपन रिलीज़: 968-रिपॉजिटरी डीकंटैमिनेटेड कॉर्पस, सिलेक्शन पाइपलाइन और मिड-ट्रेन्ड चेकपॉइंट्स को रिलीज़ करना।

प्रयोगात्मक परिणाम

इन-डोमेन एजेंट प्रदर्शन

इस पद्धति का मूल्यांकन SWE-Bench-Verified और SWE-Bench-Lite पर किया गया।

Qwen2.5-Coder-7B: Verified पर +2.8% गेन, Lite पर +3.7% (केवल पोस्ट-ट्रेनिंग की तुलना में)।
Qwen2.5-Coder-14B: Verified पर +3.0% गेन, Lite पर +4.0%।
Qwen3-8B: Verified पर +3.2% गेन, Lite पर +5.4%।
पाइपलाइन इंडिपेंडेंस: लाभ R2E-Gym, SWE-Smith और SWE-Lego पाइपलाइन्स में देखे गए, जो दर्शाता है कि यह प्रायर किसी एक डेटा डिस्ट्रीब्यूशन तक सीमित नहीं है।

क्षमता संरक्षण और क्रॉस-डोमेन ट्रांसफर

यह पाया गया कि केवल एजेंटिक पोस्ट-ट्रेनिंग से नॉन-टारगेट क्षमताओं (जैसे, LiveCodeBench 14B मॉडल के लिए 13.1 अंक गिर गया) में महत्वपूर्ण गिरावट आती है।

पुनर्स्थापना (Restoration): पोस्ट-ट्रेनिंग से पहले मिड-ट्रेनिंग जोड़ने से LiveCodeBench प्रदर्शन +11.1 अंक बढ़ गया, जो इंस्ट्रक्शन-ट्यून्ड सीलिंग के अंतर को लगभग भर देता है।
टूल यूज़: हालांकि कॉर्पस में केवल पायथन कोड था और कोई टूल-यूज़ ट्रेजेक्टरी नहीं थी, मिड-ट्रेनिंग ने $\tau$ -bench (+3.9) और BFCL (+2.4) पर प्रदर्शन में सुधार किया। यह प्रमाण है कि फंक्शन-कॉल इंडक्टिव बायस जनरल टूल-यूज़ रीजनिंग में ट्रांसफर होता है।

व्यवहार संबंधी विश्लेषण

एजेंट ट्रेजेक्टरीज के विश्लेषण से पता चला:

गलतियों से रिकवरी: मिड-ट्रेन्ड एजेंट नेगेटिव ऑब्जर्वेशन (जैसे, स्टैक ट्रेस) से रिकवर करने की दर 28.8% रही, जबकि बेसलाइन के लिए यह 24.8% थी।
इटरेट-एंड-वेरिफाई: मॉडल ने अधिक एडिट्स और लंबी ट्रेजेक्टरीज (23.6 स्टेप्स बनाम 15.1) की पॉलिसी अपनाई, जिससे "नो-पैच" विफलताओं में एक ऑर्डर ऑफ मैग्नीट्यूड की कमी आई।
ग्रैन्युलैरिटी: लाभ उन कार्यों पर सबसे अधिक स्पष्ट थे जिनमें सिंगल फाइल के भीतर क्रॉस-फंक्शन डिपेंडेंसी के बारे में तर्क करने की आवश्यकता थी (+9.1 अंक मल्टी-फंक्शन टास्क पर), जो स्ट्रक्चरल आइसोमोर्फिज्म हाइपोथेसिस की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि सोर्स कोड में फंक्शन कॉल साइट्स के रूप में "इंटरनेट-स्केल सप्लाई ऑफ एजेंट-रेलेवेंट सिग्नल" मौजूद है। फंक्शन-अवेयर FIM के माध्यम से इन डिपेंडेंसीज के बारे में द्विदिश (bidirectionally) तर्क करने के लिए मॉडल्स को प्रशिक्षित करके, यह विधि एक स्ट्रक्चरल प्रायर स्थापित करती है जो:

एजेंट प्रदर्शन में सुधार करती है: सॉफ्टवेयर इंजीनियरिंग बेंचमार्क्स पर सफलता दर को सीधे बढ़ाती है।
कैटास्ट्रोफिक फॉरगेटिंग को कम करती है: विशेष एजेंटिक पोस्ट-ट्रेनिंग के कारण होने वाले सामान्य कोडिंग और टूल-यूज़ क्षमताओं के क्षरण को रोकती है।
सामान्यीकरण (Generalizes) करती है: लाभ विभिन्न मॉडल फैमिलीज़ और नॉन-कोडिंग टूल-यूज़ टास्क में ट्रांसफर होते हैं, जो सुझाव देते हैं कि सीखा गया इंडक्टिव बायस पायथन कोड जनरेशन के बजाय एजेंट रीजनिंग लूप के लिए मौलिक है।

लेखक सीमाओं को नोट करते हैं, जिसमें पायथन-ओनली कॉर्पस पर निर्भरता, CoT जनरेशन के लिए फ्रंटियर टीचर (Gemini-3-Flash) पर निर्भरता (हालांकि सेल्फ-CoT अधिकांश लाभों को पुनः प्राप्त कर लेता है), और मॉड्यूलर कोड स्ट्रक्चर की धारणा शामिल है।