💬 NLP

Memorization Dynamics of Fill-in-the-Middle Pretraining

यह शोध पत्र मानक बाएं-से-दाएं (left-to-right) उद्देश्यों की तुलना में फिल-इन-द-मिडल (FIM) प्रीट्रेनिंग की स्मृति गतिकी (memorization dynamics) की जांच करता है, जो यह प्रकट करता है कि जहाँ FIM छोटे या आंशिक स्पैन को पुनः प्राप्त करने में उत्कृष्ट है, वहीं यह शाब्दिक रिकॉल (verbatim recall) के लिए प्रीफिक्स संदर्भ पर अत्यधिक निर्भर रहता है और डेटा पुनरावृत्ति के साथ स्मृति में रैखिक वृद्धि प्रदर्शित करता है।

मूल लेखक: Tobias von Arx, Tanguy Dieudonné

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tobias von Arx, Tanguy Dieudonné

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक लंबी कहानी की किताब याद करने के लिए सिखा रहे हैं। आप यह देखना चाहते हैं कि वह कहानी के विशिष्ट हिस्सों को शब्द-दर-शब्द कितनी अच्छी तरह सुना सकता है। आमतौर पर, आप उसे शुरू से अंत तक एक-एक शब्द करके कहानी पढ़कर सिखाते हैं। इसे लेफ्ट-टू-राइट (LTR) ट्रेनिंग कहा जाता है।

लेकिन उन्हें सिखाने का एक और तरीका भी है, जिसका उपयोग अक्सर कोडिंग या खाली स्थान भरने के लिए किया जाता है। आप उन्हें पैराग्राफ की शुरुआत और पैराग्राफ का अंत देते हैं, और उनसे बीच के हिस्से का अनुमान लगाने के लिए कहते हैं। इसे फिल-इन-द-मिडल (FIM) ट्रेनिंग कहा जाता है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या "बीच को भरने" (fill in the middle) के तरीके से सिखाने से छात्र की याद करने की क्षमता, सीधे पढ़कर सिखाने से अलग होती है?

शोधकर्ताओं ने एक नियंत्रित प्रयोग किया। उन्होंने दो समान AI मॉडल (जैसे जुड़वां) लिए और उन्हें एक ही किताब के अंश सिखाए। एक जुड़वां ने "सीधे पढ़ने" का तरीका सीखा (LTR), और दूसरे ने "खाली स्थान भरने" का तरीका सीखा (FIM)। उन्होंने यह देखने के लिए इन विशिष्ट पुस्तक अंशों को 1 से लेकर 128 बार तक दोहराया कि दोहराव का स्मृति पर क्या प्रभाव पड़ता है।

उन्होंने जो पाया, उसे यहाँ रोजमर्रा के उदाहरणों के साथ समझाया गया है:

1. "हैवी टेल" (भारी पूंछ) बनाम "स्टेडी क्लाइंबर" (लगातार चढ़ने वाला)

जब शोधकर्ताओं ने मॉडलों से केवल शुरुआत (प्रिफिक्स) से शुरू करके टेक्स्ट सुनाने के लिए कहा:

LTR जुड़वां (सीधा पाठक): यह जुड़वां उस व्यक्ति की तरह है जो किसी भाषण को तब तक पूरी तरह याद कर लेता है जब तक वह उसे पर्याप्त बार सुनता है। एक निश्चित सीमा पार करने के बाद, वह बहुत उच्च आत्मविश्वास के साथ लंबे, सटीक वाक्य सुना सकता है। उसकी स्मृति में एक "हैवी टेल" है—वह लंबी, सटीक प्रस्तुति देने में बहुत माहिर है।
FIM जुड़वां (खाली स्थान भरने वाला): यह जुड़वां थोड़ा अलग है। इसकी संभावना कम है कि वह एक पूरा लंबा वाक्य पूरी तरह से सुना पाएगा। इसके बजाय, यह छोटे अंशों या आंशिक मिलान को याद रखने में बेहतर है। जैसे-जैसे यह टेक्स्ट को बार-बार सुनता है, इसकी स्मृति अधिक निरंतर और रैखिक रूप से बढ़ती है, लेकिन यह LTR छात्र की तरह आसानी से उस "परफेक्ट लंबे वाचन" के शिखर तक नहीं पहुँच पाता।

उदाहरण: कल्पना कीजिए कि आप एक गाना याद करने की कोशिश कर रहे हैं।

LTR छात्र पर्याप्त बार सुनने के बाद पूरे कोरस को पूरी तरह से गाने में माहिर है, लेकिन यदि आप उन्हें बीच से शुरू करने के लिए कहें, तो वे अटक सकते हैं।
FIM छात्र शुरुआत या अंत से संकेत मिलने पर कुछ धुनें गुनगुनाने या धुन पहचानने में अच्छा है, लेकिन वे LTR छात्र की तरह पूरे 30 सेकंड के कोरस को उतनी सटीकता से नहीं गा पाएंगे।

2. प्रिफिक्स (शुरुआत) का "एंकर" (लंगर)

इसके बाद शोधकर्ताओं ने FIM मॉडल का उसके स्वाभाविक वातावरण में परीक्षण किया: उसे एक वाक्य की शुरुआत (प्रिफिक्स) और अंत (सफिक्स) दोनों दिए और उससे बीच का हिस्सा भरने को कहा।

उन्होंने एक चौंकाने वाली बात खोजी: वाक्य का अंत (सफिक्स) ज्यादा मदद नहीं करता।

भले ही FIM मॉडल वाक्य का अंत देखता है, वह बीच के हिस्से को याद करने के लिए लगभग पूरी तरह से वाक्य की शुरुआत (प्रिफिक्स) पर निर्भर करता है।
यदि आप वाक्य की वास्तविक शुरुआत को किसी अन्य असंबंधित वाक्य से बदल देते हैं, तो मॉडल बीच के हिस्से को तुरंत भूल जाता है।
यदि आप वाक्य के अंत को किसी अन्य वाक्य से बदल देते हैं, तो मॉडल बीच के हिस्से को काफी अच्छी तरह से याद रखता है, बशर्ते कि शुरुआत सही हो।

उदाहरण: FIM मॉडल को एक जासूस की तरह समझें जो अपराध को सुलझाने की कोशिश कर रहा है।

प्रिफिक्स अपराध स्थल की फोटो है।
सफिक्स अपराध के बाद क्या हुआ, इस बारे में एक गवाह का बयान है।
अध्ययन में पाया गया कि जासूस (मॉडल) मामले को (टेक्स्ट को याद करना) लगभग पूरी तरह से अपराध स्थल की फोटो के आधार पर सुलझाता है। गवाह का बयान (सफिक्स) सहायक है, लेकिन यदि फोटो हटा दी जाए, तो जासूस खो जाता है, भले ही गवाह अभी भी बोल रहा हो।

3. अंतर क्यों है?

"फिल-इन-द-मिडल" छात्र इस तरह से व्यवहार क्यों करता है?

LTR ट्रेनिंग: हर बार जब छात्र कहानी सुनता है, तो उसका नज़रिया एक जैसा होता है: शुरुआत $\rightarrow$ मध्य $\rightarrow$ अंत। यह एक विशिष्ट पथ को मजबूत करता है, जिससे पूरी श्रृंखला की स्मृति बहुत मजबूत हो जाती है।
FIM ट्रेनिंग: हर बार जब छात्र कहानी सुनता है, तो "मध्य" वाला हिस्सा अलग-अलग तरह से कटा हुआ होता है। कभी मध्य के पहले 10 शब्द होते हैं, तो कभी अगले 10। यह स्मृति को फैला देता है। छात्र कहानी के टुकड़ों को कई अलग-अलग कोणों से पहचानना सीखता है, लेकिन वे एक ही लंबे, पूर्ण चैन पर उतनी मजबूती से नहीं टिक पाते।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि आप मॉडल को कैसे प्रशिक्षित करते हैं, इससे यह बदल जाता है कि वह कैसे याद करता है।

यदि आप चाहते हैं कि मॉडल टेक्स्ट के लंबे, सटीक अंश सुना सके, तो लेफ्ट-टू-राइट (LTR) ट्रेनिंग अधिक प्रभावी है।
यदि आप फिल-इन-द-मिडल (FIM) ट्रेनिंग का उपयोग करते हैं, तो मॉडल छोटे टुकड़ों या आंशिक मिलान को याद रखने में बेहतर हो जाता है, लेकिन वह उस स्मृति को सक्रिय करने के लिए टेक्स्ट की शुरुआत पर बहुत अधिक निर्भर रहता है।

शोधकर्ताओं ने यह भी नोट किया कि यदि आप केवल एक विशिष्ट तरीके से मॉडल का परीक्षण करते हैं (जैसे केवल लंबे वाक्यों या केवल छोटे अंशों का परीक्षण), तो आप इन महत्वपूर्ण अंतरों को मिस कर सकते हैं। यह मछली की तैरने की क्षमता को केवल इस आधार पर आंकने जैसा है कि वह पानी से बाहर कितनी अच्छी तरह कूदती है; उसकी असली प्रकृति को समझने के लिए आपको उसे अलग-अलग तरीकों से टेस्ट करना होगा।

तकनीकी सारांश: फिल-इन-द-मिडल (Fill-in-the-Middle) प्रीट्रेनिंग की मेमोराइजेशन डायनेमिक्स

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को ज्ञात है कि वे अपने ट्रेनिंग डेटा को हूबहू (verbatim) दोहराते हैं, जिसमें निजी जानकारी और कॉपीराइट टेक्स्ट भी शामिल है। हालांकि पुनरावृत्ति (repetition) मेमोराइजेशन का एक प्राथमिक संकेतक है, लेकिन प्रीट्रेनिंग उद्देश्यों का इस घटना पर विशिष्ट प्रभाव अभी भी कम खोजा गया है। मानक कॉज़ल लैंग्वेज मॉडल्स लेफ्ट-टू-राइट (LTR) ऑब्जेक्टिव का उपयोग करते हैं, जो केवल पूर्ववर्ती संदर्भ (preceding context) के आधार पर टोकन की भविष्यवाणी करते हैं। इसके विपरीत, फिल-इन-द-मिडल (FIM) एक व्यापक रूप से उपयोग किया जाने वाला ऑब्जेक्टिव है जो इन्फिलिंग क्षमताओं (जैसे, Code Llama, StarCoder में) के लिए है, जहाँ सेंटिनल टोकन्स द्वारा अलग किए गए प्रिफिक्स (prefix) और सफिक्स (suffix) संदर्भों का उपयोग करके एक लक्षित मध्य स्पैन (middle span) की भविष्यवाणी की जाती है। यह शोध इस बात की जांच करता है कि FIM ऑब्जेक्टिव, मानक LTR ट्रेनिंग की तुलना में वर्बेटिम मेमोराइजेशन की गतिशीलता को कैसे बदलता है, विशेष रूप से यह पूछते हुए कि क्या FIM निकाले गए स्पैन (extracted spans) के संभाव्यता वितरण (probability distribution), संदर्भ (प्रिफिक्स बनाम सफिक्स) की भूमिका, और पुनरावृत्ति गणनाओं (repetition counts) पर निर्भरता को बदलता है।

कार्यप्रणाली (Methodology)
लेखक समान डेटा स्रोतों और आर्किटेक्चर पर प्रशिक्षित मैच किए गए Llama 3.2 मॉडल्स (3B और 1B पैरामीटर स्केल) की तुलना करने वाला एक नियंत्रित अध्ययन करते हैं।

डेटा निर्माण: ट्रेनिंग कॉर्पस FineWeb (100B टोकन) और प्रोजेक्ट गुटेनबर्ग (Project Gutenberg) के एक नियंत्रित उपसमुच्चय (subset) को जोड़ता है। मेमोराइजेशन प्रभावों को अलग करने के लिए, गुटेनबर्ग अंशों को प्री-मेमोराइज्ड या आउटलायर विंडोज़ को हटाने के लिए फ़िल्टर किया गया था और फिर 12 "रिपीटिशन बकेट्स" में विभाजित किया गया, जो 1 से 128 एक्सपोजर तक विस्तृत हैं।
ट्रेनिंग रिजीम्स: एक ही डेटा से दो कॉर्पस बनाए गए। LTR कॉर्पस ने मानक ऑटो-रिग्रेसिव क्रम बनाए रखा। FIM कॉर्पस ने सेंटिनल टोकन्स का उपयोग करके उदाहरणों को prefix–suffix–middle फॉर्मेट में पुनर्गठित किया, जिसमें डॉक्यूमेंट-लेवल एक्सपोजर सुनिश्चित करने के लिए रैंडम स्प्लिट पॉइंट्स का उपयोग किया गया। मॉडल्स को एक एपोक (~103B टोकन) के लिए प्रशिक्षित किया गया जिसमें 95%/5% FineWeb/Gutenberg का अनुपात था।
मूल्यांकन:
- डाउनस्ट्रीम परफॉरमेंस: मेमोराइजेशन अंतर सामान्य क्षमता अंतराल के कारण न हों, यह सुनिश्चित करने के लिए LM Evaluation Harness के 8 कार्यों पर मूल्यांकन किया गया।
- प्रिफिक्स-ओनली प्रोबिंग: मॉडल्स को 32-टोकन लक्षित स्पैन की भविष्यवाणी करने के लिए 100 प्रिफिक्स टोकन के साथ क्वेरी किया गया। मेट्रिक्स में सटीक निष्कर्षण संभावना ( $p_z$ ) और ROUGE-L स्कोर शामिल थे।
- नेटिव FIM प्रोबिंग: मॉडल्स को उनके नेटिव FIM फॉर्मेट में क्वेरी किया गया, जिसमें प्रिफिक्स और सफिक्स संदर्भ का अनुपात (जैसे, 100/0, 50/50, 0/100) बदला गया, ताकि प्रत्येक पक्ष के योगदान को निर्धारित किया जा सके।
- अटेंशन एनालिसिस: यह समझने के लिए कि मॉडल्स प्रिफिक्स, सफिक्स और पहले से उत्पन्न टारगेट टोकन्स के बीच ध्यान (focus) कैसे आवंटित करते हैं, अटेंशन वेट्स का विश्लेषण किया गया।

मुख्य योगदान और परिणाम
अध्ययन FIM और LTR मॉडल्स के लिए विशिष्ट मेमोराइजेशन प्रोफाइल प्रकट करता है:

विभेदक निष्कर्षण प्रोफाइल (Divergent Extraction Profiles):
- LTR मॉडल्स: "हेवी-टेल्ड" (heavy-tailed) वितरण प्रदर्शित करते हैं। वे लंबे, सटीक निरंतरता (continuations) को उच्च आत्मविश्वास के साथ असाइन करने की अधिक संभावना रखते हैं। फलस्वरूप, LTR मॉडल्स सभी स्तरों पर उच्च दर से स्ट्रिक्ट एक्सैक्ट एक्सट्रैक्शन ( $p_z \ge 0.1\%$ ) प्राप्त करते हैं।
- FIM मॉडल्स: संभाव्यता द्रव्यमान (probability mass) को आंशिक पुनर्निर्माण (partial reconstructions) के व्यापक विस्तार में वितरित करते हैं। हालांकि वे सख्त सटीक मानदंडों के तहत कम विंडोज़ निकालते हैं, वे मजबूत हाई-ओवरलैप रिकवरी (ROUGE-L) और उच्च top-k सपोर्ट रेट प्रदर्शित करते हैं, विशेष रूप से छोटे स्पैन या उच्च पुनरावृत्ति गणनाओं के लिए।
- पुनरावृत्ति गतिशीलता: LTR निष्कर्षण पुनरावृत्तियों के बढ़ने के साथ घटते प्रतिफल (लॉगैरिद्मिक ग्रोथ) दिखाता है। FIM निष्कर्षण पुनरावृत्तियों के साथ अधिक रैखिक रूप से बढ़ता है। हालांकि, निष्कर्षण दरों में LTR को पछाड़ने के लिए आवश्यक स्पैन की लंबाई, लक्षित स्पैन की लंबाई के साथ बढ़ती है; लंबे स्पैन LTR के हेवी-टेल्ड वितरण को अनुकूल बनाते हैं।
नेटिव FIM में संदर्भ निर्भरता:
- इस अंतर्ज्ञान के विपरीत कि FIM दोनों पक्षों का समान रूप से उपयोग करता है, प्रिफिक्स संदर्भ मेमोराइजेशन का प्रमुख चालक है।
- नेटिव FIM प्रोबिंग से पता चलता है कि जैसे-जैसे संदर्भ बजट सफिक्स से प्रिफिक्स की ओर बढ़ता है, मेमोराइजेशन सपोर्ट निरंतर (monotonically) सुधरता है।
- वास्तविक प्रिफिक्स को डिस्ट्रैक्टर स्पैन से बदलने पर मेमोराइजेशन लगभग समाप्त हो जाता है, जबकि सफिक्स को बदलने का प्रभाव काफी कम होता है। यह इंगित करता है कि FIM ट्रेनिंग में भी, वर्बेटिम रिकॉल प्रिफिक्स संदर्भ में मजबूती से एंकर होता है, जो LTR मॉडल्स के समान है।
अटेंशन मैकेनिज्म:
- FIM मॉडल्स LTR मॉडल्स की तुलना में प्रिफिक्स को अधिक और पहले से देखे गए टारगेट टोकन्स को कम अटेंशन देते हैं।
- जब प्रिफिक्स संदर्भ कम होता है, तो FIM मॉडल्स टारगेट स्पैन के पूर्ववर्ती टोकन्स पर अधिक ध्यान देकर क्षतिपूर्ति करते हैं, लेकिन यह वास्तविक प्रिफिक्स द्वारा प्रदान की गई मेमोराइजेशन स्ट्रेंथ को पूरी तरह से रिकवर नहीं कर पाता है।

महत्व और दावे
यह पेपर दावा करता है कि प्रीट्रेनिंग ऑब्जेक्टिव मौलिक रूप से मेमोराइजेशन के संचय (accumulation) को आकार देता है। हालांकि FIM को इन्फिलिंग उपयोगिता में सुधार के लिए डिज़ाइन किया गया है, यह केवल LTR मेमोराइजेशन में सफिक्स संदर्भ "जोड़ता" नहीं है; बल्कि, यह एक अलग मेमोराइजेशन प्रोफाइल बनाता है जहाँ:

मेमोराइजेशन शुरू में धीरे-धीरे संचित होता है लेकिन उच्च पुनरावृत्ति गणनाओं पर शॉर्ट-स्पैन निष्कर्षण में LTR प्रदर्शन को पार कर सकता है।
LTR मेमोराइजेशन की "हेवी-टेल्ड" प्रकृति (लंबे सटीक मिलान को प्राथमिकता देना) को FIM में एक व्यापक वितरण (आंशिक मिलान को प्राथमिकता देना) द्वारा बदल दिया जाता है।
महत्वपूर्ण रूप से, यह अध्ययन दर्शाता है कि केवल एक स्पैन लेंथ या एक प्रोबिंग फॉर्मेट (जैसे, प्रिफिक्स-ओनली) का उपयोग करके मेमोराइजेशन का मूल्यांकन करने से महत्वपूर्ण बारीकियां छूट सकती हैं। एक मॉडल स्ट्रिक्ट एक्सैक्ट एक्सट्रैक्शन के तहत मेमोराइजेशन के प्रति कम प्रोन लग सकता है, लेकिन FIM प्रोबिंग के तहत हाई-ओवरलैप रिकवरी के प्रति अत्यधिक प्रोन हो सकता है।

लेखक निष्कर्ष निकालते हैं कि इन्फिलिंग क्षमताओं वाले मॉडल्स के लिए मेमोराइजेशन जोखिम समान नहीं हैं; वे प्रिफिक्स संदर्भ में एंकर होते हैं लेकिन निष्कर्षण ज्यामिति (extraction geometry) और पुनरावृत्ति इतिहास के आधार पर अलग-अलग रूप से प्रकट होते हैं। यह सुझाव देता है कि इन्फिलिंग-क्षम मॉडल्स के लिए डेटा क्यूरेशन और मेमोराइजेशन ऑडिट को केवल LTR-आधारित मेट्रिक्स पर निर्भर रहने के बजाय इन विशिष्ट डायनेमिक्स को ध्यान में रखना चाहिए।

सीमाएं
लेखक नोट करते हैं कि उनका अध्ययन फ्रंटियर-स्केल मॉडल्स (3B और 1B पैरामीटर) तक सीमित है और इसका अनुमान बड़े फ्रंटियर मॉडल्स पर नहीं लगाया जा सकता है। पुनरावृत्ति गणना 128 पर सीमित है, जो एसिम्प्टोटिक लिमिट्स (asymptotic limits) के विश्लेषण को रोकता है। इसके अलावा, FIM उदाहरणों के रैंडम डिकम्पोजिशन के कारण, अध्ययन विशिष्ट प्रोब्ड स्पैन के लिए सटीक एक्सपोजर को ट्रैक नहीं कर सकता है, जो विशिष्ट ट्रेनिंग इंस्टेंस के सूक्ष्म एट्रीब्यूशन (fine-grained attribution) को सीमित करता है।

1. "हैवी टेल" (भारी पूंछ) बनाम "स्टेडी क्लाइंबर" (लगातार चढ़ने वाला)

2. प्रिफिक्स (शुरुआत) का "एंकर" (लंगर)

3. अंतर क्यों है?

मुख्य निष्कर्ष

इसी तरह के और पेपर