💻 computer science

Foresight Is Not Enough: Sentence-Level Future Signals, Self-Loop Hard Negatives, and the Calibration Gap in Small Language Models

यह शोध पत्र यह प्रदर्शित करता है कि जबकि ForesightLM-v2 मॉडल सफलतापूर्वक एक स्थिर वाक्य-स्तरीय भविष्य के पूर्वानुमान संकेत को सीख लेता है, यह प्रतिनिधित्व जनरेशन व्यवहार को सीधे नियंत्रित करने में विफल रहता है, जो यह प्रकट करता है कि इसके स्पष्ट लाभ मुख्य रूप से सीमान्तिक पुनर्रैंकिंग (semantic reranking) से उत्पन्न होते हैं न कि सीखे गए भविष्य के शब्द से, और यह छोटे भाषा मॉडलों में सीखे गए निरूपणों और कैलिब्रेटेड व्यवहार संबंधी परिणामों के बीच एक महत्वपूर्ण अंतर को उजागर करता है।

मूल लेखक: Ahmet Rıfat Öztürk, Yağız Ekrem Dalar, Ömer Faruk Aksoy, Nedim Mutlu Sezer, Feyzi Arda Salihoğlu

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmet Rıfat Öztürk, Yağız Ekrem Dalar, Ömer Faruk Aksoy, Nedim Mutlu Sezer, Feyzi Arda Salihoğlu

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास फॉरेसाइट (Foresight) नाम का एक नन्हा, सुपर-स्मार्ट रोबोट लेखक है। यह रोबोट कहानियाँ लिखने के लिए प्रशिक्षित है, लेकिन इसमें एक विशेष ट्रिक है: इसे वर्तमान वाक्य लिखने से पहले ही यह अनुमान लगाने के लिए सिखाया गया है कि अगला वाक्य किस बारे में होना चाहिए। बड़ा सवाल जो शोधकर्ताओं ने पूछा था वह था: "क्या यह 'आगे की ओर झांकना' वास्तव में रोबोट को बेहतर कहानियाँ लिखने में मदद करता है, या यह सिर्फ एक शानदार पार्टी ट्रिक है जिससे कोई फर्क नहीं पड़ता?"

जो उत्तर उन्हें मिला वह थोड़ा ट्विस्ट भरा है: रोबोट ने वह ट्रिक सीखी तो थी, लेकिन उसने बेहतर लिखने के लिए वास्तव में उसका उपयोग नहीं किया।

"क्रिस्टल बॉल" जो काम नहीं आई

फॉरेसाइट को एक ऐसे छात्र के रूप में सोचें जिसके पास एक क्रिस्टल बॉल है। क्लास के दौरान (प्रशिक्षण के दौरान), शिक्षक छात्र को एक वाक्य दिखाते हैं, और छात्र अगली चीज़ का अनुमान लगाने के लिए अपनी क्रिस्टल बॉल का उपयोग करता है। छात्र इसमें बहुत माहिर हो जाता है! वे एक वाक्य को देखकर कह सकते हैं, "मुझे पता है आगे क्या होने वाला है!" पूरे आत्मविश्वास के साथ। शोधकर्ताओं ने इसे मापा और पाया कि क्रिस्टल बॉल वास्तव में काम कर रही थी: रोबोट का "भविष्य का अनुमान" स्कोर लगातार सकारात्मक था, जो अभ्यास के साथ 0.0262 से बढ़कर एक मजबूत 0.0614 हो गया।

लेकिन यहाँ एक पेंच है: जब रोबोट को वास्तव में एक कहानी लिखनी होती थी, तो उस क्रिस्टल बॉल ने उसे सबसे अच्छा अगला वाक्य चुनने में मदद नहीं की। यह बिल्कुल वैसा ही था जैसे किसी के पास एक जीपीएस (GPS) हो जो मंजिल तो जानता है, लेकिन ड्राइवर बस उसे अनदेखा कर देता है और एक रैंडम मोड़ ले लेता है।

"मैजिक पूल" बनाम "मैजिक स्कोर"

इसकी जाँच करने के लिए, शोधकर्ताओं ने एक खेल सेट किया। रोबोट को एक बार में एक वाक्य लिखने देने के बजाय, उन्होंने उसे पाँच अलग-अलग संभावित अगले वाक्यों का एक समूह (एक "पूल") बनाने के लिए कहा। फिर, उन्हें उनमें से सबसे अच्छा चुनना था।

उन्होंने चुनने के दो तरीके आजमाए:

"फ्यूचर" तरीका: रोबोट के विशेष क्रिस्टल बॉल स्कोर का उपयोग करके विजेता को चुनना।
"रैंडम" तरीका: बस रैंडम नंबरों या बदले हुए (shuffled) स्कोर के आधार पर विजेता चुनना।

चौंकाने वाला परिणाम: इससे कोई फर्क नहीं पड़ा कि उन्होंने किस तरह से चुना! "फ्यूचर" तरीका और "रैंडम" तरीका लगभग एक ही तरह के वाक्य चुन रहे थे। वास्तव में, 120 अलग-अलग कहानी के संकेतों (prompts) में से, क्रिस्टल बॉल को पूरी तरह से हटाने से केवल 2 मामलों में ही रोबोट का चुनाव बदला।

शोधकर्ताओं ने महसूस किया कि रोबोट वास्तव में अपने "भविष्य के दर्शन" का उपयोग निर्णय लेने के लिए नहीं कर रहा था। इसके बजाय, सुधार केवल इसलिए हुआ क्योंकि उसके पास चुनने के लिए पाँच विकल्प मौजूद थे। यह बिल्कुल वैसा ही है जैसे यदि आप टोकरी में से सबसे अच्छा सेब चुनने की कोशिश कर रहे हों। यदि आप एक के बजाय पाँच सेब देखते हैं, तो आप लगभग हमेशा एक बेहतर सेब चुनेंगे, भले ही आपके पास यह बताने के लिए कोई विशेष "सेब-बोध" न हो कि कौन सा सबसे अच्छा है। "फ्यूचर सिग्नल" बस एक सहयात्री की तरह साथ चल रहा था।

"हार्ड नेगेटिव्स" और लूप

रोबोट को "लूप्स" (loops) से बचने के लिए भी प्रशिक्षित किया गया था—ऐसे दोहराव वाले, उबाऊ वाक्य जहाँ वह बार-बार एक ही बात कहता रहता है। इसे सिखाने के लिए, शोधकर्ताओं ने रोबोट से उसके अपने खराब, लूप वाले वाक्य बनवाए और उसे कहा, "इन्हें मत चुनना!" प्रशिक्षण के दौरान यह अच्छी तरह काम कर गया; रोबोट अच्छे वाक्यों को बुरे, लूप वाले वाक्यों से अलग करना सीख गया।

हालाँकि, जब वास्तविक रूप से लिखने की बारी आई, तो रोबोट को शब्दों को दोहराने से रोकने के लिए थोड़े अतिरिक्त धक्के की आवश्यकता थी। शोधकर्ताओं ने पाया कि शब्दों को दोहराने के लिए एक साधारण "दंड" (lexical penalty) जोड़ने से यह बहुत बेहतर काम करता है। इस दंड ने शब्दों के दोहराव को काफी कम कर दिया, जिससे साबित हुआ कि कभी-कभी एक जटिल भविष्यवाणी से बेहतर एक सरल नियम होता है।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि केवल भविष्य का ज्ञान होना ही पर्याप्त नहीं है। सिर्फ इसलिए कि एक मॉडल भविष्य की भविष्यवाणी करना सीख जाता है, इसका मतलब यह नहीं है कि वह उस ज्ञान का उपयोग बेहतर कहानियाँ लिखने के लिए करेगा। शोधकर्ताओं ने जो सुधार देखे, वे मुख्य रूप से इसलिए थे क्योंकि उन्होंने रोबोट को चुनने के लिए अधिक विकल्प दिए और दोहराव को रोकने के लिए सरल नियमों का उपयोग किया, न कि इसलिए कि रोबोट का "फ्यूचर-साइट" (भविष्य देखने की शक्ति) असली नायक था।

शोधकर्ता बहुत सावधानी से कहते हैं कि यह रोबोट के दिमाग की विफलता नहीं है—उसने निश्चित रूप से सिग्नल को सीखा! लेकिन "इंटरफेस" (जिस तरह से रोबोट तय करता है कि उसे क्या लिखना है) उस सिग्नल को सुनने के लिए कैलिब्रेटेड नहीं था। यह एक याद दिलाता है कि एआई (AI) की दुनिया में, एक कौशल सीखना और वास्तव में उस कौशल का उपयोग करके बेहतर काम करना, दो बहुत अलग चीजें हैं। रोबोट रास्ता जानता है, लेकिन उसे वहाँ पहुँचने के लिए एक बेहतर मानचित्र की आवश्यकता है।

तकनीकी सारांश: दूरदर्शिता पर्याप्त नहीं है (Foresight Is Not Enough)

समस्या विवरण

ऑटोरिग्रेसिव लैंग्वेज मॉडल्स (LMs) स्थानीय अगले-टोकन की संभावना (next-token likelihood) को अनुकूलित करते हैं, जिससे अक्सर ऐसी जनरेशन विफलताएं होती हैं जो केवल टोकन-स्थानीय नहीं होतीं, जैसे कि अर्थ संबंधी पुनरावृत्ति (semantic repetition), प्रॉम्प्ट ड्रिफ्ट (prompt drift), या विमर्श को आगे बढ़ाने में विफलता। हालांकि पूर्व कार्य यह सुझाव देते हैं कि मॉडल भविष्य के टेक्स्ट का पूर्वानुमान लगाने वाले प्रतिनिधित्व (representations) सीख सकते हैं (जैसे कि skip-thought vectors या contrastive predictive coding के माध्यम से), एक महत्वपूर्ण अंतराल बना हुआ है: क्या सीखा गया भविष्य-उन्मुख प्रतिनिधित्व वास्तव में जनरेशन के व्यवहार संबंधी सुधारों को संचालित करता है?

यह शोध "रिप्रेजेंटेशन-टू-बिहेवियर गैप" (representation-to-behavior gap) की जांच करने के लिए ForesightLM-v2 का उपयोग करता है, जो कि लगभग 82M-पैरामीटर वाला एक ऑटोरिग्रेसिव मॉडल है। केंद्रीय परिकल्पना यह है कि भले ही एक मॉडल वास्तविक भविष्य के वाक्यों और निम्न-गुणवत्ता वाले निरंतरता (continuations) के बीच अंतर करने वाले सिग्नल को सफलतापूर्वक सीख ले, फिर भी यह सिग्नल मल्टी-कैंडिडेट सैंपलिंग और जेनेरिक रिरैंकिंग जैसे सरल तंत्रों की तुलना में जनरेशन की गुणवत्ता का प्राथमिक चालक नहीं हो सकता है।

कार्यप्रणाली (Methodology)

मॉडल आर्किटेक्चर और उद्देश्य

ForesightLM-v2 एक DistilGPT-2 स्केल के कॉज़ल लैंग्वेज मॉडल पर आधारित है। यह मानक नेक्स्ट-टोकन लैंग्वेज मॉडलिंग के साथ दो सहायक घटकों को जोड़ता है:

सेंटेंस-लेवल फ्यूचर प्रेडिक्शन हेड: एक ट्रेन करने योग्य प्रोजेक्शन हेड ( $P_\theta$ ) संदर्भ के बाउंड्री रिप्रेजेंटेशन ( $h_c$ ) को एक फ्यूचर वेक्टर ( $\hat{z}$ ) में मैप करता है। यह वेक्टर एक फ्रोजन सेंटेंस एनकोडर ( $E$ ) का उपयोग करके देखे गए भविष्य के वाक्य ( $s^+$ ) से प्राप्त एक फ्रोजन सिमेंटिक टारगेट ( $z^+$ ) के साथ संरेखित (aligned) होता है।
सेल्फ-लूप हार्ड नेगेटिव्स: निम्न-गुणवत्ता वाले आउटपुट के लिए पर्यवेक्षण (supervision) प्रदान करने हेतु, मॉडल अपने द्वारा उत्पन्न "लूप-जैसे" निरंतरता (continuations) को खोजता है। एक मार्जिन-आधारित लॉस ( $L_{hn}$ ) मॉडल को वास्तविक भविष्य ( $s^+$ ) के प्रतिनिधित्व को इन स्वयं-जनित हार्ड नेगेटिव्स ( $s^-$ ) से अलग करने के लिए मजबूर करता है।

कुल लॉस फंक्शन है:
$L = L_{LM} + \lambda_f L_{future} + \lambda_h L_{hn}$
जहाँ $L_{LM}$ मानक लैंग्वेज मॉडलिंग लॉस है, और $\lambda_f, \lambda_h$ वेटिंग कोएफिशिएंट्स (weighting coefficients) हैं।

प्रयोगात्मक डिजाइन और नियंत्रण (Experimental Design and Controls)

यह अध्ययन अधिक उम्मीदवारों की सैंपलिंग के लाभों से सीखे गए फ्यूचर सिग्नल के प्रभाव को अलग करने के लिए एक कठोर फिक्स्ड-पूल इवैल्यूएशन प्रोटोकॉल का उपयोग करता है।

डेटासेट: WikiText-103 (तीन सीड्स: 7, 42, 123) और WritingPrompts (सेंटी चेक के रूप में सीड 42)।
कैंडिडेट पूल: प्रत्येक प्रॉम्प्ट के लिए, पांच कैंडिडेट निरंतरता (continuations) का एक निश्चित पूल बनाया जाता है।
सिलेक्शन रणनीतियाँ: यह शोध इसी फिक्स्ड पूल पर कई सेलेक्टर की तुलना करता है:
- लर्नड-फ्यूचर रिरैंकिंग: सिलेक्शन फॉर्मूला में फ्यूचर सिमिलैरिटी स्कोर ( $f(y)$ ) का उपयोग करता है।
- जेनेरिक रिरैंकिंग: प्रॉम्प्ट सिमिलैरिटी, सिमेंटिक रिपिटिशन, प्रोग्रेशन और लेंथ पर आधारित स्कोर का उपयोग करता है, लेकिन इसमें फ्यूचर टर्म शामिल नहीं है।
- एब्लेशन (Ablations): रैंडम फ्यूचर स्कोर, शेफल्ड कंट्रोल्स, और एक "नो-फ्यूचर" वेरिएंट।
- ट्रेनिंग-फ्री बेसलाइन: बिना किसी फ्यूचर-हेड ट्रेनिंग के एक बेस-मॉडल रिरैंकर।
मेट्रिक्स: ऑटोमैटिक डायग्नोस्टिक्स जिनमें प्रॉम्प्ट सिमिलैरिटी (PSim), टॉपिक ड्रिफ्ट, प्रोग्रेशन-बैंड स्कोर (Prog), लेक्सिकल लूप (LexLoop), और सिमेंटिक लूप रेट्स शामिल हैं।

मुख्य परिणाम (Key Results)

1. ट्रेनिंग-साइड सिग्नल स्थिर है

मॉडल सफलतापूर्वक एक मापने योग्य फ्यूचर सिग्नल सीखता है। तीन WikiText-103 सीड्स में, होल्ड-आउट हार्ड-नेगेटिव मार्जिन लगातार पॉजिटिव ( $0.0599 \pm 0.0015$ ) रहता है। यह सिग्नल ट्रेनिंग के दौरान धीरे-धीरे उभरता है, जो 250 स्टेप्स पर 0.0262 के गैप से बढ़कर 1000 स्टेप्स पर 0.0614 हो जाता है।

2. जनरेशन गेन्स कैंडिडेट सिलेक्शन द्वारा संचालित हैं, न कि फ्यूचर सिग्नल द्वारा

पांच कैंडिडेट के फिक्स्ड पूल पर मूल्यांकन करने पर:

अविभेदित प्रदर्शन (Indistinguishable Performance): "लर्नड-फ्यूचर" रिरैंकर, जेनेरिक रिरैंकिंग, रैंडम फ्यूचर-स्कोर कंट्रोल्स और शेफल्ड कंट्रोल्स के लगभग समान प्रदर्शन करता है।
एब्लेशन प्रभाव: सिलेक्शन स्कोर से सीखे गए फ्यूचर टर्म को हटाने से केवल 120 में से 2 चुने गए निरंतरता (continuations) बदलते हैं।
स्ट्रॉन्ग कॉन्फाउंड (Strong Confound): एक ट्रेनिंग-फ्री बेस-मॉडल रिरैंकर (जो केवल बेस मॉडल के लॉजिट्स और जेनेरिक ह्यूरिस्टिक्स का उपयोग करता है) कई सिमेंटिक डायग्नोस्टिक्स पर ForesightLM-v2 से बेहतर प्रदर्शन करता है।
निष्कर्ष: जनरेशन की गुणवत्ता में कुल सुधार को कैंडिडेट की विविधता और जेनेरिक सिमेंटिक रिरैंकिंग द्वारा समझाया जा सकता है, न कि विशिष्ट सीखे गए फ्यूचर सिग्नल द्वारा।

3. कैलिब्रेशन गैप (The Calibration Gap)

हालांकि फ्यूचर स्कोर रैंडम नहीं है (यह जनसंख्या स्तर पर प्रॉम्प्ट एंकरिंग और प्रोग्रेशन के साथ सहसंबंध रखता है), यह विदिन-प्रॉम्प्ट निर्णय लेने के लिए कमजोर रूप से कैलिब्रेटेड (weakly calibrated) है।

फ्यूचर-ओनली सेलेक्टर, प्रॉम्प्ट एंकरिंग और प्रोग्रेशन पर खराब प्रदर्शन करता है।
फ्यूचर स्कोर "ऑरेकल-बेस्ट" कैंडिडेट (पाँच में से सबसे अच्छा) को केवल 18.3% प्रॉम्प्ट्स के लिए टॉप-1 चॉइस के रूप में चुनता है।
फ्यूचर-स्कोर रैंकिंग के भीतर ऑरेकल-बेस्ट कैंडिडेट का औसत रैंक पाँच में से 2.87 और 3.31 के बीच है।

4. लेक्सिकल रिपिटिशन अलग किया जा सकता है

सिलेक्शन स्कोर में एक हल्का लेक्सिकल पेनल्टी जोड़ने से प्रोग्रेशन स्कोर को प्रभावित किए बिना सतह की पुनरावृत्ति (LexLoop) और सिमेंटिक-लूप दरों में काफी कमी आती है। यह सुझाव देता है कि लेक्सिकल डिजनरेशन को नियंत्रित करना, सिमेंटिक कैंडिडेट सिलेक्शन से एक अलग समस्या है।

महत्व और दावे (Significance and Claims)

इस शोध का प्राथमिक योगदान पद्धतिगत (methodological) है, न कि लॉन्ग-फॉर्म कोहेरेंस को हल करने का दावा। लेखक तर्क देते हैं कि दूरदर्शिता पर्याप्त नहीं है (foresight is not enough); एक भविष्य-उन्मुख प्रतिनिधित्व सीखना जनरेशन के व्यवहार संबंधी उपयोगिता को सुनिश्चित नहीं करता है।

रिप्रेजेंटेशन बनाम बिहेवियर: अध्ययन प्रदर्शित करता है कि एक मॉडल एक स्थिर, मापने योग्य सिग्नल सीख सकता है जो भविष्य के टेक्स्ट को सेल्फ-लूप नेगेटिव्स से अलग करता है, फिर भी वह उस सिग्नल को जनरेशन की गुणवत्ता के प्राथमिक चालक के रूप में उपयोग करने में विफल रहता है।
कैलिब्रेशन गैप: एक सिमेंटिक सिग्नल के अस्तित्व और निर्णय लेने के लिए उसके कैलिब्रेशन के बीच एक स्पष्ट अंतर है। वर्तमान व्यवहारिक इंटरफ़ेस (scoring function) फ्यूचर सिग्नल को निर्णायक कारक नहीं बनाता है।
नियंत्रणों का महत्व: पेपर इस बात पर जोर देता है कि बिना फिक्स्ड-पूल कंट्रोल्स और स्ट्रॉन्ग नेगेटिव बेसलाइन्स (जैसे रैंडम स्कोर या ट्रेनिंग-फ्री रिरैंकर्स) के, शोध इस जोखिम में रहता है कि वे लाभों को सीखे गए सिग्नल के रूप में attribuute कर दें, जबकि वे वास्तव में कैंडिडेट विविधता या जेनेरिक रिरैंकिंग के प्रभाव होते हैं।
दायरा (Scope): ForesightLM-v2 को एक स्टैंडअलोन समाधान के रूप में नहीं, बल्कि एक नियंत्रित केस स्टडी के रूप में प्रस्तुत किया गया है जो छोटे लैंग्वेज मॉडल्स के लिए कैलिब्रेटेड व्यवहारिक इंटरफेस और लेक्सिकल डिजनरेशन के अलग उपचार की आवश्यकता को रेखांकित करता है।

लेखक निष्कर्ष निकालते हैं कि रिप्रेजेंटेशन-आधारित जनरेशन विधियों के लिए, व्यवहारिक इंटरफ़ेस को एक "प्रथम-श्रेणी के अध्ययन के विषय" (first-class object of study) के रूप में माना जाना चाहिए, और किसी सिग्नल के अस्तित्व का प्रमाण, विश्वसनीय विकल्पों से परे उसके व्यवहार को बदलने के प्रमाण से कमजोर है।