← नवीनतम पेपर
🤖 AI

Lost in Context: Addressing Context Anxiety in Large Language Models

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में "कॉन्टेक्स्ट एंग्जायटी" (संदर्भ चिंता) की पहचान और व्यवस्थित अध्ययन करता है, यह प्रकट करते हुए कि तर्क संबंधी विफलताएं अक्सर क्षमता की कमी के बजाय समयपूर्व आत्म-संदेह और गलत टोकन अनुमान से उत्पन्न होती हैं, और यह प्रदर्शित करता है कि मॉडल्स को उनकी अपनी सीमाओं का बेहतर आकलन करना सिखाकर प्रदर्शन में सुधार किया जा सकता है।

मूल लेखक: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

प्रकाशित 2026-07-27
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली जासूस हैं जो दुनिया की सबसे जटिल गुत्थियों को सुलझा सकते हैं। आपके पास एक सुपर-पावर्ड नोटबुक है जिसमें लाखों पन्नों के सुराग समा सकते हैं। लेकिन यहाँ एक मोड़ है: कभी-कभी, भले ही रहस्य सुलझाने योग्य हो और आपकी नोटबुक में पर्याप्त जगह हो, आप अचानक लिखना बंद कर देते हैं। आप अपना पेन नीचे रख देते हैं, अपना सिर हिलाते हैं, और कहते हैं, "यह मेरे नोटबुक के लिए बहुत बड़ा है। मैं इसे पूरा नहीं कर सकता।" आपने वास्तव में जगह खत्म नहीं की थी; बस आपने ऐसा सोचा था। यह कुछ वैसा ही है जैसा आज के सबसे उन्नत कंप्यूटर दिमागों के साथ होता है, जिन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है। ये AI सिस्टम हैं जिन्हें टेक्स्ट की विशाल मात्रा पर प्रशिक्षित किया गया है जो गणित की समस्याओं को हल करने, कोड लिखने और जटिल रणनीतियों की योजना बनाने में तर्क कर सकते हैं। लंबे समय तक, वैज्ञानिकों ने सोचा कि ये AI केवल तब विफल होते हैं जब कोई समस्या उनके समझने के लिए बहुत कठिन होती है। लेकिन एक नया अध्ययन बताता है कि कभी-कभी, AI इसलिए विफल नहीं होता क्योंकि वह मूर्ख है; बल्कि इसलिए विफल होता है क्योंकि वह अपनी सीमाओं से डर जाता है।

"लॉस्ट इन कॉन्टेक्स्ट" नामक यह शोध पत्र एक अजीब नई समस्या की गहराई में जाता है जिसे "कॉन्टेक्स्ट एंग्जायटी" (संदर्भ संबंधी चिंता) कहा जाता है। यह पता चला है कि ये AI मॉडल अक्सर अपने "नोटबुक" (जिसे तकनीकी रूप से टोकन लिमिट कहा जाता है) में जगह खत्म होने के डर से घबरा जाते हैं, इससे पहले कि वे पहेली के सबसे कठिन हिस्सों को हल करने की कोशिश भी करें। शोधकर्ता जानना चाहते थे: क्या ये मॉडल इसलिए हार मान रहे हैं क्योंकि कार्य वास्तव में असंभव है, या वे केवल इस बात के डर से घबरा रहे हैं कि इसमें कितनी मेहनत लगेगी? इन मॉडलों के व्यवहार का अध्ययन करके, टीम ने पाया कि कई मॉडल वास्तव में यह अनुमान लगाने में बहुत खराब हैं कि एक समस्या में कितने प्रयास की आवश्यकता होगी। वे काम का अति-अनुमान लगाते हैं, डर जाते हैं, और जल्दी हार मान लेते हैं। अच्छी खबर? शोधकर्ताओं ने AI को "काउंसलिंग" देने का एक तरीका खोज निकाला है, उसे अपने कौशल पर भरोसा करना सिखाया और घबराना बंद करना सिखाया, जिससे वे बिना AI को बड़ा या अधिक स्मार्ट बनाए, समस्याओं को हल करने में बहुत बेहतर हो गए।

मशीन के भीतर का पैनिक अटैक

यह समझने के लिए कि क्या हो रहा है, आइए कल्पना करें कि AI एक मैराथन धावक है। अतीत में, हमने सोचा था कि यदि कोई धावक रुक जाता है, तो इसका कारण यह था कि दौड़ बहुत लंबी थी या उसके पैर बहुत थक गए थे। लेकिन इस अध्ययन ने पाया कि कभी-कभी, धावक इसलिए रुक जाता है क्योंकि वह फिनिश लाइन को देखता है और सोचता है, "ओह नहीं, वह 100 मील दूर है! मैं कभी वहां नहीं पहुँच पाऊंगा!" भले ही फिनिश लाइन वास्तव में केवल 5 मील दूर हो। धावक के पास खत्म करने की ऊर्जा है, लेकिन उसका आंतरिक मानचित्र गलत है, इसलिए वह समय से पहले ही हार मान लेता है।

शोधकर्ताओं ने इस विचार का परीक्षण एक क्लासिक पहेली का उपयोग करके किया जिसे टावर ऑफ हनोई कहा जाता है। तीन पेग्स (खूँटियों) और अलग-अलग आकार के डिस्क का एक ढेर कल्पना कीजिए। लक्ष्य पूरे ढेर को एक पेग से दूसरे पेग पर ले जाना है, सख्त नियमों का पालन करते हुए: आप एक बार में केवल एक डिस्क हिला सकते हैं, और आप कभी भी एक बड़ी डिस्क को छोटी डिस्क के ऊपर नहीं रख सकते। पेचीदा हिस्सा यह है कि जैसे-जैसे आप अधिक डिस्क जोड़ते हैं, आवश्यक चालों की संख्या विस्फोटक रूप से बढ़ती है। केवल 12 डिस्क के साथ, आपको 4,000 से अधिक चालों की आवश्यकता होती है। शोधकर्ताओं ने कई शीर्ष-स्तरीय AI मॉडलों को इन पहेलियों को हल करने के लिए कहा।

यहाँ चौंकाने वाली खोज हुई: कई सबसे स्मार्ट मॉडलों, जैसे क्लॉड सोनेट 3.7 और डीपसीक R1 ने कठिन पहेलियों को हल करने से इनकार कर दिया। लेकिन जब शोधकर्ताओं ने बारीकी से देखा कि उन्होंने क्यों इनकार किया, तो उन्होंने पाया कि मॉडल यह नहीं कह रहे थे कि "मुझे उत्तर नहीं पता।" इसके बजाय, वे ऐसी बातें कह रहे थे जैसे, "इसे लिखना बहुत लंबा है," या "मेरे पास जगह खत्म हो जाएगी।" वे इसलिए हार मान रहे थे क्योंकि उन्हें लगा कि समाधान उनके मेमोरी के लिए बहुत बड़ा होगा, भले ही पहेली वास्तव में उनकी सीमाओं के भीतर थी। शोधकर्ता इसे कॉन्टेक्स्ट एंग्जायटी कहते हैं। यह समय से पूर्व आत्म-संदेह का एक रूप है जहाँ AI मानता है कि वह काम पूरा नहीं कर सकता, इसलिए वह कोशिश भी नहीं करता।

AI का खराब गणित

AI इतना क्यों डर जाता है? शोध पत्र सुझाव देता है कि ऐसा इसलिए है क्योंकि मॉडल गणित में खराब हैं—विशेष रूप से, यह अनुमान लगाने में कि समाधान के लिए कितने "स्पेस" (या टोकन) की आवश्यकता होगी। शोधकर्ताओं ने मॉडलों से पूछा कि उन्हें एक समस्या को हल करने के लिए कितने शब्दों की आवश्यकता होगी। परिणाम हैरान करने वाले थे।

जिन मॉडलों ने चिंता (anxiety) दिखाई, उन्होंने आवश्यक स्थान का लगभग 24% तक अति-अनुमान (overestimate) लगाया। उन्हें लगा कि 100 शब्दों के उत्तर के लिए 124 शब्दों के स्थान की आवश्यकता होगी। क्योंकि उन्हें लगा कि कार्य बहुत बड़ा है, इसलिए वे घबरा गए और हार मान ली। दूसरी ओर, जिन मॉडलों में चिंता नहीं थी, उन्होंने स्थान का लगभग 19% तक कम-अनुमान (underestimate) लगाया। वे अधिक आशावादी थे, यह सोचते हुए, "हे, यह आसान है!" और उन्होंने वास्तव में प्रयास किया।

यह गलत अंशांकन (miscalibration) एक स्वयं-सिद्ध भविष्यवाणी बनाता है। यदि AI सोचता है कि कोई कार्य असंभव है क्योंकि वह "बहुत बड़ा" है, तो वह रुक जाता है। यदि वह सोचता है कि कार्य प्रबंधनीय है, तो वह चलता रहता है। अध्ययन में पाया गया कि यह चिंता केवल एक छोटी सी गड़बड़ी नहीं थी; इसके वास्तविक परिणाम थे। जब मॉडल चिंतित थे, तो वे समस्याओं को हल करने में 15% कम सटीक थे। इससे भी बुरा यह था कि जब वे किसी समस्या को सही ढंग से हल करने में सफल होते, तो उनके उत्तर 54% लंबे और कम कुशल होते थे। यह एक घबराए हुए छात्र की तरह है जो, स्पष्ट और संक्षिप्त निबंध लिखने के बजाय, समय और कागज बर्बाद करते हुए बहुत अधिक बोलता है क्योंकि उसे चिंता है कि वह पर्याप्त नहीं कर रहा है।

AI को शांत होना सिखाना

इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि शोधकर्ताओं ने केवल समस्या नहीं खोजी; उन्होंने एक इलाज भी खोज लिया। उन्होंने पूछा: क्या यह चिंता AI के मस्तिष्क का एक स्थायी हिस्सा है, या हम इसे कम घबराना सिखा सकते हैं?

इसका परीक्षण करने के लिए, उन्होंने सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि आपके पास एक छात्र है जो गणित से डरता है। उसे कठिन गणित की समस्याएं देने के बजाय, आप उसे अन्य छात्रों के उदाहरण दिखाते हैं जिन्होंने समान समस्याओं को शांति और आत्मविश्वास के साथ हल किया। आप उन्हें बताते हैं, "देखो, तुम बिना घबराए यह कर सकते हो।"

शोधकर्ताओं ने टावर ऑफ हनोई पहेली के सही समाधानों का एक डेटासेट लिया लेकिन उनमें से उन सभी को हटा दिया जिनमें चिंता के लक्षण थे। फिर उन्होंने एक नए AI मॉडल को केवल इन शांत, आत्मविश्वासी उदाहरणों पर प्रशिक्षित किया। उन्होंने मॉडल को कोई नया तथ्य नहीं सिखाया या उसे बड़ा नहीं बनाया; उन्होंने बस उसे सोचने का एक नया तरीका सिखाया।

परिणाम? "इलाज किया गया" मॉडल अद्भुत था। उसने समय से पहले हार मानना बंद कर दिया। उसने सीखा कि वह काम पूरा कर सकता है।

  • नए मॉडल ने अपनी चिंता को 50% से अधिक कम कर दिया।
  • वह पहेलियों को हल करने में बहुत बेहतर हो गया, विशेष रूप से मध्यम-कठिनाई वाली पहेलियों में।
  • इसने इस नए आत्मविश्वास को एक पूरी तरह से अलग प्रकार की पहेली (ग्रिड पर सबसे छोटा रास्ता खोजना) में भी स्थानांतरित किया, जिससे पता चला कि यह केवल उत्तरों को रट नहीं रहा था बल्कि एक बेहतर रणनीति सीख रहा था।

भविष्य के लिए इसका क्या अर्थ है

यह शोध पत्र बताता है कि हम शायद AI के प्रदर्शन को गलत तरीके से देख रहे हैं। हम अक्सर सोचते हैं कि AI को बेहतर बनाने के लिए हमें बस इसे बड़ा बनाना होगा, इसे अधिक डेटा देना होगा, या इसे अधिक स्मार्ट बनाना होगा। लेकिन यह अध्ययन सुझाव देता है कि कभी-कभी, AI पहले से ही पर्याप्त स्मार्ट है; इसे बस अपने आत्मविश्वास को प्रबंधित करना सीखना होगा।

शोधकर्ताओं ने पाया कि "कॉन्टेक्स्ट एंग्जायटी" एक व्यवहारिक आदत है, न कि मशीन के मस्तिष्क की एक कठोर सीमा। मॉडल को उनकी क्षमताओं का सटीक आकलन करने में मदद करके और उन्हें यह समझने में मदद करके कि कार्य वास्तव में कितना कठिन है, हम उन्हें बिना विशाल नए सुपरकंप्यूटरों की आवश्यकता के अधिक विश्वसनीय और कुशल बना सकते हैं। यह एक याद दिलाता है कि कृत्रिम बुद्धिमत्ता के लिए भी, कभी-कभी सबसे बड़ी बाधा समस्या स्वयं नहीं होती—बल्कि समस्या का डर होता है।

अंत में, यह शोध पत्र दिखाता है कि थोड़ी सी "थेरेपी" (या इस मामले में, शांत उदाहरणों पर सावधानीपूर्वक प्रशिक्षण) के साथ, AI मॉडल घबराना बंद करना, अपने कौशल पर भरोसा करना और उन समस्याओं को हल करना सीख सकते हैं जिन्हें वे पहले छूने से भी डरते थे। यह एक ऐसा AI बनाने की दिशा में एक छोटा लेकिन शक्तिशाली कदम है जो न केवल सोचना जानता है, बल्कि कठिन समय में चलते रहने का भी ज्ञान रखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →