तकनीकी सारांश: सभी सुइयों का मिलना आवश्यक नहीं है

समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) स्वायत्त एजेंटों के लिए वर्किंग मेमोरी के रूप में विशाल कॉन्टेक्स्ट विंडोज (1 मिलियन टोकन तक) का उपयोग करने की ओर बढ़ रहे हैं, वास्तविक दुनिया के परिदृश्यों में उनकी विश्वसनीयता अभी भी अपुष्ट है। वर्तमान मूल्यांकन विधियाँ, मुख्य रूप से एकल-तथ्य "नीडल-इन-अ-हेस्टैक" (NIAH) परीक्षण, वास्तविक दुनिया के साक्ष्यों की जटिलता को पकड़ने में विफल रहती हैं, जो अक्सर निरंतर (contiguous) होने के बजाय बिखरे हुए होते हैं। इसके अलावा, प्रोडक्शन एनवायरनमेंट तेजी से सख्त एंटी-हैलुसिनेशन (AH) प्रॉम्प्ट्स (जैसे, "मनगढ़ंत बातें न बनाएं") पर निर्भर करते हैं ताकि निष्ठा सुनिश्चित की जा सके, फिर भी कम निर्माण (fabrication) और वैध, अनुमान-आधारित प्रतिक्रियाओं के दमन के बीच का ट्रेड-ऑफ अच्छी तरह से समझ में नहीं आया है। यह शोध पत्र इस बात को समझने के अंतराल को संबोधित करता है कि कैसे तथ्य वितरण (fact distribution), कॉन्टेक्स्ट की लंबाई और सुरक्षा संबंधी बाधाएं मिलकर लॉन्ग-कॉन्टेक्स्ट LLMs में रिट्रीवल विफलता और रीजनिंग कोलैप्स (तर्क विफलता) का कारण बनती हैं।

कार्यप्रणाली (Methodology)

लेखक एक मॉडल-अज्ञेयवादी (model-agnostic), विस्तारित बेंचमार्किंग फ्रेमवर्क पेश करते हैं जिसे यथार्थवादी स्थितियों के तहत रिट्रीवल और रीजनिंग का परीक्षण करने के लिए डिज़ाइन किया गया है।

• कॉर्पस निर्माण: "पैरामेट्रिक मेमोरी लीकेज" (जहाँ मॉडल प्रीड-ट्रेन्ड ज्ञान के आधार पर उत्तर देते हैं न कि कॉन्टेक्स्ट के आधार पर) को समाप्त करने के लिए, अध्ययन में ऑनर डी बाल्ज़ाक की ला कोमेडी ह्यूमेन का उपयोग किया गया है। यह निरंतर काल्पनिक ब्रह्मांड सिंथेटिक, कहानी-संगत तथ्यों ("सुइयों") को इंजेक्ट करने की अनुमति देता है जिन्हें मॉडल को केवल प्रदान किए गए कॉन्टेक्स्ट से ही प्राप्त करना होता है। नैरेटिव सामंजस्य बनाए रखते हुए परिवर्तनशील कॉन्टेक्स्ट लंबाई उत्पन्न करने के लिए एक पीस-वाइज रिकर्सिव कॉन्टेक्स्ट कॉन्ट्रैक्शन विधि का उपयोग किया गया था।
• प्रायोगिक डिजाइन: यह फ्रेमवर्क चार आयामों का मूल्यांकन करता है: प्रभावी कॉन्टेक्स्ट लंबाई, तथ्य वितरण, बाधाओं के तहत हॉलुसिनेशन व्यवहार, और तुलनात्मक मॉडल प्रदर्शन।
  • प्रोटोकॉल A (यूनिफॉर्म स्वीप): विफलता सीमाओं (failure frontiers) को मैप करने के लिए कॉन्टेक्स्ट लंबाई (अधिकतम क्षमता का 10%–100%) और तथ्य गहराई (10%–100%) को बदलने वाला एक द्विविचरित (bivariate) स्वीप।
  • प्रोटोकॉल B (प्रोबेबिलिस्टिक डिस्ट्रीब्यूशन): कॉन्टेक्स्ट को 100% क्षमता पर लॉक किया जाता है जबकि दस अलग-अलग तथ्य वाक्यों को नौ सांख्यिकीय वितरणों (जैसे, यूनिफॉर्म, नॉर्मल, लोरेंत्ज़ियन, आर्कसिन) के अनुसार इंजेक्ट किया जाता है ताकि वास्तविक सूचना प्रसार का अनुकरण किया जा सके।
• प्रॉम्प्टिंग रणनीतियाँ: दो स्थितियों का परीक्षण किया गया है:
  1. मानक प्रॉम्प्ट (Standard Prompt): सबसे तार्किक उत्तर या निष्कर्ष के लिए पूछता है।
  2. एंटी-हैलुसिनेशन (AH) प्रॉम्प्ट: स्पष्ट रूप से मॉडल को उत्तर देने से मना करने का निर्देश देता है यदि जानकारी मौजूद नहीं है ("मनगढ़ंत बातें न बनाएं")।
• मूल्यांकन मेट्रिक्स: अध्ययन प्रदर्शन को तीन विशिष्ट क्षमताओं में विभाजित करता है:
  1. लिटरल एक्सट्रैक्शन (Literal Extraction): स्पष्ट तथ्यों का शब्दशः पुनरुत्पादन।
  2. लॉजिकल इन्फरेंस (Logical Inference): कई तथ्यों द्वारा समर्थित निष्कर्ष निकालना (गैर-एबडक्टिव रीजनिंग)।
  3. फेथफुलनेस (Faithfulness): निर्माण (fabrications) से बचने की क्षमता।
• मूल्यांकित मॉडल्स: चार प्रोडक्शन-स्केल मॉडल्स का परीक्षण किया गया: Gemini-2.5-flash (1M कॉन्टेक्स्ट), ChatGPT-5-mini (272k), Claude-4.5-haiku (~175k), और Deepseek-v3.2-chat (128k)।

मुख्य योगदान

1. "डिस्ट्रीब्यूशनल कोलैप्स" की पहचान: पेपर एक प्रणालीगत विफलता मोड को परिभाषित करता है जहाँ मॉडल का प्रदर्शन महत्वपूर्ण रूप से गिर जाता है, इसलिए नहीं कि जानकारी गायब है, बल्कि इसलिए क्योंकि साक्ष्य कॉन्टेक्स्ट में बिखरे हुए हैं। यह मानक पोजीशनल बायस (जैसे, "लॉस्ट-इन-द-मिडल") से अलग है, क्योंकि यह तब भी होता है जब तथ्य किनारों पर रखे जाते हैं यदि वे सांख्यिकीय रूप से क्लस्टर किए गए तरीके से मॉडल के अटेंशन मैकेनिज्म को ओवरवेल्म करते हैं।
2. "सेफ्टी टैक्स" का परिमाणीकरण: लेखक "सेफ्टी टैक्स" को अत्यधिक रूढ़िवादी रिफ्यूजल मैकेनिज्म के कारण होने वाले सटीकता (विशेष रूप से रिकॉल और इन्फरेंस) में मापने योग्य गिरावट के रूप में औपचारिक रूप देते हैं। वे प्रदर्शित करते हैं कि AH प्रॉम्प्ट्स मॉडल्स को वैध, साक्ष्य-आधारित उत्तरों को अस्वीकार करने के लिए मजबूर कर सकते हैं, विशेष रूप से जब तथ्य गहराई में दबे हों या बिखरे हुए हों।
3. विस्तारित बेंचमार्क फ्रेमवर्क: अध्ययन एकल-तथ्य निष्कर्षण से आगे बढ़कर प्रोबेबिलिस्टिक फैक्ट डिस्ट्रीब्यूशन के तहत लॉजिकल इन्फरेंस और फेथफुलनेस का मूल्यांकन करने के लिए एक स्केलेबल, मॉडल-अज्ञेयवादी फ्रेमवर्क प्रदान करता है।

परिणाम

• स्केलेबिलिटी और स्थिरता: Gemini-2.5-flash और Deepseek-v3.2-chat ने उल्लेखनीय स्थिरता प्रदर्शित की, अपने पूरे कॉन्टेक्स्ट रेंज (1M टोकन तक) में लगभग पूर्ण सटीकता बनाए रखी और तथ्य वितरण के प्रति उच्च स्थानिक अपरिवर्तनीयता (spatial invariance) दिखाई।
• परफॉरमेंस क्लिफ्स (Performance Cliffs): ChatGPT-5-mini और Claude-4.5-haiku ने महत्वपूर्ण नाजुकता दिखाई। ChatGPT-5-mini ने 100k टोकन के बाद तीव्र गिरावट और 50% गहराई मार्क पर एक अद्वितीय "परफॉरमेंस क्लिफ" दिखाया। Claude-4.5-haiku ने "U-आकार" के क्षरण का अनुभव किया, जहाँ मध्य कॉन्टेक्स्ट अंतराल में लॉजिकल इन्फरेंस गिरकर लगभग 50% हो गया।
• सेफ्टी टैक्स का प्रभाव: AH प्रॉम्प्ट्स के तहत, ChatGPT-5-mini की लिटरल एक्सट्रैक्शन सटीकता अधिकतम क्षमता पर 90.3% (कुल) से गिरकर 72.0% हो गई। मॉडल अक्सर रिफ्यूसल रिस्पॉन्स (मना करने वाली प्रतिक्रिया) पर वापस चला गया जब सुइयां गहराई में दबी हुई थीं, जिसे व्यवस्थित विफलता के "रेड ज़ोन" के रूप में देखा गया।
• डिस्ट्रीब्यूशनल कोलैप्स: जब तथ्यों को केंद्रीय क्लस्टरिंग वितरणों (जैसे, नॉर्मल, लोरेंत्ज़ियन) के अनुसार वितरित किया गया, तो ChatGPT-5-mini का एक्सट्रैक्शन और इन्फरेंस स्कोर AH प्रॉम्प्ट्स के तहत 0% तक गिर गया। फिशर के सटीक परीक्षण (Fisher's Exact Test, $p = 1.08 \times 10^{-5}$) के माध्यम से सांख्यिकीय महत्व की पुष्टि हुई कि यह कोलैप्स एक संरचनात्मक भेद्यता है न कि डेटासेट शोर। इसके विपरीत, Gemini और Deepseek ने वितरण के बावजूद उच्च मजबूती बनाए रखी।
• पोशनल बनाम डिस्ट्रीब्यूशनल बायस: अध्ययन डिस्ट्रीब्यूशनल कोलैप्स को पोशनल बायस के साथ मिलाने का खंडन करता है। मॉडल्स तब भी विफल हुए जब तथ्य चरम किनारों (आर्कसाइन वितरण) पर रखे गए थे यदि बिखरे हुए तथ्यों को ट्रैक करने का संज्ञानात्मक भार (cognitive load) अधिक था, जो यह सिद्ध करता है कि बिखरे हुए साक्ष्यों को संश्लेषित करना एक स्वतंत्र प्रणालीगत दोष है।

महत्व और दावे

पेपर का दावा है कि नाममात्र का कॉन्टेक्स्ट विंडो आकार प्रभावी सूचना उपयोग का एक खराब प्रॉक्सी है। निष्कर्ष लॉन्ग-होरिज़न एजेंटिक वर्कफ़्लो के लिए दो महत्वपूर्ण जोखिमों को उजागर करते हैं:

1. साइलेंट फेलियर्स (Silent Failures): "डिस्ट्रीबशनल कोलैप्स" एक साइलेंट पॉइंट ऑफ फेलियर के रूप में कार्य करता है जहाँ एजेंट प्रभावी रूप से अपने पिछले अवलोकनों को "भूल" जाते हैं क्योंकि साक्ष्य बिखरे हुए होते हैं, जिससे लीगल डिस्कवरी या मेडिकल विश्लेषण जैसे महत्वपूर्ण डोमेन में त्रुटिपूर्ण निर्णय लिए जा सकते हैं।
2. एडवर्सरियल वल्नेरेबिलिटी (Adversarial Vulnerability): पहचाने गए विफलता मोड यह सुझाव देते हैं कि एडवर्सरियल शोषण की संभावना है, जहाँ महत्वपूर्ण जानकारी को किसी दस्तावेज़ में बिखेर कर या "सेफ्टी टैक्स" को हथियार बनाकर स्वचालित ऑडिट से छिपाया जा सकता है।
3. अलाइनमेंट ट्रेड-ऑफ: सेफ्टी टैक्स का परिमाणीकरण वर्तमान अलाइनमेंट रणनीतियों में एक मौलिक तनाव को प्रकट करता, जहाँ सख्त एंटी-हैलुसिनेशन प्रोटोकॉल अनजाने में वैध तर्क को दबा देते हैं।

लेखक निष्कर्ष निकालते हैं कि विश्वसनीय तैनाती के लिए कच्चे टोकन काउंट के बजाय प्रभावी कॉन्टेक्स्ट लंबाई और तथ्य वितरण के प्रति मजबूती को प्राथमिकता देना आवश्यक है। वे पारंपरिक बेंचमार्क पर भरोसा करने के बजाय, जो प्रदर्शन को बढ़ा-चढ़ाकर दिखा सकते हैं, डिस्ट्रीब्यूशनल कोलैप्स और सेफ्टी टैक्स के विरुद्ध मॉडल्स को मान्य करने के लिए अपने डिस्ट्रीब्यूशन-अवेयर टेस्टिंग पाइपलाइन का उपयोग करने की वकालत करते हैं।