Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks
यह शोधपत्र यह प्रदर्शित करके लॉन्ग-कॉन्टेक्स्ट रीजनिंग बेंचमार्क में एक महत्वपूर्ण अंतराल को उजागर करता है कि मुख्यधारा के मूल्यांकन टास्क पोजीशन (कार्य स्थिति) को नियंत्रित करने में विफल रहते हैं, जिससे फिलर इंटरफेरेंस (भरवा हस्तक्षेप) के कारण लंबे संदर्भों के मध्य में कार्यों को रखे जाने पर प्रदर्शन में महत्वपूर्ण गिरावट आती है, और इस संरचनात्मक ब्लाइंड स्पॉट को संबोधित करने के लिए कॉन्टेक्स्ट रॉट इवैल्यूएशन (CRE) फ्रेमवर्क का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "मिडल सीट" (बीच की सीट) की समस्या
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र को गणित का एक सवाल हल करने के लिए कह रहे हैं। आप उसे एक विशाल पाठ्यपुस्तक (जिसे "कॉन्टेक्स्ट" कहा जाता है) देते हैं जो 64,000 पन्नों लंबी है।
- पुराना तरीका: यदि आप गणित का सवाल किताब के बिल्कुल आखिरी पन्ने पर रखते हैं, तो छात्र लगभग हर बार सही उत्तर देता है।
- नई खोज: इस शोध पत्र में पाया गया कि यदि आप उसी गणित के सवाल को किताब के बीच में रख दें, तो छात्र अचानक उसे हल करना भूल जाता है। उसका प्रदर्शन 96% सटीकता से गिरकर सीधे 8% पर आ सकता है।
लेखक इसे "पोजीशनल फेलियर" (स्थान संबंधी विफलता) कहते हैं। उनका तर्क है कि हमारे पास यह जाँचने के लिए बेहतरीन टेस्ट हैं कि क्या एक छात्र किसी लंबी किताब में से कोई विशिष्ट तथ्य ढूँढ सकता है (जैसे "नीडल इन अ हेस्टैक" या घास के ढेर में सुई ढूँढना), लेकिन हमने यह नहीं जाँचा कि क्या वे एक लंबे टेक्स्ट के बीच में दबे हुए किसी सवाल पर तर्क (reasoning) कर सकते हैं।
जाँच: परीक्षणों का ऑडिट (Auditing the Tests)
शोधकर्ताओं ने जासूसों की तरह काम किया और AI मॉडल्स को ग्रेड देने के लिए उपयोग किए जाने वाले 11 लोकप्रिय "लॉन्ग-कॉन्टेक्स्ट" टेस्ट की जाँच की।
- निष्कर्ष: इनमें से कोई भी टेस्ट यह नियंत्रित नहीं करता कि प्रश्न कहाँ रखा गया है। वे बस प्राकृतिक दस्तावेजों का उपयोग करते हैं जहाँ प्रश्न संयोग से शुरुआत में, बीच में या अंत में होता है।
- वेंडर चेक (कंपनी की जाँच): उन्होंने चार प्रमुख AI कंपनियों (DeepSeek, MiMo, Kimi, GLM) के आधिकारिक "रिपोर्ट कार्ड" (मॉडल कार्ड्स) को भी देखा।
- परिणाम: ये कंपनियाँ कोडिंग और एजेंट कार्यों (जैसे "क्या आप एक प्रोग्राम लिख सकते हैं?") पर अपने स्कोर को बड़े और बोल्ड टेबल में गर्व से प्रदर्शित करती हैं।
- अंधा कोना (Blind Spot): वे लगभग कभी भी "पोजीशन-कंट्रोल्ड रीजनिंग" (स्थान-नियंत्रित तर्क) के लिए अपने स्कोर नहीं दिखाते हैं। वे इस तथ्य को छिपाते हैं कि उनके मॉडल्स तब बुरी तरह विफल हो सकते हैं जब कोई सवाल एक लंबे दस्तावेज़ के बीच में हो।
प्रयोग: "कॉन्टेक्स्ट रॉट" (Context Rot) टेस्ट
यह साबित करने के लिए कि यह कोई इत्तेफाक नहीं था, लेखकों ने एक नया टेस्ट बनाया जिसे CRE (Context Rot Evaluation) कहा गया। इसे AI के ध्यान केंद्रित करने की क्षमता (attention span) के लिए एक 'स्ट्रेस टेस्ट' की तरह समझें।
उन्होंने दो प्रकार के सवाल लिए:
- गणित के सवाल (GSM8K)
- विज्ञान के बहुविकल्पीय प्रश्न (ARC-Challenge)
इसके बाद उन्होंने तीन अलग-अलग "बैकग्राउंड नॉइज़" (भराव सामग्री) परिदृश्य बनाए ताकि यह देखा जा सके कि AI का ध्यान कैसे भटकता है:
- "होमवर्क हेल्पर" (with_solutions): बैकग्राउंड टेक्स्ट में अन्य गणित के सवाल थे जिनके उत्तर भी साथ में लिखे हुए थे।
- "अनआंस्ड क्वेश्चन्स" (questions_only_v2): बैकग्राउंड टेक्स्ट में अन्य गणित के सवाल थे लेकिन बिना उत्तर के।
- "रैंडम नॉइज़" (neutral_text): बैकग्राउंड टेक्स्ट केवल बिल्लियों और इतिहास के बारे में रैंडम विकिपीडिया लेख थे।
उन्होंने 9 अलग-अलग AI मॉडल्स का तीन अलग-अलग "किताब की लंबाई" (8K, 32K, और 64K टोकन) पर परीक्षण किया।
चौंकाने वाले परिणाम
परिणामों ने दिखाया कि कुछ मॉडल्स बेहद नाजुक हैं, जबकि कुछ बहुत मजबूत।
1. "मिडल सीट" क्रैश
कुछ मॉडल्स (जैसे MiMo-v2-Flash) के लिए, सवाल को किताब के अंत से हटाकर बीच में रखने से प्रदर्शन में भारी गिरावट आई।
- 64K लंबाई और "होमवर्क हेल्पर" नॉइज़ के साथ, मॉडल का प्रदर्शन 88 प्रतिशत अंक गिर गया। वह एक जीनियस (96% सटीकता) से गिरकर मुश्किल से पास होने वाली स्थिति (8% सटीकता) में आ गया, सिर्फ इसलिए क्योंकि सवाल बीच में चला गया था।
- क्यों? पेपर में पाया गया कि जब मॉडल बीच में विफल हुआ, तो उसने अक्सर बैकग्राउंड नॉइज़ से गलत उत्तर कॉपी किया। ऐसा लग रहा था जैसे छात्र मुख्य सवाल के बगल में रखे अन्य होमवर्क के सवालों से भ्रमित हो गया हो।
2. "प्रतिरोधी" (Immune) मॉडल्स
सभी मॉडल्स विफल नहीं हुए। DeepSeek-V3.2 "होमवर्क हेल्पर्स" वाले शोर के मामले में इस समस्या के प्रति लगभग प्रतिरोधी था। सवाल चाहे अंत में हो या बीच में, उसने सही उत्तर दिया। हालाँकि, जब शोर "अनआंस्ड क्वेश्चन्स" (बिना उत्तर वाले सवाल) था, तो यह मजबूत मॉडल भी संघर्ष करने लगा।
3. "नए" मॉडल्स
लेखकों ने उन्हीं कंपनियों के चार नए, अपग्रेड किए गए मॉडल्स का परीक्षण किया।
- अच्छी खबर: वे बीच में "होमवर्क हेल्पर" नॉइज़ को संभालने में थोड़े बेहतर हुए।
- बुरी खबर: वे अभी भी बीच में "अनआंस्ड क्वेश्चन्स" के साथ बुरी तरह संघर्ष कर रहे थे। समस्या ठीक नहीं हुई थी; बस उसका रूप बदल गया था।
"मैजिक ट्रिक" डायग्नोस्टिक
यह साबित करने के लिए कि यह वास्तव में स्थान (position) के बारे में था न कि मॉडल के "बेवकूफ" होने के बारे में, शोधकर्ताओं ने एक ट्रिक की।
- उन्होंने गणित के सवाल को बीच में रखा (जहाँ मॉडल आमतौर पर विफल होता है)।
- फिर, उन्होंने उसी सवाल को किताब के बिल्कुल अंत में कॉपी और पेस्ट कर दिया।
- परिणाम: अचानक, मॉडल ने फिर से सही उत्तर दे दिया!
यह साबित करता है कि मॉडल को सवाल हल करना आता है। बस वह उसे ढूँढ नहीं पाता या उस पर ध्यान केंद्रित नहीं कर पाता जब वह बीच में दबा होता है। यह वैसा ही है जैसे कोई व्यक्ति एक पहेली सुलझा सकता है यदि वह उसकी मेज पर हो, लेकिन यदि आप उसे कागजों के ढेर के नीचे छिपा दें, तो वह भूल जाता है कि उसके पास वह पहेली है।
निष्कर्ष
पेपर का निष्कर्ष है कि AI को टेस्ट करने का वर्तमान तरीका टूटा हुआ है।
- अंतराल (The Gap): हम केवल लंबे दस्तावेजों के "किनारों" (edges) पर AI का परीक्षण कर रहे हैं (जहाँ वे अच्छा प्रदर्शन करते हैं)। हम "बीच" (middle) को अनदेखा कर रहे हैं, जहाँ वे अक्सर विफल होते हैं।
- जोखिम: यदि कोई कंपनी कहती है, "हमारा AI लंबे दस्तावेजों पर 95% सटीक है," लेकिन उन्होंने केवल दस्तावेज़ के अंत में प्रश्नों का परीक्षण किया है, तो वह संख्या भ्रामक है। वास्तविक दुनिया के कार्यों के लिए जहाँ महत्वपूर्ण जानकारी बीच में दबी होती है, वहां यह AI बेकार हो सकता है।
संक्षेप में: सिर्फ इसलिए कि एक AI एक लंबी किताब पढ़ सकता है, इसका मतलब यह नहीं है कि वह उसके बीच में मौजूद उत्तर को ढूँढ सकता है। हमें "बीच" का भी परीक्षण करने की आवश्यकता है ताकि इन मॉडल्स की वास्तविक बुद्धिमत्ता की सही तस्वीर मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।