Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks
यह शोध पत्र यह प्रदर्शित करता है कि मानक ट्रंकेशन (truncation) के तहत लॉन्ग-कॉन्टेक्स्ट एलएलएम (LLM) बेंचमार्क में सामान्य रूप से देखी जाने वाली प्रदर्शन गिरावट मुख्य रूप से कार्य-प्रासंगिक जानकारी के आकस्मिक निष्कासन के कारण होती है, न कि अंतर्निहित संदर्भ-लंबाई की सीमाओं के कारण, क्योंकि जब ट्रंकेशन को डिस्ट्रैक्टर-अवेयर (distractor-aware) तरीके से लागू किया जाता है जो सिग्नल प्रतिधारण (signal retention) की गारंटी देता है, तो प्रदर्शन सुरक्षित रहता है या सुधर जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, 100 पन्नों के रहस्यमय उपन्यास को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल कुछ पन्ने पढ़ने का ही समय है। आप जानना चाहते हैं: "अगर मैं किताब का अधिकांश हिस्सा फेंक दूँ, तो क्या मैं फिर भी रहस्य सुलझाने में सक्षम रहूँगा?" यह वह तरह का सवाल है जो उन वैज्ञानिकों को रात भर जगाए रखता है जो "सोचने वाली मशीनों" (जिन्हें 'लार्ज लैंग्वेज मॉडल्स' कहा जाता है) का निर्माण करते हैं। इन मशीनों को भारी मात्रा में टेक्स्ट पढ़ने के लिए प्रशिक्षित किया जाता है, लेकिन जैसे-जैसे टेक्स्ट लंबा होता जाता है, वे कभी-कभी भ्रमित हो जाते हैं या महत्वपूर्ण विवरण भूल जाते हैं। इसे ठीक करने के लिए, कुछ विशेषज्ञ एक सरल विचार सुझाते हैं: "कम ही अधिक है" (Less is more)। उनका मानना है कि यदि हम लंबी कहानी को मशीन को दिखाने से पहले ही उसके उबाऊ और अप्रासंगिक हिस्सों को हटा दें, तो मशीन वास्तव में बेहतर काम कर सकती है क्योंकि वह शोर (noise) से विचलित नहीं होगी।
लेकिन यहाँ पेचीदा बात यह है: आप यह कैसे परीक्षण करेंगे कि "कम ही अधिक है" बिना गलती से सुरागों (clues) को फेंके? यदि आप बस एक कैंची उठाते हैं और किताब के बीच का हिस्सा काट देते हैं, तो आप गलती से उस पन्ने को काट सकते हैं जहाँ जासूस को हत्यारे का नाम मिलता है। यदि मशीन फिर भी रहस्य सुलझाने में विफल रहती है, तो क्या यह इसलिए है क्योंकि किताब बहुत छोटी थी? या इसलिए क्योंकि आपने उत्तर ही फेंक दिया था? यह शोध पत्र इसी सटीक भ्रम की गहराई में जाता है, यह पता लगाने की कोशिश करता है कि क्या लॉन्ग-कॉन्टेक्स्ट मॉडल वास्तव में टेक्स्ट लंबा होने के कारण खराब हो रहे हैं, या वे केवल इसलिए विफल हो रहे हैं क्योंकि हम उनका परीक्षण इस तरह से कर रहे हैं जो उत्तरों को छिपा देता है।
महान "बीच का हिस्सा काटने" का प्रयोग
AI अनुसंधान की दुनिया में, एक लोकप्रिय सिद्धांत है कि छोटे प्रॉम्प्ट बेहतर होते हैं। विचार यह है कि यदि आप मॉडल को टेक्स्ट की एक विशाल दीवार खिलाते हैं, तो वह "डिस्ट्रैक्टर्स" (distractors)—उबाऊ, अप्रासंगिक शब्दों—से अभिभूत हो जाता है जो समस्या को हल करने में मदद नहीं करते। इसलिए, शोधकर्ताओं ने लंबी कहानियों को लेकर उनके मध्य भाग को काटकर यह परीक्षण करना शुरू किया कि क्या मॉडल छोटे संस्करणों के साथ बेहतर प्रदर्शन करते हैं।
जैसा कि यह शोध पत्र बताता है, काटने का यह "सीधा" तरीका "अंधेरे में तीर चलाने" जैसा है। आप गधे को भी निशाना बना सकते हैं, या आप दीवार को भी निशाना बना सकते हैं। इन कई परीक्षणों में, कहानी का "मध्य" वास्तव में उन महत्वपूर्ण सुरागों को समाहित करता है जो उत्तर देने के लिए आवश्यक होते हैं। जब शोधकर्ताओं ने बीच का हिस्सा काटा, तो वे केवल विकर्षणों (distractions) को हटा नहीं रहे थे; वे अनजाने में उत्तर कुंजी (answer key) ही मिटा रहे थे।
इस शोध पत्र के लेखक ने एक निष्पक्ष परीक्षण करने का निर्णय लिया। उन्होंने चार अलग-अलग लॉन्ग-कॉन्टेक्स्ट बेंचमार्क (जो AI के लिए मानकीकृत परीक्षण हैं) लिए और उन्हें चार अलग-अलग AI मॉडलों (तीन "Claude" परिवार से और एक "GPT" से) पर चलाया। उन्होंने इन मॉडल्स का परीक्षण मेमोरी के चार अलग-अलग स्तरों पर किया: 100% टेक्स्ट, 75%, 50%, और एक छोटा सा 25%।
उन्होंने प्रत्येक प्रश्न के लिए दो बार परीक्षण किया:
- "सीधा" तरीका: बिना यह देखे कि अंदर क्या है, टेक्स्ट के बीच के हिस्से को काट दें।
- "डिस्ट्रैक्टर-अवेयर" (विकर्षण-जागरूक) तरीका: पहले, उन्होंने एक स्मार्ट फ़िल्टर का उपयोग करके यह पता लगाया कि किन वाक्यों में "सिग्नल" (पहेली सुलझाने के लिए आवश्यक सुराग) थे और कौन से केवल "डिस्ट्रैक्टर्स" (फालतू बातें) थे। फिर, उन्होंने केवल फालतू बातों को हटाया, यह सुनिश्चित करते हुए कि सुराग सुरक्षित रहें।
चौंकाने वाले परिणाम
परिणाम नाटकीय थे, बिल्कुल वैसा ही जैसे किसी जादू के खेल को देखना जहाँ एक ही कार्ड ट्रिक एक तरीके से पूरी तरह काम करती है और दूसरे तरीके से बुरी तरह विफल हो जाती है।
जब उन्होंने "सीधा" तरीका (बीच का हिस्सा काटना) इस्तेमाल किया:
AI मॉडल पूरी तरह विफल रहे। जैसे-जैसे टेक्स्ट छोटा होता गया, उनके स्कोर तेजी से गिरते गए।
- BABILong टेस्ट पर "Haiku" मॉडल के लिए, स्कोर 0.138 गिर गया।
- "Sonnet" मॉडल के लिए, यह 0.175 गिरा।
- "Opus" मॉडल के लिए, यह 0.433 तक लुढ़क गया।
- "GPT-5.5" मॉडल के लिए, यह भारी 0.613 से गिर गया।
ऐसा लगा कि पुराना सिद्धांत गलत था: "छोटा कॉन्टेक्स्ट नुकसानदेह है!" मॉडल को काम करने के लिए पूरे लंबे टेक्स्ट की आवश्यकता लग रही थी।
लेकिन फिर, उन्होंने "डिस्ट्रैक्टर-अवेयर" तरीका (सुरागों को सुरक्षित रखना) अपनाया:
अचानक, कहानी पूरी तरह पलट गई। जब मॉडल्स को मूल टेक्स्ट का समान हिस्सा (25%) दिया गया लेकिन सुरागों को सावधानीपूर्वक संरक्षित रखा गया, तो परिणाम बदल गए।
- Haiku और Sonnet मॉडल वास्तव में बेहतर हुए। उनके स्कोर क्रमशः +0.083 और +0.104 बढ़ गए। उन्होंने कम टेक्स्ट के साथ अधिक पहेलियाँ सुलझाईं क्योंकि वे शोर से विचलित नहीं हुए।
- Opus और GPT-5.5 मॉडल बेहतर तो नहीं हुए, लेकिन वे खराब भी नहीं हुए। वे अपने शीर्ष प्रदर्शन स्तर पर बने रहे, जिससे यह सिद्ध हुआ कि उन्हें अतिरिक्त टेक्स्ट की आवश्यकता नहीं थी, जब तक कि महत्वपूर्ण सुराग वहां मौजूद थे।
इसका वास्तव में क्या अर्थ है
यह शोध पत्र एक बहुत ही महत्वपूर्ण सत्य प्रकट करता है: "सीधा" परीक्षण करने का तरीका (बीच का हिस्सा काटना) वास्तव में यह नहीं माप रहा था कि AI लॉन्ग-टेक्स्ट को कितनी अच्छी तरह संभालता है। यह केवल यह माप रहा था कि शोधकर्ता कितनी बार अनजाने में उत्तर ही फेंक देते थे।
"सीधे" परीक्षणों में, 25% रिटेंशन स्तर पर, मॉडल्स को BABILong टेस्ट के मामलों में से 1% से भी कम में उत्तर दिया गया था। उनसे एक रहस्य सुलझाने के लिए कहा जा रहा था जिसमें संदिग्ध का नाम ही गायब था। ऐसे में विफल होना स्वाभाविक था!
लेकिन "डिस्ट्रैक्टर-अवेयर" परीक्षणों में, सुराग 100% समय सुरक्षित रखे गए थे। और जब सुराग मौजूद थे, तो मॉडल्स पहेलियों को आसानी से सुलझा सकते थे, भले ही उनके पास मूल टेक्स्ट का एक छोटा सा हिस्सा ही क्यों न हो।
निष्कर्ष (The Takeaway)
यह अध्ययन यह नहीं कहता कि "कम हमेशा अधिक है।" यह कहता है कि "कम ही अधिक है" केवल तभी जब आप यह जानने में पर्याप्त समझदार हों कि क्या रखना है। यदि आप बस एक लंबे दस्तावेज़ को बेतरतीब ढंग से काट देते हैं, तो आप संभवतः उस जानकारी को नष्ट कर देंगे जिसकी AI को आवश्यकता है। लेकिन यदि आप "सिग्नल" (महत्वपूर्ण तथ्यों) की पहचान कर सकते हैं और "डिस्ट्रैक्टर्स" (उबाऊ चीजों) को हटा सकते हैं, तो एक छोटा प्रॉम्प्ट छोटे AI मॉडल्स के प्रदर्शन में सुधार कर सकता है, और यह बड़े मॉडल्स को नुकसान नहीं पहुँचाएगा।
लेखक का निष्कर्ष है कि भविष्य के अध्ययनों को बहुत अधिक सावधान रहने की आवश्यकता है। आप केवल उस परीक्षण के आधार पर यह नहीं कह सकते कि "छोटा कॉन्टेक्स्ट बुरा है" जिसने अनजाने में उत्तर ही मिटा दिए। आपको यह सुनिश्चित करना होगा कि आप सही चीज़ का परीक्षण कर रहे हैं। यदि हम बेहतर AI सिस्टम बनाना चाहते हैं जो लंबी किताबें पढ़ सकें, तो हमें किताबों को अंधाधुंध काटना बंद करना होगा और पहले अच्छी चीजों को खोजना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।