RCWT: Measuring Task-Budget Displacement from Coordination Content in LLM Calls
यह शोध पत्र राउंडटेबल कॉन्टेक्स्ट विंडो टेस्ट (RCWT) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि निश्चित कॉन्टेक्स्ट बजट के तहत LLMs में प्रदर्शन में गिरावट मुख्य रूप से समन्वय सामग्री (coordination content) द्वारा कार्य-महत्वपूर्ण साक्ष्यों के विस्थापन के कारण होती है, न कि केवल समन्वय की मात्रा के कारण, जैसा कि इंटैक्ट-टास्क एब्लेशन्स (intact-task ablations) से प्रमाणित होता है जहाँ मॉडल उच्च समन्वय अनुपातों के साथ भी अपनी सटीकता बनाए रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप और आपके दोस्त एक कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक विशाल व्हाइटबोर्ड है जिस पर लिखने के लिए केवल 4,096 स्टिकी नोट्स की सख्त सीमा है। यह व्हाइटबोर्ड आपका "कॉन्टेक्स्ट विंडो" (context window) है, वह स्थान जहाँ एक AI मस्तिष्क सब कुछ एक साथ देख सकता है।
आमतौर पर, आप केवल पहेली के निर्देश और सुराग बोर्ड पर लिखेंगे। लेकिन AI एजेंटों की दुनिया में, चीजें बहुत भीड़भाड़ वाली हो जाती हैं। पहेली तक पहुँचने से पहले ही, आपको यह लिखना पड़ता है कि कौन क्या है, खेल के नियम क्या हैं, आपके पास कौन से उपकरण हैं, और पाँच मिनट पहले आपने क्या चर्चा की थी उसका सारांश। आइए इस सारी अतिरिक्त बातचीत को "कोऑर्डिनेशन कंटेंट" (Coordination Content) कहें।
यह शोध पत्र RCWT (राउंडटेबल कॉन्टेक्स्ट विंडो टेस्ट) नामक एक खेल पेश करता है ताकि यह देखा जा सके कि क्या होता है जब आप पहेली के सुरागों के बजाय बहुत अधिक बातचीत से व्हाइटबोर्ड को भर देते हैं।
बड़ी खोज: "भीड़भाड़ वाले बोर्ड" की ढलान (The "Crowded Board" Cliff)
शोधकर्ताओं ने एक परीक्षण तैयार किया जहाँ उन्होंने व्हाइटबोर्ड का आकार 4,096 नोट्स पर स्थिर रखा। उन्होंने थोड़ी सी कोऑर्डिनेशन बातचीत और ढेर सारे पहेली के सुरागों के साथ शुरुआत की। AI ने पहेली को पूरी तरह से हल कर लिया।
फिर, उन्होंने धीरे-धीरे और अधिक बातचीत जोड़ी—अधिक भूमिका निर्देश, अधिक नकली मीटिंग नोट्स, अधिक टूल लॉग—जबकि व्हाइटबोर्ड का कुल आकार समान रखा। इसका मतलब यह था कि उन्हें नई बातचीत के लिए जगह बनाने के चक्कर में कुछ पहेली के सुरागों को मिटाना पड़ा।
चौंकाने वाली बात यह है: AI तुरंत भ्रमित नहीं हुआ। जब तक बोर्ड का आधा हिस्सा बातचीत से भरा था, तब तक इसने पहेली को पूरी तरह से हल करना जारी रखा। लेकिन फिर, वे एक तीव्र ढलान (sharp cliff) से टकरा गए।
एक बार जब बातचीत इतनी बढ़ गई कि पहेली के सुरागों को दबाकर केवल कुछ सौ नोट्स (लगभग 376 नोट्स के सुराग बचे) तक सीमित कर दिया गया, तो AI का प्रदर्शन गिर गया। यह लगभग सब कुछ सही करने से लेकर लगभग सब कुछ गलत करने की स्थिति में आ गया।
पेपर सुझाव देता है कि ऐसा इसलिए नहीं है क्योंकि AI शोर (noise) से "भ्रमित" हो गया। यह इसलिए है क्योंकि पहेली के सुराग भौतिक रूप से बोर्ड से बाहर धकेल दिए गए थे। AI अब उत्तर को देख ही नहीं पा रहा था क्योंकि "कोऑर्डिनेशन" ने सारा स्थान घेर लिया था।
पेपर क्या कहता है कि समस्या नहीं है
आप सोच सकते हैं, "शायद AI बहुत अधिक टेक्स्ट पढ़ने से थक जाता है, भले ही सुराग अभी भी वहीं हों?" पेपर वास्तव में इस विचार का खंडन करता है।
इसकी जांच करने के लिए, शोधकर्ताओं ने एक विशेष "एब्लेशन" (ablation - एक नियंत्रण प्रयोग के लिए तकनीकी शब्द) चलाया। इस बार, उन्होंने पूरी पहेली और सभी सुरागों को बोर्ड पर सुरक्षित रखा। उन्होंने बस अतिरिक्त बातचीत को समाहित करने के लिए व्हाइटबोर्ड को बड़ा कर दिया। उन्होंने बोर्ड पर मौजूद कुल टेक्स्ट का 95% तक भारी मात्रा में कोऑर्डिनेशन टेक्स्ट जोड़ा!
परिणाम? AI ने पहेली को पूरी तरह से हल किया। ढेर सारे अतिरिक्त टेक्स्ट के बावजूद, जब तक सुराग सुरक्षित थे, AI लड़खड़ाया नहीं।
इसका मतलब है कि जो "ढलान" हमने पहले देखी थी, वह AI के बहुत अधिक पढ़ने से अभिभूत होने के कारण नहीं थी। यह पूरी तरह से जगह खत्म होने का मामला था। पेपर इस विचार को खारिज करता है कि कोऑर्डिनेशन टेक्स्ट स्वयं AI के दिमाग को खराब करता है; यह केवल तब खराब करता है जब यह उस स्थान को चुरा लेता है जो वास्तविक कार्य के लिए आवश्यक है।
वे कितने आश्वस्त हैं?
लेखक अपने शब्दों के प्रति बहुत सावधान हैं। उन्होंने यहाँ किसी सार्वभौमिक भौतिक नियम को सिद्ध नहीं किया है; उन्होंने विशिष्ट मॉडलों में एक विशिष्ट व्यवहार को मापा है।
- ढलान (The Cliff): उन्होंने एक तकनीकी सॉफ्टवेयर स्पेसिफिकेशन टास्क का उपयोग करके तीन विशिष्ट AI मॉडलों (GPT-4.1-mini, Claude Haiku 4.5, और Gemini 2.5 Flash) पर इसे मापा। उन्होंने पाया कि इन मॉडलों के लिए, सटीकता तब तक उच्च रहती है जब तक कि शेष कार्य स्थान (task space) एक निश्चित बिंदु (लगभग 568 से 665 टोकन) से नीचे नहीं गिर जाता।
- "नियम" (The Law): उन्होंने इस गिरावट को एक गणितीय वक्र (mathematical curve) में फिट करने की कोशिश की, लेकिन वे स्वीकार करते हैं कि यह केवल एक "वर्णनात्मक अंशांकन" (descriptive calibration) है। यह जो उन्होंने देखा उसे सारांशित करने का एक अच्छा तरीका है, लेकिन वे यह दावा नहीं करते कि यह हर कार्य या हर भविष्य के मॉडल के लिए बिल्कुल उसी तरह काम करेगा।
- "कोई ढलान नहीं" वाला निष्कर्ष (The "No Cliff" Finding): उस प्रयोग में जहाँ उन्होंने सुरागों को सुरक्षित रखा था, AI ने 150 अलग-अलग टेस्ट कॉल्स में से 100% उत्तर सही दिए। यह एक मजबूत प्रमाण है कि, इस विशिष्ट सेटअप में, यदि सुराग सुरक्षित हैं तो अतिरिक्त टेक्स्ट प्रदर्शन को नुकसान नहीं पहुँचाता है।
बिल्डर्स (निर्माताओं) के लिए सीख
यदि आप एक ऐसा AI सिस्टम बना रहे हैं जिसमें कई एजेंट एक-दूसरे से बात कर रहे हैं, तो यह पेपर आपको एक सरल नियम देता है: केवल अपने व्हाइटबोर्ड का कुल आकार न देखें।
आपको यह गिनना होगा कि आपके वास्तविक कार्य को कितनी जगह चाहिए। यदि आपके कार्य को काम करने के लिए 700 नोट्स की आवश्यकता है, और आपके पास 4,096 नोट्स का बोर्ड है, तो आप कोऑर्डिनेशन चैट के लिए केवल 3,396 नोट्स खर्च कर सकते हैं। यदि आप इससे अधिक खर्च करते हैं, तो आप केवल शोर नहीं जोड़ रहे हैं; आप उन निर्देशों को हटा रहे हैं जिनकी AI को अपना काम करने के लिए आवश्यकता है।
पेपर यह नहीं कहता कि कोऑर्डिनेशन बुरा है। यह केवल यह कहता है कि इसकी एक कीमत है, और वह कीमत उपलब्ध स्थान के रूप में चुकाई जाती है। जब तक आप उस स्थान के लिए बजट बनाते हैं, AI बहुत अधिक बातचीत को संभाल सकता है। लेकिन एक बार जब आप रेखा पार कर लेते हैं और वास्तविक कार्य में कटौती करने लगते हैं, तो पूरा सिस्टम ढलान से नीचे गिर जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।