💻 computer science

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

यह शोध पत्र PredicateLongBench प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे विशिष्ट प्रेडिकेट्स (predicates) को संतुष्ट करने वाले शब्द उप-अनुक्रमों (word subsequences) की पहचान के माध्यम से कठिनाई के कई अक्षों पर प्रदर्शन का परीक्षण करके बड़े भाषा मॉडलों (large language models) की दीर्घ-संदर्भ क्षमताओं (long-context capabilities) का व्यवस्थित रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें वर्तमान मॉडल सीमाओं को उजागर करने के लिए सिंथेटिक और वास्तविक दुनिया दोनों प्रकार के जनरेशन पाइपलाइनों का उपयोग किया गया है।

मूल लेखक: Siddhartha Jain, Ameya Velingker

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siddhartha Jain, Ameya Velingker

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट लाइब्रेरियन बनाया है जो एक पल में एक छोटे शहर के आकार के पुस्तकालय को पढ़ सकता है। हर कोई खुशी से चिल्ला रहा है, "वाह, यह रोबोट किसी भी किताब को संभाल सकता है!" लेकिन इस शोध पत्र के लेखक, सिद्धार्थ जैन और अमेय वेलिंगकर ने जासूसी करने का फैसला किया और पूछा: "रुको जरा, क्या यह रोबोट वास्तव में उस विशिष्ट पृष्ठ को ढूँढ सकता है जिसकी इसे आवश्यकता है, या यह सिर्फ अनुमान लगा रहा है?"

उन्होंने एक नया परीक्षण मैदान बनाया जिसे PREDICATELONGBENCH कहा गया। इसे केवल एक पुस्तकालय के रूप में नहीं, बल्कि शब्दों के एक विशाल, अनंत कन्वेयर बेल्ट के रूप में सोचें। रोबोट का काम शब्दों की एक विशिष्ट, छिपी हुई ट्रेन (क्रम) को खोजना है जो नियमों के एक गुप्त सेट का पालन करती हो।

खेल: छिपी हुई ट्रेन को खोजना

खेल सरल लेकिन पेचीदा है। कन्वेयर बेल्ट हजारों शब्दों से भरा है। रोबोट को एक नियम दिया जाता है, जैसे "लगातार पांच शब्द खोजें जो वर्णानुक्रम (alphabetical order) में हों" (जैसे apple, banana, cherry, date, egg)।

सबसे आसान संस्करण में, बेल्ट यादृच्छिक (random) शब्दों की एक लंबी सूची है, और उसमें केवल एक ही पूर्ण ट्रेन छिपी हुई है। रोबोट को बस उसे पहचानना है। लेकिन लेखकों ने महसूस किया कि केवल ट्रेन को ढूंढ लेना यह साबित करने के लिए पर्याप्त नहीं है कि रोबोट वास्तव में स्मार्ट है। वे देखना चाहते थे कि क्या होता है जब वे खेल को विशिष्ट तरीकों से कठिन बनाते हैं।

कठिनाई का डायल: गर्मी बढ़ाना

शोध पत्र सुझाव देता है कि वर्तमान "फ्रंटियर" मॉडल (हमारे पास मौजूद सबसे स्मार्ट रोबट) वास्तव में काफी नाजुक हैं। जब लेखकों ने अपने "डिफिकल्टी डायल" (कठिनाई के डायल) को घुमाकर कठिनाई बढ़ाई, तो रोबोट का प्रदर्शन केवल गिरा ही नहीं; यह अक्सर शून्य के करीब पहुंच गया। उन्होंने गर्मी बढ़ाने के लिए निम्नलिखित तरीके अपनाए:

"नियर-मिस" ट्रैप्स (विपरीत धोखे - Adversarial Decoys):
कल्पना कीजिए कि कन्वेयर बेल्ट पर शब्दों की एक आदर्श ट्रेन है, लेकिन उसके ठीक बगल में आठ अन्य ट्रेनें हैं जो लगभग वैसी ही दिखती हैं। वे वर्णानुक्रम में हैं, सिवाय बीच में एक मामूली बदलाव के (जैसे apple, cherry, banana, date, egg)। एक इंसान के लिए उस बदलाव को पहचानना आसान है। लेकिन रोबोट के लिए, ये "नियर-मिस" ट्रेनें ऑप्टिकल इल्यूजन (दृष्टि भ्रम) की तरह हैं। शोध पत्र में पाया गया कि जब ये जाल बेल्ट में यादृच्छिक रूप से बिखरे हुए थे, तो बेहतरीन रोबोट (जैसे Opus 4.6) भी 97% से गिरकर केवल 7% पर आ गए, और GPT-5.4 5% पर गिर गया। ऐसा लगता है जैसे रोबोट इन नकली ट्रेनों से इतना भ्रमित हो गया कि वह पढ़ना ही भूल गया।
"सर्च स्पेस" का जाल:
लेखकों ने परीक्षण किया कि क्या इससे फर्क पड़ता है कि बेल्ट पर कितने शब्द हैं, भले ही कुल शब्दों की संख्या समान रहे। उन्होंने शब्दों को छोटा कर दिया ताकि वे 26,000 के बजाय बेल्ट पर 60,000 शब्द फिट कर सकें, जबकि कुल टोकन काउंट को समान रखा। यह बिल्कुल वैसा ही है जैसे किसी पेज पर अक्षरों को छोटा करना ताकि आप अधिक अक्षर फिट कर सकें। परिणाम क्या हुआ? रोबलेट की सटीकता 92% से गिरकर 10% रह गई। हालांकि, यह गिरावट तब हुई जब मॉडल को तर्क करने के लिए 128K आउटपुट टोकन बजट दिया गया था, न कि मानक 16K बजट जो अधिकांश अन्य परीक्षणों में उपयोग किया जाता है।
"यूनिवर्सल" प्रश्न:
आमतौर पर, रोबोट को केवल एक सही ट्रेन ढूंढनी होती है। लेखकों ने नियम बदल दिए और पूछा: "सभी सही ट्रेनों को खोजें और सिद्ध करें कि कोई अन्य नहीं है।" भले ही उत्तर अभी भी केवल एक ही ट्रेन था, रोबोट को यह सुनिश्चित करने के लिए पूरे बेल्ट की जांच करनी थी कि कोई और नहीं है। इस "यूनिवर्सल" चेक ने कार्य को बहुत कठिन बना दिया, जिससे अधिकांश मॉडलों की सटीकता में भारी गिरावट आई।
"क्लस्टर्ड" सुराग:
यहाँ एक मजेदार मोड़ है। जब लेखकों ने उन भ्रमित करने वाली "नियर-मिस" ट्रेनों को बेल्ट के एक कोने में एक साथ इकट्ठा कर दिया (बिखेरने के बजाय), तो रोबलेट अचानक इस कार्य में फिर से बहुत अच्छे हो गए! सटीकता वापस बढ़कर 98% हो गई। ऐसा लगता है कि रोबोट तब संघर्ष करते हैं जब जाल हर जगह छिपे होते हैं, लेकिन यदि जाल एक विशिष्ट "खतरे वाले क्षेत्र" में हों, तो वे अपना ध्यान केंद्रित कर सकते हैं और समस्या को हल कर सकते हैं।

निर्णय: कौन पास हुआ?

शोध पत्र ने कई शीर्ष-स्तरीय मॉडलों के प्रदर्शन को मापा।

चैंपियंस: क्लोज्ड-सोर्स मॉडल Opus 4.6 स्पष्ट विजेता था, जिसने अधिकांश कार्यों पर उच्चतम स्कोर किया, विशेष रूप से जब इसे अपने "रीजनिंग" मोड (थोड़ी देर सोचने के लिए) का उपयोग करने की अनुमति दी गई। फिर भी, जब कठिनाई अधिकतम थी, तो यह भी संघर्ष करता रहा।
संघर्ष करने वाले: ओपन-सोर्स मॉडल (जिन्हें कोई भी डाउनलोड और चला सकता है) ज्यादातर विफल रहे। सबसे कठिन कार्यों पर, वे अक्सर 0% स्कोर करते थे, जिसका अर्थ था कि वे उत्तर ढूंढ ही नहीं सके।
"सोचने" का कारक: शोध पत्र ने मापा कि मॉडल को अधिक "सोचने का समय" (तर्क के लिए अधिक टोकन) देने से उन्हें बहुत मदद मिली। लेकिन अतिरिक्त समय के साथ भी, वे पूरी तरह से उबर नहीं सके जब "नियर-मिस" जाल हर जगह बिखरे हुए थे।

यह शोध पत्र किसे खारिज करता है

लेखक स्पष्ट रूप से इस विचार का खंडन करते हैं कि वर्तमान मॉडलों ने वास्तव में लॉन्ग-कॉन्टेक्स्ट (लंबे संदर्भ) की समझ हासिल कर ली है।

वे इस विचार को खारिज करते हैं कि परप्लेक्सिटी (एक सामान्य गणितीय स्कोर जो बताता है कि मॉडल टेक्स्ट की कितनी अच्छी भविष्यवाणी करता है) लॉन्ग-कॉन्टेक्स्ट कौशल का एक अच्छा माप है। उनका सुझाव है कि एक मॉडल का परप्लेक्सिटी स्कोर कम हो सकता है लेकिन फिर भी वह घास के ढेर में सुई खोजने के काम में बुरी तरह विफल हो सकता है।
वे इस विचार को भी खारिज करते हैं कि केवल कॉन्टेक्स्ट को लंबा करना ही इन मॉडलों को टेस्ट करने का एकमात्र तरीका है। वे दिखाते हैं कि आप टेक्स्ट की लंबाई समान रख सकते हैं लेकिन 'सर्च' को कठिन बना सकते हैं, और मॉडल फिर भी विफल हो जाएंगे।
वे तर्क देते हैं कि "नीडल इन अ हेस्टैक" (घास के ढेर में सुई) परीक्षण (एक छिपी हुई जानकारी ढूंढना) बहुत सरल है। यह इस बात का परीक्षण नहीं करता है कि क्या मॉडल पूरी तस्वीर के बारे में तर्क कर सकता है या जटिल नियमों को संभाल सकता है।

वे कितने निश्चित हैं?

लेखक अपने निष्कर्षों को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने उन्हें सीधे मापा है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने प्रत्येक प्रकार के कार्य के लिए 100 उदाहरणों (और कुछ ओपन-सोर्स मॉडलों के लिए 93) पर मॉडलों को चलाया। उन्होंने अलग-अलग मॉडलों और अलग-अलग प्रकार के जालों में संख्याओं को लगातार गिरते हुए देखा।

वे यह दावा नहीं करते हैं कि उन्होंने लॉन्ग-कॉन्टेक्स्ट AI की समस्या को "हल" कर दिया है। इसके बजाय, वे सुझाव देते हैं कि हमें बेहतर तरीकों से इन रोबोटों का परीक्षण करने की आवश्यकता है। उनका प्रस्ताव है कि वर्तमान पीढ़ी के मॉडल उस छात्र की तरह हैं जो पूरी किताब रट सकता है लेकिन अगर आप उससे किसी विशिष्ट वाक्य को खोजने के लिए कहें जहाँ आस-पास कई मिलते-जुलते वाक्य छिपे हों, तो वह खो जाता है।

संक्षेप में, शोध पत्र सुझाव देता है कि जबकि हमारे AI रोबोट बड़े और तेज़ हो रहे हैं, वे अभी भी सरल ट्रिक्स से लड़खड़ा जाते हैं जब कॉन्टेक्स्ट वास्तव में लंबा और अव्यवस्थित होता है। लेखक आशा करते हैं कि यह समझकर कि वे वास्तव में कहाँ और क्यों विफल होते हैं, हम भविष्य के लिए बेहतर रोबोट बना सकेंगे।

तकनीकी सारांश: PREDICATELONGBENCH

समस्या विवरण

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने तेजी से सुधरती हुई लॉन्ग-कॉन्टेक्स्ट क्षमताओं का प्रदर्शन किया है, मौजूदा मूल्यांकन बेंचमार्क महत्वपूर्ण सीमाओं से ग्रस्त हैं। वर्तमान विधियाँ, जिनमें "नीडल-इन-अ-हेस्टैक" (NIAH) परीक्षण से लेकर मल्टी-हॉप रीजनिंग और समराइजेशन कार्य शामिल हैं, मुख्य रूप से औसत-स्थिति के प्रदर्शन को मापती हैं। इनमें से कई बेंचमार्क संतृप्त (saturated) हैं (जहाँ मॉडल लगभग पूर्ण स्कोर प्राप्त करते हैं) या उनमें मजबूती (robustness) की कमी है। महत्वपूर्ण रूप से, यह समझने में एक व्यवस्थित अंतराल है कि कैसे मॉडल का प्रदर्शन तब घटता है जब लॉन्ग-कॉन्टेक्स्ट कार्यों की कठिनाई को विशिष्ट, नियंत्रित अक्षों (axes) के साथ स्केल किया जाता है। इसके अलावा, कई जटिल बेंचमार्क LLM-जनित कॉन्टेक्स्ट या जजों पर निर्भर करते हैं, जो संभावित पूर्वाग्रह और चक्रीय तर्क (circular reasoning) पेश करते हैं।

कार्यप्रणाली: PREDICATELONGBENCH

इन अंतरालों को संबोधित करने के लिए, लेखक PREDICATELONGBENCH प्रस्तावित करते हैं, जो एल्गोरिदम के माध्यम से सरल लेकिन चुनौतीपूर्ण कार्यों के माध्यम से लॉन्ग-कॉन्टेक्स्ट रीजनिंग का परीक्षण करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क परिवार है। मुख्य कार्य मॉडल को शब्दों की एक स्पेस-सेपरेटेड सूची वाला एक लंबा कॉन्टेक्स्ट प्रदान करना है और उसे दिए गए प्रेडिकेट्स (predicates) या बाधाओं (constraints) को संतुष्ट करने वाले सबसे लंबे निरंतर उप-अनुक्रम (contiguous subsequence) की पहचान करने के लिए कहना है।

टास्क सेटअप

बेंचमार्क एक प्रेडिकेट्स की सूची $f_1, f_2, \dots, f_j$ द्वारा एक कार्य को परिभाषित करता है। मॉडल को सबसे बड़े $k$ की पहचान करनी होगी जिससे एक निरंतर उप-अनुक्रम $w = (w_1, \dots, w_k)$ सभी $i$ के लिए $f_i(w) = 1$ को संतुष्ट करता हो। बेंचमार्क दो प्राथमिक प्रेडिकेट क्लास का उपयोग करता है:

यूनरी प्रेडिकेट्स (Unary Predicates): एक एकल शब्द पर निर्भर (जैसे प्रीफिक्स/सफिक्स/स्ट्रिंग कंटेनमेंट)।
बाइनरी प्रेडिकेट्स (Binary Predicates): दो शब्दों के बीच संबंध पर निर्भर (विशेष रूप से, लेक्सिकोग्राफिक ऑर्डरिंग जहाँ $w_i \preceq w_{i+1}$ )।

जनरेशन पाइपलाइन्स

लेखक मजबूती सुनिश्चित करने के लिए दो पूरक जनरेशन पाइपलाइन्स प्रदान करते हैं:

पूर्णतः सिंथेटिक (Fully Synthetic): लोअरकेस अंग्रेजी वर्णमाला से समान रूप से खींचे गए रैंडम, निश्चित-लंबाई के स्ट्रिंग्स (जैसे 8 या 12 अक्षर) का उपयोग करता है। यह वितरण पर सटीक नियंत्रण की अनुमति देता है और सुनिश्चित करता है कि कोई अनपेक्षित पैटर्न मौजूद न हो।
रियल-वर्ल्ड (Real-World): प्राकृतिक दस्तावेजों (LongBench v2 से फ़िल्टर किए गए) से शब्दों को सैंपल करता है, जो प्राकृतिक भाषा के मूल वितरण गुणों को बनाए रखते हुए उन आर्टिफैक्ट्स को हटा देता है जो कार्य को तुच्छ बना सकते हैं।

कठिनाई के अक्ष (Axes of Difficulty)

कठिनाई को बढ़ाने के लिए कार्य की जटिलता को बढ़ाए बिना या LLM-आधारित जनरेशन की आवश्यकता के बिना, कठिनाई को स्केल करने के लिए बेंचमार्क का केंद्रीय नवाचार कई अक्षों का व्यवस्थित अन्वेषण है:

कंप्यूटेशन (प्रेडिकेट अरिटी): यूनरी (स्वतंत्र शब्द जाँच) से बाइनरी (जोड़ीदार संबंध जाँच, जैसे लेक्सिकोग्राफिक सॉर्टिंग) तक स्केलिंग।
एडवर्सरियल डेकॉय (Adversarial Decoys): "नियर-मिस" (near-miss) डिस्ट्रैक्टर्स पेश करना।
- नियर-मिस: प्रेडिकेट्स को संतुष्ट करने के लिए शब्दों के एक अंश को संशोधित करना या ऐसे अनुक्रम बनाना जो केवल एक स्वैप्ड पेयर के कारण सॉर्टेड नहीं हैं।
- मल्टी-लिस्ट: वैध सॉर्टेड अनुक्रम बनाना जो सबलिस्ट सीमाओं को पार करते हैं, जो इस बाधा का उल्लंघन करते हैं कि समाधान एक ही सबलिस्ट के भीतर होना चाहिए।
सर्च स्पेस का आकार: कॉन्टेक्स्ट में शब्दों की संख्या को बढ़ाना जबकि कुल टोकन काउंट स्थिर रहता है (छोटे शब्दों का उपयोग करके), जिससे सटीक एल्गोरिदम के लिए सर्च स्पेस बढ़ जाता है।
क्वांटिफायर कॉम्प्लेक्सिटी (Quantifier Complexity): अस्तित्व संबंधी प्रश्नों (existential queries - "कोई भी अनुक्रम खोजें") से सार्वभौमिक प्रश्नों (universal queries - "सभी अनुक्रम खोजें" या "अधिकतम लंबाई वाला अनुक्रम खोजें") की ओर बढ़ना, जो पूरे कॉन्टेक्स्ट को सत्यापित करने के लिए मजबूर करता है।
कॉन्टेक्स्ट स्ट्रक्चर: डेकॉय के स्थानिक व्यवस्था (scattered बनाम clustered) को बदलकर असंरचित बनाम संरचित स्थानों में नेविगेशन का परीक्षण करना।

मुख्य योगदान

PREDICATELGENCY बेंचमार्क: कार्यों का एक समूह जो एल्गोरिदम के रूप में सरल है (जिसके लिए किसी LLM जज या जनरेटर की आवश्यकता नहीं है) लेकिन फ्रंटियर मॉडल्स के लिए महत्वपूर्ण चुनौतियाँ पेश करता है।
व्यवस्थित कठिनाई अक्ष: कठिनाई को स्केल करने के लिए अक्षों (कंप्यूटेशन, डेकॉय, सर्च स्पेस, क्वांटिफायर, स्ट्रक्चर) की एक औपचारिक परिभाषा और अन्वेषण।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): यह प्रदर्शित करना कि फ्रंटियर मॉडल्स इन अक्षों के साथ कठिनाई बढ़ने पर काफी संघर्ष करते हैं, जो वर्तमान लॉन्ग-कॉन्टेक्ट क्षमताओं की विशिष्ट सीमाओं को प्रकट करता है।
स्ट्रक्चर सेंसिटिविटी: इस बात का प्रमाण कि सूचना की स्थानिक व्यवस्था (स्कैटर बनाम क्लस्टर) प्रदर्शन को नाटकीय रूप से प्रभावित करती है, जो यह सुझाव देती है कि लॉन्ग-कॉन्टेक्स्ट कार्यों में "कठिनाई" अक्सर केवल सूचना की सामग्री के बजाय सर्च स्पेस के वितरण का गुण होती है।

परिणाम

लेखकों ने बेंचमार्क पर कई फ्रंटियर क्लोज्ड-सोर्स मॉडल्स (GPT-5.4, Gemini 3.1, Opus 4.6, आदि) और ओपन-सोर्स मॉडल्स (Qwen 3.5, GLM 5.1, Minimax 2.7) का मूल्यांकन किया।

बेसलाइन प्रदर्शन: क्लोज्ड-सोर्स मॉडल्स आमतौर पर बेसलाइन यूनरी कार्यों पर अच्छा प्रदर्शन करते हैं (जैसे, Opus 4.6 के लिए ~90% सटीकता)। हालांकि, बाइनरी (लेक्सिकोग्राफिक) कार्यों के लिए प्रदर्शन काफी गिर जाता है, जहाँ ओपन-सोर्स मॉडल्स अक्सर पूरी तरह से विफल (0% के करीब सटीकता) हो जाते हैं।
कठिनाई अक्षों का प्रभाव:
- क्वांटिफायर्स: अस्तित्व संबंधी से सार्वभौमिक क्वांटिफायर्स में स्विच करने से अधिकांश मॉडल्स के प्रदर्शन में एक समान गिरावट आती है, भले ही उत्तर सेट का आकार प्रभावी रूप से एक ही हो।
- डेकॉय: बिखरे हुए नियर-सॉर्टेड डेकॉय पेश करने से सटीकता में भारी गिरावट आती है (उदाहरण के लिए, लेक्सिकोग्राफिक कार्यों पर Opus 4.6 ~97% से गिरकर <2% हो जाता है)।
- सर्च स्पेस: टोकन काउंट को स्थिर रखते हुए शब्दों (सर्च स्पेस) की संख्या बढ़ाने से प्रदर्शन में तीव्र गिरावट आती है (उदाहरण के लिए, GPT-5.4 92% से गिरकर 10% हो जाता है)।
- स्ट्रक्चर: डेकॉय को टारगेट सीक्वेंस के पास क्लस्टर करने से प्रदर्शन बेसलाइन स्तरों के करीब वापस आ जाता है, जो इंगित करता है कि कठिनाई डेकॉय के कारण नहीं बल्कि एक बड़े, असंरचित सर्च स्पेस में नेविगेट करने की आवश्यकता से उत्पन्न होती है।
इन्फरेंस कंप्यूट: प्रदर्शन रीजनिंग बजट (इन्फरेंस कंप्यूट) के साथ अत्यधिक सह-संबंधित है। "हाई" रीजनिंग सेटिंग्स वाले मॉडल्स "नो" या "लो" की तुलना में बेहतर प्रदर्शन करते हैं, हालांकि "हाई-रीजनिंग" मॉडल्स भी सबसे कठिन वेरिएंट्स पर विफल हो जाते हैं।
विफलता मोड (Failure Modes): विश्लेषण से पता चलता है कि मॉडल मुख्य रूप से सही अनुक्रम को 'पुनरुत्पादित' करने के बजाय उसे लोकेट करने में संघर्ष करते हैं। विफलताएं अक्सर टोकन बजट की समाप्ति या इनपुट टेक्स्ट को दोहराने की स्थिति में बदल जाने से जुड़ी होती हैं।

महत्व और दावे

पेपर का दावा है कि PREDICATELONGBENCH वर्तमान लॉन्ग-कॉन्टेक्ट मॉडल्स की सीमाओं को समझने के लिए एक आवश्यक उपकरण प्रदान करता है। कठिनाई के विशिष्ट अक्षों को अलग करके, यह बेंचमार्क प्रकट करता है कि:

वर्तमान मॉडल्स भंगुर (brittle) हैं: वे सरल रिट्रीवल पर अच्छा प्रदर्शन करते हैं लेकिन एडवर्सरियल डिस्ट्रैक्टर्स, बढ़े हुए सर्च स्पेस या जटिल क्वांटिफायर लॉजिक का सामना करने पर तेजी से विफल हो जाते हैं।
कॉन्टेक्स्ट स्ट्रक्चर मायने रखता है: लॉन्ग-कॉन्टेक्स्ट कार्यों की "कठिनाई" सूचना के स्थानिक वितरण से गहराई से जुड़ी हुई है; बिखरी हुई सूचना, क्लस्टर्ड सूचना की तुलना में काफी कठिन होती है।
टोकन काउंट अपर्याप्त है: प्रदर्शन में गिरावट सर्च स्पेस के आकार और संरचनात्मक जटिलता के कारण होती है, न कि केवल कच्चे टोकन की संख्या के कारण।
सादगी कुंजी है: कार्य वैचारिक रूप से सरल हैं और उनके लिए LLM-आधारित जनरेशन की आवश्यकता नहीं है, जो उन्हें एक मजबूत, गैर-चक्रीय मूल्यांकन मीट्रिक बनाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि फ्रंटियर मॉडल्स आशाजनक दिखते हैं, उन्होंने अभी तक बड़े, असंरचित सर्च स्पेस के व्यवस्थित नेविगेशन में महारत हासिल नहीं की है जो मजबूत लॉन्ग-कॉन्टेक्स्ट समझ के लिए आवश्यक है। यह बेंचमार्क इन विशिष्ट विफलता मोड का निदान करने और भविष्य के मॉडल विकास को निर्देशित करने के लिए एक मार्ग प्रदान करता है।