← नवीनतम पेपर
🤖 AI

RECON: Benchmarking Agent Memory for Compositional Reasoning over Long Contexts

यह शोध पत्र RECON को प्रस्तुत करता है, जो आपराधिक, चिकित्सा और वित्तीय डोमेन में 24 लॉन्ग-कॉन्टेक्स्ट केस फाइलों से बना एक नवीन बेंचमार्क है, जिसे जटिल कंपोजिशनल रीजनिंग कार्यों जैसे कि मल्टी-हॉप एविडेंस रिकंस्ट्रक्शन, कॉन्फ्लिक्ट रेजोल्यूशन और काउंटरफैक्चुअल एनालिसिस में वर्तमान LLM-आधारित एजेंटों की सीमाओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जहाँ सबसे मजबूत सिस्टम भी केवल 22.4% सटीकता प्राप्त करते हैं।

मूल लेखक: Mihir Shriniwas Arya

प्रकाशित 2026-07-21
📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Mihir Shriniwas Arya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग केवल एक कमरे में बिखरे हुए नहीं हैं; वे एक छोटे शहर के आकार के पुस्तकालय के भीतर दबे हुए हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स और डिजिटल सहायकों के पीछे के सुपर-स्मार्ट कंप्यूटर दिमाग हैं। ये मॉडल पढ़ने और बात करने में अद्भुत हैं, लेकिन उनकी एक कठिन कमजोरी है: याददाश्त (मेमोरी)। याददाश्त को केवल एक हार्ड ड्राइव के रूप में न सोचें जहाँ तथ्य संग्रहीत होते हैं, बल्कि एक जासूस की उस क्षमता के रूप में सोचें जो न केवल यह याद रखता है कि क्या हुआ, बल्कि यह भी कि एक घटना ने दूसरी घटना तक कैसे पहुँचाया। यदि कोई गवाह अपनी कहानी बदल देता है, या कोई लैब टेस्ट फर्जी साबित हो जाता है, तो एक अच्छा जासूस जानता है कि कौन से पुराने निष्कर्ष अब टूट चुके हैं और कौन से अभी भी कायम हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये एआई (AI) जासूस वास्तव में हजारों पन्नों पर इन जटिल, बदलती कहानियों का पीछा कर सकते हैं, या वे बस भ्रमित होकर मनगढ़ंत बातें बनाने लगते हैं?

यहाँ RECON आता है, एक नया "स्ट्रेस टेस्ट" जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या एआई एजेंट लंबी, जटिल कहानियों को संभाल सकते हैं जहाँ तथ्य बदलते हैं, एक-दूसरे का खंडन करते हैं, और कहानी में एक लहर की तरह फैलते हैं। शोधकर्ताओं ने 24 विशाल केस फाइलें बनाईं—कुछ 1,00,000 शब्दों जितनी लंबी थीं—जिनमें आपराधिक जांच, चिकित्सा रहस्यों और वित्तीय धोखाधड़ी को शामिल किया गया। ये केवल डेटा की उबाऊ सूचियाँ नहीं हैं; ये गतिशील कहानियाँ हैं जहाँ पहले दिन मिला एक सुराग पाँचवें दिन फर्जी साबित हो सकता है, जिससे एआई को यह पता लगाने के लिए मजबूर होना पड़ता है कि उसके पिछले अनुमानों में से कौन से गलत थे। यह परीक्षण छह विशिष्ट कौशलों की जाँच करता है, जैसे 15 सुरागों की एक श्रृंखला को जोड़ना, यह पता लगाना कि क्या होता यदि कोई प्रमुख घटना किसी अलग समय पर हुई होती, या यह तय करना कि जब दो लोग अलग-अलग बातें बताते हैं तो कौन सा गवाह झूठ बोल रहा है।

इस प्रयोग के परिणाम एआई की दुनिया के लिए एक वास्तविकता की जाँच (रियलिटी चेक) की तरह हैं। यहाँ तक कि सबसे स्मार्ट एआई सिस्टम भी संघर्ष करते हुए पाए गए। सबसे अच्छा गैर-विशेषज्ञ एआई भी 23% से भी कम समय में सही उत्तर दे पाया। इसे समझने के लिए, यदि आप किसी इंसान से सामने पूरा टेक्स्ट रखकर यही पहेलियाँ सुलझाने को कहें, तो वे बहुत बेहतर प्रदर्शन करेंगे। अध्ययन में पाया गया कि समस्या केवल यह नहीं है कि एआई किताब का सही पन्ना नहीं ढूँढ पाता (रिट्रीवल); असली बाधा तर्क (रीजनिंग) है। भले ही एआई को "चीट शीट" (सभी तथ्यों और उनके जुड़ाव का एक सटीक, संरचित मानचित्र) दी गई थी, फिर भी वह केवल लगभग 55% उत्तर ही सही दे सका। यह सुझाव देता है कि जबकि एआई लंबी किताबें पढ़ने में बेहतर हो रहा है, लेकिन इसने अभी तक इस कला में महारत हासिल नहीं की है कि कैसे कहानी के बदलने पर बिंदुओं को आपस में जोड़ा जाए। शोधकर्ताओं का निष्कर्ष है कि एआई के वास्तविक दुनिया की नौकरियों में एक विश्वसनीय एजेंट के रूप में कार्य करने के लिए, उसे यह समझने में बहुत बेहतर होना होगा कि तथ्य एक-दूसरे पर कैसे निर्भर करते हैं, न कि केवल उन्हें याद रखने में।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →