LoHoSearch: Benchmarking Long-Horizon Search Agents Beyond the Human Difficulty Ceiling
मौजूदा मानव-लिखित खोज बेंचमार्क की कठिनाई सीमा को पार करने के लिए, यह शोध पत्र LoHoSearch पेश करता है, जो एक स्वचालित, नॉलेज ग्राफ-आधारित बेंचमार्क है जिसमें 11 डोमेन में 544 जटिल, लॉन्ग-होराइजन प्रश्न शामिल हैं जो वर्तमान अत्याधुनिक सर्च एजेंटों को महत्वपूर्ण रूप से चुनौती देते हैं, जिससे उनकी सटीकता घटकर 34.74% रह जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ LoHoSearch पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "ईज़ी मोड" का जाल
कल्पना कीजिए कि एक वीडियो गेम है जहाँ लक्ष्य एक विशिष्ट छिपे हुए खजाने को खोजना है। पिछले एक साल से, शोधकर्ता एक गेम BrowseComp का उपयोग करके AI "सर्च एजेंटों" (इंटरनेट ब्राउज़ करने वाले रोबोट) का परीक्षण कर रहे हैं।
शुरुआत में, यह खेल कठिन था। लेकिन क्योंकि इंसानों ने प्रश्न डिज़ाइन किए थे, उन्होंने अनजाने में इन्हें बहुत आसान बना दिया। इंसान अक्सर प्रसिद्ध चीजों (जैसे "एफिल टॉवर" या "टेलर स्विफ्ट") को चुनते हैं और उन्हें स्पष्ट सुरागों के साथ जोड़ देते हैं। यह खजाने के पीछे "खजाना" लेबल वाला दरवाजा छिपाने जैसा है।
क्योंकि सुराग इतने स्पष्ट थे, बेहतरीन AI रोबोटों ने जल्दी ही 90% पहेलियों को हल करना सीख लिया। इस गेम ने एक स्मार्ट रोबोट और एक बहुत ही स्मार्ट रोबोट के बीच अंतर करने की अपनी क्षमता खो दी। कठिनाई एक ऐसे "सीलिंग" (छत) पर पहुँच गई जिसे मानव डिज़ाइनर तोड़ नहीं पा रहे थे क्योंकि उनके पास पूरे इंटरनेट का एक सटीक नक्शा नहीं था जिससे वे देख सकें कि कितने अन्य "खजाने" उन सुरागों में फिट हो सकते हैं।
समाधान: एक "सुपर-मैप" बनाना
इस पेपर के लेखकों ने, LoHoSearch, मानवीय अनुमानों पर भरोसा करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने एक नॉलेज ग्राफ (Knowledge Graph) पर आधारित एक विशाल, स्वचालित प्रणाली बनाई।
इस नॉलेज ग्राफ को पूरे इंटरनेट (विशेष रूप से विकिपीडिया) के एक विशाल, डिजिटल मानचित्र के रूप में सोचें, जिसमें 70 लाख से अधिक एंटिटीज (लोग, स्थान, चीजें) और उनके बीच के संबंध शामिल हैं।
एक इंसान द्वारा प्रश्न चुनने के बजाय, कंप्यूटर इस मानचित्र का उपयोग करता है:
- "कठिन" रास्तों को खोजना: यह उन कनेक्शनों को खोजता है जहाँ एक या दो प्रसिद्ध उत्तरों के बजाय हजारों संभावित उत्तर होते हैं।
- जटिल भूलभुलैया बनाना: यह ऐसे प्रश्न बनाता है जिनमें रोबोट को सही रास्ता खोजने के लिए कई गलत रास्तों (dead ends) की जाँच करनी पड़ती है।
- उत्तर को सत्यापित करना: यह गणितीय रूप से सिद्ध करता है कि केवल एक विशिष्ट उत्तर ही सुरागों के अनुकूल है, जिससे यह सुनिश्चित होता है कि पहेली निष्पक्ष है।
नया गेम: LoHoSearch
परिणामस्वरूप एक नया बेंचमार्क सामने आया जिसे LoHoSearch (लॉन्ग-होरिज़न सर्च) कहा जाता है। इसमें 11 अलग-अलग विषयों (जैसे संगीत, खेल और फिल्में) में 544 पेचीदा प्रश्न शामिल हैं।
यहाँ देखें कि नया गेम नियमों को कैसे बदलता है:
- सर्च स्पेस बहुत बड़ा है: पुराने गेम में, यदि सुराग था "यह गाना किसने गाया?", तो शायद 5 प्रसिद्ध गायक हो सकते थे। LoHoSearch में, सुराग हो सकता है "एक विशिष्ट वर्ष और विशिष्ट शैली के इस अज्ञात गाने को किसने गाया?" जहाँ सैकड़ों संभावित गायक हो सकते हैं। रोबोट को उन सभी की जाँच करनी होगी।
- भूलभुलैया घुमावदार है: प्रश्न केवल एक सीधी रेखा नहीं हैं। वे एक उलझे हुए जाल की तरह हैं जहाँ आपको उन सुरागों को क्रॉस-रेफरेंस करना पड़ता है जो आपस में वापस घूमते हैं। आप केवल अनुमान नहीं लगा सकते; आपको गहराई से सोचना होगा।
परिणाम: रोबोटों की दीवार से टक्कर
शोधकर्ताओं ने इस नए गेम पर दुनिया के सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। परिणाम चौंकाने वाले थे:
- पुराना गेम: शीर्ष मॉडल्स ने 90% से अधिक स्कोर किया।
- नया गेम: यहाँ तक कि सबसे अच्छा मॉडल (GPT-5.5) भी केवल 34.7% स्कोर कर पाया।
यह ऐसा है जैसे रोबोट शतरंज के "ग्रैंडमास्टर" से बदलकर एक नए, बहुत कठिन खेल के नियम सीखने के लिए संघर्ष करने लगे हों।
वर्तमान तरकीबें काम क्यों नहीं करतीं
जब रोबोट कठिन पहेलियों पर फंस जाते हैं, तो वे आमतौर पर "कॉन्टेक्स्ट मैनेजमेंट" (Context Management) नामक रणनीति का उपयोग करने की कोशिश करते हैं। कल्पना कीजिए कि एक जासूस ने 100 पन्नों के नोट्स लिखे हैं। यदि नोटबुक बहुत भर जाती है, तो वह नोट्स का सारांश लिखने या नए नोट्स के लिए जगह बनाने के लिए पुराने पन्ने हटाने की कोशिश करता है।
शोधकर्ताओं ने LoHoSearch पर इन रणनीतियों का परीक्षण किया।
- पुराने आसान गेम पर, इन तरकीबों ने रोबोटों को 14% सुधार करने में मदद की।
- नए कठिन गेम पर, इन तरकीबों ने केवल 6.8% मदद की।
यह दर्शाता है कि समस्या केवल याद रखने के बारे में नहीं है; समस्या यह है कि "भूलभुलैया" इतनी जटिल है और "सर्च स्पेस" इतना बड़ा है कि रोबोटों का वर्तमान मस्तिष्क उस लंबे तर्क (reasoning) को संभालने में सक्षम नहीं है जिसकी आवश्यकता होती है।
निष्कर्ष
LoHoSearch साबित करता है कि हम केवल थोड़े कठिन मानव-लिखित प्रश्न बनाकर आगे नहीं बढ़ सकते। यह वास्तव में परीक्षण करने के लिए कि क्या AI अधिक स्मार्ट हो रहा है, हमें एक कंप्यूटर-जनित मानचित्र का उपयोग करके ऐसी पहेलियाँ बनानी होंगी जो गणितीय रूप से कठिन होने की गारंटी देती हों।
यह नया बेंचमार्क एक "स्ट्रेस टेस्ट" के रूप में कार्य करता है जो AI की वर्तमान सीमाओं को उजागर करता है। यह दिखाता है कि हालांकि AI आसान उत्तर खोजने में बहुत अच्छा है, लेकिन जब उसे एक विशाल, जटिल सूचना जाल के माध्यम से एक एकल, छिपे हुए सत्य को खोजने की आवश्यकता होती है, तो वह अभी भी काफी संघर्ष करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।