Measuring Iterative Temporal Reasoning with Time Puzzles
यह शोध पत्र "टाइम पज़ल्स" (Time Puzzles) पेश करता है, जो टूल के साथ पुनरावृत्ति संबंधी टेम्पोरल रीजनिंग (iterative temporal reasoning) के मूल्यांकन के लिए एक बेंचमार्क है, जो यह प्रकट करता है कि स्पष्ट बाधाओं के बिना यहाँ तक कि शीर्ष LLMs भी दिनांक अनुमान (date inference) में संघर्ष करते हैं और वर्तमान टूल का उपयोग ऐसे कार्यों के लिए अविश्वसनीय बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आप चोरी हुए हीरे के बजाय कैलेंडर पर एक विशिष्ट तारीख की तलाश कर रहे हैं।
यह शोध पत्र "टाइम पजल्स" (Time Puzzles) नामक एक नए गेम का परिचय देता है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि आधुनिक AI (लार्ज लैंग्वेज मॉडल्स) कितनी अच्छी तरह जासूसी कर सकते हैं जब उन्हें वेब सर्च इंजन जैसे टूल्स का उपयोग करने की अनुमति दी जाती है।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र का विवरण दिया गया है:
1. समस्या: "स्टैटिक" बनाम "वास्तविक दुनिया" का अंतर
अधिकांश AI परीक्षणों को एक बंद किताब वाली परीक्षा (closed-book exam) की तरह समझें। AI को एक प्रश्न दिया जाता है और उसे केवल उसी जानकारी का उपयोग करके उत्तर देना होता है जो उसने अपने प्रशिक्षण के दौरान याद की है।
- वास्तविकता: वास्तविक दुनिया में, AI केवल एक लाइब्रेरी में नहीं बैठा रहता। उसके पास एक स्मार्टफोन होता है। वह गूगल कर सकता है, कैलेंडर ऐप चेक कर सकता है, या किसी ऐतिहासिक घटना के बारे में खोज सकता है।
- मुद्दा: वर्तमान परीक्षण यह नहीं देखते कि क्या AI अपने स्मार्टफोन का प्रभावी ढंग से उपयोग कर सकता है। वे केवल यह देखते हैं कि उसे चीजें याद हैं या नहीं। लेखक यह देखना चाहते थे: क्या AI एक मानव की तरह चरण-दर-चरण एक पहेली को हल करने के लिए सर्च इंजन का उपयोग कर सकता है?
2. समाधान: "टाइम पजल्स" (Time Puzzles)
लेखकों ने एक नया प्रकार का पहेली बनाया है। कल्पना कीजिए कि आपको एक पहेली हल करनी है जहाँ आपको एक विशिष्ट दिन खोजना है, लेकिन आपको सुराग एक जासूसी केस फाइल की तरह दिए गए हैं:
- सुराग 1: "यह वही वर्ष है जब हन्स ब्लाशके (Hanns Blaschke) वियना के मेयर थे।" (आपको इस तथ्य को खोजना होगा)।
- सुराग 2: "यह चीनी चंद्र कैलेंडर का छठा महीना है।" (आपको इसे ग्रेगोरियन महीने में बदलना होगा)।
- सुराग 3: "यह उस महीने का दूसरा अंतिम रविवार है।"
- सुराग 4: "यह महीने की 5 तारीख के बाद का है।"
इसे हल करने के लिए, AI केवल "अनुमान" नहीं लगा सकता। उसे करना होगा:
- खोज (Search): ब्लाशके कब मेयर थे, इसके लिए खोजना (वर्ष ढूँढना: 1945)।
- अनुवाद (Translate): चंद्र महीने को जुलाई में बदलना।
- जांच (Check): 1945 के कैलेंडर को देखकर उस महीने का दूसरा अंतिम रविवार ढूँढना (जुलाई 22)।
- सत्यापन (Verify): यह जांचना कि क्या जुलाई 22 महीने की 5 तारीख के बाद आता है।
यह पुनरावृत्ति तर्क (Iterative Reasoning) है: छोटे चरणों की एक श्रृंखला जहाँ एक उत्तर अगले उत्तर की ओर ले जाता है, जिसमें अक्सर हर चरण पर एक टूल (जैसे सर्च इंजन) की आवश्यकता होती है।
3. प्रयोग: 13 AI मॉडल्स का परीक्षण
शोधकर्ताओं ने इन पहेलियों के 600 सेट बनाए और उनका परीक्षण 13 अलग-अलग AI मॉडल्स पर किया (जिसमें GPT-5 जैसे नवीनतम मॉडल भी शामिल हैं)। उन्होंने इनका परीक्षण दो तरीकों से किया:
- "नो-फोन" टेस्ट (बिना फोन के): AI को केवल अपनी याददाश्त का उपयोग करके इसे हल करना था।
- "विद-फोन" टेस्ट (फोन के साथ): AI को वेब सर्च टूल का उपयोग करने की अनुमति दी गई थी।
4. आश्चर्यजनक परिणाम
भले ही ये पहेलियाँ गूगल सर्च वाले इंसान के लिए आसान लग सकती हैं, लेकिन AI को इसमें काफी संघर्ष करना पड़ा।
- "नो-फोन" का संघर्ष: सबसे स्मार्ट AI (GPT-5) भी बिना टूल्स के लगभग 55% उत्तर सही दे पाया। यह एक ऐसे जीनियस छात्र की तरह है जो परीक्षा में इसलिए फेल हो गया क्योंकि उसने कैलकुलेटर का उपयोग करने से मना कर दिया।
- "टूल" का अंतर: जब AI को वेब सर्च का उपयोग करने की अनुमति दी गई, तो वह बेहतर हुआ, लेकिन उतना बेहतर नहीं जितना उसे होना चाहिए था।
- ट्विस्ट: जब शोधकर्ताओं ने पहेलियों को इस तरह से फिर से लिखा कि AI को खोजने के बजाय सटीक तारीखें सीधे दे दी गईं (उदाहरण के लिए, "वियना के मेयर" के बजाय "वर्ष 1945" लिखना), तो AI का प्रदर्शन जबरदस्त रूप से बढ़ गया।
- निष्कर्ष: AI गणित या तर्क में बुरा नहीं है। वह कड़ियों को जोड़ने (connecting the dots) में बुरा है। उसे वेब पर मिले तथ्य (जैसे "ब्लाशके 1945 में मेयर थे") को पहेली के अगले चरण में सहजता से फिट करने में कठिनाई होती है। वह अक्सर प्रक्रिया के बीच में ही भटक जाता है।
5. "कोड इंटरप्रेटर" की विफलता
शोधकर्ताओं ने AI को गणित करने के लिए एक "कैलकुलेटर" (Code Interpreter) देने की भी कोशिश की। आश्चर्यजनक रूप से, इससे कभी-कभी चीजें और भी बदतर हो गईं। AI टूल का उपयोग करने में भ्रमित हो गया, जिससे पता चलता है कि केवल AI को एक टूल थमा देने से यह गारंटी नहीं मिलती कि उसे पता होगा कि उसका सही उपयोग कैसे करना है।
मुख्य निष्कर्ष
वर्तमान AI को एक बहुत ही बुद्धिमान इंटर्न की तरह समझें।
- यदि आप उन्हें स्पष्ट, चरण-दर-चरण निर्देश देते हैं और सभी नंबर भरे हुए होते हैं, तो वे बहुत अच्छे होते हैं।
- लेकिन यदि आप उनसे कहें, "पता लगाओ कि 1945 में मेयर कौन था, फिर पता लगाओ कि उस दिन सप्ताह का कौन सा दिन था, और मुझे तारीख बताओ," तो वे अक्सर भटक जाते हैं। वे शायद मेयर का नाम ढूंढ लेंगे, लेकिन साल भूल जाएंगे, या कैलेंडर को गलत समझ लेंगे।
संक्षेप में: हमने ऐसे AI बनाए हैं जो तथ्यों को याद रखने में बेहतरीन हैं, लेकिन वे अभी भी प्रभावी जासूस बनने की सीख रहे हैं जो वास्तविक दुनिया में जटिल, बहु-चरणीय समस्याओं को हल करने के लिए टूल्स का उपयोग कर सकें। "टाइम पजल्स" एक नया पैमाना है जो यह मापता है कि उन्हें अभी कितनी दूर जाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।