Absurd World: A Simple Yet Powerful Method to Absurdify the Real-world for Probing LLM Reasoning Capabilities
यह शोध पत्र "एब्सर्ड वर्ल्ड" (Absurd World) का परिचय देता है, जो एक बेंचमार्किंग फ्रेमवर्क है जो वास्तविक दुनिया के परिदृश्यों को व्यवस्थित रूप से तार्किक रूप से सुसंगत लेकिन विचित्र (absurd) संदर्भों में परिवर्तित करता है ताकि यह मूल्यांकन किया जा सके कि क्या लार्ज लैंग्वेज मॉडल्स के पास याद किए गए वास्तविक दुनिया के पैटर्न से स्वतंत्र मजबूत तार्किक तर्क क्षमताएं मौजूद हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है जिसने इंटरनेट की लगभग हर किताब, लेख और वेबसाइट को पढ़ लिया है। आप उससे एक सरल प्रश्न पूछते हैं: "यदि मेरे पास 3 सेब हैं और मैं 1 खा लेता हूँ, तो मेरे पास कितने बचे?" वह तुरंत उत्तर देता है "2"। यह एकदम सटीक लगता है।
लेकिन क्या होगा यदि आप रोबोट को बताते, "इस जादुई दुनिया में, यदि आप एक सेब खाते हैं, तो वास्तव में आपको एक सेब मिलता है"? एक इंसान तुरंत इस नए नियम को समझ जाएगा और कहेगा, "ठीक है, तो मेरे पास 4 सेब हैं।" यह पेपर सुझाव देता है कि हमारे वर्तमान AI सहायक शायद भ्रमित हो सकते हैं। वे आपके नए नियम को अनदेखा कर सकते हैं और बस "2" कह सकते हैं क्योंकि उन्होंने वास्तविक दुनिया में ऐसा ही होने की अपेक्षा सीखी है।
यह पेपर एक नया परीक्षण क्षेत्र पेश करता है जिसे Absurd World (अजीब दुनिया) कहा जाता है, ताकि यह देखा जा सके कि क्या AI वास्तव में आपके नियमों का पालन कर सकता है, या वह केवल इस बात पर निर्भर है कि दुनिया आमतौर पर कैसे काम करती है।
मुख्य विचार: "मैजिकल सॉकर" खेल
शोधकर्ताओं ने एक साधारण खेल बनाया जो सॉकर पेनल्टी शूटआउट पर आधारित है। एक सामान्य खेल में, यदि आप गेंद को नेट में मारते हैं, तो आपको एक अंक मिलता है। यदि आप चूक जाते हैं, तो आपको कुछ नहीं मिलता।
Absurd World में, उन्होंने इस परिचित खेल को लिया और इसके नियमों को थोड़ा सा बदलकर कुछ "अजीब" संस्करण बनाए, जो इंसानों के लिए समझने में तो आसान हैं लेकिन AI के लिए अजीब हैं:
- "मिस" नियम: इस संस्करण में, नेट से चूकने पर आपको एक अंक मिलता है, और नेट में हिट करने पर शून्य मिलता है।
- "लीस्ट" (सबसे कम) नियम: जिस टीम का स्कोर सबसे कम होता है, वह जीतती है।
- "आइसक्रीम" नियम: अंकों के बजाय, टीमें आइसक्रीम कोन अर्जित करती हैं।
- "स्विच" नियम: टीमें गेंद की जगह नेट को गेंद की ओर मारती हैं (वस्तुओं की भूमिकाओं को बदल दिया जाता है)।
लक्ष्य गणित को कठिन बनाना नहीं था। गणित अभी भी केवल साधारण गिनती ही थी। लक्ष्य यह देखना था कि क्या AI अपनी वास्तविक दुनिया की ट्रेनिंग को अनदेखा कर सकता है और सख्ती से आपके अजीब और नए निर्देशों का पालन कर सकता है।
उन्होंने इसका परीक्षण कैसे किया?
उन्होंने एक मानक सॉकर गेम को बिल्डिंग ब्लॉक्स में तोड़कर वैज्ञानिकों की तरह काम किया:
- प्रतीक (Symbols): खिलाड़ी, गेंद, नेट।
- क्रियाएं (Actions): हिट करना या चूक जाना।
- नियम (Rules): अंक कैसे मिलते हैं और कौन जीतता है।
फिर उन्होंने इन ब्लॉक्स को आपस में बदलकर सैकड़ों ऐसे "अजीब" परिदृश्य बनाए। उन्होंने विभिन्न AI मॉडल्स को एक मैच की छोटी सी कहानी पढ़ने को दी और विजेता घोषित करने को कहा।
आश्चर्यजनक परिणाम
पेपर में तीन मुख्य बातें मिलीं जो आपको यह सोचने पर मजबूर कर सकती हैं कि ये AI वास्तव में कितने "स्मार्ट" हैं:
1. "महंगे" मॉडल वास्तव में खराब थे
आप सोच सकते हैं कि सबसे महंगे, शक्तिशाली AI मॉडल नए नियमों का पालन करने में सबसे अच्छे होंगे। आश्चर्यजनक रूप से, "सस्ते" मॉडल अक्सर "महंगे" नॉन-रीज़निंग (तर्क न करने वाले) मॉडल्स से बेहतर प्रदर्शन करते थे। महंगे मॉडल अपने ही विचारों में फंसते हुए प्रतीत हुए, वे इस बात पर बहुत अधिक निर्भर थे कि उनके अनुसार वास्तविक सॉकर गेम में क्या होना चाहिए, बजाय इसके कि प्रॉम्प्ट में वास्तव में क्या कहा गया था।
2. "रीज़निंग" (तर्क करने वाले) मॉडल चैंपियन थे
विशेष रूप से "सोचने" (अक्सर रीजनिंग मॉडल्स कहा जाता है) के लिए डिज़ाइन किए गए मॉडल्स ही एकमात्र ऐसे थे जिन्होंने परफेक्ट स्कोर प्राप्त किया। वे अजीब नियम ("चूकने पर अंक मिलते हैं") को देख सकते थे और कह सकते थे, "ठीक है, मैं अपने वास्तविक दुनिया के ज्ञान को अनदेखा करूँगा और इस नए नियम का पालन करूँगा।" वे जादू से भ्रमित नहीं हुए।
3. उदाहरण देना उल्टा पड़ा
आमतौर पर, जब आप किसी AI को कुछ सिखाना चाहते हैं, तो आप उसे पहले कुछ उदाहरण देते हैं (इसे "फ्यू-शॉट प्रॉम्प्टिंग" कहा जाता है)। आप कह सकते हैं, "यहाँ खेलने का एक उदाहरण है, अब आप कोशिश करें।"
- ट्विस्ट: इस अध्ययन में, AI को उदाहरण देने से वास्तव में उसकी क्षमता कम हो गई। ऐसा लगा कि "पुराने" तरीके के उदाहरण देखना AI को भ्रमित कर रहा था जब वह "अजीब" नियमों को अपनाने की कोशिश कर रहा था। यह किसी को कुत्ता बनाने से पहले बिल्ली का चित्र दिखाने जैसा था; वे बार-बार बिल्ली के लक्षण ही बनाते रहे।
निष्कर्ष
यह पेपर तर्क देता है कि हमें केवल कठिन और जटिल पहेलियों पर AI का परीक्षण करना बंद कर देना चाहिए। इसके बजाय, हमें उन्हें अजीब नियमों वाले सरल कार्यों पर परखना चाहिए।
यदि एक AI एक सरल नियम का पालन नहीं कर सकता कि "जीतने के लिए गोल से चूकना होगा," तो उस पर अधिक जटिल कार्यों के लिए भरोसा करना सुरक्षित नहीं हो सकता जहाँ नियम उसके प्रशिक्षण डेटा से अलग हों। Absurd-World एक उपकरण है यह जांचने के लिए कि क्या एक AI वास्तव में आपकी बात सुन रहा है, या वह केवल वही दोहरा रहा है जो उसे लगता है कि आपको सुनना चाहिए।
संक्षेप में: सिर्फ इसलिए कि एक AI वास्तविक दुनिया के बारे में सब कुछ जानता है, इसका मतलब यह नहीं है कि वह आपकी जादुई दुनिया के नियमों के साथ खेल सकता है। इस पेपर ने यह पता लगाने के लिए एक प्लेग्राउंड बनाया कि कौन से AI गियर बदल सकते हैं और कौन से एक ही जगह स्थिर रह जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।