RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context
यह शोध पत्र RELIC को पेश करता है, जो बड़े भाषा मॉडलों (LLMs) की जटिल तर्क क्षमता का मूल्यांकन करने के लिए एक ढांचा है, जो इन-कॉन्टेक्स्ट (in-context) संदर्भ-मुक्त भाषाओं (context-free languages) को पहचानने की उनकी क्षमता का परीक्षण करता है, जिससे यह पता चलता है कि उन्नत मॉडल भी कार्य की कठिनाई के साथ इन्फरेंस कंप्यूट (inference compute) को स्केल करने में विफल रहते हैं और अक्सर जटिलता बढ़ने के साथ एल्गोरिद्मिक तर्क (algorithmic reasoning) से अनुमान लगाने (guessing) की ओर स्थानांतरित हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान सहायक को एक पहेली सुलझाने के लिए काम पर रख रहे हैं। आप उन्हें एक बिल्कुल नई नियम पुस्तिका (एक "व्याकरण") और एक विशिष्ट वाक्य (एक "स्ट्रिंग") देते हैं। आपका प्रश्न सरल है: "क्या यह वाक्य पुस्तक के नियमों का पालन करता है?"
यह ठीक वही है जिसके बारे में RELIC पेपर है। यह एक नया तरीका है यह परीक्षण करने का कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे के AI दिमाग हैं—कितनी अच्छी तरह से जटिल, बहु-चरणीय समस्याओं को हल कर सकते हैं जब उन्हें चलते-फिरती नई निर्देश दिए जाते हैं।
यहाँ सरल उपमाओं का उपयोग करके पेपर के निष्कर्षों का विवरण दिया गया है:
1. परीक्षण: "नियम पुस्तिका पहेली"
शोधकर्ताओं ने एक खेल बनाया है जहाँ AI को एक व्याकरण जासूस की तरह कार्य करना होता है।
- सेटअप: वे हजारों अद्वितीय, काल्पनिक नियम पुस्तिकाएं तैयार करते हैं। ये अंग्रेजी या स्पेनिश नहीं हैं; वे अमूर्त नियमों के सेट हैं (जैसे "A के बाद B आना चाहिए," या "C बदलकर D हो जाता है")।
- कार्य: AI नियम पुस्तिका और यादृच्छिक प्रतीकों (जैसे
t43 t51 t66) से बना एक वाक्य देखता है। उसे कहना होता है "हाँ" (यह वाक्य नियमों का पालन करता है) या "नो" (यह नियमों को तोड़ता है)। - ट्विस्ट: वे पहेलियों को कठिन बनाकर उन्हें और चुनौतीपूर्ण बनाते हैं, जैसे कि नियम पुस्तिका जितनी बड़ी होती है और वाक्य जितना लंबा होता है।
2. अपेक्षा: "पहाड़ चढ़ने" की उपमा
इन पहेलियों को हल करने को पहाड़ चढ़ने की तरह समझें।
- छोटे पहाड़ (आसान पहेलियाँ): यदि नियम पुस्तिका छोटी है और वाक्य छोटा है, तो AI आसानी से शिखर तक पहुँच सकता है। वह हर कदम की जाँच करने के लिए एक तार्किक मानचित्र (एल्गोरिदम) का उपयोग करता है।
- बड़े पहाड़ (कठिन पहेलियाँ): जैसे-जैसे नियम पुस्तिका विशाल होती जाती है और वाक्य लंबा होता जाता है, पहाड़ अधिक खड़ा (steep) होता जाता है। इसे सही ढंग से हल करने के लिए, AI को अधिक मानसिक ऊर्जा (अधिक "सोचने वाले टोकन") की आवश्यकता होती है ताकि वह हर एक संभावना की जाँच कर सके। यह एक ऊंचे शिखर पर चढ़ने के लिए बड़े बैकपैक और अधिक पानी की आवश्यकता होने जैसा है।
3. खोज: "क्वाइट क्विटिंग" (चुपचाप काम छोड़ देना)
यह इस पेपर का सबसे आश्चर्यजनक और महत्वपूर्ण निष्कर्ष है। शोधकर्ताओं को उम्मीद थी कि जैसे-जैसे पहेलियाँ कठिन होंगी, AI अधिक सोचने की शक्ति का उपयोग करके "अधिक प्रयास" करेगा।
इसके बजाय, AI "क्वाइट क्विटिंग" करने लगा।
- उपमा: कल्पना कीजिए कि एक कर्मचारी से एक साधारण गणित का सवाल हल करने के लिए कहा जाता है। वे कैलकुलेटर निकालते हैं और काम करते हैं। लेकिन जब आप उन्हें एक विशाल, जटिल समीकरण देते हैं, तो वे एक सुपर-कैलकुलेटर निकालने और अधिक काम करने के बजाय, बस अनुमान लगाने लगते हैं। वे गणित करना बंद कर देते हैं और अपनी अंतरात्मा की आवाज़ या 'गट फीलिंग' के आधार पर उत्तर बनाने लगते हैं।
- साक्ष्य:
- जब पहेलियाँ कठिन हुईं, तो AI ने अधिक सोचने का समय नहीं लगाया; वास्तव में, इसने कम समय लगाया।
- AI ने तार्किक, चरण-दर-चरण तर्क (जैसे संभावनाओं का पेड़ बनाना) का उपयोग करना बंद कर दिया और खराब शॉर्टकट (heuristics) पर निर्भर होने लगा।
- यहाँ तक कि सबसे उन्नत "रीजनिंग" मॉडल (जो गहराई से सोचने के लिए डिज़ाइन किए गए हैं) ने भी ऐसा ही किया। वे एक अच्छे प्लान के साथ शुरू करते थे, अभिभूत (overwhelmed) हो जाते थे, और फिर चुपचाप अनुमान लगाने लगते थे।
- नोट: वे एक अच्छा प्लान शुरू करते थे, उलझ जाते थे, और फिर चुपचाप अंदाज़ा लगाने लगते थे।
4. परिणाम: "गलत कारणों से सही होना"
पेपर ने पाया कि जब AI "क्वाइट क्विट" करता है, तो वह अक्सर गलती से सही उत्तर दे देता है, लेकिन गलत कारणों से।
- उदाहरण: AI किसी वाक्य को केवल इसलिए खारिज कर सकता है क्योंकि वह "बहुत लंबा" है, भले ही नियम वास्तव में लंबे वाक्यों की अनुमति देते हों। उसने "नहीं" का उत्तर सही दिया, लेकिन उसका तर्क पूरी तरह से टूटा हुआ था।
- समस्या: यदि आप AI की सोचने की प्रक्रिया को नहीं देख सकते (जो कई व्यावसायिक मॉडल्स के मामले में सच है), तो आप सोच सकते हैं कि वह स्मार्ट है क्योंकि उसने सही उत्तर दिया। लेकिन वास्तव में, वह केवल अनुमान लगा रहा है, और वह अगले कठिन प्रश्न पर विफल हो जाएगा।
5. निष्कर्ष: "भंगुर मस्तिष्क" (Brittle Brains)
पेपर निष्कर्ष निकालता है कि वर्तमान AI मॉडल भंगुर (brittle) हैं।
- वे आसान होने पर कार्य के विचार को समझते हैं।
- लेकिन वे समस्या की कठिनाई के अनुरूप अपने प्रयास को स्केल (बढ़ा) नहीं कर सकते।
- उनके पास एक विश्वसनीय "आंतरिक इंजन" नहीं है जो कहता हो, "यह कठिन है, मुझे इस पर अधिक समय देने की आवश्यकता है।" इसके बजाय, वे हार मान लेते हैं और अनुमान लगाने लगते हैं।
सारांश
यह पेपर RELIC को AI तर्क के लिए एक स्ट्रेस टेस्ट के रूप में पेश करता है। यह दिखाता है कि आज के सबसे स्मार्ट AI मॉडल भी उन छात्रों की तरह हैं जो आसान होमवर्क तो हल कर सकते हैं, लेकिन जब उनके सामने एक कठिन परीक्षा आती है, तो वे समस्याओं को हल करने की कोशिश करना बंद कर देते हैं और बस रैंडमली गोले भरने लगते हैं। वे कठिन कार्यों पर "क्वाइट क्विट" करते हैं, जिससे वे जटिल, वास्तविक दुनिया के तर्क के लिए अविश्वसनीय हो जाते हैं जहाँ आपको वास्तव में उनके द्वारा नियमों का पालन करने की आवश्यकता होती है, न कि केवल अनुमान लगाने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।