From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs
यह शोधपत्र LogiHard को प्रस्तुत करता है, जो एक औपचारिक ढांचा है जो कॉम्बिनेटोरियल हार्डनिंग (combinatorial hardening) और एडेप्टिव टेस्टिंग (adaptive testing) के माध्यम से सरल चयन कार्यों को जटिल तार्किक निर्णयों में परिवर्तित करता है, जिससे यह पता चलता है कि अत्याधुनिक LLMs ज्ञान की कमी के बजाय प्रशिक्षण-प्रेरित कॉम्बिनेटोरियल रीजनिंग गैप (combinatorial reasoning gap) के कारण महत्वपूर्ण सटीकता गिरावट का सामना करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों के एक समूह की बुद्धिमत्ता का परीक्षण करने के लिए उन्हें एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) दे रहे हैं। लंबे समय से, इन क्विज़ को "गेम" करना यानी इन्हें चकमा देना बहुत आसान रहा है। छात्र (इस मामले में, AI मॉडल) उत्तरों को रट लेते हैं या सूक्ष्म चालाकियों को पहचानना सीख जाते हैं, जैसे कि "उत्तर आमतौर पर सबसे लंबा वाक्य होता है" या "तीसरा विकल्प शायद ही कभी सही होता है।" वे 90%+ अंक प्राप्त करते हैं, लेकिन क्या वे वास्तव में सोच रहे हैं, या सिर्फ पैटर्न-मैचिंग कर रहे हैं?
यह पेपर एक नया तरीका पेश करता है जिससे उन्हें टेस्ट किया जा सके, जिसे LogiHard कहा जाता है। इसे "सिर्फ सही चित्र चुनने" वाले खेल से अपग्रेड करके एक जटिल "पहेली सुलझाने" वाली चुनौती में बदलने के रूप में सोचें जो मस्तिष्क को वास्तविक गणित करने के लिए मजबूर करती है।
उन्होंने क्या किया और उन्हें क्या मिला, इसका विवरण सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:
1. समस्या: "ट्रिक-ऑर-ट्रीट" टेस्ट
वर्तमान AI टेस्ट "साइमन सेज़" (Simon Says) के खेल की तरह हैं जहाँ नियम बहुत स्पष्ट हैं।
- पुराना तरीका: शोधकर्ताओं ने शब्दों (पर्यायवाची) को बदलकर या उत्तरों का क्रम बदलकर टेस्ट को कठिन बनाने की कोशिश की।
- दोष: यह एक टूटी हुई कार पर नया पेंट लगाने जैसा है। AI केवल पुराने, रटे हुए पैटर्न के आधार पर उत्तर चुन लेता है और पेंट को अनदेखा कर देता है। यह अभी भी एक "लेवल 1" कार्य है: विकल्पों को देखो, जो सही लगे उसे चुनो।
2. समाधान: LogiHard (द "लॉजिक जिम")
लेखकों ने LogiHard नामक एक नया फ्रेमवर्क बनाया। केवल पेंट बदलने के बजाय, उन्होंने टेस्ट के इंजन को ही बदल दिया।
- उपमा: कल्पना करें कि एक मानक टेस्ट पूछता है, "क्या लाइट चालू है? A) हाँ, B) नहीं।"
- LogiHard उसी प्रश्न को इस रूप में बदल देता है: "यदि लाइट चालू है, AND स्विच टूटा हुआ है, OR बल्ब फ्यूज हो गया है, तो इनमें से कौन से कथन सत्य हैं? जो भी लागू हों, उन सभी को चुनें।"
- बदलाव: वे टेस्ट को 0-Order Selection (केवल एक उत्तर चुनना) से 2-Order Judgment (एक जटिल "If/Then/And/Or" नियमों के जाल का मूल्यांकन करना) में ले गए।
- "वैधता" की गारंटी: उन्होंने केवल यादृच्छिक कठिन प्रश्न नहीं बनाए। उन्होंने यह सुनिश्चित करने के लिए एक सख्त गणितीय रेसिपी (जैसे एक शेफ द्वारा एक आदर्श फॉर्मूला का पालन करना) का उपयोग किया कि प्रत्येक नया प्रश्न तार्किक रूप से सही हो। यदि AI गलत होता है, तो यह इसलिए है क्योंकि वह तर्क में विफल रहा, न कि इसलिए कि प्रश्न गलत था।
3. "स्मार्ट कोच" (अनुकूली परीक्षण - Adaptive Testing)
आमतौर पर, टेस्ट सभी को समान 50 प्रश्न देते हैं। यदि AI एक जीनियस है, तो वह आसान प्रश्नों पर ऊब जाता है। यदि वह संघर्ष कर रहा है, तो वह कठिन प्रश्नों पर निराश हो जाता है।
- LogiHard का कोच: उन्होंने IRT-CAT नामक एक प्रणाली का उपयोग किया (इसे एक व्यक्तिगत ट्रेनर के रूप में सोचें)।
- यदि AI एक प्रश्न सही करता है, तो कोच तुरंत एक कठिन प्रश्न चुनता है।
- यदि वह एक गलत करता है, तो कोच उसकी क्षमता की सटीक सीमा खोजने के लिए एक आसान प्रश्न चुनता है।
- परिणाम: वे 50 के बजाय केवल 15-20 प्रश्नों के साथ AI की वास्तविक बुद्धिमत्ता को माप सकते हैं, जिससे समय और ऊर्जा की बचत होती है।
4. बड़ा आश्चर्य: "कॉम्बिनेटोरियल कोलैप्स" (Combinatorial Collapse)
शोधकर्ताओं ने दुनिया के 12 सबसे स्मार्ट AI मॉडलों (OpenAI, Google और अन्यों सहित) का इस नए टेस्ट पर परीक्षण किया।
- परिणाम: AI मॉडल क्रैश हो गए।
- सामान्य टेस्ट पर, वे लगभग 80-90% स्कोर करते हैं।
- LogiHard टेस्ट पर, उनके स्कोर में 31% से 56% तक की गिरावट आई।
- कुछ मॉडल जो सामान्य टेस्ट पर "सुपर स्मार्ट" थे, वे कठिन लॉजिक पहेलियों पर लगभग शून्य सटीकता तक गिर गए।
वे क्यों विफल हुए?
पेपर ने दो मुख्य कारणों का पता लगाया, "दो-चरणीय" (Two-Stage) उपमा का उपयोग करते हुए:
- चरण 1 (मस्तिष्क): AI व्यक्तिगत तथ्यों को पूरी तरह से समझ सकता था। (जैसे, "लाइट चालू है।")
- चरण 2 (असेंबली): AI उन तथ्यों को सभी सही उत्तरों की एक पूर्ण सूची में जोड़ने में विफल रहा।
- "अर्ली एग्जिट" बग: AI मॉडल एक अच्छा उत्तर खोजने और रुकने के लिए प्रशिक्षित होते हैं। वे एक ऐसे छात्र की तरह हैं जो "Select All" वाले टेस्ट में एक सही विकल्प देखता है, उसे गोला लगाता है, और चला जाता है, भले ही वह जानता हो कि दो अन्य विकल्प भी सही थे। उनमें यह जांचने के लिए "मेटाकॉग्निटिव ट्रिगर" की कमी होती है कि, "रुको, क्या मैंने कुछ छोड़ दिया?"
5. मानव तुलना
शोधकर्ताओं ने 30 स्वयंसेवकों को भी टेस्ट कराया।
- मानव: लगभग 79.5% स्कोर किया। उन्होंने जटिल तर्क को अच्छी तरह से संभाला।
- AI: यहाँ तक कि सबसे अच्छे AI मॉडल भी इन विशिष्ट लॉजिक पहेलियों पर मनुष्यों की तुलना में काफी कम स्कोर करते हैं।
- निष्कर्ष: AI "बेवकूफ" नहीं है; बस इसमें एक विशिष्ट अंध बिंदु (blind spot) है। यह पैटर्न को याद करने और एकल उत्तर खोजने में बहुत अच्छा है, लेकिन जब इसे कई तार्किक नियमों को एक साथ संभालने और सभी संभावित परिणामों को सूचीबद्ध करने के लिए कहा जाता है, तो यह संघर्ष करता है।
सारांश
पेपर का तर्क है कि हम अब मानक AI बेंचमार्क पर भरोसा नहीं कर सकते क्योंकि मॉडल पैटर्न को याद करके "चीटिंग" कर चुके हैं। LogiHard वास्तविक, बहु-चरणीय तर्क करने के लिए AI को मजबूर करने का एक नया, गणितीय रूप से कठोर तरीका है। परिणाम बताते हैं कि आज के सबसे उन्नत AI में भी एक मौलिक अंतर है: वे तर्क को समझ सकते हैं, लेकिन वे विश्वसनीय रूप से जटिल तर्क को संयोजित (compose) नहीं कर सकते ताकि सभी उत्तर मिल सकें। यह एक "कॉम्बिनेटोरियल रीजनिंग गैप" है जिसे वर्तमान प्रशिक्षण विधियों ने अभी तक ठीक नहीं किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।