Operadic consistency: a label-free signal for compositional reasoning failures in LLMs
यह शोध पत्र "ऑपेराडिक कंसिस्टेंसी" (operadic consistency) को प्रस्तुत करता है, जो एक लेबल-मुक्त नैदानिक संकेत है जो एक कंपोजिशनल क्वेरी के प्रति मॉडल के सीधे उत्तर और एक घोषित अपघटन (decomposition) से प्राप्त उसके उत्तर के बीच की सहमति को मापता है, यह प्रदर्शित करते हुए कि यह मीट्रिक विविध LLMs और डेटासेट्स में तर्क सटीकता के साथ दृढ़ता से सह-संबंधित है और विफलता का पता लगाने तथा चयनात्मक भविष्यवाणी में सुधार करने के लिए चेन-ऑफ-थॉट सेल्फ-कंसिस्टेंसी जैसे मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: "आत्मविश्वासी लेकिन गलत" AI
कल्पना कीजिए कि आप एक बुद्धिमान मित्र से एक पेचीदा सवाल पूछते हैं जिसमें तीन अलग-अलग तथ्यों को जोड़ने की आवश्यकता है। वह तुरंत जवाब देता है और बहुत आश्वस्त सुनाई देता है। लेकिन यदि आप उनसे पूछते हैं कि उन्होंने वह उत्तर कैसे प्राप्त किया, तो वे लड़खड़ा सकते हैं, या उनका स्पष्टीकरण उनके पहले उत्तर से भिन्न निष्कर्ष की ओर ले जा सकता है।
लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर ऐसा करते हैं। वे तर्क की लंबी, प्रवाहपूर्ण श्रृंखलाएं बना सकते हैं जो एकदम सही लगती हैं, लेकिन वास्तव में सही उत्तर तक नहीं पहुँचती हैं। शोधकर्ताओं के लिए बड़ी चुनौती यह है: हम यह कैसे जानें कि AI वास्तव में सही है या नहीं, बिना उत्तर कुंजी (answer key) के सामने रखे?
पुराने तरीके: "उतार-चढ़ाव" की जाँच करना
पहले, शोधकर्ता यह अनुमान लगाने की कोशिश करते थे कि क्या AI सही है, इसके लिए वे एक ही सवाल को कई बार पूछते थे (जैसे किसी मित्र से एक ही पहेली 10 बार पूछना)।
- यदि मित्र हर बार वही उत्तर देता है: तो हम मानते हैं कि वह आत्मविश्वासी है और शायद सही है।
- यदि मित्र 10 अलग-अलग उत्तर देता है: तो हम मानते हैं कि वह भ्रमित है और शायद गलत है।
पेपर इसे "सेल्फ-कंसिस्टेंसी" (Self-Consistency) कहता है। यह कुछ सवालों के लिए ठीक काम करता है, लेकिन इसमें एक दोष है: एक आत्मविश्वासी झूठा व्यक्ति 10 बार वही गलत उत्तर देगा। यह तरीका केवल यह जाँचता है कि AI अपने आप के प्रति कितना सुसंगत है, न कि यह कि उसका तर्क वास्तव में कितना मजबूत है।
नया विचार: "ऑपेराडिक कंसिस्टेंसी" (एक "रेसिपी चेक")
लेखक इस AI को जाँचने का एक नया तरीका प्रस्तावित करते हैं, जो ऑपेराड थ्योरी (Operad Theory) नामक एक गणितीय विचार पर आधारित है। गणित से डरें नहीं; इसे एक "रेसिपी चेक" के रूप में सोचें।
कल्पना कीजिए कि आप एक केक बना रहे हैं।
- सीधा उत्तर: आप AI से पूछते हैं, "अंतिम केक क्या है?" वह कहता है, "चॉकलेट केक।"
- विभाजित उत्तर: आप AI से रेसिपी को विस्तार से समझाने के लिए कहते हैं:
- चरण 1: "हम सबसे पहले क्या मिलाते हैं?" (वह कहता है: मैदा और कोको)।
- चरण 2: "यदि हम मैदा और कोको मिलाते हैं, तो हमें क्या मिलता है?" (वह कहता है: एक बैटर/घोल)।
- चरण 3: "यदि हम उस बैटर को बेक करते हैं, तो परिणाम क्या होगा?" (वह कहता है: एक वैनिला केक)।
समस्या: AI ने सीधे तौर पर "चॉकलेट" कहा, लेकिन उसकी अपनी चरण-दर-चरण रेसिपी "वैनिला" की ओर ले गई। तर्क टूट गया है।
ऑपेराडिक कंसिस्टेंसी (OC) बस यह जाँचने के बारे में है: क्या AI का सीधा उत्तर उस उत्तर से मेल खाता है जो वह चरण-दर-चरण समाधान बनाने पर प्राप्त करता है?
- यदि वे मेल खाते हैं: तो AI संभवतः सही तर्क कर रहा है।
- यदि वे मेल नहीं खाते: तो AI संभवतः भ्रमित (hallucinating) हो रहा है या उससे तर्क की त्रुटि हो रही है, भले ही वह बहुत आत्मविश्वासी क्यों न सुनाई दे।
पेपर ने क्या पाया
शोधकर्ताओं ने इस "रेसिपी चेक" का परीक्षण 12 अलग-अलग AI मॉडल्स (छोटे से लेकर विशाल तक) पर चार कठिन ट्रिविया और लॉजिक डेटासेट्स पर किया।
- यह एक अत्यंत विश्वसनीय संकेत है: "रेसिपी चेक" इस बात के साथ मजबूती से जुड़ा हुआ था कि AI वास्तव में सही था या नहीं। वास्तव में, यह एकमात्र तरीका था जो उनके द्वारा परीक्षण किए गए प्रत्येक डेटासेट पर अच्छी तरह से काम करता था।
- पुराना तरीका विफल रहा: पुराना तरीका (एक ही सवाल 10 बार पूछना) कुछ डेटासेट्स पर बहुत अच्छा काम करता था लेकिन अन्य पर बुरी तरह विफल रहा। यह "रेसिकी चेक" की तुलना में "आत्मविश्वासी झूठ बोलने वालों" को उतनी अच्छी तरह से नहीं पकड़ सका।
- यह नई जानकारी जोड़ता है: भले ही आप अन्य तरीकों से AI के आत्मविश्वास के स्तर को पहले से जानते हों, फिर भी रेसिपी चेक आपको कुछ नया बताता है। यह उन त्रुटियों को पकड़ लेता है जिन्हें अन्य तरीके छोड़ देते हैं।
- यह "सोचने वाले" मॉडल्स पर भी काम करता है: उन्होंने इस नई पीढ़ी के AI पर भी इसका परीक्षण किया जो ज़ोर से "सोचते" हैं (अपना काम दिखाते हैं)। भले ही उन्होंने AI की अपनी विचार प्रक्रिया से "चरणों" को सीधे निकाला हो, फिर भी यह चेक काम करता रहा।
यह क्यों महत्वपूर्ण है (बिना तकनीकी शब्दों के)
AI को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है।
- पुराना तरीका: छात्र को 10 बार परीक्षा देने के लिए कहें। यदि वे हर बार समान स्कोर प्राप्त करते हैं, तो वे सुसंगत हैं। लेकिन यदि उन्होंने गलत उत्तर रट लिया है, तो वे हर बार वही गलत स्कोर प्राप्त करेंगे।
- नया तरीका (ऑपेराडिक कंसिस्टेंसी): छात्र को अपने दिमाग में समस्या हल करने के लिए कहें, फिर उनसे चरणों को लिखने के लिए कहें। यदि अंतिम उत्तर चरणों से मेल खाता है, तो वे संभवतः गणित समझते हैं। यदि चरण अंतिम परिणाम के बजाय एक अलग उत्तर की ओर ले जाते हैं, तो वे भ्रमित हैं, भले ही उन्होंने भाग्य से सही नंबर का अनुमान लगा लिया हो।
पेपर निष्कर्ष निकालता है कि यह "रेसिपी चेक" एक शक्तिशाली, मुफ्त उपकरण है। हमें यह बताने के लिए कि AI कब विफल होने की संभावना रखता है, हमें किसी उत्तर कुंजी की आवश्यकता नहीं है। यह हमें उन क्षणों को पहचानने में मदद करता है जब AI का आंतरिक तर्क टूट जाता है, जिससे हमें यह विश्वास करने में मदद मिलती है कि उसके उत्तर सही हैं जब चेक पास हो जाता है और विफल होने पर संदेह करने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।