Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty
यह शोध पत्र "स्ट्रक्चरल अनसर्टेन्टी" (संरचनात्मक अनिश्चितता) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो नमूनाकृत समाधानों के बीच स्व-वरीयता रैंकिंग (self-preference rankings) की स्थिरता का विश्लेषण करके बड़े भाषा मॉडलों में तार्किक तर्क निरंतरता को परिमाणित करता है, जिससे यह पता चलता है कि यह मीट्रिक कटौतीत्मक कार्यों में अविश्वसनीय तर्क को बेहतर ढंग से पहचानने के लिए पारंपरिक उत्तर प्रकीर्णन (answer dispersion) का पूरक है और उन व्यवस्थाओं (regimes) को अलग करता है जहाँ इस प्रकार का निरंतरता मूल्यांकन सूचनात्मक होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी छात्र से एक कठिन गणितीय समस्या हल करने के लिए कह रहे हैं। आप उससे इसे पाँच अलग-अलग बार हल करने के लिए कहते हैं।
पुराना तरीका: उत्तरों की गिनती
परंपरागत रूप से, यह देखने के लिए कि क्या छात्र विश्वसनीय है, हम केवल उनके पाँच उत्तरों को देखते हैं।
- यदि वे पाँचों बार "10" कहते हैं, तो हम सोचते हैं, "बहुत बढ़िया! वे सुसंगत हैं।"
- यदि वे "10, 12, 9, 10, 11" कहते हैं, तो हम सोचते हैं, "ओह नहीं, वे भ्रमित हैं।"
लेकिन एक समस्या है। क्या होगा अगर छात्र हर बार गलत उत्तर देता है, लेकिन पाँचों बार अलग-अलग कारणों से?
- उत्तर 1: "10" (क्योंकि वे माइनस साइन भूल गए)।
- उत्तर 2: "10" (क्योंकि उन्होंने घटाने के बजाय जोड़ने की गलती की)।
- उत्तर 3: "10" (क्योंकि उन्होंने संख्याओं को गलत पढ़ लिया)।
पुराने तरीके के लिए, छात्र पूरी तरह से सुसंगत दिखता है क्योंकि अंतिम उत्तर हमेशा "10" होता है। लेकिन इसके पीछे की सोच अस्त-व्यस्त थी। पुराना तरीका इस आंतरिक अराजकता को पकड़ने में विफल रहता है।
नया तरीका: "सेल्फ-जज" टूर्नामेंट
यह शोध पत्र इस नए तरीके को पेश करता है जिससे छात्र की जाँच की जा सकती है, जिसे स्ट्रक्चरल अनसर्टेन्टी (Structural Uncertainty) कहा जाता है। केवल अंतिम उत्तरों को देखने के बजाय, हम छात्र से स्वयं का रेफरी बनने के लिए कहते हैं।
यहाँ प्रक्रिया दी गई है:
- जेनरेट (Generate): छात्र पाँच अलग-अलग समाधान लिखता है (कुछ सही हो सकते हैं, कुछ गलत)।
- टूर्नामेंट (Tournament): हम छात्र को इन समाधानों की आपस में जोड़ियों में तुलना करने के लिए कहते हैं। "क्या समाधान A, समाधान B से बेहतर है?"
- रैंकिंग (Ranking): हम इन सभी तुलनाओं को लेते हैं और एक रैंकिंग बनाते हैं। सबसे "अच्छा" समाधान कौन सा है? सबसे "खराब" समाधान कौन सा है?
- ट्विस्ट (The Twist): हम इस टूर्नामेंट को कई बार करते हैं, लेकिन हम यह बदलते रहते हैं कि कौन किसके खिलाफ लड़ेगा (जैसे कि कनेक्शन का एक रैंडम मैप बनाना)।
दो संकेत
यह देखते हुए कि छात्र अपने काम को कैसे रैंक करता है, लेखकों ने दो विशिष्ट संकेत खोजे हैं जो बताते हैं कि क्या तर्क (reasoning) स्थिर है:
"फ्लिप-फ्लॉप" संकेत (Across-Trial Instability):
- कल्पना करें: एक टूर्नामेंट में, छात्र कहता है कि समाधान A सबसे अच्छा है। अगले टूर्नामेंट में (मैचअप के अलग क्रम के साथ), वह अचानक कहता है कि समाधान C सबसे अच्छा है।
- अर्थ: छात्र वास्तव में यह नहीं जानता कि एक "अच्छा" समाधान कैसा दिखता है। उनका आंतरिक दिशा-सूचक यंत्र (compass) घूम रहा है। यह एक बड़ा रेड फ्लैग है, भले ही पाँचों उत्तर एक ही संख्या क्यों न हों।
- उपमा: यह एक ऐसे जज की तरह है जो आज फिल्मों की एक कतार में से "सर्वश्रेष्ठ" फिल्म चुनता है, लेकिन कल पूरी तरह से अलग फिल्म चुन लेता है, भले ही फिल्में नहीं बदली हों। जज अविश्वसनीय है।
"टाई-ब्रेकर" संकेत (Within-Trial Ambiguity):
- कल्पना करें: एक ही टूर्नामेंट में, छात्र सभी पाँच समाधानों को देखता है और कहता है, "ये सभी काफी अच्छे हैं, मैं विजेता चुनने में असमर्थ हूँ।" रैंकिंग एक सीधी रेखा की तरह है।
- अर्थ: यह जटिल गणितीय समस्याओं के लिए एक अच्छा संकेत है! इसका मतलब है कि समस्या को हल करने के कई वैध तरीके हैं, और छात्र उस बारीकी को पहचानता है। यह दर्शाता है कि वह सूक्ष्मता को समझता है।
- उपमा: यह एक फूड क्रिटिक की तरह है जो कहता है, "ये पाँचों पिज्जा उत्कृष्ट हैं; मैं किसी एक को नहीं चुन सकता।" यह भ्रम नहीं, बल्कि एक परिष्कृत स्वाद का संकेत है।
"लाइब्रेरी" बनाम "मैथ क्लास"
इस शोध पत्र ने पाया कि यह नया तरीका कार्य के प्रकार के आधार पर अलग तरह से काम करता है:
- गणित/तर्क में (The "Math Class"): यह विधि यहाँ चमकती है। यदि छात्र भ्रमित है, तो उनकी रैंकिंग बेतरतीब ढंग से बदलती (flip-flop) रहती है। यदि वे बुद्धिमान हैं, तो वे अच्छे और बुरे रास्तों के बीच अंतर कर सकते हैं।
- तथ्य-जाँच में (The "Library"): यह विधि यहाँ विफल हो जाती है। कल्पना कीजिए कि आप छात्र को किताबों के एक पुस्तकालय में एक विशिष्ट तथ्य खोजने के लिए कहते हैं। यदि किताबों में उत्तर नहीं है, तो छात्र हर बार "मुझे नहीं पता" कहेगा।
- क्योंकि उत्तर "मुझे नहीं पता" है, छात्र की आंतरिक रैंकिंग एक पूर्ण फ्लैट लाइन बन जाती है (सभी अंतिम स्थान के लिए टाई हैं)।
- शोध पत्र इसे एक "कोलैप्स" (Collapse) कहता है। संकेत गायब हो जाता है। विधि समझ जाती है, "ओह, यह तर्क (reasoning) की समस्या नहीं है; यह सूचना खोजने (retrieval) की समस्या है।" इन मामलों में, पुराना तरीका (केवल यह देखना कि उत्तर अलग हैं या नहीं) वास्तव में बेहतर है।
निष्कर्ष
यह शोध पत्र केवल यह नहीं पूछता है कि, "क्या AI को सही उत्तर मिला?" या "क्या इसने पाँच बार एक ही उत्तर दिया?"
इसके बजाय, यह पूछता है, "क्या AI के पास अपने काम का न्याय करने का एक स्थिर, सुसंगत तरीका है?"
- यदि AI की आंतरिक रैंकिंग अस्थिर और फ्लिप-फ्लॉप करने वाली है, तो इसकी संभावना है कि वह खराब तर्क दे रहा है, भले ही अंतिम उत्तर सही दिख रहा हो।
- यदि AI की रैंकिंग स्थिर है, तो इसकी संभावना है कि वह अच्छी तरह से तर्क दे रहा है।
- यदि AI की रैंकिंग एक फ्लैट टाई में ढह (collapse) जाती है, तो यह ऐसा कार्य हो सकता है जहाँ तर्क का महत्व नहीं है (जैसे कि कोई ऐसा तथ्य ढूँढना जो वहाँ मौजूद ही नहीं है)।
यह हमें उन "स्मार्ट दिखने वाले" विफलताओं को पहचानने में मदद करता है जहाँ AI आत्मविश्वास के साथ गलत होता है, लेकिन आंतरिक रूप से असंगत होता है—एक ऐसी समस्या जिसे पुराने तरीके पूरी तरह से अनदेखा कर देते थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।