The Tell-Tale Trace: Detecting Reasoning Failures in LLMs Using Chain-of-Thought Dynamics
यह शोध पत्र यह प्रदर्शित करता है कि चेन-ऑफ-थॉट (Chain-of-Thought) ट्रेस के अर्थपूर्ण विषय (semantic content) के बजाय उनकी संरचनात्मक गतिशीलता (structural dynamics) का विश्लेषण करना, बूलियन संतुष्टि कार्यों (Boolean satisfiability tasks) पर बड़े भाषा मॉडलों में तर्क संबंधी विफलताओं का प्रभावी ढंग से पता लगाने और उन्हें सुधारने में सक्षम है, जैसा कि एक लक्षित हस्तक्षेप द्वारा प्रमाणित हुआ है जिसने Llama3-70B की सटीकता को 13.3% से बढ़ाकर 85% कर दिया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को कार्ड का करतब दिखाते हुए देख रहे हैं। आमतौर पर, आप केवल अंतिम परिणाम देखते हैं: उनके हाथ में इक्का (ace of spades) प्रकट होता है। लेकिन आधुनिक AI, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ, हमें बैकस्टेज का एक विशेष टिकट मिलता है। हम "चेन-ऑफ-थॉट" (CoT) देख सकते हैं—यह मॉडल का आंतरिक एकालाप (monologue) है जहाँ वह उत्तर देने से पहले खुद को चरण-दर-चरण समझाता है। इसे ऐसे समझें जैसे आप जादूगर को अपनी रणनीति खुद को फुसफुसाते हुए सुन रहे हों: "ठीक है, मैं यहाँ शफल करूँगा, फिर शायद कार्ड को आस्तीन के नीचे खिसका दूँगा..."
लंबे समय तक, वैज्ञानिकों ने सोचा कि यदि इस फुसफुसाती रणनीति में तर्क और निरंतरता सुनाई देती है, तो करतब काम करेगा। उन्होंने यह जाँच की कि क्या मोनोलॉग का प्रत्येक वाक्य अपने आप में अर्थपूर्ण है। लेकिन क्या होगा अगर जादूगर एक बेहतरीन स्क्रिप्ट फुसफुसा रहा है जबकि उसके हाथ वास्तव में लड़खड़ा रहे हैं? या क्या होगा अगर स्क्रिप्ट सुनने में बहुत अच्छी लग रही है, लेकिन जिस तरह से वह फुसफुसा रहा है—जल्दबाजी करना, एक ही लाइन को दोहराना, या बहुत जल्दी रुक जाना—उससे पता चलता है कि जादू विफल होने वाला है? यह वह पहेली है जिसे शोधकर्ता सुलझा रहे हैं: क्या हम यह पहचान सकते हैं कि एक जादू का करतब विफल होने वाला है, सिर्फ यह सुनकर कि मॉडल कैसे बात कर रहा है, भले ही हम 100% सुनिश्चित न हो सकें कि उसके शब्द उसके "दिमाग" के भीतर क्या हो रहा है?
"द टेल-टेले ट्रेस" (The Tell-Tale Trace) नामक यह शोध पत्र ठीक इसी विषय में गहराई से उतरता है। शोधकर्ताओं, शशवत सौरव और ऐश्वर्या बलवानी ने तय किया कि वे केवल यह जाँचने के बजाय कि AI के वाक्य व्याकरणिक रूप से सही या तार्किक रूप से सुसंगत हैं, इसे छोड़ दें, उन्होंने AI की तर्क प्रक्रिया को एक दिल की धड़कन या एक लय की तरह माना। उन्होंने पूछा: क्या AI की "आवाज़" बदल जाती है जब वह उत्तर गलत देने वाला होता है? क्या वे दोहराव करने लगते हैं? क्या वे जल्दबाजी करते हैं? क्या वे एक लूप में फंस जाते हैं?
इसका परीक्षण करने के लिए, उन्होंने एक क्लासिक लॉजिक पहेली का उपयोग किया जिसे 'बुलियन सैटिस्फिएबिलिटी' (या SAT) कहा जाता है। कल्पना कीजिए कि कई टंबलर्स (क्लॉज़) वाला एक विशाल ताला है। AI को चाबियों के एक विशिष्ट संयोजन (true/false मान) को खोजना है जो उस ताले को खोल सके। कुछ ताले आसान होते हैं (एक चाबी संयोजन काम करता है), और कुछ असंभव होते हैं (कोई भी संयोजन काम नहीं करता)। शोधकर्ताओं ने Llama3 और Qwen सहित कई अलग-अलग AI मॉडल्स को ये पहेलियाँ दीं, लेकिन वे इन पहेलियों को चुनने में सावधानी बरतते हुए इन्हें इतना कठिन बनाया कि मॉडल संघर्ष करने लगें—यानी उनकी क्षमताओं की सीमा पर।
यहाँ उन्हें क्या मिला, और यह कुछ ऐसा है जैसे किसी धावक को फिनिश लाइन पार करने से पहले ही लड़खड़ाते हुए देखना।
"प्रिमच्योर वेरिफिकेशन कोलैप्स" (असमय सत्यापन पतन)
जब AI एक ऐसी पहेली को हल करने की कोशिश कर रहा था जिसे हल किया जा सकता था (एक SAT समस्या), तो विफल होने वाले मॉडल्स ने केवल एक रैंडम गलती नहीं की। उनकी तर्क प्रक्रिया एक बहुत ही विशिष्ट, अनुमानित तरीके से बदल गई। सफल मॉडल्स ने अपना समय लिया, अलग-अलग रास्तों की खोज की और अपने विचारों में विविधता लाई। हालाँकि, विफल होने वाले मॉडल्स घबरा गए। वे बार-बार उन्हीं कुछ चीजों को चेक करने लगे (उच्च "साइक्लिंग"), उन्होंने नए विचारों की खोज करना बंद कर दिया (कम "एन्ट्रॉपी"), और बहुत जल्दी "मुझे उत्तर मिल गया!" घोषित करने के लिए जल्दबाजी की।
लेखक इसे "प्रिमच्योर वेरिफिकेशन कोलैप्स" कहते हैं। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा दे रहा है जो पूरे सवाल पर काम करने के बजाय, पहले दो नंबरों पर अटक जाता है, उन्हें तीन बार चेक करता है, और फिर बिना शेष समीकरण को देखे आत्मविश्वास से उत्तर लिख देता है। शोध पत्र में पाया गया कि ये विफल होने वाले ट्रेसेस अक्सर सफल ट्रेसेस की तुलना में आधे लंबे थे और बहुत अधिक दोहराव वाले थे। भले ही AI ने कहा कि वह पूरे पहेली की जाँच कर रहा है, लेकिन उसके "व्यवहार" ने दिखाया कि उसने हार मान ली थी और वह बस एक ही जगह घूम रहा था।
"गलत प्रक्रिया" का जाल
कहानी और भी दिलचस्प हो जाती है असंभव पहेलियों (UNSAT समस्याओं) के साथ। यहाँ, AI को यह सिद्ध करना होता है कि कोई भी चाबी संयोजन काम नहीं करता। लेकिन विफल होने वाले मॉडल्स ने यह सिद्ध करने की कोशिश नहीं की कि यह असंभव है। इसके बजाय, वे भ्रमित हो गए और ऐसा व्यवहार करने लगे जैसे पहेली हल करने योग्य हो। उन्होंने एक ही चाबी संयोजन खोजने की कोशिश की जो काम करता हो, भले ही कोई भी मौजूद नहीं था।
यह वैसा ही है जैसे AI को एक पहेली दी गई हो जो कहती है, "एक वर्गाकार वृत्त (square circle) खोजें," और यह कहने के बजाय कि "यह असंभव है," उसने पूरा समय एक वर्गाकार वृत्त खोजने के लिए पागलों की तरह खोजबीन करने में बिता दिया, इस विश्वास के साथ कि उसने अभी तक पर्याप्त खोज नहीं की है। शोधकर्ताओं ने देखा कि ये मॉडल्स "विरोधाभास की खोज" (यह देखने के लिए कि यह क्यों असंभव है) को छोड़कर सीधे "असाइनमेंट चेकिंग" (एक समाधान खोजने के लिए) पर कूद गए।
जादुई समाधान
शोध पत्र का सबसे रोमांचक हिस्सा वह है जो इसके बाद हुआ। शोधकर्ताओं ने महसूस किया कि AI अनिवार्य रूप से "मूर्ख" नहीं था; वह बस काम के लिए गलत रणनीति का उपयोग कर रहा था। इसलिए, उन्होंने एक सरल प्रयोग किया: उन्होंने विफल होने वाले AI को एक नया प्रॉम्प्ट दिया। केवल "फिर से प्रयास करें" कहने के बजाय, उन्होंने विशेष रूप से मॉडल को बताया: "समाधान खोजने के लिए मत देखो। इसके बजाय, समस्या को मामलों (cases) में विभाजित करो, परिणामों का पालन करो, और एक विरोधाभास की तलाश करो।"
इस छोटे से संकेत ने चमत्कार कर दिया। Llama3-70B मॉडल के लिए, जो इन असंभव पहेलियों में से केवल 13.3% सही कर पा रहा था, नए प्रॉम्प्ट ने इसकी सटीकता को बढ़ाकर 85.0% कर दिया। इसने 84.6% त्रुटियों को सुधारा। शोध पत्र सुझाव देता है कि AI अचानक स्मार्ट नहीं हो गया; उसे बस सही प्रक्रिया का पालन करने की याद दिलाने की आवश्यकता थी।
यह क्यों मायने रखता है
यहाँ मुख्य बात यह है कि हमें यह जानने के लिए AI के शब्दों पर भरोसा करने की आवश्यकता नहीं है कि वह सही ढंग से सोच रहा है या नहीं। हम उसके सोचने की लय को सुन सकते हैं। यदि AI खुद को दोहराने लगता है, जल्दबाजी करता है, या एक लूप में फंस जाता है, तो हम अंतिम उत्तर दिए जाने से पहले ही विफलता को पहचान सकते हैं।
लेखक सावधानीपूर्वक नोट करते हैं कि यह हर AI या हर कार्य के लिए एक पूर्ण क्रिस्टल बॉल नहीं है। "अर्ली वार्निंग" संकेत कुछ मॉडल्स के लिए अच्छे से काम करते हैं लेकिन दूसरों के लिए नहीं, और विशिष्ट पैटर्न पहेली के प्रकार पर निर्भर करते हैं। हालाँकि, यह अध्ययन साबित करता है कि क्षमता की विफलताएं केवल रैंडम ग्लिच नहीं हैं; वे AI द्वारा अपने विचारों को अनुक्रमित (sequence) करने और दोहराने के तरीके में स्पष्ट, कार्य-आधारित बदलावों के रूप में दिखाई देती हैं।
संक्षेप में, भले ही एक AI हमें अपने "दिमाग" के अंदर क्या हो रहा है इसके बारे में झूठ बोल रहा हो, उसका व्यवहार उसे पकड़ लेता है। उसके तर्क के गीतों को सुनने के बजाय उसके नृत्य को देखकर, हम उसे फिसलने से पहले पकड़ सकते हैं, और थोड़े से मार्गदर्शन के साथ, उसे वापस पटरी पर लाने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।