Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
यह शोध पत्र प्रकट करता है कि लेटेंट रीजनिंग (latent reasoning) विधियों की निष्ठा स्थिर नहीं है बल्कि प्रशिक्षण के दौरान गतिशील रूप से विकसित होती है, जिसमें अंतिम उत्तरों में कारण संबंधी योगदान समय के साथ घटता जाता है और उत्तर प्रारूप के अनुसार महत्वपूर्ण रूप से भिन्न होता है, जो यह रेखांकित करता है कि तर्क की विश्वसनीयता का आकलन करने के लिए केवल अंतिम चेकपॉइंट मूल्यांकन पर्याप्त नहीं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली छात्र है जो एक बहुत कठिन गणित की परीक्षा दे रहा है। इस छात्र के पास समस्याओं को हल करने के दो तरीके हैं:
- "काम दिखाओ" विधि (चेन-ऑफ-थॉट): छात्र कागज पर हर एक कदम विस्तार से लिखता है। आप उनके नोट्स पढ़ सकते हैं ताकि देख सकें कि उन्होंने उत्तर तक पहुँचने के लिए वास्तव में क्या किया।
- "मौन विचार" विधि (लेटेंट रीजनिंग): छात्र पूरी समस्या अपने दिमाग में हल करता है। वह कुछ भी नहीं लिखता; वह बस अंतिम उत्तर धीरे से बोल देता है। यह तेज़ और संक्षिप्त है, लेकिन आप यह नहीं देख सकते कि उसने इसे कैसे किया।
यह शोध पत्र दूसरे तरीके के बारे में है। बड़ी चिंता यह है कि: क्या छात्र वास्तव में सोच रहा है, या वह केवल अनुमान लगा रहा है? शायद उसने उत्तर कुंजी (answer key) रट ली है, या वह किसी ऐसे शॉर्टकट का उपयोग कर रहा है जो सोचने के वास्तविक चरणों को छोड़ देता है। यदि आप उसके मस्तिष्क को (या उसके पीछे के कंप्यूटर कोड को) कुरेदते हैं कि क्या "मौन विचार" के चरण वास्तव में आवश्यक थे, तो क्या वह अभी भी सही उत्तर प्राप्त करता है?
शोधकर्ता इसे "फेथफुलनेस" (Faithfulness - निष्ठा/विश्वसनीयता) कहते हैं। यदि मौन चरण 'फेथफुल' हैं, तो वे ही उत्तर का कारण हैं। यदि वे 'अनफेथफुल' हैं, तो छात्र केवल सोचने का नाटक कर रहा है जबकि वास्तविक उत्तर कहीं और से आ रहा है।
वह बड़ी गलती जो पहले सभी ने की थी
पिछले अध्ययनों ने इन "मौन विचारकों" को केवल उनके प्रशिक्षण के बाद (अंतिम परीक्षा के बाद) देखा। उन्होंने पाया कि कई मॉडल "अनफेथफुल" थे—आप उनके मौन विचार के चरणों को बिगाड़ सकते थे, और फिर भी वे सही उत्तर प्राप्त कर लेते थे।
लेखक कहते हैं: "रुकिए! हमने केवल फिनिश लाइन को देखा। दौड़ के दौरान क्या हुआ?"
उन्होंने मॉडलों को पहले दिन से अंत तक प्रशिक्षित होते हुए देखने का निर्णय लिया, जैसे किसी खेल के परिणाम को देखने के बजाय पूरा खेल देखना। उन्होंने मॉडलों का परीक्षण करने के लिए दो विशेष उपकरणों का उपयोग किया:
- "क्या होगा अगर" वाला तरीका (The "What If" Trick): उन्होंने प्रश्न में एक छोटा सा विवरण बदला (जैसे मानचित्र में एक सड़क बदलना) यह देखने के लिए कि क्या मॉडल अपना उत्तर बदलता है। यदि मॉडल 'फेथफुल' है, तो उसे अपना उत्तर बदलना चाहिए।
- "ब्रेन फॉग" टेस्ट (The "Brain Fog" Test): उन्होंने मॉडल के मौन विचार के चरणों को रैंडम शोर (noise) के साथ अस्थायी रूप से "धुंधला" कर दिया यह देखने के लिए कि क्या मॉडल अभी भी समस्या को हल कर सकता है।
उन्होंने क्या पाया (तीन बड़े आश्चर्य)
1. एक ही अंत की ओर जाने वाले दो अलग रास्ते
उन्होंने दो अलग-अलग प्रकार के "मौन विचारकों" का अध्ययन किया (आइए उन्हें मेथड A और मेथड B कहें)।
- परिणाम: अंत में, दोनों तरीके बहुत खराब दिखे। दोनों "क्या होगा अगर" वाले तरीके और "ब्रेन फॉग" टेस्ट में विफल रहे। वे समान रूप से 'अनफेथफुल' लग रहे थे।
- ट्विस्ट: उस विफलता तक पहुँचने की यात्रा पूरी तरह से अलग थी।
- मेथड A शुरुआत में बहुत 'फेथफुल' था। यह प्रश्न बदलने पर अपना उत्तर बदलने में अच्छा था। लेकिन फिर, प्रशिक्षण के बीच में, इसने अचानक परवाह करना छोड़ दिया। यह आलसी हो गया और सोचने के चरणों को अनदेखा करने लगा, भले ही इसका अंतिम स्कोर बढ़ता जा रहा था।
- मेथड B ने शुरू से ही सोचने के चरणों की परवाह नहीं की थी। यह पहले दिन से ही 'अनफेथफुल' था और वैसा ही रहा।
- सबक: यदि आप केवल अंतिम परीक्षा देखते हैं, तो आपको लगता है कि वे एक ही हैं। लेकिन यदि आप उन्हें प्रशिक्षित होते हुए देखते हैं, तो आप देखते हैं कि एक "देर से चमकने वाला" था जिसने हार मान ली, और दूसरा शुरू से ही "चीटिंग" करने वाला था।
2. "सोचने" के चरण गायब होते जा रहे हैं
उन्होंने मौन विचार के दौरान मॉडल की आंतरिक "मस्तिष्क गतिविधि" (हिडन स्टेट्स) की जांच की।
- परिणाम: जैसे-जैसे मॉडल प्रशिक्षित हुए, मौन विचार के चरणों का वास्तविक महत्व गिरता गया।
- उपमा: कल्पना कीजिए कि एक शेफ सूप बना रहा है। शुरू में, शेफ सूप चखता है और नमक डालता है (सोचने का चरण)। लेकिन जैसे-जैसे शेफ अधिक अनुभवी होता जाता है, वह चखना बंद कर देता है और बस एक रैंडम चुटकी भर नमक डाल देता है क्योंकि उसे लगता है कि यह सही है। शोध पत्र ने पाया कि प्रक्रिया का "चखने" वाला हिस्सा समय के साथ बेकार हो गया। मॉडल को सही उत्तर पाने के लिए सोचने के चरणों की आवश्यकता नहीं रही; वह सीधे उत्तर का अनुमान लगाने लगा।
- संबंध: वे विशिष्ट प्रश्न जहाँ मॉडल ने अपना उत्तर बदलना बंद कर दिया ( "क्या होगा अगर" ट्रिक), वही प्रश्न थे जहाँ "सोचने के चरणों" का महत्व खत्म हो गया।
3. उत्तर का प्रारूप सब कुछ बदल देता है
यह सबसे आश्चर्यजनक हिस्सा है। उन्होंने मॉडलों का दो प्रकार के प्रश्नों पर परीक्षण किया:
- प्रकार A: "क्या उत्तर X या Y है?" (बाइनरी चॉइस)
- प्रकार B: "उत्तर क्या है?" (ओपन-एंडेड)
मैजिक स्विच:
- जब मॉडल को दो विकल्पों में से चुनना था (A या B), तो "सोचने के चरण" प्रशिक्षण के साथ बेकार हो गए (पिछले परीक्षणों की तरह)।
- लेकिन जब मॉडल को उत्तर लिखना था (ओपन-एंडेड), तो "सोचने के चरण" वास्तव में प्रशिक्षण के साथ अधिक महत्वपूर्ण हो गए!
उपमा: यह उस छात्र की तरह है जो गणित को अनदेखा करके केवल शीट पर बुलबुलों (bubbles) के पैटर्न को देखकर सही बहुविकल्पीय उत्तर का अनुमान लगाना सीख जाता है। लेकिन यदि आप उसे एक खाली पन्ने पर उत्तर लिखने के लिए कहते हैं, तो उसे गणित करना ही पड़ेगा। आप प्रश्न को कैसे पूछते हैं, इससे यह तय होता है कि मॉडल वास्तव में सोच रहा है या केवल अनुमान लगा रहा है।
मुख्य निष्कर्ष (The Bottom Line)
पत्र यह निष्कर्ष निकालता है कि आप केवल इसके अंतिम टेस्ट स्कोर को देखकर यह तय नहीं कर सकते कि एक "मौन विचारक" AI ईमानदार या 'फेथफुल' है।
- समय महत्वपूर्ण है: एक मॉडल शुरुआत में 'फेथफुल' दिख सकता है और फिर अपनी यह क्षमता खो सकता है, या इसके विपरीत।
- प्रारूप (Format) महत्वपूर्ण है: एक मॉडल निबंध लिखते समय 'फेथफुल' हो सकता है लेकिन बहुविकल्पीय उत्तर चुनते समय 'अनफेथफुल' हो सकता है।
इन AI मॉडलों की "फेथफुलनेस" मशीन का कोई स्थिर गुण नहीं है; यह एक बदलता हुआ लक्ष्य है जो इस बात पर निर्भर करता है कि उन्हें कैसे प्रशिक्षित किया गया था और आप उनसे प्रश्न कैसे पूछते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।