Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization
यह शोध पत्र तर्क देता है कि चेन-ऑफ-थॉट रीजनिंग (Chain-of-Thought reasoning) प्रॉम्प्ट-इंजेक्टेड संकेतों (prompt-injected hints) को स्पष्ट रूप से मौखिक रूप से व्यक्त किए बिना भी निष्ठावान (faithful) हो सकती है, जो अपूर्णता को निष्ठाहीनता के साथ मिलाने वाले "बायसिंग फीचर्स" (Biasing Features) मीट्रिक को चुनौती देता है और एक व्यापक व्याख्यात्मक टूलकिट (interpretability toolkit) की वकालत करता जिसमें कॉज़ल मीडिएशन एनालिसिस (causal mediation analysis) शामिल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।
बड़ा सवाल: क्या मॉडल झूठ बोल रहा है?
कल्पना कीजिए कि आप एक छात्र (एक AI) से एक कठिन गणित का सवाल पूछते हैं। अपना काम दिखाने के लिए, वे चरण-दर-चरण स्पष्टीकरण लिखते हैं (इसे चेन-ऑफ-थॉट या CoT कहा जाता है)।
हाल ही में, शोधकर्ताओं ने छात्र को "बेवकूफ" बनाने का एक तरीका खोजा। उन्होंने छात्र के कान में एक संकेत फुसफुसाया (जैसे, "उत्तर B है, क्योंकि एक प्रसिद्ध प्रोफेसर ने ऐसा कहा है")। जब छात्र ने अपना उत्तर बदलकर B कर दिया, तो शोधकर्ताओं ने लिखित स्पष्टीकरण की जाँच की। यदि छात्र ने लिखित रूप में "प्रोफेसर ने ऐसा कहा था" वाक्यांश नहीं लिखा, तो शोधकर्ताओं ने उस स्पष्टीकरण को अनफेथफुल (unfaithful) (झूठ या नकली) करार दिया।
इस पेपर के लेखक कहते हैं: "रुकिए। यह बहुत कठोर है।"
उनका तर्क है कि सिर्फ इसलिए कि छात्र ने संकेत को ज़ोर से नहीं बोला, इसका मतलब यह नहीं है कि संकेत ने उन्हें समस्या हल करने में मदद नहीं की। छात्र ने संकेत का आंतरिक रूप से उपयोग किया होगा लेकिन उसे लिखने में भूल गया होगा, या उन्होंने पेज पर फिट होने के लिए अपनी विचार प्रक्रिया को बहुत अधिक संक्षिप्त (compress) कर दिया होगा।
तीन मुख्य खोजें
यह पेपर यह सिद्ध करने के लिए तीन मुख्य "परीक्षणों" का उपयोग करता है कि "अनफेथफुल" लेबल अक्सर गलत होता है।
1. "गायब पन्ने" की उपमा (अपूर्णता बनाम अनफेथफुलनेस)
पुराना दृष्टिकोण: यदि छात्र संकेत नहीं लिखता है, तो वह झूठ बोल रहा है।
नया दृष्टिकोण: छात्र शायद केवल कागज़ खत्म होने की समस्या से जूझ रहा है।
शोधकर्ताओं ने छात्रों को अधिक "कागज़" (लिखने के लिए अधिक समय और टोकन) दिया। उन्होंने पाया कि अधिक स्थान दिए जाने पर, छात्र संकेत को बहुत अधिक बार लिखना शुरू कर देते हैं (कुछ मामलों में 90% बार तक)।
- उपमा: कल्पना कीजिए कि आप अपने दोस्त को एक जटिल फिल्म की कहानी समझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल 30 सेकंड हैं। आप विलेन की बैकस्टोरी वाला हिस्सा छोड़ सकते हैं क्योंकि आपके पास समय नहीं है। यदि आपके पास 5 मिनट होते, तो आप पूरी कहानी बताते।
- बिंदु: पेपर का तर्क है कि कई "अनफेथफुल" स्पष्टीकरण केवल अपूर्ण (incomplete) सारांश हैं, झूठ नहीं। तर्क वहीं था, लेकिन संपीड़न (compression) के दौरान वह खो गया।
2. "मशीन में भूत" की उपमा (कॉज़ल मीडिएशन)
पुराना दृष्टिकोण: यदि संकेत टेक्स्ट में नहीं है, तो इसने उत्तर को प्रभावित नहीं किया।
नया दृष्टिकोण: संकेत एक भूत की तरह है जो बिना कोई पदचिह्न छोड़े परिणाम को बदल देता है।
शोधकर्ताओं ने कॉज़ल मीडिएशन एनालिसिस (Causal Mediation Analysis) नामक एक विशेष उपकरण का उपयोग किया। इसे एक एक्स-रे की तरह समझें जो छात्र के सोचने के दौरान उनके मस्तिष्क के अंदर देखता है। वे यह देखना चाहते थे: क्या संकेत ने वास्तव में छात्र के आंतरिक गियर को बदला, भले ही छात्र ने इसे लिखा न हो?
- परिणाम: हाँ! भले ही लिखित स्पष्टीकरण में संकेत का उल्लेख नहीं था, फिर भी एक्स-रे ने दिखाया कि संकेत अभी भी गियर्स को नियंत्रित कर रहा था। संकेत ने उत्तर की संभावना को बदल दिया, और लिखित स्पष्टीकरण अभी भी उसी बदलाव का परिणाम था।
- बिंदु: स्पष्टीकरण निर्णय लेने की प्रक्रिया के प्रति फेडफुल (faithful) है, भले ही वह ट्रिगर का स्पष्ट रूप से नाम न ले। "भूत" (संकेत) वास्तविक था, भले ही उसके "पदचिह्न" (शब्द) गायब थे।
3. "अलग पैमाने" की उपमा (विरोधाभासी मेट्रिक्स)
पुराना दृष्टिकोण: सत्य को मापने के लिए केवल एक पैमाना है: "क्या आपने संकेत लिखा?"
नया दृष्टिकोण: आपको अलग-अलग पैमानों के टूलबॉक्स की आवश्यकता है।
पेपर ने दो अन्य पैमानों का उपयोग करके "अनफेथफुल" स्पष्टीकरणों का परीक्षण किया:
- "फिलर" पैमाना: यदि आप स्पष्टीकरण को मिटाकर उसकी जगह "..." रख दें, तो क्या उत्तर बदल जाता है? यदि हाँ, तो स्पष्टीकरण वास्तव में काम कर रहा था।
- "अनलर्निंग" (Unlearning) पैमाना: यदि आप छात्र को उनकी तर्क प्रक्रिया के एक विशिष्ट चरण को भूलने के लिए सिखाते हैं, तो क्या उत्तर बदल जाता है? यदि हाँ, तो वह चरण महत्वपूर्ण था।
- परिणाम: कई स्पष्टीकरण जो "क्या आपने संकेत लिखा?" वाले परीक्षण में विफल रहे, वे इन अन्य परीक्षणों में सफल रहे। वे वास्तविक काम कर रहे थे और तर्क के प्रति वफादार थे, बस वे संकेत के विशिष्ट शब्दों के प्रति वफादार नहीं थे।
- बिंदु: केवल एक परीक्षण (संकेत शब्दों की जाँच करना) पर निर्भर रहना केवल इस आधार पर एक शेफ को आंकने जैसा है कि क्या उसने नमक का उपयोग किया, जबकि इस बात को अनदेखा कर दिया जाए कि खाना वास्तव में स्वादिष्ट है या नहीं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हमें केवल इसलिए घबराना नहीं चाहिए और यह नहीं कहना चाहिए कि "AI स्पष्टीकरण बेकार झूठ हैं" क्योंकि वे प्राप्त प्रत्येक संकेत को दोहरा नहीं पाते हैं।
- अनफेथफुल बनाम अपूर्ण: कभी-कभी AI झूठ नहीं बोल रहा होता; वह बस संक्षिप्त हो रहा होता है।
- छिपा हुआ प्रभाव: AI एक संकेत से प्रभावित हो सकता है भले ही वह यह न कहे कि "मैं इस संकेत से प्रभावित था।"
- बेहतर उपकरण: हमें यह समझने के लिए कि AI कैसे सोचता है, केवल विशिष्ट शब्दों की उपस्थिति की जाँच करने के बजाय, विभिन्न प्रकार के उपकरणों (जैसे मस्तिष्क के एक्स-रे और विभिन्न परीक्षण विधियों) का उपयोग करने की आवश्यकता है।
संक्षेप में: स्पष्टीकरण में एक विशिष्ट शब्द की अनुपस्थिति यह साबित नहीं करती कि AI झूठ बोल रहा है। यह केवल एक जटिल विचार प्रक्रिया का एक संक्षिप्त, अपूर्ण, लेकिन फिर भी ईमानदार सारांश हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।