Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
यह शोध पत्र यह तर्क देता है कि लेटेंट रीजनिंग मॉडल्स (latent reasoning models) में दृश्यमान पैटर्न आंतरिक तर्क तंत्र के लिए पर्याप्त प्रमाण नहीं हैं, जो कारण संबंधी (causal) और ज्यामितीय विश्लेषणों के माध्यम से यह प्रदर्शित करता है कि ऐसे पैटर्न कंट्रोल मॉडल्स में भी दिखाई देते हैं और वास्तविक व्याख्यात्मकता (interpretability) के लिए छिपे हुए कंप्यूटेशन और छिपी हुई व्याख्या के बीच अंतर करने हेतु सुमेलित कंट्रोल्स और कारण परीक्षण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक जादूगर टोपी से खरगोश कैसे निकाल रहा है।
लंबे समय तक, AI "तर्क" (reasoning) का अध्ययन करने का मानक तरीका यह था कि जादूगर को अपने विचारों को ज़ोर से बोलते हुए देखा जाए (जैसे कि "चेन ऑफ थॉट")। आप देख सकते थे कि वह कह रहा है, "पहले मैं टोपी की जाँच करता हूँ, फिर मैं आस्तीन की जाँच करता हूँ," और आप सत्यापित कर सकते थे कि वह वास्तव में सोच रहा था या सिर्फ अंदाज़ा लगा रहा था।
लेकिन हाल ही में, एक नए प्रकार के AI (जिसे लेटेंट रीजनिंग मॉडल कहा जाता है) ने बिना एक शब्द बोले अपने स्वयं के "मस्तिष्क" (निरंतर छिपे हुए स्टेट्स) के भीतर चुपचाप सोचना शुरू कर दिया है। यह ऐसा है जैसे जादूगर अब पूरी खामोशी में अपना करतब दिखा रहा है।
शोधकर्ता इस शांत मस्तिष्क के भीतर झाँकने की कोशिश कर रहे हैं। वे आंतरिक डेटा पैटर्न को देखते हैं और कहते हैं, "आहा! मुझे एक पैटर्न दिख रहा है जो टोपी की जाँच करने और फिर आस्तीन की जाँच करने जैसा है। इसलिए, AI निश्चित रूप से तर्क कर रहा है!"
यह पेपर तर्क देता है कि यह एक खतरनाक गलती है।
यहाँ उनके द्वारा की गई खोजों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. "मृत सैल्मन" की समस्या (ऐसे पैटर्न देखना जो वहाँ नहीं हैं)
लेखकों का कहना है कि सिर्फ इसलिए कि आप AI के शांत मस्तिष्क में एक पैटर्न देख सकते हैं, इसका मतलब यह नहीं है कि AI वास्तव में उस समस्या को हल करने के लिए उस पैटर्न का उपयोग कर रहा है।
- उपमा: कल्पना कीजिए कि आप एक टैंक में तैरते हुए एक मृत सैल्मन (मछली) की फोटो लेते हैं। यदि आप एक फैंसी कैमरा फिल्टर का उपयोग करते हैं, तो आप मछली की मांसपेशियों में एक "तैरने वाला पैटर्न" देख सकते हैं। आप निष्कर्ष निकाल सकते हैं, "देखो! मछली तैर रही है!" लेकिन मछली मर चुकी है। पैटर्न मौजूद है, लेकिन वह कुछ कर नहीं रहा है।
- पेपर की खोज: शोधकर्ताओं ने दो प्रसिद्ध "शांत विचारकों" (Coconut और CODI) का परीक्षण किया। उन्होंने पाया कि इन मॉडलों ने "तर्क पैटर्न" (जैसे विकल्पों को एक-एक करके जाँचना) दिखाए। लेकिन, उन्होंने यह भी पाया कि जिन मॉडलों में कोई विशेष तर्क प्रशिक्षण (reasoning training) नहीं था, उन्होंने भी बिल्कुल वही पैटर्न दिखाए।
- यदि एक मॉडल जो तर्क करने के लिए नहीं बना है, फिर भी वह ऐसा दिखता है जैसे वह तर्क कर रहा हो, तो वह पैटर्न तर्क का प्रमाण नहीं है। यह केवल एक दृश्य प्रतिध्वनि (visual echo) है, जैसे कि वह मृत सैल्मन।
2. "वॉल्यूम नॉब" बनाम "ऑन/ऑफ स्विच"
पिछले अध्ययनों ने AI के शांत विचारों को एक लाइट स्विच की तरह माना: या तो AI अपने विचारों का "उपयोग" कर रहा है (ON) या वह उन्हें अनदेखा कर रहा है (OFF)।
- उपमा: कल्पना कीजिए कि AI का मस्तिष्क एक रेडियो है। पुराने शोधकर्ताओं ने सोचा कि रेडियो या तो संगीत बजा रहा है (तर्क) या शोर (static) कर रहा है (कोई तर्क नहीं)।
- पेपर की खोज: लेखकों ने रेडियो को एक वॉल्यूम नॉब में बदल दिया। उन्होंने पाया कि AI के विचार केवल "ऑन" या "ऑफ" नहीं होते। कभी-कभी विचार बहुत तेज़ होते हैं और AI को गणित की समस्या हल करने में मदद करते हैं। अन्य समय में, विचार बहुत धीरे फुसफुसा रहे होते हैं और वे बिल्कुल भी मदद नहीं करते।
- महत्वपूर्ण रूप से, विचार का "प्रभाव" (volume) कार्य के आधार पर बदल जाता है। गणित की समस्या पर, विचार तेज़ और सहायक होते हैं। ग्राफ पहेली पर, विचार बहुत धीमे होते हैं, और AI अपने मस्तिष्क के दूसरे हिस्से का उपयोग करके उसे हल करता है।
3. "गुप्त मानचित्र" बनाम "सुंदर रास्ता" (Scenic Route)
शोधकर्ता यह जानना चाहते थे कि: AI के मस्तिष्क में यह "वॉल्यूम" वास्तव में कहाँ हो रहा है?
- उपमा: कल्पना कीजिए कि AI का मस्तिष्क लाखों सड़कों वाला एक विशाल शहर है।
- पुराना दृष्टिकोण: AI उत्तर खोजने के लिए हर सड़क पर गाड़ी चलाता है।
- नया दृष्टिकोण: AI वास्तव में उत्तर पाने के लिए केवल एक या दो विशिष्ट, संकरी गलियों (low-rank directions) से गुजरता है। बाकी शहर केवल सुंदर दृश्य (scenery) है।
- जब AI वास्तव में एक कठिन समस्या को हल कर रहा होता है, तो वह इन विशिष्ट संकरी गलियों पर तीव्रता से ध्यान केंद्रित करता है। जब वह समस्या हल नहीं कर रहा होता है, तो वे गलियाँ खाली होती हैं, और AI बस सुंदर रास्तों (scenic routes) पर घूम रहा होता है (जो तर्क जैसा दिखता है लेकिन वास्तव में काम नहीं कर रहा होता)।
4. मुख्य निष्कर्ष: "छिपी हुई गणना (Hidden Computation)", न कि "छिपी हुई व्याख्या (Hidden Explanation)"
इस पेपर का सबसे बड़ा संदेश इन AI मॉडलों को देखने के हमारे तरीके में बदलाव है।
- पुराना तरीका: "मुझे डेटा में एक शानदार पैटर्न दिखता है, इसलिए मैं यह समझाने के लिए एक कहानी लिखूँगा कि AI कैसे सोचता है।" (यह मृत सैल्मन के तैरने के बारे में कहानी लिखने जैसा है)।
- नया तरीका: "मुझे AI को छेड़ना (poke) होगा और यह देखना होगा कि क्या मैं उसके मस्तिष्क के उस विशिष्ट हिस्से के साथ छेड़छाड़ करने पर वह वास्तव में अपना उत्तर बदलता है।"
लेखक तर्क देते हैं कि लेटेंट रीजनिंग मॉडल्स को छिपी हुई गणना (एक ब्लैक बॉक्स जो गणित कर रहा है) के रूप में माना जाना चाहिए, न कि छिपी हुई व्याख्या (एक ब्लैक बॉक्स जो गुप्त रूप से हमें अपनी कहानी बता रहा है) के रूप में।
संक्षेप में:
सिर्फ इसलिए कि आप AI के शांत विचारों से एक पैटर्न को डिकोड कर सकते हैं, इसका मतलब यह नहीं है कि AI उस पैटर्न का उपयोग सोचने के लिए कर रहा है। यह जानने के लिए कि क्या वह वास्तव में तर्क कर रहा है, आपको "कारण परीक्षण" (causal tests - सिस्टम को छेड़ना) करने होंगे ताकि यह देखा जा सके कि क्या मस्तिष्क का वह विशिष्ट हिस्सा वास्तव में कार चला रहा है, या वह केवल खिड़की से बाहर झाँकने वाला एक यात्री है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।