Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में एक "कॉज़ल टंग-टाई" (Causal Tongue-Tie) घटना को उजागर करता है जहाँ हिडन स्टेट्स (hidden states) सटीक रूप से कारण संबंधी साक्ष्य को एनकोड करते हैं (लगभग 97% सटीकता), जबकि मॉडल्स के मौखिक हाँ/ना आउटपुट इस ज्ञान को व्यक्त करने में विफल रहते हैं (लगभग 50% सटीकता), जो यह सुझाव देता है कि केवल अंतिम उत्तरों पर आधारित मानक बेंचमार्क मॉडल की वास्तविक कारण तर्क (causal reasoning) क्षमताओं का गलत प्रतिनिधित्व कर सकते।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक कक्षा में बैठे एक प्रतिभाशाली लेकिन शर्मीले छात्र के रूप में करें। इस छात्र ने कार्य-कारण संबंध (cause and effect) पर एक परीक्षा दी है (जैसे, "क्या धूम्रपान से फेफड़ों का कैंसर होता है?")।
इस शोधपत्र ने एक अजीब घटना का पता लगाया है जिसे लेखक "कॉज़ल टंग-टाई" (Causal Tongue-Tie) कहते हैं। यहाँ क्या हो रहा है, इसे सरल भागों में समझाया गया है:
1. दो आवाजें: "मस्तिष्क" बनाम "मुँह"
आमतौर पर, हम यह मान लेते हैं कि यदि किसी कंप्यूटर का "मस्तिष्क" (उसकी आंतरिक गणित और छिपी हुई गणनाएँ) सही उत्तर जानता है, तो उसका "मुँह" (वह टेक्स्ट जो वह टाइप करता है) भी वही बात कहेगा।
इस शोधपत्र ने पाया कि इन मॉडलों के लिए, मस्तिष्क और मुँह अलग-अलग कहानियाँ बता रहे हैं।
- मस्तिष्क (छिपी हुई अवस्था - Hidden State): जब आप मॉडल के सोचने के दौरान उसके गणित में झाँकते हैं, तो वह प्रश्न में दिए गए साक्ष्यों के आधार पर स्पष्ट रूप से सही उत्तर समझ चुका होता है। यह वैसा ही है जैसे कोई छात्र हाथ उठाकर शिक्षक को धीरे से सही उत्तर बता रहा हो।
- मुँह (आउटपुट - The Output): जब मॉडल वास्तव में बोलता है (जैसे "हाँ" या "नहीं" लिखता है), तो वह अपने स्वयं के मस्तिष्क को अनदेखा कर देता है और उस चीज़ पर वापस चला जाता है जिसे वह "सामान्य ज्ञान" (common sense) मानता है, भले ही साक्ष्य कुछ भी कहें। यह वैसा ही है जैसे छात्र सही उत्तर तो फुसफुसाता है, लेकिन फिर गलत होने के डर से जोर से गलत बात चिल्ला देता है।
2. "एंटी-कॉमनसेन्स" (Anti-Commonsense) परीक्षण
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक चाल चली। उन्होंने मॉडलों को ऐसे प्रश्न दिए जहाँ साक्ष्य उल्टे थे।
- परिदृश्य: उन्होंने मॉडल को बताया, "इस कहानी में, धूम्रपान फेफड़ों के कैंसर को रोकता है।" (वास्तविक दुनिया में, धूम्रपान इससे कैंसर का कारण बनता है)।
- परिणाम:
- मॉडल का मुँह: बोला, "नहीं, धूम्रपान फेफड़ों के कैंसर को नहीं रोकता है।" इसने नए नियम को स्वीकार करने से इनकार कर दिया और वास्तविक दुनिया की आदतों पर ही टिका रहा।
- मॉडल का मस्तिष्क: एक विशेष उपकरण (एक "प्रोब") ने मॉडल के गणित के भीतर देखा और पाया कि उसने नए नियम को पूरी तरह से समझ लिया था। वह कहानी के आधार पर जानता था कि उत्तर "हाँ" है।
मस्तिष्क द्वारा सत्य जानने (97% सटीकता) और मुँह द्वारा गलत बोलने (50% सटीकता) के बीच का यह अंतर ही "कॉज़ल टंग-टाई" है।
3. "टंग-टाई" (जीभ का अटकना) का रूपक
एक ऐसे व्यक्ति के बारे में सोचें जिसकी जीभ लड़खड़ा रही है या अटक गई है (tongue-tied)।
- उसे ठीक से पता है कि वह क्या कहना चाहता है।
- उसके दिमाग में सही शब्द मौजूद हैं।
- लेकिन जब वह बोलने की कोशिश करता है, तो उसकी जीभ अटक जाती है, और वह अनजाने में उल्टा या कुछ सामान्य सी बात कह देता है।
शोधपत्र का तर्क है कि जब एक मॉडल "कार्य-कारण" (causal) प्रश्न में "गलत" होता है, तो इसका मतलब यह नहीं है कि मॉडल मूर्ख है या वह समझ नहीं पा रहा है। कभी-कभी, इसका मतलब यह होता है कि मॉडल पूरी तरह से समझता है लेकिन उसे व्यक्त नहीं कर पाता।
4. "हाँ/नहीं" ही समस्या क्यों है?
शोधकर्ताओं ने यह देखने के लिए अलग-अलग तरीके आज़माए कि क्या वे इस "जीभ के अटकने" को "खोल" सकते हैं।
- "हाँ/नहीं" पूछना: मॉडल विफल हो जाता है। वह अपनी पुरानी आदतों में फंस जाता है।
- "A या B" पूछना: जब उन्होंने मॉडल को दो विशिष्ट विकल्पों के बीच चुनने के लिए मजबूर किया (जैसे, "क्या A के कारण B होता है, या B के कारण A होता है?"), तो मॉडल अचानक लगभग 100% बार सही हो गया।
यह सुझाव देता है कि समस्या यह नहीं है कि मॉडल के पास ज्ञान की कमी है। समस्या इंटरफेस (interface) की है। साधारण "हाँ/नहीं" वाला बटन एक जाल की तरह काम करता है जो मॉडल को उसके प्रशिक्षण डेटा (सामान्य ज्ञान) पर लौटने के लिए मजबूर करता है, बजाय इसके कि वह दिए गए प्रॉम्प्ट के विशिष्ट साक्ष्यों का पालन करे।
5. "तर्क" (Reasoning) के लिए इसका क्या अर्थ है?
यह शोधपत्र AI के बारे में हमारे निर्णय लेने के तरीके पर एक महत्वपूर्ण बिंदु बनाता है:
- यदि कोई मॉडल सही उत्तर देता है: तो वह केवल अनुमान लगा रहा हो सकता है या किसी पैटर्न का पालन कर रहा हो सकता है, जरूरी नहीं कि वह वास्तव में "तर्क" कर रहा हो।
- यदि कोई मॉडल गलत उत्तर देता है: तो इसका मतलब यह नहीं है कि वह तर्क नहीं कर सकता। हो सकता है कि वह अपने "मस्तिष्क" के भीतर सही तर्क कर रहा हो, लेकिन उसे बोलकर व्यक्त करने में विफल हो रहा हो।
मुख्य निष्कर्ष:
हम केवल अंतिम "हाँ" या "नहीं" को देखकर यह तय नहीं कर सकते कि AI कार्य-कारण संबंध को समझता है या नहीं। कभी-कभी, AI सच जानता है लेकिन उसे उस तरह से कहने में "टंग-टाइड" (अटक) जाता है जैसा हम उम्मीद करते हैं। शोधपत्र सुझाव देता है कि हमें यह सुनने के बेहतर तरीके खोजने की आवश्यकता है कि मॉडल वास्तव में क्या सोच रहा है, न कि केवल यह कि वह क्या कह रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।