From Plausible to Actionable: A Position on LLM Self-Explanations

कल्पना कीजिए कि आप एक विशाल, डिजिटल पुस्तकालय में घूम रहे हैं जहाँ की किताबें एक बहुत ही बुद्धिमान रोबोट द्वारा लिखी गई हैं जिसने लगभग सब कुछ पढ़ लिया है। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है। जब आप इससे कोई प्रश्न पूछते हैं, तो यह केवल उत्तर नहीं देता; यह अक्सर यह समझाने के लिए एक छोटा सा नोट भी लिखता है कि इसने वह उत्तर क्यों चुना। कंप्यूटर विज्ञान की दुनिया में, इसे "एक्सप्लेनेबल एआई" (XAI) कहा जाता है। लंबे समय से, वैज्ञानिक इन नोट्स के बारे में दो बड़े सवालों को लेकर जुनूनी रहे हैं: क्या वे प्लॉसिबल (Plausible) हैं? (क्या वे ऐसे लगते हैं जैसे कोई इंसान बोल रहा हो और क्या वे हमें समझ आते हैं?) और क्या वे फेथफुल (Faithful) हैं? (क्या वे वास्तव में बताते हैं कि रोबोट के दिमाग ने कैसे काम किया, या वे बस अच्छा दिखने के लिए एक कहानी बना रहे हैं?)

यह क्यों मायने रखता है? क्योंकि हम अब इन रोबोटों को बड़े निर्णय लेने में मदद करने के लिए इस्तेमाल कर रहे हैं, जैसे बीमारियों का निदान करना या नफरत भरे भाषण (hate speech) को पहचानना। यदि रोबोट कहता है, "मुझे लगता है कि इस मरीज को X के कारण बुखार है," तो हमें यह जानने की आवश्यकता है कि क्या वह वास्तव में X को देख रहा है, या वह केवल अनुमान लगा रहा है और फिर एक ऐसा कारण गढ़ रहा है जो सुनने में स्मार्ट लगे। यदि स्पष्टीकरण एक झूठ है, तो हम उस रोबोट पर बहुत अधिक भरोसा कर सकते हैं और गलती कर सकते हैं। लेकिन क्या होगा यदि रोबोट झूठ बोल रहा है, लेकिन वह झूठ इतना विश्वसनीय है कि हम अंतर नहीं कर सकते? यही वह पेचीदा पहेली है जिसे यह शोध पत्र हल करता है।

---

रोबोट की "बस-ऐसा-ही-है" वाली कहानी

यह शोध पत्र तर्क देता है कि जब ये एआई रोबोट अपने स्वयं के विकल्पों को समझाते हैं, तो वे एक बहुत ही आकर्षक, बहुत ही आत्मविश्वासी कहानीकार की तरह होते हैं जो शायद चलते-चलते चीजें बना रहा होता है। लेखक, जो नीदरलैंड और इटली के शोधकर्ताओं की एक टीम है, सुझाव देते हैं कि हमें इस बात पर जुनून करना बंद कर देना चाहिए कि क्या रोबोट की कहानी उसके आंतरिक गियर के घूमने का एक सटीक, शाब्दिक विवरण है। इसके बजाय, हमें पूछना चाहिए: क्या कहानी निर्णय लेने में हमारी मदद करने के लिए पर्याप्त उपयोगी है?

यहाँ उनके तर्क का विवरण दिया गया है, जिसे रूपकों के साथ प्रस्तुत किया गया है:

"बहुत अच्छा होने का भ्रम" वाला जाल
शोध पत्र बताता है कि ये एआई स्पष्टीकरण अक्सर अविश्वसनीय रूप से प्लॉसिबल (Plausible) होते हैं। वे शानदार लगते हैं! वे सही शब्दों का उपयोग करते हैं, प्रवाह बनाए रखते हैं, और पढ़ने वाले को खुश करते हैं (एक ऐसा व्यवहार जिसे लेखक "साइकफैंसी" (Sycophancy) कहते हैं, जो कि एक कुत्ते के पूंछ हिलाने जैसा है ताकि उसे इनाम मिल सके)। क्योंकि वे इतने मानवीय और तार्किक लगते हैं, हम उन पर विश्वास करने लगते हैं।

हालाँकि, लेखक तर्क देते हैं कि ये स्पष्टीकरण संदेहास्पद रूप से फेथफुल (Faithful) हैं। कल्पना कीजिए कि एक जादूगर टोपी से खरगोश निकाल रहा है। यदि जादूगर कहता है, "मैंने फर्श में एक गुप्त दरवाज़ा इस्तेमाल किया था," तो यह एक प्लॉसिबल कहानी हो सकती है। लेकिन अगर खरगोश वास्तव में आस्तीन से निकला था, तो कहानी सच्चाई के प्रति फेथफुल नहीं है। शोध पत्र सुझाव देता है कि एलएलएम (LLMs) उस जादूगर की तरह हैं। वे वास्तव में अपने कोड के अंदर नहीं देखते कि उन्होंने निर्णय कैसे लिया। इसके बजाय, वे उत्तर उत्पन्न करने के साथ-साथ स्पष्टीकरण भी उत्पन्न करते हैं। यह एक छात्र की तरह है जो एक निबंध लिख रहा है और फिर, निष्कर्ष लिखते समय, एक ऐसा कारण गढ़ रहा है जो थिसिस के लिए स्मार्ट लगे लेकिन वास्तव में वही कारण नहीं था जिससे उसने लिखना शुरू किया था।

पुराने परीक्षण क्यों काम नहीं करते
वैज्ञानिक इन स्पष्टीकरणों को "फेथफुल" होने के लिए पुराने तरीकों का उपयोग करके परीक्षण करने की कोशिश कर रहे थे, जैसे कि रोबोट को छेड़छाड़ करना और देखना कि क्या वह अपना मन बदलता है। शोध पत्र कहता है कि आधुनिक एआई के लिए ये परीक्षण टूटे हुए हैं।

• "एक-आकार-सभी-के-लिए" की समस्या: पुराने परीक्षण मानते हैं कि यदि आप इनपुट में एक शब्द बदलते हैं, तो रोबोट का तर्क एक अनुमानित, सीधी रेखा में बदलना चाहिए। लेकिन ये रोबोट बहुत छोटी चीजों के प्रति संवेदनशील होते हैं, जैसे कि एक गायब कॉमा या कैपिटल लेटर। यह कार के इंजन का परीक्षण करने के लिए उसके हॉर्न को बजाने जैसा है; कार रुक सकती है, लेकिन इसलिए नहीं कि इंजन खराब है।
• "मेमोरी बनाम इनपुट" की समस्या: कभी-कभी, रोबлот आपके प्रश्न को अनदेखा कर देता है और अपनी याददाश्त से उत्तर देता है। यदि आप अपने प्रश्न से शब्द हटाकर उसकी निष्ठा (faithfulness) का परीक्षण करने की कोशिश करते हैं, तो रोबोट बस कह सकता है, "मुझे उत्तर वैसे भी पता है!" और जारी रख सकता है। यह पुराने परीक्षणों को बेकार बनाता है।

नया लक्ष्य: एक्शनैबिलिटी (Actionability)
तो, यदि हम यह साबित नहीं कर सकते कि रोबोट अपने दिमाग के बारे में शाब्दिक सत्य बोल रहा है, तो क्या हमें स्पष्टीकरणों को फेंक देना चाहिए? लेखक कहते हैं नहीं। वे ध्यान केंद्रित करने के तरीके में बदलाव का प्रस्ताव देते हैं: "क्या यह सत्य है?" से बदलकर "क्या यह एक्शनैबल (Actionable) है?"

स्पष्टीकरण को रोबोट के मस्तिष्क के तकनीकी मैनुअल के रूप बजाय एक टूर गाइड के रूप में देखें।

• टूर गाइड का रूपक: आपको टूर का आनंद लेने के लिए टूर गाइड का शाब्दिक मानचित्र होने की आवश्यकता नहीं है। आपको बस गाइड की आवश्यकता है जो आपको दिलचस्प चट्टानों की ओर इशारा करे, आपको फिसलन भरे रास्ते के बारे में चेतावनी दे, और आपको यह तय करने में मदद करे कि आगे कहाँ जाना है।
• "एडवोकेट" (वकील/समर्थक) की भूमिका: शोध पत्र सुझाव देता है कि हमें एआई को एक "डेविल्स एडवोकेट" (विपक्षी तर्क देने वाला) या एक "सलाहकार" के रूप में मानना चाहिए। भले ही एआई का तर्क उसके कोड का सटीक दर्पण न हो, फिर भी उसका स्पष्टीकरण एक मानव डॉक्टर, वकील या शिक्षक को संभावित त्रुटियों को पहचानने, विभिन्न दृष्टिकोणों पर विचार करने या उत्तर में अनिश्चितता को समझने में मदद कर सकता है।

इसका हमारे लिए क्या अर्थ है
लेखक यह नहीं कह रहे हैं कि रोबोट पूर्ण सत्यवादी हैं। वास्तव में, वे चेतावनी देते हैं कि यदि हम इन "प्लॉसिबल लेकिन अनफेथफुल" कहानियों पर बहुत अधिक भरोसा करते हैं, तो हम "ऑटोमेशन बायस" (Automation Bias) में गिर सकते हैं—जहाँ हम रोबोट का आँख मूंदकर पालन करते हैं, भले ही वह गलत हो।

इसके बजाय, वे इन उपकरणों का उपयोग करने का एक नया तरीका सुझाते हैं:

1. एक अनुवादक के रूप में: जटिल, डरावने तकनीकी डेटा को सरल भाषा में बदलने के लिए एआई का उपयोग करें जिसे एक सामान्य व्यक्ति समझ सके।
2. एक सोचने वाले साथी के रूप में: विभिन्न तर्कों और दृष्टिकोणों को सामने लाने के लिए एआई का उपयोग करें, जिससे मनुष्यों को अंतिम निर्णय लेने में मदद मिले, न कि रोबोट को हमारे लिए निर्णय लेने देने में।
3. एक विचार-विमर्श उपकरण के रूप में: अलग-अलग एआई मॉडलों को एक-दूसरे से बहस करने दें (एक अभियोजक की भूमिका निभा रहा है, दूसरा बचाव पक्ष के वकील की) ताकि मनुष्यों को पूरी तस्वीर देखने में मदद मिले।

संक्षेप में, शोध पत्र तर्क देता है कि हमें रोबोट को उसके अपने विचारों का एक आदर्श, ईमानदार डायरी बनने के लिए मजबूर करना बंद कर देना चाहिए। इसके बजाय, हमें इसके स्पष्टीकरण को एक शक्तिशाली, संवादात्मक उपकरण के रूप में मानना चाहिए जो हमें बेहतर सोचने, सुरक्षित विकल्प चुनने और सही कदम उठाने में मदद करता है, भले ही रोबोट की आंतरिक कहानी थोड़ी काल्पनिक हो। लक्ष्य यह जानना नहीं है कि मशीन कैसे सोचती है; लक्ष्य यह सुनिश्चित करना है कि मशीन हमें बेहतर सोचने में मदद करे।