LLMs Should Not Yet Be Credited with Decision Explanation
यह शोध पत्र तर्क देता है कि वर्तमान साक्ष्य मुख्य रूप से वास्तविक स्पष्टीकरण के बजाय भविष्यवाणी और युक्तिकरण का समर्थन करते हैं, इसलिए एलएलएम (LLMs) को अभी तक मानवीय निर्णयों की व्याख्या करने का श्रेय नहीं दिया जाना चाहिए, और यह स्पष्टीकरण की प्रगति की समयपूर्व पुनर्व्याख्या को रोकने के लिए इन क्षमताओं के बीच अंतर करने वाले एक अंशांकित मानक की वकालत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि किसी व्यक्ति ने एक विशिष्ट विकल्प क्यों चुना, जैसे कि नीली कार के बजाय लाल कार खरीदना।
अब, कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट (एक LLM) है जो स्थिति को देख सकता है और आपको दो चीजें बता सकता है:
- भविष्यवाणी (The Prediction): "मुझे दांव है कि वे लाल कार खरीदेंगे।"
- कहानी (The Story): "उन्होंने लाल कार खरीदी क्योंकि उन्हें लाल रंग पसंद है और यह उनके व्यक्तित्व से मेल खाता है।"
वेन्शू वांग का पेपर तर्क देता है कि हम वर्तमान में एक बड़ी गलती कर रहे हैं। हम रोबोट की कहानी को मानव मन के वैज्ञानिक स्पष्टीकरण के रूप में मान रहे हैं। लेखक कहता है: रोबोट को "स्पष्टीकरण" देने का श्रेय तब तक न दें जब तक कि उसके पास बहुत मजबूत प्रमाण न हो।
सरल उपमाओं का उपयोग करके इसका विवरण यहाँ दिया गया है:
1. "क्रेडिट" के तीन स्तर
पेपर कहता है कि रोबोट क्या तीन अलग-अलग चीजें कर सकता है, और उनके लिए अलग-अलग स्तर के प्रमाण की आवश्यकता होती है। इसे एक वीडियो गेम की तरह सोचें जिसमें तीन कठिनाई स्तर हैं:
स्तर 1: भविष्यवक्ता (निर्णय भविष्यवाणी - Decision Prediction)
- यह क्या करता है: रोबोट परिणाम का सही अनुमान लगाता है। "उन्होंने लाल कार चुनी।"
- प्रमाण: इसे बस अक्सर सही होने की आवश्यकता है।
- पेपर का दृष्टिकोण: यह शानदार है! हमें रोबोट को एक अच्छा अनुमान लगाने वाला होने के लिए श्रेय देना चाहिए। लेकिन सही अनुमान लगाने का मतलब यह नहीं है कि आप जानते हैं कि उन्होंने इसे क्यों चुना। शायद रोबोट ने सिर्फ यह देखा कि ज्यादातर लोग मंगलवार को लाल रंग चुनते हैं, न कि इसलिए कि उन्हें लाल रंग पसंद है।
स्तर 2: चिकनी बातें करने वाला (तर्क निर्माण - Rationale Generation)
- यह क्या करता है: रोबोट एक सम्मोहक कहानी लिखता है। "उन्होंने लाल कार चुनी क्योंकि यह स्टाइलिश है और उनके जूतों से मेल खाती है।"
- प्रमाण: मनुष्य कहानी पढ़ते हैं और कहते, "यह तर्कसंगत लगता है और समझ में आता है।"
- पेपर का दृष्टिकोण: यह भी उपयोगी है! रोबोट लिखने में अच्छा है। लेकिन एक चिकनी कहानी सत्य के समान नहीं है। एक वकील अपने क्लाइंट के लिए एक आदर्श बचाव लिख सकता है जो वास्तव में दोषी है। कहानी अच्छी लगती है, लेकिन यह साबित नहीं करती कि वास्तव में क्या हो रहा था।
स्तर 3: मन पढ़ने वाला (निर्णय स्पष्टीकरण - Decision Explanation)
- यह क्या करता है: रोबोट यह साबित करता है कि उसने वास्तव में मानव मस्तिष्क के भीतर घूमने वाले उन विशिष्ट मानसिक गियरों को ट्रैक किया है जिनकी वजह से वह चुनाव हुआ।
- प्रमाण: यह कठिन हिस्सा है। आप केवल रोबोट को कहानी लिखने के लिए नहीं कह सकते। आपको इसका परीक्षण करना होगा।
- पेपर का दृष्टिकोण: हम अभी वहां तक नहीं पहुंचे हैं। वर्तमान में, रोबोट केवल एक स्तर 1 का भविष्यवक्ता और एक स्तर 2 का चिकनी बातें करने वाला है। हम गलती से उसे स्तर 3 का मन पढ़ने वाला मान रहे हैं।
2. समस्या: "पर thuyết करने वाला कथावाचक" (The Persuasive Narrator)
पेपर चेतावनी देता है कि हम एक चाल का शिकार हो रहे हैं। क्योंकि रोबोट लिखने में (स्तर 2) और अनुमान लगाने में (स्तर 1) इतना अच्छा है, हम मान लेते हैं कि वह वास्तव में कारण (स्तर 3) को भी समझता है।
उपमा:
एक जादूगर की कल्पना करें जो टोपी से खरगोश निकालता है।
- भविष्यवाणी: जादूगर कहता है, "मैं एक खरगोश निकालूँगा।" (वह सही है)।
- तर्क: वह कहता है, "मैंने एक विशेष जादू मंत्र का उपयोग किया क्योंकि मैंने खरगोश निकाला।" (यह प्रशंसनीय और जादुई लगता है)।
- स्पष्टीकरण: इसे वास्तव में समझाने के लिए, आपको टोपी में गुप्त कक्ष या उसके तंत्र को दिखाना होगा।
अभी, LLMs केवल जादूगर की तरह हैं जो हमें मंत्र बता रहे हैं। उन्होंने अभी तक हमें गुप्त कक्ष नहीं दिखाया है। वे केवल परिणाम के लिए "तर्कसंगत बनाना" (एक अच्छा कारण बनाना) कर रहे हैं।
3. समाधान: "ब्रिज स्टैंडर्ड" (The Bridge Standard)
लेखक एक नया नियम प्रस्तावित करता है कि कब हम अंततः कह सकते हैं, "ठीक है, यह रोबोट वास्तव में मानव निर्णयों की व्याख्या करता है।" रोबोट को अपनी कहानी और वास्तविक मानव मन के बीच एक पुल (bridge) बनाना होगा।
इस पुल को पार करने के लिए, रोब सहित दावे को चार परीक्षणों को पास करना होगा:
- लक्ष्य का नाम लें: केवल यह न कहें कि "यह विकल्प की व्याख्या करता है।" सटीक रूप से कहें कि यह क्या ट्रैक कर रहा है। क्या यह "पैसा खोने के डर" को ट्रैक कर रहा है? क्या यह "चमकीले रंगों के प्रति ध्यान" को ट्रैक कर रहा है? आपको मापने के लिए एक विशिष्ट चीज़ चुननी होगी।
- "नकली" विकल्पों को हराएं: आपको यह साबित करना होगा कि रोबोट केवल एक "स्मार्ट अनुमान + चिकनी बातें करने वाला" नहीं है। आपको यह दिखाना होगा कि यदि आप रोबोट को धोखा देते हैं (जैसे, उत्तर छिपा देते हैं), तो वह केवल एक ऐसी कहानी नहीं बना सकता जो संयोग से सही हो। उसे यह साबित करना होगा कि उसने वास्तविक कारण पाया है, न कि केवल एक सुविधाजनक बहाना।
- सही उपकरणों का उपयोग करें: यदि आप दावा करते हैं कि रोबोट "ध्यान" को ट्रैक करता है, तो आपको केवल निबंध लिखने के लिए नहीं कहना चाहिए। आपको आई-ट्रैकिंग (eye-tracking) या रिएक्शन टाइम जैसे उपकरणों का उपयोग करना चाहिए ताकि यह देखा जा सके कि रोबोट की कहानी उस चीज़ से मेल खाती है जो वास्तव में मनुष्य की आँखों ने की थी।
- इसे छोटा रखें: यह न कहें कि "यह रोबोट सभी मानवीय निर्णयों की व्याख्या करता है।" कहें "यह रोबोट लोगों के इस विशिष्ट समूह के लिए इस विशिष्ट प्रकार के चुनाव की व्याख्या करता है।"
4. यह क्यों मायने रखता है
पेपर यह नहीं कह रहा है कि रोबोट बेकार हैं। यह कह रहा है कि हमें इस बारे में ईमानदार होने की आवश्यकता है कि वे किन चीजों में अच्छे हैं।
- वर्तमान स्थिति: हम रोबोट को भविष्य बताने वाले कथावाचकों (Psychic Storytellers) के रूप में मान रहे हैं। हमें लगता है कि वे मानव मन के गहरे रहस्यों को प्रकट कर रहे हैं क्योंकि वे सम्मोहक कहानियाँ लिखते हैं।
- प्रस्तावित स्थिति: हमें उन्हें शक्तिशाली उपकरणों के रूप में मानना चाहिए जो अनुमान लगाने और विचार उत्पन्न करने में उत्कृष्ट हैं, लेकिन हमें उन्हें "व्याख्या करने वाला" तब तक नहीं कहना चाहिए जब तक कि वे कठिन परीक्षणों को पास न कर लें।
मुख्य बात:
यदि हम रोबोट को उन चीजों की "व्याख्या" करने का श्रेय देते रहते हैं जिन्हें उन्होंने वास्तव में सिद्ध नहीं किया है, तो हम वास्तविक उत्तरों की तलाश करना बंद कर सकते हैं। उनके क्रेडिट को कैलिब्रेट करके (उन्हें उस चीज़ के लिए श्रेय देना जो वे वास्तव में करते हैं, न कि वह जो हम चाहते हैं कि वे करें), हम उन्हें केवल आकर्षक कथावाचकों से बदलकर मानव व्यवहार के बारे में सच्चाई खोजने के विश्वसनीय उपकरणों में बदल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।