Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales
यह शोध पत्र प्रश्नोत्तर मॉडलों के लिए मौखिक रूप से व्यक्त किए गए फीचर एट्रिब्यूशन (feature attributions) और स्व-निर्मित तर्कों (self-generated rationales) की सिमुलेटिबिलिटी (simulatability) का मूल्यांकन और तुलना करता है, यह प्रदर्शित करते हुए कि स्पष्टीकरण का प्रारूप, सूक्ष्मता (granularity) और स्रोत, काउंटरफैक्चुअल (counterfactual) परिवेश में मॉडल के व्यवहार की भविष्यवाणी करने की एक एलएलएम (LLM) जज की क्षमता को महत्वपूर्ण रूप से प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अजीब व्यवहार करने वाला रोबोट आगे क्या कहेगा। आपके पास प्रश्नों की एक सूची है, और रोबोट उनके उत्तर देता है। अब, कल्पना कीजिए कि आपने प्रश्न में एक शब्द बदल दिया (एक "काउंटरफैक्चुअल" परिवर्तन) और उस नए प्रश्न के लिए रोबोट के उत्तर का अनुमान लगाने की कोशिश की: क्या आप इस नए प्रश्न के प्रति रोबोट के जवाब की भविष्यवाणी कर सकते हैं?
यह शोध पत्र विभिन्न प्रकार के "संकेतों" (व्याख्याओं) का परीक्षण करने के बारे में है यह देखने के लिए कि कौन से संकेत वास्तव में एक इंसान (या दूसरे AI) को इस भविष्यवाणी को सही ढंग से करने में मदद करते हैं। लेखक इस प्रक्रिया को सिमुलेटेबिलिटी (simulatability) कहते हैं। इसे एक "क्रिस्टल बॉल टेस्ट" की तरह समझें: क्या व्याख्या आपको रोबोट के व्यवहार के भविष्य को देखने के लिए पर्याप्त जानकारी देती है?
शोधकर्ताओं ने दो मुख्य प्रकार के संकेतों की तुलना की:
1. "हाइलाइटर" बनाम "स्टोरीटेलर"
प्रकार A: हाइलाइटर (मौखिक फीचर एट्रिब्यूशंस - Verbalized Feature Attributions)
कल्पना कीजिए कि रोबोट एक लंबा लेख पढ़ता है और एक प्रश्न का उत्तर देता है। एक "हाइलाइटर" व्याख्या पाठ के उन विशिष्ट वाक्यों या शब्दों की ओर इशारा करती है जिनका उपयोग रोबोट ने अपने निर्णय लेने के लिए किया था।
- प्रयोग: शोधकर्ताओं ने इन हाइलाइट किए गए हिस्सों को वाक्यों में बदल दिया।
- वाक्य-स्तर (Sentence-level): "रोबोट इस पूरे पैराग्राफ पर निर्भर था।"
- टोकन-स्तर (Token-level): "रोबोट 'एप्पल' शब्द पर निर्भर था।"
- पुनर्लेखन (Rewritten): उन्होंने एक अत्यंत बुद्धिमान AI से हाइलाइट किए गए हिस्से को एक सहज, बहते हुए वाक्य में फिर से लिखने के लिए कहा।
प्रका प्रकार B: स्टोरीटेलर (स्व-निर्मित तर्क - Self-Generated Rationales)
यह तब होता है जब रोबोट को अपना उत्तर देने से पहले या बाद में अपनी सोच समझाने के लिए कहा जाता है।
- पोस्ट-हॉक (Post-hoc): "यहाँ मेरा उत्तर है। वैसे, यहाँ इसका एक संक्षिप्त कारण है।"
- चेन-ऑफ-थॉट (CoT): "मुझे चरण-दर-चरण सोचने दें... पहले मैंने X को देखा, फिर मैंने Y पर विचार किया, इसलिए मेरा उत्तर Z है..."
2. परिणाम: वास्तव में क्या काम आया?
शोधकर्ताओं ने एक "जज" (एक अन्य शक्तिशाली AI) का उपयोग किया ताकि वह बदले हुए प्रश्न के प्रति रोबोट के उत्तर की भविष्यवाणी कर सके। उन्होंने जज को मूल उत्तर और ऊपर दी गई एक "संकेत" (hint) दी।
यहाँ उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
"पूरा पैराग्राफ" जीतता है (वाक्य-स्तर):
जब संकेत ने एक पूरे वाक्य या पैराग्राफ की ओर इशारा किया, तो जज को रोबोट के अगले कदम की भविष्यवाणी करने में बहुत बेहतर परिणाम मिले। यह एक किताब के कथानक को समझने के लिए एक पूरे अध्याय को प्राप्त करने जैसा था।- उपमा: यदि आप किसी को बताते हैं, "चरित्र क्रोधित है क्योंकि उसने अभी-अभी जो पत्र पढ़ा है, उसके कारण," तो वे अनुमान लगा सकते हैं कि चरित्र आगे क्या करेगा।
"एकल शब्द" विफल रहता है (टोकन-स्तर):
जब संकेत ने केवल एकल शब्दों (जैसे "एप्पल" या "1805") की ओर इशारा किया, तो जज भ्रमित हो गया या पहले से भी बदतर प्रदर्शन करने लगा। संदर्भ गायब था।- उपमा: यदि आप केवल कहते हैं, "चरित्र क्रोधित है क्योंकि 'पत्र' शब्द के कारण," तो यह बहुत अस्पष्ट है। आपको नहीं पता कि उस पत्र में क्या लिखा था। संदर्भ गायब था।
प्रवाह एक जाल है (LLM पुनर्लेखन):
शोधकर्ताओं ने हाइलाइटर नोट्स को लेकर एक सुपर-स्मार्ट AI से उन्हें सुंदर, सहज अंग्रेजी में फिर से लिखने के लिए कहा। उन्हें लगा कि इससे मदद मिलेगी। पर ऐसा नहीं हुआ।- उपमा: यह एक रफ मैप (नक्शे) को एक कलाकार द्वारा सुंदर रंगों और फैंसी फोंट के साथ फिर से चित्रित करने जैसा है। यदि नक्शा अभी भी पूरे पड़ोस के बजाय केवल एक सड़क ही दिखाता है, तो सुंदर फोंट आपकी मदद नहीं करेगा। जानकारी अधिक महत्वपूर्ण थी, शैली नहीं।
"चरण-दर-चरण" मार्गदर्शक सर्वश्रेष्ठ है (चेन-ऑफ-थॉट):
सबसे अच्छे संकेत चेन-ऑफ-थॉट व्याख्याएं थीं। जब रोबोट ने चरण-दर-चरण अपनी तर्क प्रक्रिया समझाई, तो जज अविश्वसनीय सटीकता के साथ रोबोट के भविष्य के उत्तरों की भविष्यवाणी कर सका।- उपमा: यह रोबोट द्वारा आपको अपना रफ वर्क (स्क्रैचपैड) दिखाने जैसा है। केवल यह कहने के बजाय कि "उत्तर 42 है," वह कहता है, "मैंने 20 और 20 जोड़ा, फिर 18 घटाया, तो मुझे 22 मिला, फिर मैंने फिर से 20 जोड़ा..." आप तर्क का पूरी तरह से पालन कर सकते हैं, इसलिए आप जानते हैं कि वह आगे क्या करेगा।
3. मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि सभी व्याख्याएं समान नहीं होती हैं।
- संदर्भ ही सर्वोपरि है (Context is King): मूल पाठ का एक हिस्सा (वाक्य) देना, एक छोटे टुकड़े (शब्द) देने की तुलना में बहुत बेहतर है।
- तर्क, चमक से बढ़कर है (Logic > Polish): एक रफ, चरण-दर-चरण तार्किक व्याख्या (चेन-ऑफ-थॉट), एक चिकनी, पुनर्गठित सारांश की तुलना में व्यवहार की भविष्यवाणी करने के लिए बहुत अधिक उपयोगी है।
- "क्यों" मायने रखता है: यह समझने के लिए कि एक मॉडल नई स्थिति में कैसे व्यवहार करेगा, आपको उसकी तर्क प्रक्रिया को देखने की आवश्यकता है, न कि केवल उस साक्ष्य को जिसे उसने देखा था।
संक्षेप में: यदि आप एक रोबोट के मस्तिष्क को समझना चाहते हैं, तो मुझे केवल वे शब्द न दिखाएं जिन्हें उसने हाइलाइट किया है। मुझे वह कहानी दिखाएं जो उसने वहां तक पहुँचने के लिए खुद को सुनाई थी। भविष्य में वह क्या करेगा, इसकी भविष्यवाणी करने का यही एकमात्र तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।