Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information
यह शोध पत्र डिकोडर-ओनली (decoder-only) LLMs में एट्रिब्यूशन फेथफुलनेस (attribution faithfulness) का आकलन करते समय रिटेन्ड वर्ड काउंट्स (retained word counts) को नियंत्रित करने के लिए -Soft-NC और -Soft-NS मूल्यांकन ढांचे के साथ-साथ Grad-ELLM विधि प्रस्तुत करता है, जो मजबूत व्यापकता-उन्मुख प्रदर्शन प्राप्त करने के लिए ग्रेडिएंट और अटेंशन संकेतों को प्रभावी ढंग से संयोजित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: सेब की तुलना संतरे से करना
कल्पना कीजिए कि आप एक जज हैं जो यह तय करने की कोशिश कर रहे हैं कि कौन सा जासूस रहस्य सुलझाने में बेहतर है। आपके पास दो जासूस हैं, डिटेक्टिव A और डिटेक्टिव B।
- डिटेक्टिव A को 5 सुराग मिलते हैं, लेकिन वे सभी बहुत महत्वपूर्ण हैं।
- डिटेक्टिव B को 50 सुराग मिलते हैं, लेकिन उनमें से केवल 5 ही वास्तव में उपयोगी हैं; बाकी सब सिर्फ शोर (noise) हैं।
अतीत में, शोधकर्ताओं ने यह मापने के लिए कि "फिथफुलनेस" (AI अपनी सोच को कितनी अच्छी तरह समझा पाता है) कितनी है, यह देखने की कोशिश की कि जब आप उन सुरागों को हटा देते हैं जिन्हें जासूस ने बताया था, तो AI का उत्तर कितना बदल जाता है।
खामी: मापने का पुराना तरीका ऐसा था: यदि डिटेक्टिव B ने आपको 50 सुरागों की सूची दी, और आपने उनमें से 45 को हटा दिया, तो AI का उत्तर केवल इसलिए बहुत बदल सकता है क्योंकि आपने इतने सारे शब्द हटा दिए थे, न कि इसलिए कि सुराग खराब थे। यदि डिटेक्टिव A ने आपको 5 सुरागों की छोटी सूची दी, तो उन्हें हटाने से उत्तर कम बदल सकता है, सिर्फ इसलिए क्योंकि शुरुआत में वहां कम शब्द थे।
पुराने मेट्रिक्स अनुचित थे। वे एक ऐसे जासूस की तुलना कर रहे थे जिसने बहुत सारी जानकारी रखी थी और एक ऐसे की जिसने बहुत कम जानकारी रखी थी, जिससे ऐसा लग रहा था कि जिसने अधिक जानकारी रखी वह चीजों को समझाने में "बेहतर" था, भले ही उसका तर्क अव्यवस्थित हो।
समाधान: "इक्वल रिटेंशन" (समान प्रतिधारण) का नियम
इस पेपर के लेखक इस खेल के लिए एक नया नियम प्रस्तावित करते हैं: हर किसी को जानकारी की बिल्कुल समान मात्रा रखनी होगी।
वे एक नया तरीका पेश करते हैं जिसे -Soft-NC और -Soft-NS कहा जाता है। को जानकारी के लिए एक "वॉल्यूम नॉब" (volume knob) की तरह समझें।
- यदि आप नॉब को 0.5 पर सेट करते हैं, तो डिटेक्टिव A और डिटेक्टिव B दोनों को वाक्य के ठीक 50% शब्द रखने होंगे।
- यदि आप इसे 0.1 पर सेट करते हैं, तो दोनों को केवल 10% ही रखना होगा।
दोनों तरीकों को जानकारी "रखने" के लिए समान रूप से मजबूर करके, आप अंततः यह देख सकते हैं कि किसने AI के निर्णय को समझाने के लिए सही शब्दों को चुना, बजाय इसके कि किसने बस सबसे अधिक शब्दों को चुना।
नया जासूस: Grad-ELLM
लेखकों ने इस नए नियम का परीक्षण करने के लिए एक नया जासूस तरीका बनाया जिसे Grad-ELLM कहा जाता है।
- यह कैसे काम करता है: कल्पना कीजिए कि एक AI एक बार में एक शब्द लिखकर कहानी लिख रहा है (एक चेन रिएक्शन की तरह)। यह समझने के लिए कि AI ने अगला शब्द क्यों चुना, Grad-ELLM दो चीजों को एक साथ देखता है:
- "अटेंशन" (Attention) मैप: AI किन शब्दों को देख रहा था? (जैसे कि कमरे में AI किसकी ओर घूर रहा है)।
- "ग्रेडिएंट" (Gradient) मैप: उन शब्दों को बदलने से परिणाम वास्तव में कितना बदल गया? (जैसे कि किसी विशिष्ट हीटर को हिलाने से कमरे का तापमान कितना बदल जाता है)।
Grad-ELLM इन दोनों दृश्यों को जोड़ता है। यह केवल एक सबसे महत्वपूर्ण शब्द नहीं चुनता; यह पूरे वाक्य में महत्व का एक सहज, निरंतर मानचित्र बनाता है। यह एक हीट मैप की तरह है जो दिखाता है कि "गर्मी" (महत्व) वास्तव में कहाँ है, बजाय इसके कि केवल एक जगह पर उंगली दिखाए।
उन्होंने क्या पाया
लेखकों ने अपने नए नियम और अपने नए जासूस का परीक्षण प्रसिद्ध AI मॉडलों (Llama और Mistral) पर किया, जिसमें निम्नलिखित कार्य शामिल थे:
- सेंटिमेंट एनालिसिस (Sentiment Analysis): यह तय करना कि मूवी रिव्यू सकारात्मक है या नकारात्मक।
- ओपन जनरेशन (Open Generation): सवालों के जवाब लिखना या कहानी को आगे बढ़ाना।
परिणाम:
- पुराना नियम पक्षपाती था: जब उन्होंने पुराने मेट्रिक्स का उपयोग किया, तो वे तरीके जो बहुत सारे शब्द रखते थे, कृत्रिम रूप से अच्छे दिखाई दिए।
- नया नियम सच्चाई प्रकट करता है: नए "इक्वल रिटेंशन" नियम के तहत, Grad-ELLM ने व्यापक साक्ष्य (broad evidence) खोजने में उत्कृष्टता सिद्ध की। इसने दिखाया कि AI का निर्णय शब्दों की एक विस्तृत श्रृंखला द्वारा समर्थित था जो मिलकर काम कर रहे थे (जैसे आवाजों का एक समूह/कोरस)।
- कोई एक विजेता नहीं: दिलचस्प बात यह है कि कोई भी एक तरीका हर चीज़ में सर्वश्रेष्ठ नहीं था।
- कुछ तरीके एक या दो सबसे महत्वपूर्ण शब्दों को खोजने में माहिर थे (जैसे "स्मोकिंग गन" या निर्णायक सबूत ढूंढना)।
- Grad-ELLM यह दिखाने में माहिर था कि कितने शब्दों ने मिलकर उत्तर में योगदान दिया (पूरा चित्र दिखाना)।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर एक बेकरी के लिए तराजू के एक नए सेट की तरह है। पहले, यदि आप एक भारी प्लेट के साथ केक और एक हल्की प्लेट के साथ कुकी को तौलते थे, तो आप यह नहीं बता पाते थे कि कौन सा डेज़र्ट वास्तव में भारी है। लेखकों ने दोनों तरफ एक मानक प्लेट जोड़ दी है।
उन्होंने एक नया प्रकार का केक (Grad-ELLM) भी बनाया है जिसका स्वाद पूरे केक में समान रूप से फैला हुआ है, बजाय इसके कि उसमें केवल कुछ मीठे बिंदु हों। उनके नए तराजू दिखाते हैं कि जबकि कुछ तरीके "मीठे बिंदुओं" को खोजने में अच्छे हैं, उनका केक बेहतर है क्योंकि यह दिखाता है कि पूरा डेज़र्ट कैसे बना है।
संक्षेप में: उन्होंने AI स्पष्टीकरणों (explanations) के परीक्षण के तरीके को ठीक किया है ताकि हम शब्दों की मात्रा से धोखा न खाएं, और उन्होंने एक नया तरीका पेश किया है जो हमें यह एक अधिक पूर्ण और ईमानदार तस्वीर देता है कि AI कैसे सोचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।