Support-Contra Asymmetry in LLM Explanations
यह शोध पत्र लार्ज लैंग्वेज मॉडल (Large Language Model) के स्पष्टीकरणों में एक "सपोर्ट-कॉन्ट्रा विषमता" (support-contra asymmetry) को अनुभवजन्य रूप से प्रदर्शित करता है, जो यह प्रकट करता है कि सही भविष्यवाणियों के लिए स्पष्टीकरण मुख्य रूप से सहायक शाब्दिक संकेतों (lexical cues) का संदर्भ देते हैं, जबकि गलत भविष्यवाणियों के लिए स्पष्टीकरण विरोधाभासी साक्ष्यों का उल्लेख करने की प्रवृत्ति रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास एक बहुत ही बुद्धिमान, स्पष्ट बोलने वाला सहायक (लार्ज लैंग्वेज मॉडल, या LLM) है जो सुरागों के ढेर (टेक्स्ट) को देखता है और आपको बताता है कि अपराधी कौन है। लेकिन यहाँ एक पेंच है: आपका सहायक अपराधी के बारे में बताने के लिए एक छोटा सा नोट भी लिखता है कि वह क्यों सोचता है कि वह व्यक्ति दोषी है।
बड़ा सवाल यह है: क्या सहायक वास्तव में असली सुराग देख रहा है, या वह बाद में केवल एक लुभावनी कहानी बना रहा है?
यह शोध ठीक इसी बात की जांच करता है। शोधकर्ता जानना चाहते थे कि LLM द्वारा दिए गए स्पष्टीकरण वास्तव में टेक्स्ट में मौजूद वास्तविक साक्ष्यों पर आधारित हैं, या वे केवल "फालतू की बातें" हैं जो सुनने में अच्छी लगती हैं लेकिन तथ्यों से मेल नहीं खातीं।
सेटअप: दो जासूस
इस परीक्षण के लिए, शोधकर्ताओं ने दो जासूसों के साथ एक छोटा सा प्रयोग तैयार किया:
- स्टार डिटेक्टिव (LLM): यह एक फैंसी AI है। यह एक वाक्य (जैसे कि मूवी रिव्यू या समाचार हेडलाइन) पढ़ता है, श्रेणी का अनुमान लगाता है (जैसे, "सकारात्मक" या "नकारात्मक"), और अपने चुनाव की व्याख्या करने के लिए एक पैराग्राफ लिखता है।
- ओल्ड-स्कूल डिटेक्टिव (लीनियर क्लासिफायर): यह एक सरल, पारदर्शी कंप्यूटर मॉडल है। यह LLM जितना स्मार्ट या रचनात्मक नहीं है, लेकिन यह ईमानदार और समझने में आसान है। यह उसी टेक्स्ट को देखता है और उन विशिष्ट शब्दों की ओर इशारा करता है जो किसी विशेष श्रेणी के लिए मजबूत सबूत हैं।
- उदाहरण: यदि टेक्स्ट कहता है "फिल्म शानदार थी," तो ओल्ड-स्कूल डिटेक्टिव "शानदार" को "सकारात्मक" के लिए समर्थक साक्ष्य (Supporting Evidence) के रूप में दिखाता है।
- उदाहरण: यदि टेक्स्ट कहता है "फिल्म भयानक थी," तो ओल्ड-स्कूल डिटेक्टिव "भयानक" को "सकारात्मक" के लिए विरोधी साक्ष्य (Contradicting Evidence) के रूप में दिखाता है (क्योंकि यह "नकारात्मक" का संकेत देता है)।
खोज: "सपोर्ट बनाम कॉन्ट्राक्ट" विषमता (Support–Contra Asymmetry)
शोधकर्ताओं ने स्टार डिटेक्टिव (LLM) द्वारा लिखे गए स्पष्टीकरण की तुलना उन सुरागों से की जो ओल्ड-स्कूल डिटेक्टिव ने खोजे थे। उन्होंने एक दिलचस्प पैटर्न पाया जिसे वे सपोर्ट-कॉन्ट्रा असिमेट्री (Support–Contra Asymmetry) कहते हैं।
इसे इस तरह समझें:
🟢 जब LLM सही होता है:
जब AI सही उत्तर देता है, तो उसका स्पष्टीकरण एक केंद्रित स्पॉटलाइट की तरह होता है।
- यह समर्थक साक्ष्य (वे शब्द जो उसे सही साबित करते हैं) पर एक उज्ज्वल रोशनी डालता है।
- यह विरोधी साक्ष्य (वे शब्द जो बताते हैं कि वह गलत है) को अनदेखा करता है या उनका नाम शायद ही लेता है।
- उपमा: कल्पना कीजिए कि एक वकील केस जीत रहा है। वे केवल उस सबूत के बारे में बात करते हैं जो उनके क्लाइंट को निर्दोष साबित करता है और उस सबूत को पूरी तरह से अनदेखा कर देते हैं जो उन्हें दोषी बना सकता है।
🔴 जब LLM गलत होता है:
जब AI गलत होता है, तो उसका स्पष्टीकरण भ्रमित और विरोधाभासी हो जाता है।
- यह विरोधी साक्ष्य (वे शब्द जो वास्तव में यह साबित करते हैं कि उसे दूसरा उत्तर चुनना चाहिए था) के बारे में बात करने लगता है।
- यह उस साक्ष्य पर ध्यान केंद्रित करने में विफल रहता जो उसे जीतने में मदद कर सकता था।
- उपमा: कल्पना कीजिए कि एक वकील केस हार रहा है। वह अपना तर्क काम करने के लिए इतना हताश है कि वह अनजाने में उन सभी सबूतों को सूचीबद्ध करने लगता है जो साबित करते हैं कि उसका क्लाइंट दोषी है, जबकि वह जूरी को यह समझाने की कोशिश कर रहा है कि यह एक जीत है। वह अपने ही खिलाफ तर्क दे रहा है!
प्रयोग
टीम ने इस पैटर्न का परीक्षण तीन अलग-अलग प्रकार के "रहस्यों" पर किया:
- मूवी रिव्यूज (IMDB): क्या रिव्यू सकारात्मक है या नकारात्मक?
- न्यूज हेडलाइंस (AG News): क्या यह खेल, व्यवसाय या विज्ञान के बारे में है?
- एंटिटी डिस्क्रिप्शंस (WikiOntology): क्या यह टेक्स्ट एक बैंड, एक कंपनी या एक फिल्म के बारे में है?
उन्होंने हर जगह एक ही पैटर्न पाया।
- सही भविष्यवाणियाँ: AI का स्पष्टीकरण "हाँ, यह सही है!" वाले शब्दों से भरा था।
- गलत भविष्यवाणियाँ: AI का स्पष्टीकरण "रुको, यह तो वास्तव में उस दूसरी चीज़ जैसा लग रहा है!" वाले शब्दों से भरा था।
यह क्यों मायने रखता है?
यह दो कारणों से बहुत बड़ी बात है:
- यह केवल रैंडम चैट नहीं है: जब AI सही होता है, तो वह वास्तव में टेक्स्ट में मौजूद वास्तविक सुरागों पर ध्यान दे रहा होता है। वह केवल एक कहानी नहीं गढ़ रहा है; वह साक्ष्यों को ट्रैक कर रहा है।
- "गलत" सुराग एक चेतावनी संकेत है: जब AI गलत होता है, तो उसका स्पष्टीकरण हमें अक्सर एक संकेत देता है कि वह क्यों विफल हुआ। वह अनजाने में उन भ्रमित करने वाले शब्दों को उजागर कर देता है जिन्होंने उसे धोखा दिया।
निष्कर्ष
LLM के स्पष्टीकरण को एक दर्पण के रूप में सोचें।
- जब AI अच्छा काम कर रहा होता है, तो दर्पण सच्चाई को स्पष्ट रूप से दर्शाता है।
- जब AI भ्रमित होता है, तो दर्पण भ्रम को दर्शाता है, जो हमें उन शब्दों को दिखाता है जिनकी वजह से गलती हुई।
यह पेपर हमें सिखाता है कि हमें केवल इसलिए किसी AI के स्पष्टीकरण पर भरोसा नहीं करना चाहिए क्योंकि वह स्मार्ट लगता है। इसके बजाय, हमें यह जांचना चाहिए कि क्या स्पष्टीकरण सही सुरागों की ओर इशारा कर रहा है। यदि AI गलत है, तो उसका स्पष्टीकरण अक्सर अनजाने में उन सुरागों की ओर इशारा करेगा जो उसे गलत साबित करते हैं!
संक्षेप में: एक अच्छा स्पष्टीकरण उत्तर का समर्थन करता है। एक बुरा स्पष्टीकरण अक्सर अनजाने में उसके विरुद्ध तर्क देता है। इस "असिमेट्री" (विषमता) को देखकर, हम बेहतर समझ सकते हैं कि कब AI पर भरोसा करना है और कब संदेह करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।