💬 NLP

Compact Example-Based Explanations for Language Models

यह शोध पत्र भाषा मॉडल स्पष्टीकरणों के लिए उदाहरण चयन का मूल्यांकन करने हेतु एक रिट्रेनिंग-फ्री (retraining-free) प्रासंगिकता स्कोर प्रस्तुत करता है और एक नई रणनीति प्रस्तावित करता है जो सामान्य चयन विधियों और रैंडम बेसलाइन्स से बेहतर प्रदर्शन करने के लिए प्रभाव (influence) और प्रतिनिधित्व (representativeness) को संतुलित करती है।

मूल लेखक: Loris Schoenegger, Benjamin Roth

प्रकाशित 2026-04-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Loris Schoenegger, Benjamin Roth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (भाषा मॉडल - Language Model) है जिसने व्यंजनों के एक विशाल पुस्तकालय (प्रशिक्षण डेटा - Training Data) का उपयोग करके दस लाख भोजन पकाए हैं। एक दिन, वह रोबोट एक विशिष्ट व्यंजन बनाता है, मान लीजिए "स्पाइसी टैकोस" (Spicy Tacos), और आप पूछते हैं, "आपने इसे इस तरह क्यों बनाया?"

रोबोट कहता है, "खैर, मैंने इसे अपने पुस्तकालय की 50,000 अलग-अलग रेसिपी किताबों से सीखा है!"

यह बहुत मददगार नहीं है। आप एक अकेले टैको को समझने के लिए 50,000 किताबें नहीं पढ़ सकते। आपको उन शीर्ष 5 या 10 व्यंजनों की एक छोटी, चुनिित सूची चाहिए जो वास्तव में शेफ के लिए प्रेरणा बने। यही वह चीज़ है जिसे यह पेपर उदाहरण-आधारित स्पष्टीकरण (Example-Based Explanation) कहता है।

समस्या: गलत रेसिपी चुनना

शोधकर्ताओं ने पाया कि इन "शीर्ष 5 रेसिपी" को चुनने का मानक तरीका दोषपूर्ण था।

अधिकांश सिस्टम इन्फ्लुएंस फंक्शन्स (Influence Functions) नामक एक टूल का उपयोग करते हैं। इस टूल को एक "लोकप्रियता मीटर" के रूप में समझें जो पुस्तकालय को स्कैन करता है और कहता है, "इस रेसिपी का सबसे अधिक उपयोग किया गया था! यह सबसे प्रभावशाली है!"

समस्या क्या है? "सबसे प्रभावशाली" रेसिपी अक्सर होती हैं:

अजीब आउटलेयर्स (Weird Outliers): जैसे "डीप-फ्राइड आइसक्रीम" की रेसिपी जिसे शेफ ने एक बार आज़माया और उसे पसंद नहीं आया, लेकिन मीटर ने इसे "प्रभावशाली" के रूप में चिह्नित किया क्योंकि इसने एक बड़ी प्रतिक्रिया पैदा की।
डुप्लिकेट्स (Duplicates): मीटर एक ही रेसिपी को 5 बार चुन लेता है क्योंकि वे एक ही चीज़ के थोड़े अलग संस्करण हैं।

यदि आप "स्पाइसी टैकोस" को समझाने के लिए किसी इंसान को "डीप-फ्राइड आइसक्रीम" की रेसिपी दिखाते हैं, तो इंसान भ्रमित हो जाता है। यह समझ में नहीं आता।

समाधान: एक नया "प्रासंगिकता स्कोर" (Relevance Score)

लेखकों ने यह तय करने के लिए कि कौन सी रेसिपी चुनी जाए, एक नया तरीका विकसित किया, जिसे सिलेक्शन रिलिवेंस (Selection Relevance) कहा जाता है।

यह पूछने के बजाय कि, "किस रेसिपी का शेफ के दिमाग पर सबसे बड़ा प्रभाव पड़ा?", वे पूछते हैं:
"यदि मैं शेफ को केवल ये 5 रेसिपी दूँ, तो क्या वे 'स्पाइसी टैकोस' को पूरी तरह से फिर से बना पाएंगे?"

वे यह देखने के लिए एक गणितीय ट्रिक (ग्रेडिएंट्स) का उपयोग करते हैं कि क्या चयनित रेसिपी अंतिम व्यंजन का "पुनर्निर्माण" (reconstruct) कर सकती हैं।

अच्छा चयन: 5 रेसिपीज़ में वे सभी स्वाद शामिल हैं जिनकी आवश्यकता है (तीखा, कुरकुरा, ताज़ा)। पुनर्निर्माण एकदम सटीक है।
बुरा चयन: 5 रेसिपीज़ केवल "नमक" हैं। आप केवल नमक से टैको नहीं बना सकते। पुनर्निर्माण विफल हो जाता है।

बड़ी खोज

जब उन्होंने इस नए स्कोर का परीक्षण किया, तो उन्हें कुछ आश्चर्यजनक पता चला:
"सबसे प्रभावशाली" रेसिपी अक्सर सबसे खराब विकल्प थीं।

वास्तव में, सबसे कम प्रभावशाली, साधारण रेसिपी चुनना अक्सर "प्रसिद्ध" रेसिपी चुनने से बेहतर काम करता था। क्यों? क्योंकि प्रसिद्ध वाली अक्सर अजीब आउटलेयर्स थीं जिन्होंने मॉडल को भ्रमित किया, जबकि साधारण वाली व्यंजन के भरोसेमंद, मानक निर्माण खंड (building blocks) थीं।

नई रणनीति: "विविध टोकरी" (Diverse Basket)

पेपर एक नई रणनीति प्रस्तावित करता है जिसे फैसिलिटी लोकेशन सिलेक्शन (Facility Location Selection) कहा जाता है।

कल्पना कीजिए कि आप अपने एक दोस्त के लिए लंचबॉक्स (स्पष्टीकरण) पैक कर रहे हैं।

पुराना तरीका (नाइव/Naive): आप रसोई में मौजूद 5 सबसे महंगी, शानदार चीजें उठाते हैं। (परिणाम: 5 फैंसी चॉकलेट। स्वादिष्ट, लेकिन एक संतुलित भोजन नहीं)।
नया तरीका (फैसिलिटी लोकेशन): आप ऐसी चीजें उठाते हैं जो एक-दूसरे से अलग हैं लेकिन फिर भी पूरे भोजन को कवर करती हैं। एक सैंडविच, एक फल, एक स्नैक, एक ड्रिंक।

यह नई रणनीति प्रभाव (Influence) और प्रतिनिधित्व (Representativeness) के बीच संतुलन बनाती है (कि कोई वस्तु कितनी महत्वपूर्ण है बनाम वह बिना दोहराव के पूरे चित्र को कितनी अच्छी तरह कवर करती है)।

निष्कर्ष (The Takeaway)

यदि आप समझाना चाहते हैं कि एक AI ने कोई निर्णय क्यों लिया, तो उसे अपने प्रशिक्षण से सबसे "शोर मचाने वाले" या "सबसे प्रसिद्ध" उदाहरण न दिखाएं। इसके बजाय, उसे उदाहरणों का एक विविध, प्रतिनिधि सेट दिखाएं जो, जब एक साथ मिलाए जाते हैं, निर्णय के पीछे के तर्क को पूरी तरह से स्पष्ट करते हैं।

संक्षेप में: किसी कहानी को समझाने के लिए पुस्तकालय की सबसे लोकप्रिय किताबें न चुनें; बल्कि उन कुछ किताबों को चुनें जिन्हें एक साथ पढ़ने पर पूरी कहानी स्पष्ट रूप से समझ आ जाए।

यहाँ शोध पत्र "Compact Example-Based Explanations for Language Models" (लॉरिस शोनेगर और बेंजामिन रोथ द्वारा लिखित) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रशिक्षण डेटा प्रभाव अनुमान विधियाँ (जैसे, Influence Functions, DataInf, LESS) यह मापने का प्रयास करती हैं कि विशिष्ट प्रशिक्षण दस्तावेज़ मॉडल के पूर्वानुमान में कैसे योगदान देते हैं। जबकि ये विधियाँ उदाहरण-आधारित स्पष्टीकरणों (मॉडल के आउटपुट को प्रासंगिक प्रशिक्षण उदाहरण दिखाकर समझाना) के लिए एक सैद्धांतिक आधार प्रदान करती हैं, वे एक महत्वपूर्ण व्यावहारिक बाधा का सामना करती हैं: चयन (Selection)।

स्केल की समस्या: प्रभाव अनुमान अक्सर हजारों दस्तावेज़ों को रैंक करते हैं। मनुष्य इतने बड़े सेटों की व्याख्या नहीं कर सकते, जिससे एक छोटे उपसमूह (जैसे, $k=5$ से $k=25$ ) के चयन की आवश्यकता होती है।
नाइफ (Naive) चयन में दोष: मौजूदा प्रणालियाँ आमतौर पर प्रभाव स्कोर के आधार पर शीर्ष- $k$ $k$ उदाहरणों का चयन करती हैं। लेखक तर्क देते हैं कि यह उप-इष्टतम (suboptimal) है क्योंकि:
1. ग्लोबल आउटलेयर्स (Global Outliers): उच्च-प्रभाव वाले उदाहरण अक्सर ग्लोबल आउटलेयर्स होते हैं (जैसे, गलत लेबल किया गया डेटा या अद्वितीय एज केस) जो विशिष्ट परीक्षण इंस्टेंस के लिए स्थानीय रूप से प्रासंगिक नहीं होते हैं।
2. अतिरेक (Redundancy): शीर्ष-रैंक वाले उदाहरण अक्सर फीचर स्पेस में क्लस्टर (समूहीकृत) होते हैं, जो विविध साक्ष्य प्रदान करने के बजाय रेडंडेंट (अतिरेकपूर्ण) जानकारी प्रदान करते हैं।
मूल्यांकन अंतराल (Evaluation Gap): पिछले मूल्यांकनों ने प्रभाव अनुमानों की सटीकता (जैसे, लीव-वन-आउट रिट्रेनिंग के साथ सहसंबंध) या पूर्ण सिस्टम के यूजर स्टडीज पर ध्यान केंद्रित किया। उन्होंने चयन रणनीति (selection strategy) को काफी हद तक अनदेखा किया, जिसका अर्थ है कि एक सिस्टम मददगार दिख सकता है भले ही चयनित उदाहरण खराब हों।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक नया मूल्यांकन ढांचा और एक नई चयन रणनीति प्रस्तावित करता है, जो महंगी रिट्रेनिंग प्रयोगों से हटकर है।

A. चयन प्रासंगिकता स्कोर ( $\xi_{SR}$ )

मुख्य योगदान एक रिट्रेनिंग-मुक्त मीट्रिक है जिसे सेलेक्शन रिलेवेंस स्कोर (Selection Relevance Score) कहा जाता है। यह चयन को एक ग्रेडिएंट रिकंस्ट्रक्शन टास्क के रूप में मानता है।

अवधारणा: चयनित प्रशिक्षण उदाहरणों का एक सेट तब "प्रासंगिक" माना जाता है यदि उनके लॉस ग्रेडिएंट्स (loss gradients), परीक्षण इंस्टेंस के लॉस ग्रेडिएंट का रैखिक रूप से पुनर्निर्माण (linearly reconstruct) कर सकें।
गणितीय सूत्रीकरण:
- मान लीजिए $\nabla L'$ परीक्षण इंस्टेंस के लॉस का ग्रेडिएंट है।
- $A$ एक मैट्रिक्स है जिसके कॉलम $k$ चयनित प्रशिक्षण उदाहरणों के ग्रेडिएंट हैं।
- लक्ष्य ऐसे गुणांक (coefficients) $t$ खोजना है कि $\hat{\nabla}L' = At \approx \nabla L'$ ।
- स्कोर को वास्तविक ग्रेडिएंट के अपेक्षित वर्ग नॉर्म (expected squared norm) और अपेक्षित पुनर्निर्माण त्रुटि (expected squared reconstruction error) के अनुपात के रूप में परिभाषित किया गया है:
  $\xi_{SR} = \frac{E[\|\nabla L'\|^2]}{E[\|\nabla L' - At\|^2]}$
- बाधाएं (Constraints): गुणांक $t$ गैर-ऋणात्मक (non-negative) होने चाहिए (उदाहरणों को या तो समर्थन करना चाहिए या विरोध करना चाहिए, एक-दूसरे को रद्द नहीं करना चाहिए) और उनका योग 1 होना चाहिए (महत्व के सापेक्ष सामान्यीकरण)।
- व्याख्या: स्कोर डेसीबल (dB) में रिपोर्ट किए जाते हैं। स्कोर $>0$ dB इंगित करता है कि चयन गैर-रेडंडेंट, प्रासंगिक जानकारी प्रदान करता है। स्कोर $<0$ dB का अर्थ है कि चयन एक मामूली बेसलाइन (शून्य वेक्टर) से भी बदतर है।

B. फाइन-ट्यूनिंग के माध्यम से सत्यापन

बिना ग्राउंड ट्रुथ के $\xi_{SR}$ को मान्य करने के लिए, लेखक इसकी तुलना दो फाइन-ट्यूनिंग-आधारित मीट्रिक्स से करते हैं:

प्रेडिक्शन सपोर्ट ( $\xi_+$ ): क्या चयनित सेट पर फाइन-ट्यूनिंग मूल पूर्वानुमान की संभावना को बढ़ाता है?
प्रेडिक्शन शिफ्ट ( $\xi_{JSD}$ ): क्या चयनित सेट पर फाइन-ट्यूनिंग मॉडल के आउटपुट वितरण में एक यादृच्छिक सेट की तुलना में महत्वपूर्ण बदलाव लाता है?

C. प्रस्तावित चयन रणनीति: इन्फ्लुएंस के साथ फैसिलिटी लोकेशन (Facility Location with Influence)

लेखक एक नई चयन रणनीति प्रस्तावित करते हैं जो इन्फ्लुएंस (प्रभाव) और प्रतिनिधित्व (कवरेज) के बीच संतुलन बनाती है, इसे एक फैसिलिटी लोकेशन प्रॉब्लम के रूप में फ्रेम करती है।

उद्देश्य: एक सबमॉड्यूलर फंक्शन को अधिकतम करना जो कवरेज (विविधता) के मार्जिनल गेन को प्रभाव की लागत (cost of influence) के साथ जोड़ता है।
सूत्र: $\Delta_\lambda(j | S) = (\Delta(j|S) + 1)^\lambda \cdot c_j^{1-\lambda}$ $Δ_{λ} (j ∣ S) = (Δ (j ∣ S) + 1)^{λ} \cdot c_{j}^{1 - λ}$
- $\Delta(j|S)$ : सेट $S$ में उदाहरण $j$ को जोड़ने से कवरेज (विविधता) में मार्जिनल गेन।
- $c_j$ : प्रभाव के आधार पर सामान्यीकृत लागत (कम लागत = उच्च प्रभाव)।
- $\lambda$ : कवरेज ( $\lambda=1$ ) बनाम शुद्ध प्रभाव ( $\lambda=0$ ) के बीच संतुलन बनाने वाला हाइपरपैरामीटर।
कार्यान्वयन: एक ग्रीडी एल्गोरिदम प्रभाव द्वारा शीर्ष-100 रैंक किए गए उदाहरणों में से उदाहरणों को तब तक चुनता है जब तक कि बजट $k$ पूरा न हो जाए।

3. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: Olmo2-1B, Llama-3.2-1B, Qwen2.5-0.5B।
डेटासेट: Tülu3 इंस्ट्रक्शन-ट्यूनिंग डेटासेट (एट्रिब्यूशन के लिए 10% सैंपल लिया गया, 1,000 टेस्ट इंस्टेंस)।
इन्फ्लुएंस एस्टिमेटर्स: DataInf (जो Influence Functions का अनुमान लगाता है), LESS (ग्रेडिएंट समानता), और एक BM25 बेसलाइन (टोकन ओवरलैप)।
बेसलाइन्स: नाइव सिलेक्शन (प्रभाव द्वारा Top/Bottom $k$ ), DIVINE (विविधता + प्रभाव), AIDE।

4. मुख्य परिणाम (Key Results)

A. नाइव सिलेक्शन विफल रहता है

विपरीत-सहज निष्कर्ष (Counter-Intuitive Finding): ग्रेडिएंट-आधारित एस्टिमेटर्स (DataInf, LESS) के लिए, सबसे प्रभावशाली उदाहरणों (Top- $k$ ) को चुनने से अक्सर नेगेटिव सिलेक्शन रिलेवेंस स्कोर मिलता है (यादृच्छिक से भी बदतर)।
तर्क: सबसे प्रभावशाली उदाहरण अक्सर अद्वितीय आउटलेयर्स होते हैं। उन्हें हटाने से बड़े पैरामीटर शिफ्ट होते हैं, लेकिन वे स्थानीय स्तर पर प्रासंगिक न होने के कारण टेस्ट ग्रेडिएंट का अच्छा पुनर्निर्माण नहीं कर पाते हैं।
सर्वश्रेष्ठ नाइव रणनीति: आश्चर्यजनक रूप से, सबसे कम प्रभावशाली उदाहरणों (सबसे कम एब्सोल्यूट स्कोर) को चुनना अक्सर सबसे प्रभावशाली उदाहरणों की तुलना में बेहतर प्रदर्शन करता है। ये उदाहरण "प्रोटोटाइपिकल" और रेडंडेंट होते हैं; उन्हें हटाने से बहुत कम विचलन होता है, जिससे वे स्थानीय ग्रेडिएंट लैंडस्केप के पुनर्निर्माण के लिए बेहतर बनते हैं।

B. प्रस्तावित रणनीति काम करती है

कवरेज में सुधार: फैसिलिटी लोकेशन-आधारित रणनीति ( $\lambda > 0$ के साथ) नाइव Top- $k$ चयन की तुलना में सिलेक्शन रिलेवेंस में काफी सुधार करती है।
मात्रात्मक लाभ:
- DataInf और LESS के लिए, प्रस्तावित रणनीति ने $k=5$ और $k=10$ के लिए नाइव चयन पर 4–9 dB की वृद्धि की।
- इसने उच्च प्रभाव बनाए रखते हुए रेडंडेंसी (समान प्रॉम्प्ट वाले कम उदाहरण) को सफलतापूर्वक कम किया।
BM25 बेसलाइन: BM25 (टोकन ओवरलैप) अपने आप में अच्छा प्रदर्शन करता है, लेकिन शुद्ध कवरेज रणनीति ( $\lambda=1$ ) में मजबूर होने पर संघर्ष करता है, जो पुष्टि करता है कि इस संदर्भ में टोकन ओवरलैप प्रासंगिकता का एक मजबूत प्रॉक्सी है।

C. फाइन-ट्यूनिंग के साथ सहसंबंध

फाइन-ट्यूनिंग के साथ सहसंबंध: हालांकि $\xi_{SR}$ और फाइन-ट्यूनिंग मीट्रिक्स के बीच समग्र सहसंबंध कम था (लो-र relevancy वाले सेलेक्शन के कारण शोर के कारण), $\xi_{SR} > 0$ dB वाले सेलेक्शन को फ़िल्टर करने पर सहसंबंध काफी ( $\rho \approx 0.58$ सपोर्ट के लिए) हो गया।
निहितार्थ: यह स्कोर प्रभावी रूप से भविष्यवाणी करता है कि क्या उदाहरणों का एक सेट फाइन-ट्यूनिंग के दौरान मॉडल के मूल पूर्वानुमान का समर्थन करेगा।

5. महत्व और योगदान (Significance and Contributions)

नया मूल्यांकन मीट्रिक: $\xi_{SR}$ पेश किया गया, जो एक रिट्रेनिंग-मुक्त, ग्रेडिएंट-आधारित मीट्रिक है जो विशेष रूप से चयन की गुणवत्ता का मूल्यांकन करता है, न कि केवल कच्चे प्रभाव अनुमान का।
चयन में प्रतिमान बदलाव (Paradigm Shift): यह प्रदर्शित किया गया कि "सबसे प्रभावशाली" $\neq$ "सबसे प्रासंगिक"। नाइव top-k चयन अक्सर विफल हो जाता है, और विविधता (प्रतिनिधित्व) के साथ प्रभाव को संतुलित करना महत्वपूर्ण है।
व्यावहारिक रणनीति: एक फैसिलिटी-लोकेशन-आधारित चयन रणनीति प्रस्तावित की गई है जो कंप्यूटेशनल रूप से कुशल है और LLMs के लिए उदाहरण-आधारित स्पष्टीकरण की गुणवत्ता में काफी सुधार करती है।
LLM व्यवहार में अंतर्दृष्टि: यह उजागर किया गया कि इंस्ट्रक्शन-ट्यून्ड मॉडल्स के लिए, सबसे "प्रभावशाली" ट्रेनिंग पॉइंट्स अक्सर आउटलेयर्स होते हैं, जबकि सबसे "प्रतिनिधिक" (और इस प्रकार सबसे अच्छे स्पष्टीकरण देने वाले) प्रोटोटाइपिकल, कम-प्रभाव वाले उदाहरण होते हैं।

निष्कर्ष (Conclusion)

यह शोध पत्र तर्क देता है कि LLMs के लिए उदाहरण-आधारित स्पष्टीकरण की गुणवत्ता इस बात पर अधिक निर्भर करती है कि उदाहरणों को कैसे चुना जाता है, बजाय इसके कि प्रभाव अनुमान की सटीकता कितनी है। एक ग्रेडिएंट रिकंस्ट्रक्शन स्कोर और एक विविधता-जागरूक चयन रणनीति पेश करके, लेखक एक मजबूत ढांचा प्रदान करते हैं जो कॉम्पैक्ट, मानव-व्याख्या योग्य और निष्ठावान (faithful) स्पष्टीकरण उत्पन्न करता है।