🤖 machine learning

LAMP: Extracting Local Decision Surfaces From Large Language Models

LAMP (लोकल एट्रिब्यूशन मैपिंग प्रोब) एक हल्का, ब्लैक-बॉक्स फ्रेमवर्क है जो बड़े भाषा मॉडलों का ऑडिट करने के लिए उनके स्वयं द्वारा रिपोर्ट किए गए स्पष्टीकरणों पर स्थानीय रैखिक सरोगेट्स (locally linear surrogates) को फिट करता है, जिससे शोधकर्ताओं को यह आकलन करने की अनुमति मिलती है कि एक मॉडल का घोषित तर्क उसके वास्तविक भविष्यवाणियों के साथ कितनी निरंतरता से संरेखित होता है।

मूल लेखक: Ryan Chen, Youngmin Ko, Zeyu Zhang, Catherine Cho, Sunny Chung, Mauro Giuffré, Dennis L. Shung, Bradly C. Stadie

प्रकाशित 2026-04-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ryan Chen, Youngmin Ko, Zeyu Zhang, Catherine Cho, Sunny Chung, Mauro Giuffré, Dennis L. Shung, Bradly C. Stadie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

"मिस्ट्री शेफ" की समस्या: LAMP मेथड को समझना

कल्पना कीजिए कि आप एक विश्व प्रसिद्ध, उच्च श्रेणी के रेस्तरां में खाना खा रहे हैं। शेफ एक पूर्ण रहस्य है—आप रसोई के अंदर नहीं देख सकते, आपको उनकी रेसिपी नहीं पता, और न ही आपको पता है कि उन्हें कैसे प्रशिक्षित किया गया था। आप केवल अंतिम व्यंजन देखते हैं और मेनू पर एक छोटा सा नोट देखते हैं जिसमें लिखा है: "यह व्यंजन स्वादिष्ट है क्योंकि इसमें ताज़ा बेसिल (तुलसी), समुद्री नमक और लहसुन का उपयोग किया गया है।"

आपके सामने एक समस्या है: क्या आप वास्तव में शेफ पर विश्वास करते हैं?

हो सकता है कि शेफ सिर्फ इसलिए "बेसिल" कह रहा हो क्योंकि यह सुनने में शानदार लगता है, लेकिन वास्तव में वह व्यंजन को स्वादिष्ट बनाने के लिए उसमें बहुत सारा नमक डाल रहा हो। यदि आप कम नमक मांगते, तो क्या व्यंजन वास्तव में बदल जाता, या शेफ बस वही नमकीन भोजन देते रहता और दावा करता कि यह "बेसिल-फॉरवर्ड" है?

पेश है LAMP: "फ्लेवर टेस्टर" (स्वाद परीक्षक)

शोधकर्ताओं ने LAMP (लोकल एट्रिब्यूशन मैपिंग प्रोब) नामक एक नया टूल बनाया है। रसोई में घुसकर शेफ की गुप्त नोटबुक चुराने की कोशिश करने के बजाय (जो GPT-4 जैसे "ब्लैक-बॉक्स" मॉडल के साथ असंभव है), LAMP एक अत्यधिक वैज्ञानिक फ्लेवर टेस्टर की तरह काम करता है।

यहाँ बताया गया है कि तीन चरणों वाली एक सरल प्रक्रिया का उपयोग करके LAMP कैसे काम करता है:

1. "सामग्री" की सूची (एक्सट्रैक्शन/निष्कर्षण)

सबसे पहले, हम AI से पूछते हैं: "आपने इस फिल्म को 5-स्टार रेटिंग क्यों दी?" AI उत्तर देता है: "क्योंकि अभिनय शानदार था (वेट: 0.8) और कहानी रोमांचक थी (वेट: 0.2)।" ये हमारी "सामग्री" और उनके "महत्वपूर्ण वेट (वजन)" हैं।

2. "क्या होगा अगर?" का खेल (पर्टरबेशन/परिवर्तन)

यही सबसे बुद्धिमानी वाला हिस्सा है। LAMP केवल AI की बात पर भरोसा नहीं करता। यह "क्या होगा अगर?" का खेल खेलना शुरू करता है।

यह AI से कहता है: "ठीक है, क्या होगा अगर अभिनय का महत्व 0.8 के बजाय केवल 0.4 होता?"
फिर: "क्या होगा अगर कहानी का महत्व 0.2 के बजाय 0.5 होता?"

LAMP इन रेसिपी के दर्जनों "थोड़े अलग" संस्करण बनाता है। यह बिल्कुल वैसा ही है जैसे एक वैज्ञानिक यह देखने के लिए बार-बार केक में चीनी की मात्रा को थोड़ा बदलता है कि वह कब मीठा होना बंद होता है और कड़वा होने लगता है।

3. "मैप" बनाना (डिसीजन सरफेस/निर्णय सतह)

उन सामग्रियों में बदलाव करते समय AI के उत्तरों में कैसे बदलाव आता है, इसे देखकर LAMP एक मैप (एक "डिसीजन सरफेस") बनाता है।

यदि AI कहता है "कहानी महत्वपूर्ण है," और फिर हम कहानी के वेट को कम करते हैं और AI की रेटिंग वास्तव में गिर जाती है, तो LAMP पुष्टि करता है: "हाँ, कहानी एक वास्तविक डायल है जिसे आप घुमा सकते हैं।"
यदि AI कहता है "कहानी महत्वपूर्ण है," लेकिन कहानी के वेट को बदलने से रेटिंग पर कोई प्रभाव नहीं पड़ता, तो LAMP अलार्म बजा देता है: "चेतावनी! AI इस बारे में झूठ बोल रहा है कि उसने यह निर्णय क्यों लिया!"

यह क्यों मायने रखता है?

शोधकर्ताओं ने मूवी रिव्यू से लेकर मेडिकल डायग्नोसिस तक सब कुछ LAMP पर टेस्ट किया। उन्होंने दो बहुत महत्वपूर्ण चीजें पाईं:

"डायल" वास्तविक हैं: अधिकांश समय, AI के "कारण" वास्तव में वास्तविक कंट्रोल नॉब्स (नियंत्रण बटन) की तरह काम करते हैं। यदि आप "पॉजिटिविटी" के नॉब को ऊपर घुमाते हैं, तो AI का प्रेडिक्शन वास्तव में उस दिशा में आगे बढ़ता है। इसका मतलब है कि AI कुछ हद तक सुसंगत है।
"डॉक्टर" टेस्ट: एक उच्च-स्तरीय मेडिकल टेस्ट में, LAMP ने यह दिखाने में मदद की कि AI लक्षणों को कितना महत्व दे रहा था। यह एक मानव डॉक्टर को "मैप" देखने और यह कहने की अनुमति देता है, "रुको, AI इस निदान (diagnosis) को मरीज के लक्षणों के बजाय उसकी उम्र के आधार पर कर रहा है। मुझे इस पर भरोसा नहीं करना चाहिए।"

निष्कर्ष

LAMP, AI लॉजिक के लिए एक झूठ पकड़ने वाले यंत्र (Lie Detector) की तरह है। इसे यह जानने के लिए कि क्या AI सच बोल रहा है, AI के "दिमाग" को देखने की आवश्यकता नहीं है; इसे बस यह देखने की आवश्यकता है कि क्या AI का व्यवहार उस तरह से बदलता है जैसा कि उसका दावा है। यह एक "ब्लैक बॉक्स" को ऐसे मशीन में बदल देता है जिसके दृश्य और अनुमानित नॉब्स और डायल होते हैं।

तकनीकी सारांश: LAMP (लोकल एट्रिब्यूशन मैपिंग प्रोब)

शीर्षक: LAMP: लार्ज लैंग्वेज मॉडल्स से लोकल डिसीजन सर्फेस निकालना
लेखक: रयान चेन, यंगमिन को, कैथरीन चो, आदि (नॉर्थवेस्टर्न, येल, मेयो क्लिनिक)
वेन्यू: AISTATS 2026

1. समस्या: LLM तर्क (Rationales) में "फेथफुलनेस" (Faithfulness) का अंतर

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग अपने प्रेडिक्शन (अनुमान) को समझाने के लिए फ्री-टेक्स्ट तर्क (चेन-ऑफ-थॉट) प्रदान करने के लिए तेजी से किया जा रहा है। हालांकि, हालिया शोध बताते हैं कि ये तर्क अक्सर अनफेथफुल (unfaithful) होते हैं: मॉडल एक तार्किक दिखने वाला स्पष्टीकरण दे सकता है जो वास्तव में अंतर्निहित निर्णय प्रक्रिया को प्रतिबिंबित नहीं करता है (उदाहरण के लिए, एक पक्षपाती भविष्यवाणी को सही ठहराना या अप्रासंगिक संकेतों पर निर्भर रहना)।

LIME या SHAP जैसे मौजूदा व्याख्यात्मकता (interpretability) विधियों के लिए अक्सर मॉडल ग्रेडिएंट्स (व्हाइट-बॉक्स) तक पहुंच की आवश्यकता होती है या वे हाई-डायमेंशनल टोकन स्पेस में काम करते हैं, जिसमें सिमेंटिक व्याख्यात्मकता की कमी होती है। एक ऐसी ब्लैक-बॉक्स, लाइटवेट और सिमेंटिक रूप से अर्थपूर्ण विधि की आवश्यकता है जिससे यह ऑडिट किया जा सके कि मॉडल द्वारा बताए गए कारण वास्तव में उसके निर्णयों को "स्टीयर" (नियंत्रित) करते हैं या नहीं।

2. कार्यप्रणाली: LAMP फ्रेमवर्क

लेखक LAMP (लोकल एट्रिब्यूशन मैपिंग प्रोब) का प्रस्ताव करते हैं, जो एक ऐसा तरीका है जो मॉडल के स्वयं-रिपोर्ट किए गए स्पष्टीकरणों को एक कोऑर्डिनेट सिस्टम के रूप में मानता है ताकि उसके लोकल डिसीजन सरफेस को मैप किया जा सके। इस बात पर सवाल उठाने के बजाय कि "क्या यह स्पष्टीकरण सत्य है?", LAMP यह पूछता है कि "क्या मॉडल उन कारकों के साथ सुसंगत व्यवहार करता है जिन्हें वह महत्वपूर्ण बताता है?"

LAMP वर्कफ़्लो चार प्रमुख चरणों से मिलकर बना है:

एक्सप्लेनेशन एक्सट्रैक्शन (स्पष्टीकरण निष्कर्षण): मॉडल को एक इनपुट $x$ को वर्गीकृत करने के लिए प्रॉम्प्ट किया जाता है और साथ ही स्पष्टीकरण कारकों $\{f_i\}$ की एक सूची और उनके संबंधित महत्व भार (importance weights) $\{w_i\}$ को आउटपुट करने के लिए कहा जाता है।
स्टोकेस्टिक परटर्बेशन (यादृच्छिक विक्षोभ): लोकल ज्योमेट्री को प्रोब करने के लिए, LAMP वेट वेक्टर $w_0$ में एक स्टोकेस्टिक जिटर $\delta$ जोड़कर उसे विक्षोभित (perturb) करता है। मॉडल को इन अपडेटेड वेट्स के साथ फिर से क्वेरी किया जाता है ताकि यह देखा जा सके कि प्रेडिक्टेड प्रोबेबिलिटी $P(x=c)$ कैसे बदलती है।
डायमेंशनलिटी रिडक्शन (मेटा-एग्रिगेशन): क्योंकि LLMs लंबे, रेडंडेंट (अनावश्यक) कारकों की सूची उत्पन्न कर सकते हैं, LAMP एक "मेटा-एग्रिगेशन" चरण का उपयोग करता है। यह मॉडल को कच्चे कारकों को कम सेट (जैसे, $n=5$ ) के एग्रीगेट थीम्स में समेकित करने के लिए प्रॉम्प्ट करता है। यह सुनिश्चित करता है कि परिणामी सरोगेट मॉडल स्थिर और व्याख्या योग्य हो।
लोकल लीनियर सरोगेट फिटिंग: LAMP एक लीनियर मॉडल $\hat{y} = X\hat{\beta}$ फिट करता है जहाँ $X$ विक्षोभित वेट्स का मैट्रिक्स है और $y$ परिणामी प्रोबेबिलिटीज हैं। गुणांक (coefficients) $\hat{\beta}$ डिसीजन सरफेस के "डायल" का प्रतिनिधित्व करते हैं, जो यह दर्शाते हैं कि एक विशिष्ट कारक में परिवर्तन आउटपुट को कितना प्रभावित करता है।

गणितीय नवाचार: लेखकों ने सेकंड-ऑर्डर टेलर एक्सपेंशन का उपयोग करके एक इष्टतम परटर्बेशन रेडियस ( $\delta^*$ ) व्युत्पन्न किया है। यह सुनिश्चित करता है कि विक्षोभ (perturbations) एक ऐसे पड़ोस (neighborhood) के भीतर रहें जहाँ डिसीजन सरफेस पर्याप्त रूप से लीनियर हो, जिससे लोकल कर्वेचर के कारण होने वाले मीन स्क्वेर्ड एरर (MSE) को कम किया जा सके।

3. प्रमुख योगदान

मॉडल-एग्नोस्टिक ऑडिटिंग: LAMP को ग्रेडिएंट्स, लॉजिट्स या इंटरनल एक्टिवेशन्स तक पहुंच की आवश्यकता नहीं है, जो इसे GPT-4 या Claude जैसे प्रोप्रायटरी मॉडल्स के ऑडिटिंग के लिए आदर्श बनाता है।
सिमेंटिक व्याख्यात्मकता: चूंकि यह "टोकन स्पेस" (व्यक्तिगत शब्द) के बजाय "एक्सप्लेनेशन स्पेस" (थीम्स/फैक्टर्स) में काम करता है, इसलिए परिणामी महत्व स्कोर मानव-पठनीय होते हैं।
सैद्धांतिक आधार: पेपर स्थानीय कर्वेचर (Hessian) और सैंपल साइज के आधार पर परटर्बेशन के इष्टतम स्केल को निर्धारित करने के लिए एक गणितीय ढांचा प्रदान करता है।
काउंटरफैक्चुअल वैलिडेशन: लेखक प्रदर्शित करते हैं कि "फैक्टर स्पेस" में किए गए परटर्बेशन को LLM-आधारित रीराइटिंग के माध्यम से "टेक्स्ट स्पेस" में अनुवादित किया जा सकता है, जो यह सिद्ध करता है कि यह विधि वास्तविक व्यवहारिक बदलावों को कैप्चर करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने सेंटीमेंट एनालिसिस (IMDB), विवादास्पद विषय डिटेक्शन (Pseudo-Harmful), सेफ्टी ऑडिटिंग (HateBenchSet), और क्लिनिकल गैस्ट्रोएंटेरोलॉजी केस फाइल्स में LAMP का मूल्यांकन किया।

प्रेडिक्टिव एक्यूरेसी: लीनियर सरोगेट्स ने उच्च $R^2$ वैल्यू (व्याख्यात्मक भिन्नता) प्राप्त की, विशेष रूप से प्रोबेबिलिटी डिस्ट्रीब्यूशन के "मिडल" (अनिश्चित) क्षेत्रों में।
कंसिस्टेंसी (सुसंगतता): LAMP सरोगेट्स ने पुनर्गठित (rewritten), काउंटरफैक्चुअल टेक्स्ट पर मॉडल के आउटपुट की सफलतापूर्वक भविष्यवाणी की। कई मामलों में, LAMP ने LIME को पछाड़ा और SHAP के प्रतिस्पर्धी रहा, जबकि काफी कम वेरिएंस बनाए रखा।
एक्सपर्ट एलाइनमेंट: मेडिकल डोमेन में, सरोगेट कोएफिशिएंट्स गैस्ट्रोएंटेरोलॉजिस्ट की दिशात्मक अपेक्षाओं के साथ संरेखित थे। विशेष रूप से, मॉडल के कारक अक्सर चिकित्सकों के आपसी निर्णयों की तुलना में व्यक्तिगत चिकित्सक के निर्णयों के साथ अधिक निकटता से संरेखित थे।
व्हाइट-बॉक्स विधियों के साथ तुलना: जबकि इंटीग्रेटेड ग्रेडिएंट्स (IG) ओपन-सोर्स मॉडल्स (Qwen) पर अच्छा प्रदर्शन करता है, LAMP ब्लैक-बॉक्स सेटिंग में तुलनीय प्रदर्शन प्रदान करता है, जो क्लोज्ड-सोस एपीआई के लिए इसकी उपयोगिता को सिद्ध करता है।

5. महत्व और निहितार्थ

LAMP व्याख्यात्मकता के प्रतिमान (paradigm) को "फेथफुलनेस का न्याय करने" (जो कठिन है) से बदलकर "व्यवहार संबंधी निरंतरता का लक्षण वर्णन करने" (जो मापने योग्य है) की ओर ले जाता है।

व्यावहारिक अनुप्रयोग:

हाई-स्टेक्स ऑडिटिंग: चिकित्सा या कानून में, चिकित्सक LAMP का उपयोग यह देखने के लिए कर सकते हैं कि क्या मॉडल का निदान वास्तव में उन क्लिनिकल लक्षणों से प्रेरित है जिन्हें वह देख रहा होने का दावा करता है।
सेफ्टी और बायस डिटेक्शन: यह यह पता लगाने के लिए एक उपकरण प्रदान करता है कि क्या कोई मॉडल सौम्य दिखने वाले कारणों के पीछे अपने संरक्षित गुणों (protected attributes) या विवादास्पद संकेतों पर अपनी निर्भरता को "छिपा" रहा है।
ह्यूमन-AI कोलैबोरेशन: मॉडल के निर्णय को प्रेरित करने के तरीके का एक "मैप" प्रदान करके, LAMP अधिक इंटरैक्टिव और नियंत्रणीय AI सिस्टम को सक्षम बनाता है।