🤖 machine learning

Less is More: Efficient Black-box Attribution via Minimal Interpretable Subset Selection

यह शोध पत्र LiMA को प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स एट्रिब्यूशन विधि है जो प्रभावशाली इनपुट क्षेत्रों की पहचान को एक सबमॉड्यूलर सबसेट चयन समस्या के रूप में पुनर्गठित करती है और अधिक निष्ठावान, कुशल और सामान्यीकरण योग्य स्पष्टीकरण प्राप्त करने के लिए एक द्विदिशीय ग्रीडी सर्च एल्गोरिदम का उपयोग करती है, जो अत्याधुनिक दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन मेट्रिक्स प्रदर्शित करती है।

मूल लेखक: Ruoyu Chen, Siyuan Liang, Jingzhi Li, Shiming Liu, Li Liu, Hua Zhang, Xiaochun Cao

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruoyu Chen, Siyuan Liang, Jingzhi Li, Shiming Liu, Li Liu, Hua Zhang, Xiaochun Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन रहस्यमयी रोबोट शेफ है। यह शेफ किसी भोजन की तस्वीर देखकर बिल्कुल सटीक बता सकता है कि वह क्या है। लेकिन समस्या यह है कि शेफ आपको यह नहीं बताएगा कि उसे क्यों लगा कि यह "स्पैगेटी डिनर" है और "लसाग्ना" नहीं। वह बस उत्तर दे देता है। इसे हम AI में "ब्लैक बॉक्स" कहते हैं।

इस बॉक्स को खोलने के लिए हमें यह देखना होगा कि किन सामग्रियों (या चित्र के हिस्सों) ने शेफ को यह निर्णय लेने के लिए प्रेरित किया। इस प्रक्रिया को एट्रिब्यूशन (Attribution) कहा जाता है।

समस्या: बहुत अधिक शोर (Noise)

मौजूदा तरीके इस ब्लैक बॉक्स को खोलने के समान हैं जैसे कि पूरे घास के ढेर को रोबोट की ओर फेंकना और पूछना, "क्या इसने मदद की?"

बहुत अधिक डेटा: वे अक्सर एक छवि के हर एक पिक्सेल को देखते हैं। यह एक रेसिपी को समझने के लिए नमक के हर दाने और काली मिर्च के हर कण को चखने जैसा है। यह धीमा और अव्यवस्थित है।
अनावश्यकता (Redundancy): वे अक्सर उन बड़े, धुंधले क्षेत्रों को हाइलाइट करते हैं जिनका वास्तव में कोई महत्व नहीं है, जैसे कि बैकग्राउंड का आसमान, जबकि वे बारीक, महत्वपूर्ण विवरण (जैसे पास्ता का विशिष्ट आकार) को छोड़ देते हैं।
"जितना अधिक, उतना बेहतर" का जाल: कई तरीके यह मान लेते हैं कि यदि हम छवि के अधिक हिस्सों को जोड़ते हैं, तो स्पष्टीकरण बेहतर हो जाता है। लेकिन लेखकों ने पाया कि यह सच नहीं है। एक निश्चित बिंदु के बाद, अधिक पिक्सेल जोड़ने से केवल शोर बढ़ता है, स्पष्टता नहीं। इसे घटती सीमांत प्रभाव (Diminishing Marginal Effect) कहा जाता है।

समाधान: LIMA (कम ही अधिक है)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे LIMA (Less input is More faithful for Attribution) कहा जाता है। LIMA को एक ऐसे जासूस के रूप में सोचें जो जानता है कि रहस्य सुलझाने के लिए आपको शहर के हर व्यक्ति का इंटरव्यू लेने की ज़रूरत नहीं है; आपको बस उन कुछ प्रमुख गवाहों को ढूंढना है जिन्होंने वास्तव में अपराध देखा था।

LIMA कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. केक को स्मार्ट स्लाइस में काटना

हर पिक्सेल को देखने के बजाय, LIMA पहले छवि को सार्थक टुकड़ों (जैसे केक के स्लाइस) में काटता है। यह सुनिश्चित करने के लिए स्मार्ट टूल्स का उपयोग करता है कि ये स्लाइस वास्तविक वस्तुएं (जैसे "सिर" या "समुद्री जल") हों, न कि रंग के यादृच्छिक वर्ग।

2. "सबमॉड्यूलर" रेसिपी (जादुई नियम)

पेपर एक गणितीय अवधारणा का उपयोग करता है जिसे सबमॉड्यूलरिटी (Submodularity) कहते हैं। सरल शब्दों में, यह "घटते प्रतिफल के नियम" (Law of Diminishing Returns) का नियम है।

कल्पना कीजिए कि आप ब्लॉक्स के साथ एक टावर बना रहे हैं। पहला ब्लॉक जो आप जोड़ते हैं वह बहुत बड़ा और महत्वपूर्ण होता है। दूसरा ब्लॉक थोड़ा मूल्य जोड़ता है। जब तक आप 50वां ब्लॉक जोड़ते हैं, तब तक वह टावर की ऊंचाई में बहुत कम बदलाव करता है।
LIMA इस नियम का उपयोग यह पता लगाने के लिए करता है कि रोबोट के निर्णय को समझने के लिए आपको केवल पहले कुछ "ब्लॉक्स" (छवि क्षेत्र) की आवश्यकता है। यह तब तक ब्लॉक जोड़ना बंद कर देता है जब तक कि वे मदद करना बंद नहीं कर देते।

3. चार-बिंदु वाला दिशा सूचक (Four-Point Compass)

यह तय करने के लिए कि केक के कौन से स्लाइस सबसे महत्वपूर्ण हैं, LIMA उनकी जांच चार मानदंडों के आधार पर करता है:

निरंतरता (Consistency): क्या यह स्लाइस वैसा ही दिखता है जैसा कि रोबोट को देखना चाहिए? (उदाहरण के लिए, यदि रोबोट कहता है "कुत्ता", तो क्या यह स्लाइस एक कुत्ते जैसा दिखता है?)
सहयोग (Collaboration): क्या यह स्लाइस दूसरों के साथ मिलकर काम करता है? (उदाहरण के लिए, कुत्ते का कान तभी उपयोगी है जब वह कुत्ते के सिर से जुड़ा हो)।
आत्मविश्वास (Confidence): क्या यह स्लाइस रोबोट को अपने उत्तर के प्रति आश्वस्त करता है?
प्रभावशीलता (Effectiveness): क्या यह स्लाइस अद्वितीय है? (यदि हमारे पास पहले से ही "फर" का एक स्लाइस है, तो हमें दूसरे स्थान से "फर" का दूसरा स्लाइस नहीं चाहिए। हमें विविधता चाहिए)।

4. दो-तरफा खोज (Bidirectional Greedy Search)

यही वह इंजन है जो LIMA को तेज़ बनाता है।

पुराना तरीका: सबसे महत्वपूर्ण स्लाइस खोजने के लिए, आपको ऊपर से शुरू करते हुए एक-एक करके हर स्लाइस का परीक्षण करना पड़ सकता है। इसमें बहुत समय लगता है।
LIMA का तरीका: यह एक ही समय में दोनों सिरों से खोज करता है।
- एक टीम सबसे महत्वपूर्ण स्लाइस (सितारों) की तलाश करती है।
- दूसरी टीम सबसे कम महत्वपूर्ण स्लाइस (बेकार टुकड़ों) की तलाश करती है और उन्हें बाहर निकाल देती है।
- एक साथ दोनों काम करके, LIMA पुराने तरीकों की तुलना में बहुत तेज़ी से "महत्वपूर्ण" और "महत्वहीन" के बीच की सटीक सीमा को खोज लेता है।

यह क्यों मायने रखता है (परिणाम)

लेखकों ने कई अलग-अलग प्रकार के AI मॉडल (जिनमें छवियों, ध्वनियों और मेडिकल स्कैन को देखने वाले मॉडल शामिल हैं) पर LIMA का परीक्षण किया और पाया:

यह अधिक सटीक है: यह AI के निर्णय के पीछे के वास्तविक कारणों को पाता है, जिससे बैकग्राउंड का शोर खत्म हो जाता है।
यह तेज़ है: यह इसे करने के मानक तरीके की तुलना में लगभग 1.6 गुना तेज़ है।
यह गलतियों को सुधारता है: जब AI कुछ गलत करता है (जैसे "भेड़िये" को "कुत्ता" कहना), तो LIMA उस विशिष्ट भाग को खोजने में अविश्वसनीय रूप से कुशल है जिसने AI को भ्रमित किया। यह कह सकता है, "आह, AI इस विशिष्ट फर के पैच के कारण भ्रमित हुआ था," जबकि अन्य तरीके केवल शोर में खो जाते हैं।

निचोड़ (The Bottom Line)

LIMA एक स्मार्ट फिल्टर की तरह है जो कहता है, "रोबोट के दिमाग को समझने के लिए हमें पूरी तस्वीर देखने की ज़रूरत नहीं है। बस इन कुछ, विशिष्ट, उच्च-गुणवत्ता वाले टुकड़ों को देखें, और हम जान जाएंगे कि वह क्या सोच रहा है।" यह AI को अधिक पारदर्शी, समझाने में तेज़ और अपनी गलतियों को स्वीकार करने में बेहतर बनाता है।

तकनीकी सारांश: LIMA – न्यूनतम व्याख्यात्मक उपसमूह चयन के माध्यम से कुशल ब्लैक-बॉक्स एट्रिब्यूशन (Attribution)

1. समस्या विवरण

विश्वसनीय AI सिस्टम के विकास के लिए उन इनपुट क्षेत्रों की पहचान करने हेतु मजबूत एट्रिब्यूशन विधियों की आवश्यकता है जो मॉडल के निर्णयों को सबसे अधिक प्रभावित करते हैं। जबकि मौजूदा एट्रिब्यूशन तकनीकें (जैसे, ग्रेडिएंट-आधारित, शापली वैल्यू-आधारित, और परटर्बेशन-आधारित) प्रगति कर चुकी हैं, वे विशेष रूप से छवियों जैसे डिस्क्रीट (discrete) इनपुट डेटा के मामले में महत्वपूर्ण सीमाओं का सामना करती हैं:

कॉम्बिनेटोरियल एक्सप्लोजन (Combinatorial Explosion): इनपुट-प्रेडिक्शन इंटरैक्शन को सटीक रूप से कैप्चर करना कम्प्यूटेशनल रूप से महंगा है, जिससे अक्सर दक्षता और निष्ठा (faithfulness) के बीच समझौता करना पड़ता है।
अशुद्ध अनुमान (Inaccurate Estimation): सैंपलिंग-आधारित सन्निकटन (approximations) अक्सर शोर वाले (noisy) एट्रिब्यूशन मैप्स का परिणाम देते हैं।
क्षेत्र अतिरेक (Region Redundancy): कई विधियाँ महत्वपूर्ण और गैर-महत्वपूर्ण उप-क्षेत्रों के बीच अंतर करने में विफल रहती हैं, जिससे रेडंडेंट या भ्रामक स्पष्टीकरण मिलते हैं, विशेष रूप से मॉडल प्रेडिक्शन त्रुटियों के मामलों में।
जटिल इंटरैक्शन: जैसे-जैसे मॉडल प्री-ट्रेनिंग स्केल और पैरामीटर काउंट बढ़ता है, या जब मॉडल गलत भविष्यवाणियां करते हैं, इनपुट तत्वों के बीच इंटरैक्शन अधिक जटिल हो जाता है, जिससे पारंपरिक एट्रिब्यूशन विधियां कम प्रभावी हो जाती हैं।

मुख्य चुनौती उन सटीक, सूक्ष्म-स्तरीय (fine-grained) क्षेत्रों के एक न्यूनतम सेट की पहचान करना है जो अत्यधिक कम्प्यूटेशनल लागत के बिना मॉडल के निर्णयों की निष्ठापूर्वक व्याख्या कर सकें।

2. कार्यप्रणाली: LIMA

लेखक LIMA (Less input is More faithful for Attribution) का प्रस्ताव करते हैं, जो एक नया ब्लैक-बॉक्स एट्रिब्यूशन तंत्र है जो एट्रिब्यूशन समस्या को एक सबमॉड्यूलर सबसेट सिलेक्शन (submodular subset selection) कार्य के रूप में पुनर्गठित करता है। यह विधि एक "घटते सीमांत प्रभाव" (diminishing marginal effect) के अवलोकन के तहत कार्य करती है, जहाँ अधिक इनपुट क्षेत्रों को जोड़ने से एट्रिब्यूशन प्रभावशीलता आनुपातिक रूप से नहीं बढ़ती है।

2.1 उप-क्षेत्र विभाजन (Sub-region Division)

इनपुट छवि को विभाजन एल्गोरिदम का उपयोग करके उप-क्षेत्रों ( $V$ ) के एक परिमित सेट में विभाजित किया जाता है। पेपर अनुशंसा करता है:

सुपरपिक्सेल-आधारित विभाजन (जैसे, SLICO): समान विशेषताओं वाले पिक्सेल को क्लस्टर करता है।
सिमेंटिक-आधारित विभाजन (जैसे, सेगमेंट एनीथिंग - SAM): मानवीय समझ बढ़ाने के लिए विभिन्न अवधारणाओं (concepts) को अलग करता है।
पैच-आधारित विभाजन: इनपुट को नियमित पैच में विभाजित करता है।

2.2 सबमॉड्यूलर फंक्शन डिज़ाइन

उपसमूहों के महत्व को मापने के लिए, LIMA एक सबमॉड्यूलर फंक्शन $F(S)$ का निर्माण करता है जो चार विशिष्ट बाधाओं को जोड़ता है:

कंसिस्टेंसी स्कोर ( $s_{cons}$ ): यह सुनिश्चित करता है कि चयनित उप-क्षेत्रों की सिमेंटिक विशेषताएं लक्षित सिमेंटिक फीचर (जैसे, मूल छवि फीचर्स या एक विशिष्ट क्लास वेक्टर) के साथ संरेखित हों।
कोलबोरेशन स्कोर ( $s_{colla}$ ): एक उपसमूह के सामूहिक प्रभाव को मापता है। यह मूल्यांकन करता है कि एक उपसमूह को बाहर करने पर मॉडल का कॉन्फिडेंस कितना गिरता है, जिससे उन क्षेत्रों की पहचान होती है जो सटीकता बनाए रखने के लिए आवश्यक हैं।
कॉन्फिडेंस स्कोर ( $s_{conf}$ ): मॉडल के आउटपुट के एंट्रॉपी (entropy) का उपयोग यह सुनिश्चित करने के लिए करता है कि चयनित क्षेत्र इन-डिस्ट्रीबशन (InD) डेटा के साथ संरेखित हों, जिससे उन्हें आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) शोर से अलग किया जा सके।
एफेक्टिवनेस स्कोर ( $s_{eff}$ ): चयनित क्षेत्रों की विविधता को अधिकतम करता है और समान सिमेंटिक रिप्रजेंटेशन वाले उप-क्षेत्रों के चयन को दंडित (penalize) करता है (रेडंडेंसी को कम करता है)।

ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$F(S) = \lambda_1 s_{cons} + \lambda_2 s_{colla} + \lambda_3 s_{conf} + \lambda_4 s_{eff}$

2.3 द्विदिश ग्रिडी सर्च एल्गोरिदम (Bidirectional Greedy Search Algorithm)

मानक ग्रिडी सर्च (जिसमें सभी अनसेलेक्टेड एलिमेंट्स को खोजना आवश्यक होता है) की उच्च कम्प्यूटेशनल लागत को दूर करने के लिए, LIMA एक द्विदिश ग्रिडी सर्च पेश करता है:

फॉरवर्ड सर्च ( $S_{forward}$ ): उस सबसे महत्वपूर्ण तत्व को पुनरावृत्ति (iteratively) से जोड़ता है जो $F(S)$ के मार्जिनल गेन को अधिकतम करता है।
रिवर्स सर्च ( $S_{reverse}$ ): साथ ही सबसे कम महत्वपूर्ण तत्वों की पहचान करता है। यह उम्मीदवारों का एक छोटा सेट ( $S_p$ ) चुनता है जिनमें न्यूनतम मार्जिनल गेन होता है और उसे चुनता है जो रिवर्स सेट में जोड़ने पर सबमॉड्यूलर वैल्यू को न्यूनतम करता है।
दक्षता: यह दृष्टिकोण आवश्यक मॉडल इन्फरेंस की संख्या को काफी कम कर देता है (नेइव ग्रिडी सर्च की तुलना में 1.6x तक तेज़) जबकि एक अनुकूलता सीमा (optimality bound) $F(S) \ge (1 - 1/e - \epsilon)F(S^*)$ बनाए रखता है।

2.4 महत्व मूल्यांकन (Importance Assessment)

एक बार उप-क्षेत्रों को रैंक करने के बाद, एक फर्स्ट-ऑर्डर असाइनमेंट विधि क्रमबद्ध सेट में आसन्न (adjacent) तत्वों के बीच मार्जिनल योगदान के अंतर के आधार पर विशिष्ट महत्व स्कोर ( $a_i$ ) की गणना करती है। यह एक समान रैंकिंग के बजाय महत्व के अंतरों का अधिक सूक्ष्म दृश्य (nuanced visualization) प्रदान करता है।

3. मुख्य योगदान

समस्या का पुनर्गठन: एट्रिब्यूशन समस्या को एक सबमॉड्यूलर सबसेट सिलेक्शन कार्य के रूप में पुनरिभाषित किया गया है, जिसका लक्ष्य कम, अधिक सटीक क्षेत्रों के साथ उच्च व्याख्यात्मकता प्राप्त करना है।
नया तंत्र: एक नया सबमॉड्यूलर फंक्शन पेश किया गया है जो उपसमूह के महत्व का मूल्यांकन करने के लिए सिमेंटिक कंसिस्टेंसी, सामूहिक प्रभाव, प्रेडिक्शन कॉन्फिडेंस और क्षेत्रीय प्रभावशीलता को एकीकृत करता है।
कुशल अनुकूलन: एक द्विदिश ग्रिडी सर्च एल्गोरिदम प्रस्तावित किया गया है जो सबसे महत्वपूर्ण और सबसे कम महत्वपूर्ण नमूनों की पहचान करने के लिए एक साथ काम करता है, जिससे एट्रिब्यूशन दक्षता और निष्ठा के बीच संतुलन बनता है।
त्रुटि विश्लेषण: पेपर विश्लेषण करता है कि जैसे-जैसे मॉडल स्केल बढ़ता है या जब भविष्यवाणियां गलत होती हैं, इनपुट इंटरैक्शन अधिक जटिल हो जाते हैं, और तर्क देता है कि LIMA विशेष रूप से इन चुनौतीपूर्ण परिदृश्यों के लिए उपयुक्त है।
व्यापक मूल्यांकन: आठ फाउंडेशन मॉडल्स (CLIP, ImageBind, LanguageBind, QuiltNet सहित) और छह डेटासेट्स (ImageNet, VGG-Sound, CUB-200-2011, Celeb-A, VGG-Face2, LC25000) में व्यापक प्रयोग विधि की बहुमुखी प्रतिभा की पुष्टि करते हैं।

4. प्रायोगिक परिणाम

पेपर स्टेट-ऑफ-द-आर्ट (SOTA) एट्रिब्यूशन विधियों की तुलना में महत्वपूर्ण सुधार रिपोर्ट करता है:

फिथफुलनेस मेट्रिक्स (Faithfulness Metrics):
- इंसर्शन AUC (Insertion AUC): औसत सुधार 36.3%।
- डिलीशन AUC (Deletion AUC): औसत सुधार 39.6%।
- औसत उच्चतम कॉन्फिडेंस (त्रुटि स्पष्टीकरण के लिए): मॉडल प्रेडिक्शन त्रुटियों की व्याख्या करते समय यह विधि SOTA एल्गोरिदम की तुलना में औसतन 86.1% अधिक कॉन्फिडेंस प्राप्त करती है।
दक्षता: द्विदिश खोज (bidirectional search) नेइव ग्रिडी सर्च की तुलना में 1.6 गुना तेज़ है।
सामान्यीकरण (Generalization): विधि सिंगल-मोडल (CNN, ViT, Mamba) और मल्टीमॉडल फाउंडेशन मॉडल्स के साथ-साथ विभिन्न डेटा मोडैलिटीज (छवियां, ऑडियो, मेडिकल इमेजिंग) में मजबूत प्रदर्शन प्रदर्शित करती है।
त्रुटि एट्रिब्यूशन: उन परिदृश्यों में जिनमें गलत वर्गीकृत नमूने शामिल हैं (जैसे, ImageNet और LC25000 पर), LIMA त्रुटि का कारण बताने वाले विशिष्ट क्षेत्रों की पहचान करने में बेसलाइन से काफी बेहतर प्रदर्शन करता है, जिसमें फाइन-ग्रेंड डेटासेट्स पर औसत उच्चतम कॉन्फिडेंस में 123.9% से 217.5% तक का सुधार देखा गया है।

5. महत्व और दावे

लेखक दावा करते हैं कि LIMA ब्लैक-बॉक्स AI सिस्टम को समझाने के लिए एक मजबूत समाधान प्रदान करता है, विशेष रूप से उन जटिल परिदृश्यों में जहाँ पारंपरिक विधियाँ संघर्ष करती हैं। प्रमुख दावों में शामिल हैं:

जटिल इंटरैक्शन में श्रेष्ठता: LIMA विशेष रूप से तब प्रभावी होता है जब फीचर इंटरैक्शन जटिल होते हैं, जैसे कि बड़े पैमाने के प्री-ट्रेंड मॉडल्स में या जब मॉडल गलत भविष्यवाणियां करते हैं।
मिनिमलिस्ट निष्ठा (Minimalist Faithfulness): क्षेत्रों के एक न्यूनतम उपसमूह का चयन करके, यह विधि अन्य एट्रिब्यूशन मैप्स में सामान्य शोर और रेडंडेंसी से बचती है, जिससे मॉडल निर्णय लेने की प्रक्रिया में स्पष्ट अंतर्दृष्टि मिलती है।
बहुमुखी प्रतिभा: यह विधि विशिष्ट आर्किटेक्चर या मोडैलिटी तक सीमित नहीं है, जो विजन, ऑडियो और मेडिकल इमेजिंग कार्यों में मजबूत सामान्यीकरण दिखाती है।
त्रुटि निदान (Error Diagnosis): कई विधियों के विपरीत जो केवल सही भविष्यवाणियों पर ध्यान केंद्रित करती हैं, LIMA मॉडल त्रुटियों के कारणों का निदान करने में विशेष रूप से प्रभावी है, जो मॉडल सुधार के लिए कार्रवाई योग्य अंतर्दृष्टि प्रदान करता है।

पेपर निष्कर्ष निकालता है कि सबमॉड्यूलर ऑप्टिमाइजेशन का लाभ उठाकर, LIMA कम्प्यूटेशनल दक्षता बनाए रखते हुए स्टेट-ऑफ-द-आर्ट एट्रिब्यूशन निष्ठा प्राप्त करता है, जो इसे विश्वसनीय AI सिस्टम विकसित करने के लिए एक व्यवहार्य उपकरण बनाता है।