🤖 machine learning

Interaction-Aware Influence Functions for Group Attribution

मूल लेखक: Jaeseung Heo, Kyeongheung Yun, Youngbin Choi, Sehyun Hwang, Jungseul Ok, Dongwoo Kim

प्रकाशित 2026-05-18

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jaeseung Heo, Kyeongheung Yun, Youngbin Choi, Sehyun Hwang, Jungseul Ok, Dongwoo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "योग" पूरी कहानी नहीं बताता

कल्पना कीजिए कि आप एक कोच हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपकी टीम के कौन से खिलाड़ी सबसे मूल्यवान हैं। आपके पास ऐसा करने का एक मानक तरीका है: आप देखते हैं कि एक विशिष्ट खिलाड़ी को जोड़ने से टीम के स्कोर में कितना सुधार होता है। यदि खिलाड़ी A टीम को 10 अंक दिलाने में मदद करता है, और खिलाड़ी B 10 अंक दिलाने में मदद करता है, तो आपका पुराना गणित कहता है, "बहुत बढ़िया! यदि हमारे पास दोनों हैं, तो हमें 20 अंक मिलेंगे!"

लेकिन यह अक्सर गलत होता है।

अतिरेक का जाल (The Redundancy Trap): क्या होगा यदि खिलाड़ी A और खिलाड़ी B जुड़वां हैं जो बिल्कुल एक ही पोजीशन पर खेलते हैं? यदि आपके पास खिलाड़ी A है, तो खिलाड़ी B को जोड़ने से वास्तव में बहुत अधिक मदद नहीं मिलती। वे "अतिरेक" (redundant) हैं। आपका पुराना गणित (10 + 10 जोड़ना) उनके मूल्य को बढ़ा-चढ़ाकर बताता है क्योंकि यह एक ही कौशल को दो बार गिनता है।
तालमेल का जाल (The Synergy Trap): क्या होगा यदि खिलाड़ी A एक स्ट्राइकर है और खिलाड़ी B एक गोलकीपर है? अकेले, वे अच्छे हैं। लेकिन साथ मिलकर, वे पूरे मैदान को पूरी तरह से कवर करते हैं। वे "पूरक" (complementary) हैं। आपका पुराना गणित (10 + 10 = 20) यह कम आंक सकता है कि वे साथ मिलकर कितने अद्भुत हैं क्योंकि यह उनकी टीम वर्क की जादुई शक्ति को नहीं देख पाता।

मशीन लर्निंग में, शोधकर्ता यह तय करने के लिए इस "पुराने गणित" (जिसे फर्स्ट-ऑर्डर इन्फ्लुएंस फंक्शन कहा जाता है) का उपयोग कर रहे हैं कि किन डेटा पॉइंट्स को रखना है या हटाना है। वे बस डेटा पॉइंट्स के व्यक्तिगत स्कोर को जोड़ देते हैं। यह पेपर तर्क देता है कि यह एक दृष्टि दोष (blind spot) है क्योंकि यह इस बात को अनदेखा करता है कि डेटा पॉइंट्स एक-दूसरे के साथ कैसे परस्पर क्रिया (interact) करते हैं।

समाधान: "इंटरैक्शन-अवेयर" स्कोर

लेखक डेटा के समूहों को स्कोर करने का एक नया तरीका प्रस्तावित करते हैं। इसे एक साधारण कैलकुलेटर से अपग्रेड करके एक टीम केमिस्ट्री एनालाइज़र में बदलने जैसा समझें।

केवल यह पूछने के बजाय कि "यह खिलाड़ी अकेले कितना अच्छा है?", वे पूछते हैं, "जब इस खिलाड़ी को पहले से मौजूद समूह में जोड़ा जाता है, तो यह टीम की गतिशीलता (dynamic) को कैसे बदलता है?"

वे ऐसा समस्या के "वक्रता" (curvature) को देखकर करते हैं। कल्पना कीजिए कि मॉडल का प्रदर्शन पहाड़ियों और घाटियों वाला एक परिदृश्य (landscape) है।

पुराना तरीका: मानता है कि परिदृश्य सपाट है। यदि आप एक कदम आगे बढ़ते हैं (एक डेटा पॉइंट जोड़ते हैं), तो आप एक निश्चित मात्रा में ऊपर जाते हैं।
नया तरीका: महसूस करता है कि परिदृश्य घुमावदार है। यदि आप एक कदम लेते हैं, तो ढलान इस बात पर निर्भर कर सकती है कि आप कहाँ हैं और आपके साथ और कौन चल रहा है।

यह नया तरीका स्कोर में एक "पेयरवाइज इंटरैक्शन टर्म" (Pairwise Interaction Term) जोड़ता है।

यदि दो डेटा पॉइंट्स समान हैं (जैसे जुड़वां खिलाड़ी), तो इंटरैक्शन टर्म एक जुर्माने (penalty) के रूप में कार्य करता है, जो अतिरेक को दर्शाने के लिए उनके संयुक्त स्कोर को कम कर देता है।
यदि दो डेटा पॉइंट्स अलग हैं लेकिन साथ मिलकर अच्छा काम करते हैं (जैसे स्ट्राइकर और गोलकीपर), तो इंटरैक्शन टर्म एक बोनस के रूप में कार्य करता है, जो तालमेल (synergy) को दर्शाने के लिए उनके स्कोर को बढ़ाता है।

यह व्यवहार में कैसे काम करता है (द ग्रीडी सेलेक्टर)

यह पेपर इस नए गणित का उपयोग करके सबसे अच्छे प्रशिक्षण डेटा को चुनने के लिए एक "स्मार्ट सेलेक्टर" बनाता है। कल्पना कीजिए कि आप पार्टी के लिए एक प्लेलिस्ट बना रहे हैं।

पुराना तरीका (Top-K): आप उन 10 गानों को चुनते हैं जो व्यक्तिगत रूप से सबसे लोकप्रिय हैं।
- परिणाम: आप ऐसे 10 गाने चुन लेते हैं जो सुनने में बिल्कुल एक जैसे हैं। पार्टी उबाऊ हो जाती है क्योंकि उसमें विविधता की कमी है।
नया तरीका (Interaction-Aware): आप पहले लोकप्रिय गाने को चुनते हैं। फिर, दूसरे गाने के लिए, आप केवल अगला सबसे लोकप्रिय गाना नहीं चुनते। आप पूछते हैं, "क्या यह अगला गाना पहले गाने के साथ मेल खाता है, या यह उसके साथ पूरी तरह फिट बैठता है?"
- यदि अगला लोकप्रिय गाना पहले वाले के बहुत समान है, तो नया गणित कहता है, "इसे छोड़ दें, हमारे पास पहले से ही वैसा ही वाइब है।"
- आप एक ऐसा गाना चुनते हैं जो अपने आप में थोड़ा कम लोकप्रिय है लेकिन मिश्रण में एक बिल्कुल नया जॉनर (genre) जोड़ता है।
- परिणाम: एक ऐसी प्लेलिस्ट जो विविध, संतुलित है और पार्टी को लंबे समय तक जारी रखती है।

उन्होंने वास्तव में क्या सिद्ध किया

लेखकों ने इस विचार का परीक्षण दो मुख्य तरीकों से किया:

1. "सत्य परीक्षण" (छोटे मॉडल)
उन्होंने छोटे, सरल मॉडलों का उपयोग किया (जैसे कि हस्तलिखित अंकों को पहचानने या कंक्रीट की मजबूती का अनुमान लगाने के लिए उपयोग किए जाने वाले मॉडल) जहाँ वे वास्तविक परिणाम देखने के लिए मॉडल को शुरू से फिर से प्रशिक्षित (retrain) कर सकते थे।

निष्कर्ष: जब उन्होंने समान डेटा के समूहों को हटाया, तो पुराने तरीके ने परिणाम का गलत अनुमान लगाया। नया तरीका, जो इंटरैक्शन को ध्यान में रखता है, परिणाम का लगभग सटीक अनुमान लगा सका। यह डेटा हटाने पर वास्तव में क्या हुआ, इसका पता लगाने में बहुत बेहतर था।

2. "बड़ा मॉडल" टेस्ट (LLMs)
उन्होंने इसे Llama-3.1-8B पर लागू किया, जो एक विशाल लार्ज लैंग्वेज मॉडल (LLM) है। वे मॉडल को निर्देश (commands) का पालन करना सिखाने के लिए सबसे अच्छे 5% इंस्ट्रक्शन डेटा को चुनना चाहते थे।

सेटअप: उन्होंने अपने तरीके की तुलना निम्नलिखित से की:
- रैंडम चयन (संयोग से डेटा चुनना)।
- पुराना "Top-K" इन्फ्लुएंस मेथड (व्यक्तिगत रूप से सबसे प्रभावशाली डेटा चुनना)।
- अन्य तरीके जो डेटा की समानता को देखते हैं।
निष्कर्ष:
- पुराना "Top-K" तरीका वास्तव में रैंडम चयन से भी खराब प्रदर्शन करता था। क्यों? क्योंकि इसने 13,000 ऐसे उदाहरण चुने जो आपस में बहुत समान थे, जिससे मॉडल दुनिया का एक संकीर्ण और दोहराव वाला दृष्टिकोण सीखने लगा।
- नया "Interaction-Aware" तरीका विविध डेटा चुनता है। इसने हर एक कार्य (task) पर रैंडम चयन को पछाड़ा और 7 में से 5 कार्यों पर अन्य उन्नत तरीकों को भी मात दी।

निचोड़ (The Bottom Line)

पेपर का दावा है कि जब आप डेटा के समूहों के साथ काम कर रहे होते हैं, तो आप केवल व्यक्तिगत स्कोर को जोड़ नहीं सकते। आपको यह हिसाब रखना होगा कि डेटा पॉइंट्स एक-दूसरे से कैसे बात करते हैं। गणित में "टीम केमिस्ट्री" की गणना जोड़कर, उन्होंने एक ऐसा टूल बनाया जो:

सटीक भविष्यवाणी करता है कि डेटा के एक समूह को हटाने से मॉडल पर क्या प्रभाव पड़ेगा।
AI के लिए बेहतर, अधिक विविध प्रशिक्षण डेटा का चयन करता है, जिससे मॉडल एक "अतिरेक" (redundant) लूप में फंसने से बच जाता है।

उन्होंने यह दावा नहीं किया कि यह क्लिनिकल डायग्नोसिस, चिकित्सा उपचार या डेटा चयन और मॉडल की समझ के अलावा किसी विशिष्ट भविष्य के अनुप्रयोगों के लिए काम करता है। उनकी सफलता पूरी तरह से AI मॉडल को प्रशिक्षित करने के लिए बेहतर डेटा चुनने के क्षेत्र में है।

तकनीकी सारांश: समूह एट्रिब्यूशन के लिए इंटरैक्शन-अवेयर इन्फ्लुएंस फंक्शन्स

समस्या विवरण (Problem Statement)
इन्फ्लुएंस फंक्शन्स एक मौलिक उपकरण हैं जो यह अनुमान लगाने के लिए उपयोग किए जाते हैं कि किसी प्रशिक्षण उदाहरण (training example) को हटाने से एक लक्षित फलन (target function), जैसे कि होल्ड-आउट लॉस, में क्या परिवर्तन आता है। उदाहरणों के एक 'समूह' (group) के प्रभाव का अनुमान लगाने के लिए मानक अभ्यास इसके सदस्यों के व्यक्तिगत प्रभावों को जोड़ना है। हालांकि, यह योगात्मक (additive) दृष्टिकोण मानता है कि उदाहरण स्वतंत्र रूप से योगदान देते हैं, जिससे वे संयुक्त प्रभावों (joint effects) को पकड़ने में विफल रहते हैं। वास्तव में, उदाहरण या तो रेडंडेंट (जैसे, लगभग समान/near-duplicates) हो सकते हैं या पूरक (complementary) (जैसे, अलग लेबल के साथ समान फीचर्स)। व्यक्तिगत प्रभावों को जोड़ना रेडंडेंट उदाहरणों की दोहरी गणना करता है और पूरक वाले उदाहरणों के सहक्रियात्मक (synergistic) प्रभावों को छोड़ देता है, जिससे खराब समूह एट्रिब्यूशन और उप-इष्टतम डेटा चयन (जैसे, अत्यधिक रेडंडेंट उपसमुच्चय चुनना) होता है। इसे संबोधित करने के प्रयास, जैसे कि पैरामीटर शिफ्ट के दूसरे-क्रम (second-order) सुधार, अक्सर यह पकड़ने में विफल रहते हैं कि लक्षित फलन स्वयं उन बदलावों के प्रति कैसे प्रतिक्रिया करता है।

कार्यप्रणाली (Methodology)
लेखक एक इंटरैक्शन-अवेयर इन्फ्लुएंस फंक्शन प्रस्तावित करते हैं जो यह लक्षणित करता है कि उदाहरणों के बीच की अंतःक्रियाएं (interactions) मिलकर लक्षित फलन को कैसे प्रभावित करती हैं। मुख्य नवाचार प्रशिक्षित पैरामीटर्स $\hat{\theta}$ के आसपास फलन $f$ को केवल पैरामीटर शिफ्ट के रैखिकीकरण (linearization) के बजाय दूसरे क्रम (second order) तक विस्तारित करना है।

द्वितीय-क्रम विस्तार (Second-Order Expansion):
सटीक लीव-ग्रुप-आउट प्रभाव $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ को $f$ को $\hat{\theta}$ के आसपास दूसरे क्रम तक विस्तारित करके अनुमानित किया जाता है:
$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{प्रथम-क्रम प्रभाव}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{इंटरैक्शन टर्म}}$
यहाँ, $u_S = \sum_{z_i \in S} u_i$ कुल पैरामीटर शिफ्ट है, जहाँ $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$ , और $H_f = \nabla^2_\theta f(\hat{\theta})$ लक्षित फलन का हेसियन (Hessian) है।
पेयरवाइज इंटरैक्शन टर्म (Pairwise Interaction Term):
दूसरा पद (इंटरैक्शन टर्म) पेयरवाइज योगदान $\kappa(z_i, z_j) = u_i^\top H_f u_j$ के योग में विभाजित होता है।
- व्याख्या: यदि $H_f$ पॉजिटिव डेफिनिट है, तो $\kappa(z_i, z_j)$ लक्षित फलन पर दो उदाहरणों के प्रभावों के संरेखण (alignment) को मापने वाला एक इनर प्रोडक्ट के रूप में कार्य करता है।
- रेडंडेंसी बनाम पूरकता (Redundancy vs. Complementarity): यह पद सकारात्मक होता है जब उदाहरण मॉडल को समान दिशाओं में धकेलते हैं (रेडंडेंसी, घटते रिटर्न) और नकारात्मक होता है जब वे विपरीत दिशाओं में धकेलते हैं (पूरकता, लाभकारी संयुक्त प्रभाव)।
- क्लोज्ड-फॉर्म फैक्टरइज़ेशन (Closed-Form Factorization): बाइनरी लॉजिस्टिक रिग्रेशन के लिए, लेखक सिद्ध करते हैं कि $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$ । यह औपचारिक रूप से इस सिद्धांत को पुनः प्राप्त करता है कि समान फीचर्स वाले लेकिन अलग लेबल वाले उदाहरण पूरक होते हैं, जबकि समान लेबल वाले समान उदाहरण रेडंडेंट होते हैं।
ग्रीडी डेटा सिलेक्शन (Greedy Data Selection):
डेटा चयन (एक ऐसे उपसमुच्चय को खोजने के लिए जो इसे जोड़ने पर लक्षित मान को कम करता है) के लिए, लेखक एक मार्जिनल स्कोर $m(z_i | S)$ निकालते हैं जो पहले से चयनित सेट $S$ में एक उम्मीदवार $z_i$ को जोड़ने के लिए है। इस स्कोर में एक पद $u_S^\top H_f u_i$ शामिल है जो पहले से चयनित उदाहरणों के समान उम्मीदवारों को दंडित (penalize) करता है, जो प्रभावी रूप से किसी बाहरी विविधता ह्यूरिस्टिक की आवश्यकता के बिना व्यक्तिगत गुणवत्ता और समूह विविधता के बीच संतुलन बनाता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा (Theoretical Framework): एक नया इन्फ्लुएंस फंक्शन एस्टिमेटर जो मानक प्रथम-क्रम योग को एक पेयरवाइज इंटरैक्शन टर्म के साथ बढ़ाता है, जिसे लक्षित फलन के दूसरे-क्रम विस्तार से प्राप्त किया गया है। यह पैरामीटर शिफ्ट (जैसे, बसु एट अल. [5]) के विस्तार करने वाले पिछले कार्यों से भिन्न है, जो अधिक स्थिर और व्याख्या योग्य पेयरवाइज संरचना प्रदान करता है।
सैद्धांतिक गारंटी (Theoretical Guarantees): प्रमाण कि इंटरैक्शन टर्म लॉजिस्टिक रिग्रेशन के लिए क्लोज्ड-फॉर्म फैक्टरइज़ेशन में क्लासिकल सुपरवाइज्ड लर्निंग सिद्धांतों (क्रॉस-क्लास समान युग्मों की पूरकता, सेम-क्लास समान युग्मों की रेडंडेंसी) को एनकोड करता है, जिसे डीप मल्टी-क्लास क्लासिफायर तक बढ़ाया जा सकता है।
एल्गोरिद्मिक दक्षता (Algorithmic Efficiency): एक ग्रीडी सिलेक्शन प्रक्रिया (एल्गोरिदम 1) जिसकी जटिलता $O(KPd)$ है, जो आवश्यक मात्राओं को प्रीकंप्यूट करती है और एक संचयक (accumulator) को अपडेट करती है, जिससे यह बड़े डेटासेट और मॉडलों के लिए स्केलेबल हो जाती है।

प्रायोगिक परिणाम (Experimental Results)
विधि का मूल्यांकन दो प्राथमिक सेटिंग्स में किया गया था:

रिट्रेनिंग के प्रति निष्ठा (छोटे पैमाने के मॉडल):
- सेटअप: छह डेटासेट-मॉडल जोड़ों (लॉजिस्टिक रिग्रेशन, MLPs, ResNet-9) पर वर्गीकरण और रिग्रेशन कार्यों पर मूल्यांकन किया गया।
- मेट्रिक: अनुमानित प्रभाव और ग्राउंड-ट्रुथ लीव-ग्रुप-आउट रिट्रेनिंग प्रभावों के बीच स्पीयरमैन रैंक कोरिलेशन।
- परिणाम: इंटरैक्शन-अवेयर एस्टिमेटर (F+I) ने सभी सेटिंग्स में उच्चतम कोरिलेशन प्राप्त किया, जो मानक प्रथम-क्रम प्रभाव (F) और दूसरे-क्रम पैरामीटर-शिफ्ट सुधार (F+B) से काफी बेहतर प्रदर्शन करता है। विशेष रूप से, F+B ने अस्थिरता दिखाई, जो गैर-कॉन्वेक्स सेटिंग्स में पैरामीटर शिफ्ट को विस्तारित करने की सैद्धांतिक इल-कंडीशनिंग की पुष्टि करती है।
सबसेट सिलेक्शन (छोटे पैमाने और LLMs):
- छोटा पैमाना (MLPs): MNIST और FashionMNIST पर, मानक इन्फ्लुएंस-आधारित सिलेक्शन (F) कुछ ही क्लासेस पर सिमट गया, जिससे यह रैंडम सिलेक्शन से भी खराब प्रदर्शन करने लगा। इंटरैक्शन-अवेयर विधि ने रैंडम सिलेक्शन के समान क्लास एंट्रॉपी बनाए रखी और सबसे कम होल्ड-आउट टेस्ट लॉस प्राप्त किया।
- लार्ज लैंग्वेज मॉडल्स (Llama-3.1-8B): लगभग 270k उदाहरणों के पूल से इंस्ट्रक्शन-ट्यूनिंग डेटा सिलेक्शन के लिए लागू किया गया।
- परिणाम: प्रस्तावित विधि ने सभी सात डाउनस्ट्रीम कार्यों (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD) पर रैंडम सिलेक्शन से बेहतर प्रदर्शन किया। इसने पांच में से सात कार्यों में सर्वश्रेष्ठ समग्र प्रदर्शन हासिल किया, जो इन्फ्लुएंस-आधारित बेसलाइन्स (Additive IF, LESS) और रिप्रेजेंटेशन-सिमिलैरिटी बेसलाइन्स (RDS+, NV-Embed) से भी आगे निकल गया। महत्वपूर्ण रूप से, मानक इन्फ्लुएंस-आधारित सिलेक्शन (Additive IF) अधिकांश कार्यों पर रैंडम सिलेक्शन से भी खराब रहा, जो इस रिजीम में एडिटिव स्कोरिंग की विफलता को उजागर करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि ग्रुप एट्रिब्यूशन मौलिक रूप से इस बारे में है कि प्रशिक्षण उदाहरण लक्ष्य को कैसे प्रभावित करते हैं, न कि केवल पैरामीटर शिफ्ट को। उनके द्वारा वर्णित इंटरैक्शन को लक्षित फलन की वक्रता (curvature) के माध्यम से लक्षणित करके, प्रस्तावित विधि "ब्लाइंड स्पॉट" को संबोधित करती है, जो रेडंडेंट डेटा सिलेक्शन की ओर ले जाता है। लेखक प्रदर्शित करते हैं कि समूहों के प्रभाव को सटीक रूप से अनुमानित करने और विविध, प्रभावी प्रशिक्षण उपसमुच्चयों को चुनने के लिए इन इंटरैक्शन को ध्यान में रखना महत्वपूर्ण है। विधि एक सिद्धांत आधारित, दूसरा-क्रम सुधार प्रदान करती है जो बाहरी रूप से थोपे गए विविधता दंडों पर निर्भर रहने के बजाय, लक्षित फलन की वक्रता से स्वाभाविक रूप से उभरता है।

सीमाएं (Limitations)
लेखक दो मुख्य सीमाएं नोट करते हैं:

ग्रीडी सिलेक्शन प्रक्रिया, हालांकि प्रभावी है, औपचारिक अनुकूलता (optimality) गारंटी की कमी है।
एस्टिमेटर अंतर्निहित हेसियन अनुमानों (जैसे, EK-FAC, लो-रैंक प्रोजेक्शन) से अनुमान त्रुटियों को विरासत में प्राप्त करता है। भविष्य के कार्यों को स्केलेबल इनवर्स-हेसियन एस्टीमेशन में प्रगति से लाभ मिल सकता है।

बड़ी समस्या: "योग" पूरी कहानी नहीं बताता

समाधान: "इंटरैक्शन-अवेयर" स्कोर

यह व्यवहार में कैसे काम करता है (द ग्रीडी सेलेक्टर)

उन्होंने वास्तव में क्या सिद्ध किया

निचोड़ (The Bottom Line)

इसी तरह के और पेपर