🤖 machine learning

LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution

LoRIF इन्फ्लुएंस फंक्शन्स के लिए एक लो-रैंक एप्रोक्सिमेशन विधि पेश करता है जो उच्च एट्रिब्यूशन गुणवत्ता बनाए रखते हुए स्टोरेज और मेमोरी लागत को काफी कम कर देता है, जिससे बड़े पैमाने के मॉडल्स और डेटासेट्स के लिए स्केलेबल ट्रेनिंग डेटा एट्रिब्यूशन सक्षम होता है।

मूल लेखक: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान शेफ (AI मॉडल) है, जिसने लाखों बेहतरीन व्यंजन बनाने के लिए लाखों भोजन (लाखों उदाहरणों पर प्रशिक्षित) पकाए हैं। अब, आप उस शेफ से एक विशिष्ट नया व्यंजन बनाने के लिए कहते हैं। आप यह जानना चाहते हैं: "पिछले लाखों भोजन में से कौन सी विशिष्ट सामग्री ने वास्तव में इस नए व्यंजन को सबसे अधिक प्रभावित किया?"

यह ट्रेनिंग डेटा एट्रिब्यूशन (Training Data Attribution) की समस्या है। यह शोध पत्र एक नया टूल पेश करता है जिसे LoRIF (Low-Rank Influence Functions) कहा जाता है, ताकि इस प्रश्न का उत्तर दिया जा सके, भले ही वह "रसोई" अकल्पनीय रूप से विशाल क्यों न हो।

LoRIF कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: "सब कुछ का पुस्तकालय" बहुत बड़ा है

पिछले तरीकों ने इसे हल करने के लिए हर एक पिछले भोजन में उपयोग की गई हर एक सामग्री का एक विशाल, विस्तृत इंडेक्स रखने की कोशिश की।

बाधा 1 (स्टोरेज): कल्पना कीजिए कि आप अपनी जेब में लाखों किताबों का एक पुस्तकालय ले जाने की कोशिश कर रहे हैं। सही किताब खोजने के लिए, आपको हर बार सवाल पूछने पर पूरी किताब अपने हाथों में लोड करनी पड़ती है। इसमें बहुत समय लगता है और इसके लिए एक बहुत बड़े बैकपैक (मेमोरी) की आवश्यकता होती है।
बाधा 2 (गणित): प्रभाव को समझने के लिए, आपको संख्याओं के एक विशाल ग्रिड (Hessian) से जुड़ी एक जटिल गणना करनी पड़ती है। यदि पुस्तकालय में 10 लाख किताबें हैं, तो यह ग्रिड 10 लाख गुणा 10 लाख का होगा। उस ग्रिड को स्टोर करने के लिए पूरे इंटरनेट के हार्ड ड्राइव भर जाएंगे।

इस कारण से, वैज्ञानिकों को एक विकल्प चुनना पड़ा: या तो एक छोटा, बेकार पुस्तकालय (कम गुणवत्ता) या एक विशाल पुस्तकालय जो आपके कंप्यूटर को क्रैश कर दे (उच्च लागत)।

समाधान: LoRIF के दो जादुई तरीके

LoRIF कहता है, "हमें पूरी किताब ले जाने की ज़रूरत नहीं है, और हमें पूरा ग्रिड बनाने की भी ज़रूरत नहीं है।" यह दो चतुर शॉर्टकट का उपयोग करता है क्योंकि AI ग्रेडिएंट्स (सीखने के पीछे का गणित) में छिपे हुए, सरल पैटर्न होते हैं।

ट्रिक 1: "समरी कार्ड" (Rank-c Factorization)

हर एक पिछले भोजन की पूरी, विस्तृत रेसिपी स्टोर करने के बजाय, LoRIF महसूस करता है कि अधिकांश रेसिपी का मूल ढांचा एक जैसा होता है।

उपमा: कल्पना कीजिए कि "स्पैगेटी बोलोग्नीज़" की 50 पन्नों की विस्तृत रेसिपी स्टोर करने के बजाय, आप बस एक छोटा इंडेक्स कार्ड स्टोर करते हैं जिसमें लिखा है: "टमाटर का आधार, कीमा बनाया हुआ बीफ, 2 घंटे तक धीमी आंच पर पकाएं।"
यह कैसे मदद करता है: जब भी आपको ज़रूरत हो, आप इस छोटे कार्ड से पूरी रेसिपी को फिर से बना सकते हैं। यह स्टोरेज के आकार को एक विशाल गोदाम से घटाकर एक छोटी फाइलिंग कैबिनेट में बदल देता है। इसका मतलब यह भी है कि किसी सवाल का जवाब देने के लिए आपको अपने हाथों में भारी किताब लोड करने की ज़रूरत नहीं है; आप बस एक छोटा कार्ड उठाते हैं।

ट्रिक 2: "स्पॉटलाइट" (Truncated SVD)

यह गणना करने के लिए कि एक पिछले भोजन ने नए भोजन को कितना प्रभावित किया, गणित को आमतौर पर डेटा के हर दिशा में देखना पड़ता है।

उपमा: एक अंधेरे कमरे की कल्पना करें जिसमें दस लाख लाइट स्विच हैं। अधिकांश स्विच बंद हैं या बहुत धुंधले हैं। केवल कुछ ही स्विच (शायद 10 या 20) चालू हैं और पर्याप्त चमक रहे हैं।
यह कैसे मदद करता है: LoRIF उन कुछ चमकीले स्विचों को खोजने के लिए एक "स्पॉटलाइट" का उपयोग करता है और उन दस लाख धुंधले स्विचों को अनदेखा कर देता है। उन दस लाख स्विचों के प्रभाव की गणना करने के बजाय, यह केवल शीर्ष 20 के प्रभाव की गणना करता है। यह एक ऐसे गणितीय समस्या को, जो सुपरकंप्यूटर को क्रैश कर सकती थी, एक ऐसी समस्या में बदल देता है जो एक लैपटॉप पर भी चल सके।

परिणाम: तेज़, सस्ता और सटीक

इन दोनों ट्रिक्स को मिलाकर, LoRIF वह हासिल करता है जो पहले असंभव माना जाता था:

यह फिट बैठता है: यह 70 बिलियन पैरामीटर्स वाले मॉडल (जैसे एक विशाल मस्तिष्क) और लाखों उदाहरणों वाले डेटासेट को संभाल सकता है।
यह तेज़ है: यह पिछले तरीकों की तुलना में 20 गुना तेज़ी से जवाब देता है क्योंकि इसे विशाल फ़ाइलों को लोड करने की आवश्यकता नहीं होती है।
यह सटीक है: भले ही यह "समरी कार्ड" और "स्पॉटलाइट" का उपयोग करता है, यह उन पुराने तरीकों की तरह ही (या उनसे बेहतर) सही सामग्री खोज लेता है जिन्होंने सब कुछ स्टोर करने की कोशिश की थी।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र का दावा है कि यह विशाल AI मॉडल को डीबग (Debug) और ऑडिट (Audit) करना संभव बनाता है।

डीबगिंग: यदि कोई AI कुछ अजीब कहता है, तो आप तुरंत यह पता लगा सकते हैं कि वह व्यवहार उसे सिखाने वाले विशिष्ट ट्रेनिंग उदाहरणों तक कैसे पहुँचा।
सुरक्षा ऑडिटिंग: आप यह पता लगा सकते हैं कि क्या AI ने किसी विशिष्ट, बुरे उदाहरण से हानिकारक व्यवहार सीखा है, भले ही वह उदाहरण लाखों अन्य उदाहरणों के बीच दबा हुआ हो।
डेटा क्यूरेशन: आप पहचान सकते हैं कि कौन सा ट्रेनिंग डेटा वास्तव में उपयोगी है और कौन सा केवल शोर (noise) है।

संक्षेप में, LoRIF एक ऐसे कार्य को बदल देता है जिसके लिए सुपरकंप्यूटर और स्टोरेज के गोदाम की आवश्यकता थी, इसे कुशल बनाता है, जिससे हम अंततः दुनिया के सबसे बड़े AI मॉडलों के पीछे की "सामग्री" को समझ सकते हैं।

तकनीकी सारांश: LoRIF – स्केलेबल ट्रेनिंग डेटा एट्रिब्यूशन के लिए लो-रैंक इन्फ्लुएंस फंक्शन्स

समस्या विवरण

ट्रेनिंग डेटा एट्रिब्यूशन (TDA) का लक्ष्य यह पहचानना है कि किसी दिए गए क्वेरी पर मॉडल के प्रेडिक्शन को किन विशिष्ट ट्रेनिंग उदाहरणों ने सबसे अधिक प्रभावित किया। जबकि इन्फ्लुएंस फंक्शन्स (IF) ग्रेडिएंट्स और इनवर्स हेसियन मैट्रिसेस के माध्यम से लीव-वन-आउट रिट्रेनिंग को अनुमानित करके TDA के लिए एक सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करते हैं, वे आधुनिक-स्केल के मॉडल्स (अरबों पैरामीटर्स) और लाखों उदाहरणों पर प्रशिक्षित होने के कारण प्रभावी रूप से अप्राप्य रहे हैं।

मौजूदा स्केलेबल वेरिएंट्स, जैसे कि TRAK, LoGRA, और TrackStar, प्रोजेक्टेड प्रति-उदाहरण ग्रेडिएंट्स को स्टोर करने और डैम्प्ड गॉस-न्यूटन हेसियन एप्रोक्सिमेशन का उपयोग करके कंप्यूटेशनल बाधाओं को संबोधित करते हैं। हालाँकि, ये विधियाँ दो महत्वपूर्ण स्केलेबिलिटी बाधाओं का सामना करती हैं जो एट्रिब्यूशन क्वालिटी और कंप्यूटेशनल व्यवहार्यता के बीच एक ट्रेड-ऑफ (समझौता) पैदा करती हैं:

ग्रेडिएंट स्टोरेज और I/O: $N$ ट्रेनिंग उदाहरणों के लिए प्रोजेक्टेड प्रति-उदाहरण ग्रेडिएंट मैट्रिक्स को स्टोर करने के लिए $O(ND) $स्पेस की आवश्यकता होती है, जहाँ$ D$ प्रभावी प्रोजेक्शन डायमेंशन है। क्वेरी के समय, इन ग्रेडिएंट्स को लोड करना लेटेंसी (लगभग 96% क्वेरी समय) पर हावी हो जाता है।
इनवर्स हेसियन स्केलिंग: $D \times D$ इनवर्स हेसियन एप्रोक्सिमेशन को बनाने और स्टोर करने के लिए $O(D^2)$ मेमोरी की आवश्यकता होती है।

प्रोजेक्शन डायमेंशन $D$ को बढ़ाना एट्रिब्यूशन क्वालिटी में सुधार के लिए आवश्यक है, लेकिन ऐसा करने से स्टोरेज/IO और मेमोरी बाधाएं दोनों बढ़ जाती हैं, जिससे उच्च-गुणवत्ता वाला एट्रिब्यूशन फ्रंटियर-स्केल मॉडल्स के लिए अव्यावहारिक हो जाता है।

कार्यप्रणाली: LoRIF

LoRIF (लो-रैंक इन्फ्लुएंस फंक्शन्स) न्यूरल नेटवर्क ग्रेडिएंट्स में निहित लो-रैंक स्ट्रक्चर का लाभ उठाकर इन बाधाओं को संबोधित करता है। यह विधि तीन-चरणीय पाइपलाइन का पालन करती है:

1. लो-रैंक ग्रेडिएंट स्टोरेज (I/O बाधा को संबोधित करना)

पूर्ण प्रोजेक्टेड प्रति-उदाहरण ग्रेडिएंट मैट्रिक्स $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$ (जहाँ $D = d_1 d_2$ ) को स्टोर करने के बजाय, LoRIF एक रैंक- $c$ फैक्टराइजेशन स्टोर करता है:
$\tilde{G}_i \approx u_i v_i^\top$
जहाँ $u_i \in \mathbb{R}^{d_1 \times c}$ और $v_i \in \mathbb{R}^{d_2 \times c}$ है।

तंत्र (Mechanism): यह फैक्टराइजेशन ब्लॉक पावर इटरेशन्स के माध्यम से कंप्यूट किया जाता है।
प्रभाव: प्रति लेयर प्रति सैंपल स्टोरेज और क्वेरी-टाइम I/O $O(D)$ से घटकर $O(c(\sqrt{D}))$ हो जाता है। अनुभवजन्य परिणाम बताते हैं कि भले ही $c=1$ के साथ एप्रोक्सिमेशन सार्थक एट्रिब्यूशन क्वालिटी बनाए रखता है, लेकिन उच्च $c$ के बजाय बड़े $D$ को प्राथमिकता देना बेहतर लागत-दक्षता प्रदान करता है।

2. ट्रंकेटेड SVD कर्वेचर एप्रोक्सिमेशन (मेमोरी बाधा को संबोधित करना)

घने $D \times D$ इनवर्स हेसियन $(G^\top G + \lambda I)^{-1}$ को बनाने से बचने के लिए, LoRIF एग्रीगेट ग्रेडिएंट मैट्रिक्स $G$ का एक रैंक- $r$ ट्रंकेटेड सिंगुलर वैल्यू डीकंपोजिशन (SVD) कंप्यूट करता है:
$G \approx U_r \Sigma_r V_r^\top$
Woodbury matrix identity का उपयोग करते हुए, इनवर्स हेसियन टर्म को एक $r$ -डायमेंशनल सबस्पेस में अनुमानित किया जाता है:
$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$

तंत्र: केवल शीर्ष- $r$ सिंगुलर वेक्टर्स ( $V_r$ ) और सिंगुलर वैल्यूज ( $\Sigma_r$ ) को स्टोर किया जाता है।
प्रभाव: कर्वेचर टर्म के लिए मेमोरी कॉम्प्लेक्सिटी $O(D^2)$ से घटकर $O(Dr) $हो जाती है। यह एक निश्चित मेमोरी बजट के भीतर काफी बड़े प्रभावी प्रोजेक्शन डायमेंशन$ D$ का उपयोग करने की अनुमति देता है।

3. इन्फ्लुएंस स्कोर कंप्यूटेशन

क्वेरी के समय, क्वेरी ग्रेडिएंट को $r$ -डायमेंशनल सबस्पेस में प्रोजेक्ट करके और ट्रेनिंग ग्रेडिएंट्स के लिए स्टोर किए गए लो-रैंक फैक्टर्स का उपयोग करके इन्फ्लुएंस स्कोर कंप्यूट किए जाते हैं। इन्फ्लुएंस स्कोर $I(x_{tr}, x_{te})$ को इस प्रकार अनुमानित किया जाता है:
$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$
जहाँ $g'$ सिंगुलर वेक्टर्स $V_r$ पर प्रोजेक्ट किए गए ग्रेडिएंट्स का प्रतिनिधित्व करता है। पहले टर्म को रैंक- $c$ फैक्टर्स का उपयोग करके कुशलतापूर्वक कंप्यूट किया जाता है, और दूसरा टर्म मध्य मैट्रिक्स की डायगोनल प्रकृति के कारण केवल $O(r)$ ऑपरेशन्स में पूरा होता है।

मुख्य योगदान

बाधाओं की पहचान: पेपर यह पहचानता है कि प्रोजेक्शन डायमेंशन $D$ स्केलेबल IF-स्टाइल TDA के लिए प्राथमिक बाधा है, जो एक क्वालिटी-स्केलेबिलिटी ट्रेड-ऑफ बनाता है जहाँ सटीक एट्रिब्यूशन (बड़ा $D$ ) वर्तमान में अव्यावहारिक है।
Rank- $c$ फैक्टराइजेशन: प्रोजेक्टेड ग्रेडिएंट्स को रैंक- $c$ फैक्टर्स के रूप में स्टोर करने का प्रस्ताव, जो प्रति-लेयर प्रति-उदाहरण स्टोरेज को $O(D)$ से घटाकर $O(c\sqrt{D})$ कर देता है।
Rank- $r$ कर्वेचर एप्रोक्सिमेशन: कर्वेचर टर्म को अनुमानित करने के लिए ट्रंकेटेड SVD और Woodbury identity का उपयोग करने का प्रस्ताव, जो प्रति-लेयर मेमोरी को $O(D^2)$ से घटाकर $O(Dr)$ कर देता है।
स्केलेबिलिटी प्रदर्शन: 70 बिलियन पैरामीटर्स (Apertus-70B) तक के मॉडल्स और लाखों उदाहरणों वाले डेटासेट पर प्रभावी डेटा एट्रिब्यूशन का पहला प्रदर्शन।

प्रयोगात्मक परिणाम

LoRIF का मूल्यांकन 124M से 70B पैरामीटर्स (GPT2-small, OLMo-3-7B, Apertus-70B) तक के मॉडल्स और 3.8 मिलियन उदाहरणों तक के डेटासेट्स पर किया गया।

स्टोरेज और लेटेंसी: LoGRA की तुलना में, LoRIF 2.3–20× कम ग्रेडिएंट स्टोरेज और 1.3–20× कम क्वेरी लेटेंसी प्राप्त करता है, जबकि एट्रिब्यूशन क्वालिटी में बराबरी या उससे बेहतर प्रदर्शन करता है।
- GPT2-small पर, LoRIF ने मीडियम स्टोरेज रिजीम में स्टोरेज को 9× तक और लेटेंसी को 5.6× तक कम किया।
- OLMo-3-7B पर, LoRIF ने LoGRA के लगभग समान टेल-पैच स्कोर के साथ 20.3× कम स्टोरेज और 22.0× कम लेटेंसी हासिल की।
- Apertus-70B पर, LoRIF ने कम स्टोरेज और लेटेंसी के साथ LoGRA पर टेल-पैच स्कोर में 1.5–2.2× का सुधार किया।
एट्रिब्यूशन क्वालिटी: लीनियर डेटा-मॉडलिंग स्कोर (LDS) और टेल-पैच स्कोर के माध्यम से मापे जाने पर, LoRIF लगातार बेहतर पारेटो फ्रंटियर (Pareto frontier) प्रदान करता है। बड़े प्रभावी प्रोजेक्शन डायमेंशन $D$ को सक्षम करके (जो मेमोरी बाधाओं के कारण पहले असंभव था), Lo-RIF ने बेसलाइन्स की तुलना में उच्च गुणवत्ता हासिल की।
गुणात्मक मूल्यांकन (Qualitative Evaluation): टॉप-1 रिट्रीव्ड उदाहरणों पर LLM-as-a-judge मूल्यांकन से पता चला कि LoRIF अधिक सिमेंटिक प्रासंगिकता (OLMo-3-7B पर औसत स्कोर 3.04 बनाम 2.49) वाले उदाहरण रिट्रीव करता है और इसमें LoGRA की तुलना में पूरी तरह से अप्रासंगिक रिट्रिवल्स कम होते हैं।

महत्व और दावे

पेपर का दावा है कि LoRIF ग्रेडिएंट-आधारित ट्रेनिंग डेटा एट्रिब्यूशन को फ्रंटियर स्केल पर व्यावहारिक बनाता है। ग्रेडिएंट्स के लो-रैंक स्ट्रक्चर का लाभ उठाकर, LoRIF उस क्वालिटी-स्केलेबिलिटी ट्रेड-ऑफ को हल करता है जिसने बड़े लैंग्वेज मॉडल्स के लिए इन्फ्लुएंस फंक्शन्स के अनुप्रयोग को बाधित किया हुआ था।

लेखक इस बात पर जोर देते हैं कि LoRIF नए लो-रैंक प्रिमिटिव्स पर निर्भर नहीं है, बल्कि यह दर्शाता है कि कैसे मौजूदा लो-रंक स्ट्रक्चर्स (जो प्रति-उदाहरण और एग्रीगेट ग्रेडिएंट्स दोनों में देखे गए हैं) को प्रोजेक्टेड-ग्रेडिएंट इन्फ्लुएंस मेथड्स में व्यवस्थित रूप से उपयोग किया जा सकता है। परिणाम बताते हैं कि जब एट्रिब्यूशन इंडेक्स को कई क्वेरीज के लिए पुन: उपयोग किया जाता है, तो LoRIF का उपयोग बड़े पैमाने पर LLM ऑडिटिंग, डीबगिंग और सेफ्टी चेक के लिए किया जा सकता है, बिना पिछले तरीकों की अत्यधिक स्टोरेज या I/O लागत के।

पेपर सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि एट्रिब्यूशन इंडेक्स बनाने के लिए अभी भी कॉर्पस पर ग्रेडिएंट पास (प्रीप्रोसेसिंग कॉस्ट) की आवश्यकता होती है और वर्तमान बड़े पैमाने के प्रयोग पूर्ण प्री-ट्रेनिंग कॉर्परा के बजाय सुपरवाइज्ड फाइन-ट्यूनिंग डेटा पर केंद्रित हैं। हालांकि, यह कार्य एक नए स्केलेबल एट्रिब्यूशन बेसलाइन को स्थापित करता है, जिससे उन मॉडल्स का विश्लेषण संभव हो पाता है जो पहले इन तरीकों के लिए पहुंच से बाहर माने जाते थे।