🤖 machine learning

LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution

LoRIF introduceert een benaderingsmethode met lage rang voor invloedsfuncties die de opslag- en geheugenkosten aanzienlijk verlaagt terwijl de kwaliteit van de attributie hoog blijft, waardoor schaalbare attributie van trainingsdata voor modellen en datasets op grote schaal mogelijk wordt.

Oorspronkelijke auteurs: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente chef-kok hebt (het AI-model) die miljoenen maaltijden heeft bereid (getraind op miljoenen voorbeelden) om te leren hoe je het perfecte gerecht maakt. Nu vraag je de chef om een specifiek nieuw gerecht te bereiden. Je wilt weten: "Welke specifieke ingrediënten uit de miljoenen eerdere maaltijden hebben dit nieuwe gerecht het meest beïnvloed?"

Dit is het probleem van Training Data Attribution. Het artikel introduceert een nieuw hulpmiddel genaamd LoRIF (Low-Rank Influence Functions) om deze vraag te beantwoorden, zelfs wanneer de "keuken" onmogelijk groot is.

Hier is hoe LoRIF werkt, uitgelegd via eenvoudige analogieën:

Het Probleem: De "Bibliotheek van Alles" is Te Groot

Vorige methoden probeerden dit op te lossen door een enorme, gedetailleerde index bij te houden van elk ingrediënt dat in elke eerdere maaltijd werd gebruikt.

De Bottleneck 1 (Opslag): Stel je voor dat je probeert een bibliotheek met miljoenen boeken in je broekzak te dragen. Om het juiste boek te vinden, moet je elke keer dat je een vraag stelt het hele ding in je handen laden. Dit kost eeuwig en vereist een enorme rugzak (geheugen).
De Bottleneck 2 (De Wiskunde): Om de invloed te berekenen, moet je een complexe berekening uitvoeren met een gigantisch raster van getallen (de "Hessian"). Als de bibliotheek 1 miljoen boeken bevat, is dit raster 1 miljoen bij 1 miljoen. Het opslaan van dat raster zou de harde schijven van het hele internet vullen.

Vanwege dit probleem moesten wetenschappers kiezen: ofwel een kleine, nutteloze bibliotheek gebruiken (lage kwaliteit) of een enorme bibliotheek die je computer laat crashen (hoge kosten).

De Oplossing: De Twee Magische Trucs van LoRIF

LoRIF zegt: "We hoeven niet het hele boek mee te nemen, en we hoeven niet het hele raster te tekenen." Het gebruikt twee slimme afkortingen gebaseerd op het feit dat AI-gradiënten (de wiskunde achter leren) verborgen, eenvoudige patronen hebben.

Truc 1: De "Samenvattingskaart" (Rank-c Factorisatie)

In plaats van het volledige, gedetailleerde recept voor elke eerdere maaltijd op te slaan, beseft LoRIF dat de meeste recepten dezelfde kernstructuur delen.

De Analogie: Stel je voor dat je in plaats van een 50 pagina's tellend gedetailleerd recept voor "Spaghetti Bolognese" op te slaan, je gewoon een klein indexkaartje bewaart met de tekst: "Tomatenbasis, gehakt, 2 uur sudderen."
Hoe dit helpt: Je kunt het volledige recept uit dit kleine kaartje reconstrueren wanneer je het nodig hebt. Dit verkleint de opslaggrootte van een enorm magazijn tot een klein archiefkastje. Het betekent ook dat je geen zwaar boek in je handen hoeft te laden om een vraag te beantwoorden; je pakt gewoon een klein kaartje.

Truc 2: De "Schijnwerper" (Truncated SVD)

Wanneer berekend wordt hoeveel een eerdere maaltijd het nieuwe gerecht heeft beïnvloed, vereist de wiskunde meestal dat naar elke enkele richting in de data wordt gekeken.

De Analogie: Stel je voor een donkere kamer met een miljoen lichtschakelaars. De meeste staan uit of zijn erg zwak. Slechts een paar schakelaars (misschien 10 of 20) staan echt aan en zijn helder genoeg om ertoe te doen.
Hoe dit helpt: LoRIF gebruikt een "schijnwerper" om die paar heldere schakelaars te vinden en negeert de miljoen zwakke. In plaats van het effect van alle miljoen schakelaars te berekenen, berekent het alleen het effect van de top 20. Dit verandert een wiskundig probleem dat een supercomputer zou laten crashen in een probleem dat op een laptop past.

Het Resultaat: Snel, Goedkoop en Accuraat

Door deze twee trucs te combineren, bereikt LoRIF iets dat eerder onmogelijk werd geacht:

Het past: Het kan omgaan met modellen met 70 miljard parameters (zoals een enorm brein) en datasets met miljoenen voorbeelden.
Het is snel: Het beantwoordt vragen 20 keer sneller dan vorige methoden omdat het geen enorme bestanden hoeft te laden.
Het is accuraat: Hoewel het "samenvattingskaarten" en een "schijnwerper" gebruikt, vindt het de juiste ingrediënten net zo goed (of beter) als de oude methoden die probeerden alles op te slaan.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel beweert dat dit het mogelijk maakt om enorme AI-modellen te debuggen en te auditeren.

Debuggen: Als een AI iets vreemds zegt, kun je het direct terugvinden naar de specifieke trainingsvoorbeelden die dat gedrag hebben aangeleerd.
Veiligheidsaudits: Je kunt ontdekken of de AI schadelijk gedrag heeft geleerd van een specifiek, slecht voorbeeld in zijn trainingsdata, zelfs als dat voorbeeld begraven lag onder miljoenen anderen.
Data Curatie: Je kunt identificeren welke trainingsdata echt nuttig is en welke slechts ruis is.

Kortom, LoRIF verandert een taak die een supercomputer en een magazijn aan opslag vereiste in iets dat efficiënt kan worden gedaan, waardoor we eindelijk de "ingrediënten" achter 's werelds grootste AI-modellen kunnen begrijpen.

Technische Samenvatting: LoRIF – Low-Rank Influence Functions voor Schaalbare Training Data Attribution

Probleemstelling

Training Data Attribution (TDA) heeft tot doel te identificeren welke specifieke trainingsvoorbeelden de voorspelling van een model op een bepaalde query het sterkst hebben beïnvloed. Hoewel Influence Functions (IF) een theoretisch onderbouwde aanpak bieden voor TDA door het opnieuw trainen met één voorbeeld minder (leave-one-out retraining) te benaderen via gradiënten en inverse Hessiaan-matrices, zijn ze effectief ontoegankelijk gebleven voor modellen op moderne schaal (miljarden parameters) die zijn getraind op miljoenen voorbeelden.

Bestaande schaalbare varianten, zoals TRAK, LoGRA en TrackStar, adresseren computatieknelpunten door geprojecteerde per-voorbeeld-gradiënten op te slaan en een gedempte Gauss-Newton Hessiaan-benadering te gebruiken. Deze methoden staan echter voor twee kritieke schaalbaarheidsknelpunten die een afweging creëren tussen attributiekwaliteit en computatiehaalbaarheid:

Gradiëntopslag en I/O: Het opslaan van geprojecteerde per-voorbeeld-gradiënten voor $N$ trainingsvoorbeelden vereist $O(ND)$ ruimte, waarbij $D$ de effectieve projectiedimensie is. Tijdens het verwerken van een query domineert het laden van deze gradiënten de latentie (ongeveer 96% van de querytijd).
Inverse Hessiaan-schaalbaarheid: Het vormen en opslaan van de $D \times D$ inverse Hessiaan-benadering vereist $O(D^2)$ geheugen.

Het verhogen van de projectiedimensie $D$ is noodzakelijk om de attributiekwaliteit te verbeteren, maar dit verergert zowel de opslag/I/O- als de geheugenknelpunten, waardoor hoogwaardige attributie onpraktisch wordt voor modellen op de voorste rand van de technologie.

Methodologie: LoRIF

LoRIF (Low-Rank Influence Functions) adresseert deze knelpunten door gebruik te maken van de laag-rangstructuur die inherent is aan neurale netwerkgroadiënten. De methode volgt een drie-staps proces:

1. Low-Rank Gradiëntopslag (Adressering van I/O-knelpunt)

In plaats van de volledige geprojecteerde per-voorbeeld-gradiëntmatrix $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$ op te slaan (waarbij $D = d_1 d_2$ ), slaat LoRIF een rang- $c$ factorisatie op:
$\tilde{G}_i \approx u_i v_i^\top$
waarbij $u_i \in \mathbb{R}^{d_1 \times c}$ en $v_i \in \mathbb{R}^{d_2 \times c}$ .

Mechanisme: Deze factorisatie wordt berekend via blokmachtiteraties.
Impact: Opslag en I/O tijdens querytijd per laag per voorbeeld worden gereduceerd van $O(D)$ naar $O(c(\sqrt{D}))$ . Empirische resultaten suggereren dat zelfs met $c=1$ de benadering betekenisvolle attributiekwaliteit behoudt, en dat het prioriteren van een grotere $D$ boven een hogere $c$ betere kostenefficiëntie oplevert.

2. Afgeknotte SVD-krommingsbenadering (Adressering van geheugenknelpunt)

Om het vormen van de dichte $D \times D$ inverse Hessiaan $(G^\top G + \lambda I)^{-1}$ te vermijden, berekent LoRIF een rang- $r$ afgeknotte Singuliere Waarde Decompositie (SVD) van de geaggregeerde gradiëntmatrix $G$ :
$G \approx U_r \Sigma_r V_r^\top$
Met behulp van de Woodbury-matrixidentiteit wordt de inverse Hessiaan-term benaderd in een $r$ -dimensionale deelruimte:
$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$

Mechanisme: Alleen de bovenste- $r$ singuliere vectoren ( $V_r$ ) en singuliere waarden ( $\Sigma_r$ ) worden opgeslagen.
Impact: De geheugencomplexiteit voor de krommingsterm wordt gereduceerd van $O(D^2)$ naar $O(Dr)$. Dit maakt een aanzienlijk grotere effectieve projectiedimensie $D$ mogelijk binnen een vast geheugenbudget.

3. Berekening van Invloedsscores

Tijdens het verwerken van een query worden invloedsscores berekend door de querygradiënt te projecteren in de $r$ -dimensionale deelruimte en de opgeslagen laag-rangfactoren voor trainingsgradiënten te gebruiken. De invloedsscore $I(x_{tr}, x_{te})$ wordt benaderd als:
$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$
waarbij $g'$ gradiënten voorstelt die zijn geprojecteerd op de singuliere vectoren $V_r$ . De eerste term wordt efficiënt berekend met behulp van de rang- $c$ factoren, en de tweede term omvat slechts $O(r)$ bewerkingen vanwege de diagonale aard van de middelste matrix.

Belangrijkste Bijdragen

Identificatie van Knelpunten: Het artikel identificeert dat de projectiedimensie $D$ de primaire beperking is in schaalbare IF-stijl TDA, waardoor een afweging tussen kwaliteit en schaalbaarheid ontstaat waarbij accurate attributie (grote $D$ ) momenteel onpraktisch is.
Rang- $c$ Factorisatie: Het voorstel om geprojecteerde gradiënten op te slaan als rang- $c$ factoren, waardoor de opslag per voorbeeld per laag wordt gereduceerd van $O(D)$ naar $O(c\sqrt{D})$ .
Rang- $r$ Krommingsbenadering: Het voorstel om afgeknotte SVD en de Woodbury-identiteit te gebruiken om de krommingsterm te benaderen, waardoor het geheugen per laag wordt gereduceerd van $O(D^2)$ naar $O(Dr)$.
Demonstratie van Schaalbaarheid: De eerste demonstratie van effectieve data-attributie op modellen tot 70 miljard parameters (Apertus-70B) met miljoenen trainingsvoorbeelden, waarbij praktische kosten en latentie worden behouden.

Experimentele Resultaten

LoRIF werd geëvalueerd op modellen variërend van 124M tot 70B parameters (GPT2-small, OLMo-3-7B, Apertus-70B) met datasets van maximaal 3,8 miljoen voorbeelden.

Opslag en Latentie: In vergelijking met LoGRA bereikt LoRIF 2,3–20× lagere gradiëntopslag en 1,3–20× lagere querylatentie terwijl het de attributiekwaliteit gelijkwaardig houdt of verbetert.
- Op GPT2-small verlaagde LoRIF de opslag met maximaal 9× en de latentie met 5,6× in regimes met gemiddelde opslag.
- Op OLMo-3-7B bereikte LoRIF bijna identieke tail-patch-scores als LoGRA met 20,3× lagere opslag en 22,0× lagere latentie.
- Op Apertus-70B verbeterde LoRIF de tail-patch-scores met 1,5–2,2× ten opzichte van LoGRA met lagere opslag en latentie.
Attributiekwaliteit: Gemeten via de Linear Datamodeling Score (LDS) en Tail-patch score, verbeterde LoRIF consistent de Pareto-grens. Door het mogelijk maken van grotere effectieve projectiedimensies $D$ (die voorheen onhaalbaar waren vanwege geheugenbeperkingen), bereikte LoRIF een hogere kwaliteit dan baselines die waren beperkt tot een kleinere $D$ .
Kwalitatieve Evaluatie: Een evaluatie met een LLM als rechter op de top-1 teruggevonden voorbeelden toonde aan dat LoRIF voorbeelden met een hogere semantische relevantie terugvindt (gemiddelde score 3,04 versus 2,49 op OLMo-3-7B) en minder volledig irrelevante retrievals vergeleken met LoGRA.

Betekenis en Claims

Het artikel beweert dat LoRIF gradiëntgebaseerde Training Data Attribution praktisch maakt op de voorste rand van de technologie. Door gebruik te maken van de laag-rangstructuur van gradiënten, lost LoRIF de afweging tussen kwaliteit en schaalbaarheid op die de toepassing van influence functions op grote taalmodellen heeft gehinderd.

De auteurs benadrukken dat LoRIF niet rust op nieuwe laag-rang-primitieven, maar eerder demonstreert hoe bestaande laag-rangstructuren (waargenomen in zowel per-voorbeeld als geaggregeerde gradiënten) systematisch kunnen worden benut in projectiegradiënt-influentiemethoden. De resultaten suggereren dat gradiëntgebaseerde TDA nu kan worden gebruikt voor auditing, debugging en veiligheidscontroles van grote taalmodellen wanneer de attributie-index over veel queries wordt hergebruikt, zonder de prohibitieve opslag- of I/O-kosten van eerdere methoden te vereisen.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat het construeren van de attributie-index nog steeds een gradiëntpass over het corpus vereist (voorverwerkingskosten) en dat huidige experimenten op grote schaal zich richten op data voor supervised fine-tuning in plaats van volledige pre-training corpora. Het werk vestigt echter een nieuwe benchmark voor schaalbare attributie, waardoor de analyse van modellen mogelijk wordt die voorheen als buiten bereik werden beschouwd voor dergelijke methoden.