🤖 machine learning

LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution

LoRIF führt eine Niedrigrang-Näherungsmethode für Einflussfunktionen ein, die Speicher- und Speicherkosten erheblich reduziert, während die hohe Attributionsqualität erhalten bleibt, und ermöglicht dadurch eine skalierbare Trainingsdatenattributierung für großskalige Modelle und Datensätze.

Ursprüngliche Autoren: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuangqi Li, Hieu Le, Jingyi Xu, Mathieu Salzmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, superscharfsinnigen Koch (das KI-Modell), der Millionen von Mahlzeiten zubereitet hat (trainiert an Millionen von Beispielen), um zu lernen, wie man das perfekte Gericht zubereitet. Nun bitten Sie den Koch, ein spezifisches neues Gericht zuzubereiten. Sie möchten wissen: „Welche spezifischen Zutaten aus den Millionen vergangener Mahlzeiten haben dieses neue Gericht tatsächlich am stärksten beeinflusst?"

Dies ist das Problem der Zuordnung von Trainingsdaten. Die Arbeit stellt ein neues Werkzeug namens LoRIF (Low-Rank Influence Functions) vor, um diese Frage zu beantworten, selbst wenn die „Küche" unmöglich groß ist.

So funktioniert LoRIF, erklärt durch einfache Analogien:

Das Problem: Die „Bibliothek von Allem" ist zu groß

Frühere Methoden versuchten, dies zu lösen, indem sie einen massiven, detaillierten Index jeder einzelnen Zutat, die in jeder vergangenen Mahlzeit verwendet wurde, vorhielten.

Der Engpass 1 (Speicher): Stellen Sie sich vor, Sie versuchen, eine Bibliothek mit Millionen Büchern in Ihrer Hosentasche zu tragen. Um das richtige Buch zu finden, müssen Sie jedes Mal, wenn Sie eine Frage stellen, das Ganze in Ihre Hände laden. Das dauert ewig und erfordert einen riesigen Rucksack (Speicher).
Der Engpass 2 (Die Mathematik): Um den Einfluss zu ermitteln, müssen Sie eine komplexe Berechnung durchführen, die ein riesiges Gitter von Zahlen (die „Hessische Matrix") beinhaltet. Wenn die Bibliothek 1 Million Bücher hat, ist dieses Gitter 1 Million mal 1 Million groß. Die Speicherung dieses Gitters würde die Festplatten des gesamten Internets füllen.

Aus diesem Grund mussten Wissenschaftler wählen: Entweder eine winzige, nutzlose Bibliothek (geringe Qualität) oder eine massive, die Ihren Computer zum Absturz bringt (hohe Kosten).

Die Lösung: LoRIFs zwei magische Tricks

LoRIF sagt: „Wir müssen nicht das ganze Buch tragen, und wir müssen nicht das ganze Gitter zeichnen." Es nutzt zwei clevere Abkürzungen, die auf der Tatsache beruhen, dass KI-Gradienten (die Mathematik hinter dem Lernen) verborgene, einfache Muster aufweisen.

Trick 1: Die „Zusammenfassungs-Karte" (Rank-c-Faktorisierung)

Anstatt das vollständige, detaillierte Rezept für jede einzelne vergangene Mahlzeit zu speichern, erkennt LoRIF, dass die meisten Rezepte die gleiche Kernstruktur teilen.

Die Analogie: Stellen Sie sich vor, anstatt ein 50-seitiges detailliertes Rezept für „Spaghetti Bolognese" zu speichern, speichern Sie nur eine kleine Indexkarte mit der Aufschrift: „Tomatenbasis, Hackfleisch, 2 Stunden köcheln lassen."
Wie es hilft: Sie können das vollständige Rezept jederzeit aus dieser kleinen Karte rekonstruieren, wenn Sie es benötigen. Dies verkleinert die Speichergröße von einem riesigen Lagerhaus zu einem kleinen Aktenschrank. Es bedeutet auch, dass Sie kein schweres Buch in Ihre Hände laden müssen, um eine Frage zu beantworten; Sie greifen einfach nach einer winzigen Karte.

Trick 2: Der „Scheinwerfer" (Truncated SVD)

Bei der Berechnung, wie stark eine vergangene Mahlzeit die neue beeinflusst hat, erfordert die Mathematik normalerweise, dass man jede einzelne Richtung in den Daten betrachtet.

Die Analogie: Stellen Sie sich einen dunklen Raum mit einer Million Lichtschaltern vor. Die meisten sind aus oder sehr schwach. Nur wenige Schalter (vielleicht 10 oder 20) sind tatsächlich eingeschaltet und hell genug, um relevant zu sein.
Wie es hilft: LoRIF verwendet einen „Scheinwerfer", um diese wenigen hellen Schalter zu finden und ignoriert die eine Million schwachen. Anstatt den Effekt aller eine Million Schalter zu berechnen, berechnet es nur den Effekt der Top 20. Dies verwandelt ein mathematisches Problem, das einen Supercomputer zum Absturz bringen würde, in eines, das auf einen Laptop passt.

Das Ergebnis: Schnell, günstig und genau

Durch die Kombination dieser beiden Tricks erreicht LoRIF etwas, das zuvor für unmöglich gehalten wurde:

Es passt: Es kann Modelle mit 70 Milliarden Parametern (wie ein massives Gehirn) und Datensätze mit Millionen von Beispielen bewältigen.
Es ist schnell: Es beantwortet Fragen 20-mal schneller als frühere Methoden, da es keine massiven Dateien laden muss.
Es ist genau: Obwohl es „Zusammenfassungs-Karten" und einen „Scheinwerfer" verwendet, findet es die richtigen Zutaten genauso gut (oder besser) als die alten Methoden, die versuchten, alles zu speichern.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dies mache es möglich, riesige KI-Modelle zu debuggen und zu auditieren.

Debugging: Wenn eine KI etwas Seltsames sagt, können Sie sofort auf die spezifischen Trainingsbeispiele zurückverfolgen, die ihr dieses Verhalten beigebracht haben.
Sicherheitsaudits: Sie können feststellen, ob die KI schädliches Verhalten aus einem spezifischen, schlechten Beispiel in ihren Trainingsdaten gelernt hat, selbst wenn dieses Beispiel in Millionen anderer begraben war.
Datenkuratierung: Sie können identifizieren, welche Trainingsdaten tatsächlich nützlich sind und welche nur Rauschen darstellen.

Kurz gesagt: LoRIF verwandelt eine Aufgabe, die einen Supercomputer und ein Lagerhaus voller Speicher benötigte, in etwas, das effizient erledigt werden kann, und ermöglicht uns, endlich die „Zutaten" hinter den größten KI-Modellen der Welt zu verstehen.

Technische Zusammenfassung: LoRIF – Low-Rank Influence Functions für skalierbare Zuordnung von Trainingsdaten

Problemstellung

Die Zuordnung von Trainingsdaten (Training Data Attribution, TDA) zielt darauf ab, herauszufinden, welche spezifischen Trainingsbeispiele den Vorhersagen eines Modells für eine gegebene Abfrage am stärksten zugrunde liegen. Während Influence Functions (IF) einen theoretisch fundierten Ansatz für TDA bieten, indem sie das erneute Training unter Ausschluss einzelner Beispiele über Gradienten und inverse Hesse-Matrizen approximieren, sind sie für Modelle moderner Größe (mit Milliarden von Parametern), die auf Millionen von Beispielen trainiert wurden, effektiv unzugänglich geblieben.

Bestehende skalierbare Varianten wie TRAK, LoGRA und TrackStar adressieren Rechenengpässe, indem sie projizierte Gradienten pro Beispiel speichern und eine gedämpfte Gauss-Newton-Hesse-Näherung verwenden. Diese Methoden stoßen jedoch auf zwei kritische Skalierungsengpässe, die einen Zielkonflikt zwischen der Qualität der Zuordnung und der rechnerischen Machbarkeit erzeugen:

Gradientenspeicherung und I/O: Die Speicherung projizierter Gradienten pro Beispiel für $N$ Trainingsbeispiele erfordert einen Speicherplatz von $O(ND)$, wobei $D$ die effektive Projektionsdimension ist. Zum Zeitpunkt der Abfrage dominiert das Laden dieser Gradienten die Latenz (ungefähr 96 % der Abfragezeit).
Skalierung der inversen Hesse-Matrix: Die Bildung und Speicherung der $D \times D$ inversen Hesse-Näherung erfordert $O(D^2)$ Speicher.

Eine Erhöhung der Projektionsdimension $D$ ist notwendig, um die Qualität der Zuordnung zu verbessern, verschärft jedoch sowohl die Speicher-/I/O- als auch die Speicherengpässe, wodurch eine hochwertige Zuordnung für Modelle an der Grenze des Machbaren unpraktisch wird.

Methodik: LoRIF

LoRIF (Low-Rank Influence Functions) adressiert diese Engpässe durch die Ausnutzung der in neuronalen Netzgradienten inhärenten Low-Rank-Struktur. Die Methode folgt einer dreistufigen Pipeline:

1. Low-Rank-Gradientenspeicherung (Adressierung des I/O-Engpasses)

Anstatt die vollständige projizierte Gradientenmatrix pro Beispiel $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$ (wobei $D = d_1 d_2$ ) zu speichern, verwendet LoRIF eine Faktorisierung vom Rang $c$ :
$\tilde{G}_i \approx u_i v_i^\top$
wobei $u_i \in \mathbb{R}^{d_1 \times c}$ und $v_i \in \mathbb{R}^{d_2 \times c}$ .

Mechanismus: Diese Faktorisierung wird über Block-Power-Iterationen berechnet.
Auswirkung: Speicher und I/O zur Abfragezeit pro Schicht pro Beispiel werden von $O(D)$ auf $O(c(\sqrt{D}))$ reduziert. Empirische Ergebnisse deuten darauf hin, dass selbst bei $c=1$ die Approximation eine aussagekräftige Zuordnungsqualität beibehält und dass die Priorisierung einer größeren $D$ gegenüber einem höheren $c$ eine bessere Kosteneffizienz ergibt.

2. Truncated SVD-Krümmungsapproximation (Adressierung des Speicherengpasses)

Um die Bildung der dichten $D \times D$ inversen Hesse-Matrix $(G^\top G + \lambda I)^{-1}$ zu vermeiden, berechnet LoRIF eine Singulärwertzerlegung (SVD) vom Rang $r$ der aggregierten Gradientenmatrix $G$ :
$G \approx U_r \Sigma_r V_r^\top$
Unter Verwendung der Woodbury-Matrixidentität wird der Term der inversen Hesse-Matrix in einem $r$ -dimensionalen Unterraum approximiert:
$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$

Mechanismus: Es werden nur die top- $r$ Singulärvektoren ( $V_r$ ) und Singulärwerte ( $\Sigma_r$ ) gespeichert.
Auswirkung: Die Speicherkomplexität für den Krümmungsterm wird von $O(D^2)$ auf $O(Dr)$ reduziert. Dies ermöglicht eine deutlich größere effektive Projektionsdimension $D$ innerhalb eines festen Speicherbudgets.

3. Berechnung des Einflusswerts

Zum Zeitpunkt der Abfrage werden Einflusswerte berechnet, indem der Abfragegradient in den $r$ -dimensionalen Unterraum projiziert wird und die gespeicherten Low-Rank-Faktoren für die Trainingsgradienten genutzt werden. Der Einflusswert $I(x_{tr}, x_{te})$ wird approximiert als:
$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$
wobei $g'$ Gradienten darstellt, die auf die Singulärvektoren $V_r$ projiziert wurden. Der erste Term wird effizient unter Verwendung der Faktoren vom Rang $c$ berechnet, und der zweite Term umfasst nur $O(r)$ Operationen aufgrund der Diagonalstruktur der mittleren Matrix.

Hauptbeiträge

Identifikation von Engpässen: Die Arbeit identifiziert, dass die Projektionsdimension $D$ die primäre Einschränkung bei skalierbaren IF-artigen TDA-Methoden darstellt und einen Zielkonflikt zwischen Qualität und Skalierbarkeit schafft, bei dem eine genaue Zuordnung (großes $D$ ) derzeit unpraktisch ist.
Faktorisierung vom Rang $c$ : Der Vorschlag, projizierte Gradienten als Faktoren vom Rang $c$ zu speichern, wodurch der Speicherbedarf pro Beispiel pro Schicht von $O(D)$ auf $O(c\sqrt{D})$ reduziert wird.
Krümmungsapproximation vom Rang $r$ : Der Vorschlag, eine abgeschnittene SVD und die Woodbury-Identität zur Approximation des Krümmungsterms zu verwenden, wodurch der Speicherbedarf pro Schicht von $O(D^2)$ auf $O(Dr)$ reduziert wird.
Demonstration der Skalierbarkeit: Der erste Nachweis einer effektiven Datenzuordnung für Modelle mit bis zu 70 Milliarden Parametern (Apertus-70B) mit Millionen von Trainingsbeispielen bei Beibehaltung praktischer Kosten und Latenz.

Experimentelle Ergebnisse

LoRIF wurde an Modellen im Bereich von 124 Millionen bis 70 Milliarden Parametern (GPT2-small, OLMo-3-7B, Apertus-70B) mit Datensätzen evaluiert, die bis zu 3,8 Millionen Beispiele enthalten.

Speicher und Latenz: Im Vergleich zu LoGRA erreicht LoRIF eine 2,3- bis 20-fach geringere Gradientenspeicherung und eine 1,3- bis 20-fach geringere Abfrage-Latenz, bei gleicher oder besserer Zuordnungsqualität.
- Bei GPT2-small reduzierte LoRIF den Speicherbedarf um bis zu 9-fach und die Latenz um das 5,6-fache in Regimen mit mittlerem Speicherbedarf.
- Bei OLMo-3-7B erzielte LoRIF nahezu identische Tail-Patch-Scores wie LoGRA bei 20,3-fach geringerem Speicherbedarf und 22,0-fach geringerer Latenz.
- Bei Apertus-70B verbesserte LoRIF die Tail-Patch-Scores um das 1,5- bis 2,2-fache gegenüber LoGRA bei geringerem Speicherbedarf und geringerer Latenz.
Qualität der Zuordnung: Gemessen mittels Linear Datamodeling Score (LDS) und Tail-patch score verbesserte LoRIF konsistent die Pareto-Front. Durch die Ermöglichung größerer effektiver Projektionsdimensionen $D$ (die zuvor aufgrund von Speicherbeschränkungen nicht machbar waren), erreichte LoRIF eine höhere Qualität als Baselines, die auf kleinere $D$ beschränkt waren.
Qualitative Evaluation: Eine Bewertung mittels LLM-as-a-judge für die top-1 zurückgegebenen Beispiele zeigte, dass LoRIF Beispiele mit höherer semantischer Relevanz zurückgibt (durchschnittlicher Score 3,04 vs. 2,49 bei OLMo-3-7B) und weniger völlig irrelevante Treffer im Vergleich zu LoGRA liefert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LoRIF eine gradientenbasierte Zuordnung von Trainingsdaten im Maßstab der Frontier-Modelle praktikabel macht. Durch die Ausnutzung der Low-Rank-Struktur von Gradienten löst LoRIF den Zielkonflikt zwischen Qualität und Skalierbarkeit, der die Anwendung von Influence Functions auf große Sprachmodelle bisher behindert hat.

Die Autoren betonen, dass LoRIF nicht auf neuen Low-Rank-Primitiven beruht, sondern vielmehr demonstriert, wie bestehende Low-Rank-Strukturen (beobachtet sowohl in Gradienten pro Beispiel als auch in aggregierten Gradienten) systematisch in Methoden der projizierten Gradienten-Influenz genutzt werden können. Die Ergebnisse legen nahe, dass gradientenbasierte TDA nun für Audits, Debugging und Sicherheitsprüfungen großer LLMs eingesetzt werden kann, wenn der Zuordnungsindex über viele Abfragen hinweg wiederverwendet wird, ohne die prohibitiven Speicher- oder I/O-Kosten früherer Methoden zu erfordern.

Die Arbeit räumt mit Einschränkungen ein und stellt fest, dass die Erstellung des Zuordnungsindex immer noch einen Gradientendurchlauf über das Korpus erfordert (Vorverarbeitungskosten) und dass sich aktuelle Experimente im großen Maßstab auf Daten des überwachten Fine-Tunings konzentrieren, anstatt auf vollständige Pre-Training-Korpora. Dennoch etabliert diese Arbeit eine neue Benchmark für skalierbare Zuordnung und ermöglicht die Analyse von Modellen, die zuvor für solche Methoden als unerreichbar galten.