💬 NLP

Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

Das Paper stellt Influcoder vor, eine Methode, die Gradienten-Einfluss-Rankings von Decodern in einen Encoder destilliert, um eine schnelle, kosteneffiziente und skalierbare Datenattribution für große Sprachmodelle zu ermöglichen.

Ursprüngliche Autoren: Dimitri Kachler, Damien Sileo, Pascal Denis

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dimitri Kachler, Damien Sileo, Pascal Denis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich klugen Roboter-Koch (ein Large Language Model), der gelernt hat zu kochen, indem er Millionen von Rezepten und Food-Blogs gelesen hat. Manchmal lernt der Koch versehentlich, giftige oder gefährliche Gerichte zuzubereiten, weil ein ganz bestimmtes, schlechtes Rezept in dem Stapel war.

Das Problem: Das schlechte Rezept finden
Sie möchten wissen: „Welches spezifische Rezept unter den Millionen hat den Koch dazu gebracht, dieses schlechte Gericht zuzubereiten?“ Dies nennt man Datenattribution (Data Attribution).

Traditionell nutzen Forscher, um diesen „Schuldigen Rezept“ zu finden, eine Methode namens Influence Functions. Stellen Sie sich das so vor, als würde man versuchen, jedes einzelne Gericht der Welt einzeln nachzubacken, während man jedes Mal eine Zutat nach der anderen entfernt, um zu sehen, wie sich der Geschmack verändert. Es ist unglaublich genau, aber es ist quälend langsam und erfordert eine riesige Küche (Speicherplatz), um all diese Berechnungen im Blick zu behalten. Es ist, als würde man versuchen, eine Nadel im Heuhaufen zu finden, indem man jedes Mal den gesamten Heuhaufen neu aufbaut, wenn man nachsieht.

Die Lösung: Influcoder
Das Paper stellt ein neues Werkzeug namens Influcoder vor. Anstatt die schwere Arbeit jedes Mal neu zu erledigen, ist Influcoder wie ein superschneller, ausgebildeter Detektiv.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die Trainingsphase (Phase 1):
Zuerst nehmen die Forscher eine kleine, handhabbare Gruppe von Rezepten (Daten) und den Roboter-Koch. Sie führen die langsame, schwere Mathematik durch, um herauszufinden, welche Rezepte das Verhalten des Kochs am stärksten beeinflussen. Sie schreiben diese Antworten in einen „Goldstandard-Antwortschlüssel“ auf.

Der Trick: Sie schauen nicht nur auf die Wörter; sie schauen auf die „mathematischen Fingerabdrücke“ (Gradienten) davon, wie der Koch von jedem Rezept gelernt hat.

Die Destillation (Phase 2):
Als Nächstes trainieren sie ein kleineres, einfacheres Modell (den „Encoder“ oder den „Detektiv“), um ein Rezept zu betrachten und zu raten: „Basierend auf dem Goldstandard-Antwortschlüssel, wie viel Einfluss hat dieses Rezept?“

Denken Sie daran, als würde man einem Junior-Detektiv beibringen, Muster zu erkennen. Der Junior-Detektiv muss nicht die Gerichte neu nachbacken; er muss nur das Rezept betrachten und sagen: „Ah, das sieht nach der Art von Sache aus, die den Koch wütend macht“, basierend auf dem, was er vom Senior-Detektiv gelernt hat.

Das Ergebnis:
Sobald dieser „Detektiv“ trainiert ist, kann er Millionen von Rezepten in Sekunden scannen. Er braucht die riesige Küche nicht mehr. Er betrachtet einfach das Rezept, prüft seine internen Notizen und liefert Ihnen ein Ranking, welche der Rezepte am einflussreichsten sind.

Warum ist das eine große Sache?

Geschwindigkeit: Das Paper behauptet, dass Influcoder 15- bis 100-mal schneller ist als die derzeit besten Methoden. Es ist, als würde man vom Wandern quer durch das Land zum Hochgeschwindigkeitszug wechseln.
Speicherplatz: Es benötigt viel weniger Platz. Anstatt ein Lagerhaus zu benötigen, um die Mathematik für jedes Rezept zu speichern, brauchen Sie nur ein kleines Notizbuch.
Effektivität: In Tests war der Detektiv fast so gut darin, „toxische“ (gefährliche) Rezepte zu finden wie die langsamen, schweren Methoden, tat dies jedoch in einem Bruchteil der Zeit.

Der Haken (Einschränkungen)
Das Paper ist ehrlich über die Nachteile. Dieser „Detektiv“ wurde speziell auf die Art der Rezepte trainiert, die er studiert hat.

Wenn Sie ihn bitten, schlechte Rezepte in einer völlig anderen Sprache oder in einem völlig anderen Kochstil zu finden, den er noch nicht gesehen hat, könnte er verwirrt werden und schlecht abschneiden.
Er benötigt eine gewisse Vorbereitungszeit, um den „Goldstandard“ zuerst zu lernen, während ältere Methoden „Plug-and-Play“ sind (obwohl sie langsam sind).

Zusammenfassend
Influcoder ist eine Methode, die einem kleinen, schnellen KI-Modell beibringt, die teuren, langsamen Berechnungen eines großen KI-Modells nachzuahmen. Es ermöglicht uns, schnell zu identifizieren, welche spezifischen Daten für das Verhalten eines Modells (wie toxische Ausgaben) verantwortlich sind, was es praktikabel macht, riesige Datensätze zu bereinigen, ohne darauf warten zu müssen, dass der Computer die Mathematik fertig berechnet.

Technisches Resümee: Influcoder

Problemstellung

Mit der zunehmenden Leistungsfähigkeit von Large Language Models (LLMs) hat sich der Bedarf an der Kuratierung hochwertiger Trainingsdatensätze intensiviert. Insbesondere besteht eine Nachfrage nach Methoden zur Datenattribution (Data Attribution, DA), die identifizieren können, welche spezifischen Trainingsbeispiele ein Modell dazu prädisponieren, bestimmte Ausgaben zu generieren, wie etwa toxisches Verhalten. Während Influence Functions (Koh und Liang, 2017) hierfür einen theoretischen Rahmen bieten, indem sie den Effekt von Trainingsbeispielen auf den Testverlust quantifizieren, wird deren praktische Anwendung im großen Maßstab durch prohibitive Rechenkosten und Speicheranforderungen behindert. Bestehende Methoden erfordern oft Gradienten pro Beispiel oder Approximationen der inversen Hessian-Matrix, was instabil und langsam ist. Darüber hinaus deuten jüngste Studien (Li et al., 2025; Ivison et al., 2025) darauf hin, dass viele Einflussmethoden Schwierigkeiten haben, bei der Skalierung über zufällige Baselines hinaus zu performen, während andere (Jiao et al., 2025) vielversprechend für das Filtern sind, aber rechenintensiv bleiben.

Methodik: Influcoder

Die Autoren schlagen Influcoder vor, eine Methode, die Gradienten-Einfluss-Rankings in ein kompaktes Encoder-Modell destilliert, um eine effiziente, skalierbare Datenattribution zu erreichen. Der Ansatz vermeidet die Instabilität der inversen Hessian-Schätzung, indem er sich auf eine First-Order-Influence-Formulierung basiert auf der Kosinus-Ähnlichkeit von LoRA (Low-Rank Adaptation) Gradienten stützt.

1. Gradienten-Einfluss-Formulierung

Anstatt die volle inverse Hessian-Matrix zu verwenden, nutzt die Methode eine First-Order-Influence-Formulierung (Garima et al., 2020), die auf die LoRA-Adapterparameter ( $\theta_L$ ) beschränkt ist. Um Stabilität zu gewährleisten und eine Übergewichtung von Gradienten mit hohem Normwert zu vermeiden, wird das Skalarprodukt durch Kosinus-Ähnlichkeit ersetzt:
$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$
wobei $p$ ein Pool- (Trainings-) Sample und $q$ ein Query-Sample ist.

2. Zweistufige Trainings-Pipeline

Die Methode operiert in zwei distinkten Phasen:

Phase 1: Erfassung der Ground-Truth-Labels
- Pool- ( $P$ ) und Query-Samples ( $Q$ ) werden durch ein Ziel-Decoder-Modell geleitet.
- Die Gradienten werden nur auf den Response-Tokens berechnet (Maskierung des Prompts), da diese als informativer gelten.
- Zur Reduzierung des Speicherbedarfs werden die Gradienten mittels CountSketch (Charikar et al., 2004) in eine niedrigere Dimension projiziert.
- Die "Ground-Truth"-Einflussmatrix ( $I_{GT}$ ) wird vorab berechnet, indem die Kosinus-Ähnlichkeit zwischen allen Paaren von Pool- und Query-Gradienten ermittelt wird.
Phase 2: Destillation in einen Encoder
- Ein Encoder-Modell (z. B. Ettin-Encoder) wird trainiert, um Einfluss-Scores direkt aus Eingabesamples vorherzusagen, wodurch die Notwendigkeit entfällt, für jeden Query Gradienten zu berechnen.
- Der Encoder erzeugt Embeddings für Pool- und Query-Samples ( $E_p, E_q$ ).
- Vorhergesagte Einflüsse ( $I_P$ ) werden als Kosinus-Ähnlichkeit zwischen diesen Embeddings berechnet.

3. Ranking-basierte Verlustfunktion

Da das Ziel darin besteht, Samples zu ranken statt exakte Einflusswerte vorherzusagen, kombiniert das Trainingsziel zwei differenzierbare Ranking-Loss-Funktionen:

Pearson-Korrelations-Loss ( $L_{Pearson}$ ): Richtet die gesamte Batch der vorhergesagten Einflüsse an der Ground-Truth-Matrix aus, um globale Konsistenz sicherzustellen.
KL-Divergenz-Loss ( $L_{KL}$ ): Ein Softmax-basierter Loss, der pro Query angewendet wird, um gezielt das Ranking der Top-k einflussreichsten Samples zu optimieren.
Gesamtverlust: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$ .

Zentrale Beiträge

Neuartiger Destillationsansatz: Influcoder ist die erste Methode, die Gradienten-Einfluss-Rankings (speziell auf LoRA-Basis) in einen Encoder destilliert, was es von bisherigen Destillationsarbeiten unterscheidet, die sich auf Trainingsverluste (z. B. AirRep) oder volle Gradienten-Proxies (z. B. IProX) konzentrieren.
Skalierbarkeit und Effizienz: Durch den Ersatz teurer Gradientenberechnungen durch einen Forward Pass durch einen kleinen Encoder erreicht die Methode signifikante Beschleunigungen und Reduktionen des Speicherbedarfs.
Praktische Filterung: Die Methode zeigt ihre Wirksamkeit beim Filtern toxischer Daten, eine kritische Anwendung für die Sicherheit von LLMs.

Experimentelle Ergebnisse

Die Autoren evaluierten Influcoder gegen Baselines einschließlich LESS, LoGRA, DataInf, RDS+ und TF-IDF.

Inferenzgeschwindigkeit und Kosten:
- Influcoder (68M Parameter) verarbeitet Samples 15-mal schneller als das nächste Proxy-Modell, 45-mal schneller als das vollständige LoGRA und 100-mal schneller als LESS.
- In Bezug auf die FLOPs nutzt Influcoder 5-mal weniger als das nächste Proxy und 44-mal weniger als LESS.
- Die Speicheranforderungen sind drastisch niedriger (30 MB für Influcoder gegenüber 320 MB für LESS und 2,24 GB für LoGRA).
Attributionsqualität:
- Ranking-Korrelation: Influcoder erreicht mittlere aggregierte Spearman-Korrelationen, die vergleichbar mit oder leicht unter denen von LESS liegen, und übertrifft damit semantische Ähnlichkeits-Baselines und andere projektionsbasierte Methoden deutlich.
- Toxizitäts-Filterung: In der XSTest-Response-Aufgabe (Filtern toxischer Beispiele) erreichte Influcoder einen AUPRC von 0,6981 (heterogen) und 0,6919 (homogen). Obwohl dies leicht unter den Werten von LESS liegt (0,7075 und 0,7562), ist es weitaus überlegen gegenüber DataInf (0,2157) und semantischen Baselines. Entscheidend ist, dass Influcoder dies mit einer Inferenzzeit von ~32 Sekunden erreicht, verglichen mit ~2248 Sekunden für LESS.

Bedeutung und Limitationen

Das Paper behauptet, dass Influcoder einen gangbaren Weg zur effektiven Datenattribution in großem Maßstab bietet, indem es den Trade-off zwischen der hohen Genauigkeit gradientenbasierter Methoden und der Geschwindigkeit repräsentationsbasierter Methoden ausbalanciert. Es ermöglicht die Nutzung von Influence Functions für Aufgaben wie die Toxizitätsfilterung, bei denen Geschwindigkeit essenziell ist.

Die Autoren weisen jedoch explizit auf signifikante Limitationen hin:

Distributionsabhängigkeit: Im Gegensatz zu Methoden wie LoGRA oder LESS, die unabhängig von der Datenverteilung funktionieren, sinkt die Performance von Influcoder drastisch, wenn die Samples außerhalb der Verteilung der während des Trainings verwendeten Pool- und Query-Sets liegen.
Anforderung an Trainingsdaten: Die Methode erfordert eine ausreichende Menge an Trainingsdaten, um den Einfluss initial zu destillieren. Bei Aufgaben mit unzureichenden Daten verschlechtert sich die Performance.
Setup-Overhead: Im Gegensatz zu "Plug-in"-Methoden erfordert Influcoder eine initiale Setup-Phase, die das Sammeln von Gradienten und das Training des Encoders umfasst, was die Komplexität des Workflows erhöht.

Zusammenfassend lässt sich sagen, dass Influcoder eine kosteneffiziente, Hochgeschwindigkeits-Alternative für die Datenattribution bietet, die besonders für Szenarien geeignet ist, in denen die Datenverteilung bekannt ist und eine schnelle Inferenz gegenüber der absoluten Präzision des Rankings priorisiert wird.