🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

Dieses Paper stellt eine skalierbare, reine Inferenz-basierte Datenaudit-Pipeline vor, die Shapley-Werte approximiert, um effizient widersprüchliche, falsch etikettierte oder unsichere Datensätze aus LLM-Alignment-Datensätzen und Benchmarks zu identifizieren und zu entfernen, wodurch der manuelle Audit-Aufwand erheblich reduziert und kritische Mängel in menschlich annotierten Ground-Truth-Daten aufgedeckt werden.

Ursprüngliche Autoren: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, ein hilfreicher, sicherer und ehrlicher menschlicher Assistent zu sein. Sie programmieren ihn nicht mit starren Regeln; stattdessen zeigen Sie ihm Millionen von Beispielen für gute und schlechte Gespräche, damit er durch Beispiele lernen kann. So erhält die moderne KI ihre „Persönlichkeit“ und ihre Sicherheitsfilter. Aber hier ist der Haken: Der Roboter ist nur so gut wie die Geschichten, die man ihm erzählt. Wenn Ihr Märchenbuch voller Tippfehler, Lügen oder verwirrender Widersprüche ist, wird der Roboter verwirrt werden und möglicherweise anfangen, sich seltsam zu verhalten.

Lange Zeit glich die Überprüfung dieser Märchenbücher dem Versuch, einen einzigen schlechten Apfel in einem Berg von Obst zu finden, indem man sie einzeln betrachtet. Es war langsam, teuer und übersah oft subtile Probleme. Wissenschaftler haben es mit Mathematik versucht, um herauszufinden, welche Geschichten am wichtigsten sind – eine Methode namens „Shapley-Wert“. Doch die exakte Berechnung dieses mathematischen Modells wäre so rechenintensiv, dass es bei einem riesigen Stapel an Daten ewig dauern würde. Die große Frage lautet: Wie kann man schnell die versteckten Fehler, die verwirrenden Widersprüche und die schlechten Ratschläge in diesen massiven Trainingsbüchern aufspüren, ohne jede einzelne Seite zu lesen oder den Roboter von Grund auf neu zu trainieren?

Dieses Papier stellt ein cleveres neues Detektiv-Werkzeug vor, eine „influenzbasierte Daten-Audit-Pipeline“. Denken Sie an eine magische Lupe, die das ganze Buch nicht neu lesen muss, um die Fehler zu finden. Anstatt den Roboter neu zu trainieren, nutzen die Forscher einen Trick: Sie fragen den Roboter: „Wenn ich dir diese spezifische Geschichte vor dieser nächsten zeige, hilft sie dir beim Verständnis oder verwirrt sie dich?“

Die Forscher bauten ein System, das ähnliche Geschichten gruppiert und sie dann wie ein Spiel von „Finde den Unterschied“ testet. Sie nehmen eine Geschichte und lassen den Roboter das Ende vorhersagen. Dann zeigen sie dem Roboter zuerst eine ähnliche Geschichte (wie einen Hinweis) und lassen ihn das Ende erneut vorhersagen. Wenn die „Hinweis“-Geschichte die Vorhersage des Roboters verschlechtert, ist das ein riesiges Warnsignal. Es bedeutet, dass die beiden Geschichten gegeneinander kämpfen, wie etwa wenn eine sagt: „Sage immer die Wahrheit“ und die andere sagt: „Es ist okay, in diesem Fall zu lügen.“

Das Team testete dies an zwei berühmten Sammlungen von Trainingsdaten. Zuerst untersuchten sie einen Datensatz namens HelpSteer2. Ihr Werkzeug fand heraus, dass sie von tausenden Datensätzen die Liste der Dinge, die Menschen überprüfen mussten, um 99,1 % reduzieren konnten. Sie deckten verborgene Fehler auf, bei denen Menschen perfekte Bewertungen für Antworten vergeben hatten, die in Wirklichkeit voll von erfundenen Fakten waren oder wichtige Anweisungen ignorierten. Zum Beispiel fanden sie Fälle, in denen ein Roboter dafür gelobt wurde, einen perfekt aussehenden Aufsatz geschrieben zu haben, der jedoch gefälschte Daten und gefälschte wissenschaftliche Arbeiten enthielt, während ein ähnlicher Aufsatz mit denselben falschen Fakten korrekt bestraft wurde. Dies enthüllte einen „Oberflächlichkeits-Bias“, bei dem menschliche Prüfer zwar lieb fanden, wie der Text aussah, aber nicht prüften, ob die Fakten real waren.

Als Nächstes auditierten sie einen Datensatz namens HH-RLHF, der verwendet wird, um Roboter zu lehren, zwischen zwei Antworten zu wählen. Sie fanden tausende versteckte Widersprüche, bei denen die von Menschen gewählte „korrekte“ Antwort tatsächlich gefährlich oder wenig hilfreich war. In einem erschreckenden Beispiel wählte ein menschlicher Prüfer eine Antwort aus, die vorschlug, Jemandem als Streich Bleiche in das Auge zu gießen, während er eine sichere Antwort, die lediglich um Klärung bat, ablehnte. Das Tool entdeckte diese Sicherheitsrisiken, die Standardprüfungen übersehen hatten.

Vielleicht am überraschendsten war, dass sie, als sie dieses Werkzeug nutzten, um die Testfragen (die Prüfungen, die die Roboter bewerten) zu überprüfen, feststellten, dass die Prüfungen selbst fehlerhaft waren. Die „korrekten“ Antworten in der Testbank waren oft falsch. In vielen Fällen wählten die klügeren Roboter tatsächlich die sicherere, bessere Antwort, aber der Test markierte sie als „falsch“, weil der von Menschen geschriebene Lösungsschlüssel fehlerhaft war. Dies deutet darauf hin, dass einige der größten Probleme in der KI-Sicherheit nicht darin bestehen, dass die Roboter versagen, sondern dass die Tests unfair sind.

Die Autoren betonen vorsichtig, dass ihr mathematisches Werkzeug zwar unglaublich schnell und effektiv darin ist, die Suche einzugrenzen, es aber dennoch einen Menschen (oder einen sehr klugen KI-Richter) braucht, um die endgültige Entscheidung darüber zu treffen, ob eine Geschichte wirklich fehlerhaft ist. Sie haben die Daten nicht selbst korrigiert, aber sie haben eine hocheffiziente Karte erstellt, die genau zeigt, wo sich die Schlaglöcher befinden, wodurch Forscher davor bewahrt werden, jeden einzelnen Zentimeter der Straße abfahren zu müssen. Durch den Einsatz dieser Methode reduzierten sie die Arbeit der Überprüfung eines massiven Datensatzes von der Untersuchung tausender Artikel auf nur wenige hochpriorisierte Verdächtige, was bewies, dass die beste Art, die Wahrheit zu finden, manchmal darin besteht, zu sehen, wie die Teile eines Puzzles gegeneinander drücken und aneinander ziehen.

Technisches Resümee: Jenseits von Shapley: Eine auf Einfluss basierende Daten-Audit-Pipeline für das LLM-Alignment und die Evaluierung

Problemstellung

Das Alignment von Large Language Models (LLMs) wird zunehmend durch die Datenqualität als vielmehr durch die Modellarchitektur begrenzt. Da Datensätze skalieren, akkumulieren massive Präferenz- und Instruktions-Tuning-Korpora verborgene strukturelle Widersprüche, Sicherheitsrisiken und systemische Fehler bei der menschlichen Annotation. Aktuelle Audit-Methoden stehen vor erheblichen Einschränkungen:

Semantische Deduplizierung: Effektiv beim Finden textueller Duplikate, scheitert jedoch daran, den funktionalen Nutzen oder die prädiktive Auswirkung einzelner Datensätze zu erfassen.
LLM-as-a-Judge: Obwohl skalierbar, verlassen sich diese Methoden auf menschendefinierte Rubriken, weisen oft Bias auf (z. B. gegenüber der Antwortlänge) und können mathematisch nicht bestimmen, wie ein Datensatz die prädiktive Verteilung eines Modells beeinflusst.
Data Shapley: Bietet einen rigorosen Rahmen für die Datenbewertung, ist jedoch für große Datensätze rechnerisch prohibitiv ( $O(2^N)$ ). Bestehende Approximationen mangelt es entweder an der Granularität auf Datensatz-Ebene (erfordern grobe Gruppierungen) oder sind auf Klassifikations-/Regressionsaufgaben beschränkt, wodurch sie die generative Mechanik von LLMs nicht adressieren können.

Es besteht eine kritische Lücke in der Fähigkeit, eine punktweise, datensatzbasierte Bewertung für generative LLMs durchzuführen, ohne eine rechenintensive Modell-Neu-Trainierung oder iteratives Sampling von Daten zu erfordern.

Methodik

Die Autoren schlagen eine skalierbare, reine Inferenz-basierte Datenbewertungs-Pipeline vor, die den Shapley-Wert approximiert, indem sie den marginalen Beitrag von Datenpunkten durch bedingte Log-Likelihood-Verschiebungen misst. Der Workflow besteht aus zwei primären Phasen:

Phase 1: Einflussmessung

Konstruktion semantischer Nachbarschaften: Prompts werden in einen dichten Vektorraum projiziert (unter Verwendung von Qwen3-Embedding-4B). Statische Systeminstruktionen werden entfernt, um eine Vektordilution zu verhindern. Ein $k$ -Nearest-Neighbor ( $k$ -NN) Graph wird basierend auf der Kosinus-Ähnlichkeit konstruiert.
Zero-Shot und One-Shot Scoring: Für einen Ziel-Datensatz $(x_i, y_i)$ $(x_{i}, y_{i})$ und einen Nachbarn $(x_j, y_j)$ $(x_{j}, y_{j})$ berechnet die Pipeline die bedingte Log-Likelihood der Zielantwort $y_i$ $y_{i}$ unter zwei Bedingungen:
- Baseline ( $LL_{base}$ ): Die Wahrscheinlichkeit von $y_i$ gegeben nur $x_i$ .
- Probe ( $LL_{probe}$ ): Die Wahrscheinlichkeit von $y_i$ gegeben einen zusammengesetzten Prompt, bei dem $(x_j, y_j)$ als One-Shot-Demonstration vor $x_i$ dient.
Berechnung des Einflusses: Der prädiktive Einfluss ( $\Delta LL$ ) ist definiert als die Differenz: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . Ein positives $\Delta LL$ deutet auf einen konstruktiven Einfluss hin, während ein negativer Wert auf einen verhaltensbedingten Widerspruch hindeutet, bei dem der Nachbar die prädiktive Wahrscheinlichkeit des Ziels verschlechtert.
Konstruktion eines gerichteten Graphen: Ein gerichteter Graph $G=(V, E)$ wird erstellt, wobei die Kanten den Fluss des Einflusses vom Nachbarn zum Ziel repräsentieren, gewichtet durch $\Delta LL$ .

Phase 2: Metrik-Ableitung & Auditierung

Aus dem Graphen werden drei Metriken für jeden Knoten abgeleitet:

Exemplified Advantage (Passiver Einfluss): Misst den aggregierten Einfluss, den ein Datensatz von seinen eingehenden Nachbarn erhält. Hohe Werte deuten auf Redundanz hin.
Exemplifying Advantage (Aktiver Einfluss): Misst den prädiktiven Beitrag, den ein Datensatz auf seine ausgehenden Nachbarn ausübt. Dies approximiert den Data Shapley-Wert, indem 1-Shot In-Context Learning als Null-Gradienten-Surrogat für Parameter-Updates behandelt wird.
One of a Kind Score (Topologische Einzigartigkeit): Quantifiziert die strukturelle Einzigartigkeit basierend auf der Asymmetrie der $k$ -NN-Retrieval (Datensätze, die Nachbarn abrufen, aber selbst selten abgerufen werden).

Widerspruchserkennungs-Paradigmen:

Unüberwacht (Implizite Labels): Markiert Knoten, bei denen der exemplified oder exemplifying advantage unter einen Schwellenwert ( $\tau_{adv}$ ) fällt, insbesondere bei Suche nach Mutual Nearest Neighbors (MNN), die sich gegenseitig die prädiktive Wahrscheinlichkeit verschlechtern.
Überwacht (Explizite Labels): Ein zweistufiger Prozess für Reward-Modellierungs-Datensätze. Zuerst werden "Goldstandard"-Datensätze (hoch bewertet durch Menschen) mit negativem exemplifying advantage isoliert. Zweitens erfolgt eine "Twin Verification", um niedrig bewertete Nachbarn mit ähnlichem Antwortverhalten zu finden, um Inkonsistenzen zwischen Annotatoren zu identifizieren.

Zentrale Beiträge

Einflussbasierter Bewertungsrahmen: Das Paper führt eine hochskalierbare, reine Inferenz-Pipeline ein, die Shapley-Werte für generative LLMs approximiert. Im Gegensatz zu bisherigen Methoden operiert sie in $O(K)$ Vorwärts-Passes (wobei $K$ die Nachbarschaftsgröße ist) ohne Modell-Neu-Training oder Clustering und generalisiert auf Open-Ended Generation und paarweise Präferenzdaten.
Detektion struktureller Widersprüche: Die Pipeline deckt verborgene strukturelle Widersprüche in weit verbreiteten Datensätzen (HelpSteer2 und HH-RLHF) auf, die Standard-Ähnlichkeitsmetriken übersehen. Sie identifiziert menschlich belohnte Datensätze, die strukturelle Fehler (z. B. faktische Halluzinationen, ignorierte Constraints) verbergen, welche die Modellleistung verschlechtern.
Aufdeckung von Benchmark-Schwachstellen: Durch das Audit des Evaluations-Splits von HH-RLHF zeigt die Arbeit, dass hochfähige Modelle häufig die sicherere oder hilfreichere Antwort vorhersagen, aber durch objektiv fehlerhafte menschliche Ground-Truth-Labels bestraft werden, was die Integrität aktueller Benchmarks offenlegt.

Experimentelle Ergebnisse

Die Pipeline wurde auf zwei Datensätzen unter Verwendung von Qwen3.5-9B als Zielmodell und Gemini 3.1 Pro als Experten-Arbitrator evaluiert.

Fallstudie 1: HelpSteer2

Prozess: Anwendung auf 21.362 Datensätze, mit Fokus auf 8.434 Datensätze mit perfektem menschlichem Hilfreichkeits-Score (4/4).
Effizienz: Reduzierte den manuellen Audit-Suchraum um 99,1 % (von 8.434 Datensätzen auf 77 Kandidatenpaare).
Ergebnisse: Identifizierte 18 Widerspruchspaare und 10 einzigartige Datensätze, die fälschlicherweise als perfekt gelabelt waren. Zu den Fehlern gehörten faktische Halluzinationen (z. B. falsche Kalenderdaten), ignorierte Formatierungsbeschränkungen und erfundene akademische Zitate.
Erkenntnis: Offenlegung eines "Oberflächlichkeits-Bias" in der menschlichen Annotation, bei dem strukturell fundierte, aber faktisch betrügerische Texte hohe Scores erhielten.

Fallstudie 2: HH-RLHF

Audit der Trainingsdaten: Identifizierte 4.238 Widersprüche und 2.841 einzigartige problematische Datensätze. Kategorien umfassten Sicherheitsverstöße (z. B. Belohnung von toxischer Compliance), Halluzinationen, unhilfreiche Ausweichmanöver und strukturelle Fehler.
Audit der Evaluationsdaten: Anwendung auf den Evaluations-Split, um 108 einzigartige Datensätze mit bestätigten strukturellen Widersprüchen zu isolieren.
Modell-Disagreement: Beim Testen auf diesen isolierten "fehlerhaften" Datensätzen stieg die Disagreement-Rate der Modelle mit menschlichen Labels im Vergleich zum Baseline-Szenario signifikant an:
- Qwen3.5-9B (FT): Disagreement stieg von 28,9 % (voller Satz) auf 62,04 % (verifizierter Subset).
- Qwen3.5-27B: Disagreement stieg von 28,67 % auf 75,00 %.
- Gemma3-12B: Disagreement stieg von 38,34 % auf 63,89 %.
Fazit: Die hohen Disagreement-Raten bestätigen, dass die Modelle oft das korrekte Verhalten vorhersagten, aber die Benchmark-Labels objektiv fehlerhaft waren.

Bedeutung und Limitationen

Bedeutung:
Das Paper liefert ein mathematisch fundiertes, effizientes Diagnosetool, um menschliche Label-Fehler aufzudecken und Evaluations-Benchmarks zu bereinigen. Es verschiebt das Paradigma von rechenintensiven, auf Neu-Training basierenden Shapley-Berechnungen hin zu einem handhabbaren, reinen Inferenz-Ansatz, der die Granularität auf Datensatz-Ebene beibehält. Dies ermöglicht die schnelle Identifikation systemischer Annotationsfehler und die Validierung der Benchmark-Integrität.

Limitationen:

Abhängigkeit von der Verifizierung: Die finale Verifizierung beruht auf LLM-Evaluatoren (z. B. Gemini), was subjektive Biases und Nicht-Determinismus einführen kann.
Filter vs. Detektor: Die $\Delta LL$ -Metrik fungiert als Anomalie-Filter, der den Suchraum um ~99 % reduziert, erfordert aber dennoch einen Arbitrator, um semantische Regelkonflikte zu bestätigen.
Präzision vs. Recall: Strikte Schwellenwerte priorisieren die Präzision, was bedeutet, dass die Pipeline nicht alle Datensatzfehler erfasst (z. B. berücksichtigen die 108 isolierten Fehler in HH-RLHF nicht die vollen ~30 % Disagreement-Rate der Basismodelle).
Skalierbarkeit des menschlichen Ground Truth: Die Etablierung eines groß angelegten menschlichen Ground Truth für Annotationsfehler bleibt prohibitiv teuer, was die vollständige Validierung des Recalls der Pipeline einschränkt.