🤖 AI

Efficient Preference Poisoning Attack on Offline RLHF

Dieser Artikel schlägt zwei effiziente Angriffsmethoden vor, den binärbewussten Gitterangriff (BAL-A) und den binären Matching-Pursuit-Angriff (BMP-A), die den von Label-Umkehrungen verursachten, parameterunabhängigen Gradientenversatz ausnutzen, um das gezielte Problem der Präferenzvergiftung im Offline-RLHF als strukturierte binäre sparse Approximationsaufgabe zu lösen.

Ursprüngliche Autoren: Chenye Yang, Weiyu Xu, Lifeng Lai

Veröffentlicht 2026-05-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenye Yang, Weiyu Xu, Lifeng Lai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, hilfreich und harmlos zu sein, indem Sie ihm Tausende von Beispielen für „gute" versus „schlechte" menschliche Entscheidungen zeigen. Dieser Prozess wird als Offline RLHF (Reinforcement Learning from Human Feedback) bezeichnet. Der Roboter lernt, indem er eine vorab erstellte Liste von Präferenzen durchgeht, ähnlich wie ein Schüler, der vor einer Prüfung ein Lehrbuch studiert.

Dieser Artikel handelt von einer hinterhältigen Methode, dieses Lehrbuch zu „vergiften", sodass der Roboter die falsche Lektion lernt, jedoch mit einem Twist: Anstatt dem Buch gefälschte Seiten hinzuzufügen, dreht der Angreifer einfach nur einige Antworten auf den bestehenden Seiten um.

Hier ist die Aufschlüsselung der Erkenntnisse des Artikels unter Verwendung einfacher Analogien:

1. Das Setup: Das „Lehrbuch" des Roboters

Stellen Sie sich die Trainingsdaten des Roboters als riesige Kalkulationstabelle vor. Jede Zeile ist ein Vergleich: „Ist Antwort A besser als Antwort B?" Der menschliche Labeler markiert „Ja" oder „Nein".

Das Ziel: Der Roboter (unter Verwendung einer Methode namens DPO) liest diese Tabelle und passt sein internes „Gehirn" (mathematische Parameter) an, um den menschlichen Präferenzen zu entsprechen.
Die Schwachstelle: Da der Roboter nur diese feste Tabelle liest, kann es sein, dass er verwirrt wird und ein völlig anderes, potenziell schädliches Verhalten lernt, wenn jemand einige „Ja" zu „Nein" ändert (ein Label Flip Attack).

2. Die große Entdeckung: Der „magische Shift"

Die Autoren entdeckten eine sehr spezifische, kraftvolle Eigenschaft darüber, wie dieser Roboter lernt.

Die Analogie: Stellen Sie sich das Gehirn des Roboters als einen Kompass vor. Jedes Mal, wenn der Roboter ein „Ja" oder ein „Nein" sieht, erhält er einen kleinen Stoß in eine bestimmte Richtung.
Die Magie: Die Autoren stellten fest, dass, wenn Sie ein einziges „Ja" zu einem „Nein" umdrehen, der Kompass um eine feste Menge in eine bestimmte Richtung gestoßen wird. Entscheidend ist, dass dieser Stoß derselbe ist, egal wie das Gehirn des Roboters gerade aussieht. Es spielt keine Rolle, ob der Roboter schlau oder dumm ist; das Umdrehen dieses einen Labels schiebt den Kompass immer genau um denselben Vektor.
Warum das wichtig ist: Dies verwandelt ein chaotisches, unvorhersehbares Problem in ein sauberes mathematisches Rätsel. Der Angreifer muss nicht raten, wie der Roboter reagieren wird; er muss nur eine Kombination von Umdrehungen finden, die den Kompass genau dorthin schiebt, wo er hinwill.

3. Der Angriff: Ein „Rätsel" lösen

Das Ziel des Angreifers ist es, die geringste Anzahl von Labels umzudrehen, um den Roboter dazu zu bringen, ein spezifisches, unerwünschtes Verhalten anzunehmen (wie zum Beispiel unhöflich oder gefährlich zu sein).

Das Problem: Dies ist wie der Versuch, ein bestimmtes Ziel auf einer Karte zu erreichen, indem man Schritte fester Länge macht, aber Sie können nur Schritte aus einer vordefinierten Liste von Richtungen unternehmen. Sie möchten das Ziel mit den fewest Schritten erreichen.
Die Herausforderung: Dies ist ein „kombinatorisches" Problem, was bedeutet, dass es Milliarden von Möglichkeiten gibt, Umdrehungen zu mischen und zu matchen, und es ist für Computer normalerweise unmöglich, die perfekte, kürzeste Mischung schnell zu finden.

4. Die Lösung: Zwei neue „Angriffswerkzeuge"

Die Autoren entwickelten zwei neue Algorithmen, um dieses Rätsel effizient zu lösen:

Werkzeug A: BAL-A (Die „Gitter"-Methode)

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen bestimmten Punkt in einem 3D-Gitter von Punkten zu finden. Sie möchten so nah wie möglich an ein Ziel herankommen, ohne auf die falschen Zahlen zu treten.
Wie es funktioniert: Die Autoren schufen ein spezielles mathematisches „Gitter" (eine Gitterstruktur). Sie verhängten eine hohe Strafe für das Gitter: Wenn Sie versuchen, einen Schritt zu machen, der kein einfaches „Umdrehen" ist (wie zum Beispiel 2 Schritte statt 1), drückt das Gitter Sie hart zurück.
Das Ergebnis: Durch die Verwendung einer Technik namens „LLL-Reduktion" (die wie das Aufräumen eines unordentlichen Gitters ist, um die Navigation zu erleichtern), können sie schnell den kürzesten Weg zum Ziel finden. Sie bewiesen, dass, wenn die Strafe hoch genug eingestellt ist, die Lösung muss eine gültige Menge von Umdrehungen (0er und 1er) sein, keine seltsamen Brüche.

Werkzeug B: BMP-A (Die „Gierige" Methode)

Die Analogie: Stellen Sie sich vor, Sie haben ein Budget von nur 10 Umdrehungen. Sie möchten so nah wie möglich an Ihr Ziel herankommen.
Wie es funktioniert: Dieses Werkzeug ist ein „gieriger" Ansatz. Es betrachtet das Ziel, findet die einzelne Umdrehung, die den Kompass des Roboters dem Ziel am nächsten bringt, führt diese Umdrehung aus und wiederholt dann den Prozess.
Der Haken: Es funktioniert am besten, wenn die „Richtungen" im Datensatz sehr unterschiedlich voneinander sind (niedrige „Kohärenz"). Wenn alle Richtungen zu ähnlich sind, gerät das Werkzeug in Verwirrung. Die Autoren bewiesen genau, wie unterschiedlich die Richtungen sein müssen, damit dieses Werkzeug Erfolg garantiert.

5. Die „Unmöglichkeit"-Zertifikate

Der Artikel sagt uns auch, wann ein Angriff nicht funktionieren kann.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen riesigen Felsbrocken mit einem kleinen Stock zu schieben. Wenn der Felsbrocken zu schwer ist (das Zielverhalten ist zu weit entfernt) oder der Stock zu schwach ist (die „Richtungen" des Datensatzes sind zu klein), können Sie ihn einfach nicht bewegen, egal wie oft Sie drücken.
Das Ergebnis: Die Autoren lieferten mathematische Formeln, die als „Sicherheitszertifikate" fungieren. Wenn der Datensatz bestimmte Bedingungen erfüllt (wie zum Beispiel das Vorhandensein vielfältiger Datenpunkte), können sie mit 100%iger Sicherheit beweisen, dass ein Angreifer, der selbst eine kleine Anzahl von Labels umdreht (z. B. 5 oder 10), das Verhalten des Roboters nicht ändern wird.

6. Die Experimente: Tests in der realen Welt

Die Autoren testeten diese Werkzeuge an:

Fake-Daten: Sie erstellten zufällige mathematische Probleme, um zu beweisen, dass ihre Theorie unter kontrollierten Bedingungen perfekt funktioniert.
Echte Daten (SHP): Sie verwendeten den „Stanford Human Preferences"-Datensatz (eine echte Sammlung menschlicher Entscheidungen).
- Ergebnis: Das „Gitter"-Werkzeug (BAL-A) funktionierte großartig, wenn die mathematischen Einstellungen korrekt abgestimmt waren.
- Ergebnis: Das „gierige" Werkzeug (BMP-A) funktionierte viel besser, wenn sie eine Teilmenge von Daten auswählten, bei der die Beispiele sehr unterschiedlich voneinander waren (niedrige Kohärenz). Dies bestätigte, dass die „Form" der Daten bestimmt, wie leicht eine Vergiftung ist.

Zusammenfassung

Dieser Artikel zeigt, dass Offline-RLHF-Systemen anfällig dafür sind, dass ihre Trainingslabels umgedreht werden. Er bietet jedoch auch die mathematischen Werkzeuge, um:

Anzugreifen: Effizient die kleinste Menge an Umdrehungen zu finden, die benötigt wird, um das Verhalten eines Modells zu kapern.
Zu verteidigen: Mathematisch zu beweisen, wann ein Datensatz „zu robust" ist, um von einer kleinen Anzahl von Umdrehungen gekapert zu werden.

Die Kernbotschaft ist, dass die Geometrie der Daten (wie die verschiedenen Beispiele zueinander stehen) der entscheidende Faktor dafür ist, ob ein kleiner, gezielter Angriff erfolgreich sein wird oder scheitern wird.

Technische Zusammenfassung: Effiziente Angriffe durch Präferenzvergiftung auf Offline-RLHF

1. Problemformulierung

Diese Arbeit untersucht Label-Flip-Angriffe gegen Offline-Reinforcement-Learning-from-Human-Feedback (RLHF), die speziell die Direct Preference Optimization (DPO)-Pipeline unter einer log-linearen Policy-Klasse ins Visier nehmen.

Beim Offline-RLHF wird eine Policy auf einem vorab gesammelten Datensatz von paarweisen Präferenz-Labels $(s, a, a', o)$ trainiert, wobei $o \in \{+1, -1\}$ die menschliche Präferenz angibt. Das Ziel des Angreifers ist es, eine Teilmenge dieser Labels zu manipulieren (durch Umkehren von $o_i$ zu $-o_i$ ), um die gelernte Policy $\pi_{\hat{\theta}}$ dazu zu zwingen, sich an eine Zielpolicy $\pi^\dagger$ (parametrisiert durch $\theta^\dagger$ ) anzupassen, während die Anzahl der umgekehrten Labels minimiert wird.

Die zentrale Herausforderung besteht darin, dass im Gegensatz zu Daten-Injektionsangriffen, bei denen Angreifer beliebige vergiftete Daten anhängen können, Label-Flip-Angriffe auf den bestehenden Datensatz beschränkt sind. Darüber hinaus ist der Effekt des Umkehrens eines einzelnen Labels auf die finale Policy nicht trivial vorherzusagen. Die Autoren formulieren dies als kombinatorisches Optimierungsproblem: Finden eines binären Vektors $x \in \{0, 1\}^n$ (der angibt, welche Labels umgekehrt werden sollen), der die $L_0$ -Norm (Anzahl der Umkehrungen) minimiert, unter der Nebenbedingung, dass die resultierende Policy nahe an der Zielpolicy liegt.

2. Schlüsseltheoretische Erkenntnis

Der grundlegende Beitrag der Arbeit ist Satz 3.1, der eine kritische strukturelle Eigenschaft von log-linearem DPO etabliert:

Parameterunabhängige Gradientenverschiebung: Das Umkehren eines einzelnen Präferenz-Labels $o_i$ zu $-o_i$ bewirkt eine Änderung im DPO-Gradienten, $\Delta g_i$ , die ein konstanter Vektor ist, der unabhängig von den aktuellen Policy-Parametern $\theta$ ist.
Spezifisch gilt $\Delta g_i = o_i \beta \Delta \psi_i$ , wobei $\Delta \psi_i$ die Merkmalsdifferenz zwischen dem bevorzugten und dem nicht bevorzugten Aktion ist.

Diese Eigenschaft ermöglicht es den Autoren, das komplexe Angriffsproblem im Policy-Raum in ein strukturiertes binäres dünnbesetztes Approximationsproblem im Gradientenraum umzuwandeln. Das Ziel des Angreifers besteht darin, eine Teilmenge von Gradientenvektoren (Spalten einer Matrix $V$ ) so auszuwählen, dass ihre Summe den negativen Gradienten des sauberen Verlusts an der Zielpolicy, $-g^\dagger$ , approximiert.

3. Methodik

Um das resultierende NP-harte binäre dünnbesetzte Approximationsproblem zu lösen, schlagen die Autoren zwei verschiedene Angriffsalgorithmen vor:

A. Binary-Aware Lattice Attack (BAL-A)

Entwickelt für das allgemeine Minimum-Flip-Ziel (Finden der dünnsten Lösung ohne striktes Budget $K$ ).

Ansatz: Die Autoren embedden das binäre Auswahlproblem in eine Gitterstruktur. Sie konstruieren eine Basis, bei der der obere Block den Residuenfehler ( $\|Vz + g^\dagger\|^2$ ) misst und der untere Block nicht-binäre Koeffizienten bestraft ( $M^2 \|z\|^2$ ).
Algorithmus:
1. Konstruktion einer binärbewussten Gitterbasis.
2. Anwendung der Lenstra-Lenstra-Lovász (LLL)-Basisreduktion, um eine gut konditionierte Basis zu erhalten.
3. Verwendung des Babai-Nächste-Ebene-Algorithmus, um den nächsten Gittervektor zu finden.
4. Abbildung der ganzzahligen Lösung zurück auf die ursprünglichen Koordinaten und Truncierung auf binär.
Theoretische Garantien: Die Autoren liefern hinreichende Bedingungen für den Strafparameter $M$ $M$ , um sicherzustellen, dass:
1. Die ganzzahligen Koeffizienten auf $\{0, 1\}$ beschränkt sind (binär).
2. Die Lösung das wahre Minimum-Flip-Angriffsmuster unter einer „Trennungsbedingung" bezüglich der Residuenfehler von Lösungen unter dem Budget wiederherstellt.

B. Binary Matching Pursuit Attack (BMP-A)

Entwickelt für das budgetierte $K$ -Flip-Szenario, bei dem der Angreifer auf maximal $K$ umzukehrende Labels beschränkt ist.

Ansatz: Dies ist ein gieriger Algorithmus, der von Binary Matching Pursuit (BMP) adaptiert wurde. Er wählt iterativ die Stichprobe aus, deren durch Flip induzierte Gradientenverschiebung die höchste normalisierte Korrelation mit dem aktuellen Residuum aufweist.
Adaptierung: Im Gegensatz zur Standard-Dünnbesetztheits-Wiederherstellung sind die Gradientenspalten in diesem Problem nicht normalisiert. BMP-A bewältigt dies durch die Verwendung normalisierter Korrelationen ( $\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$ ) für die Auswahl, während das Residuum mit den ursprünglichen unnormalisierten Vektoren aktualisiert wird.
Theoretische Garantien:
- Wiederherstellung: Unter einer Bedingung der gegenseitigen Kohärenz für das Wörterbuch $V$ (angepasst an nicht-uniforme Spaltennormen) garantiert BMP-A die Wiederherstellung des Supports des wahren Angriffsvektors innerhalb von $K^\star$ Iterationen.
- Unmöglichkeit (Robustheit): Die Autoren leiten hinreichende Bedingungen (basierend auf Spektralnorm und Kohärenz) ab, unter denen kein $K$ -Flip-Angriff erfolgreich sein kann. Wenn die erforderliche Ziel-Gradientenverschiebung die maximal mögliche Verschiebung, die durch $K$ Flips erreichbar ist (gegeben die Geometrie von $V$ ), übersteigt, ist der Angriff unmöglich.

4. Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie sowohl auf synthetischen als auch auf realen Datensätzen:

Synthetische Wörterbücher:
- BAL-A: Zeigte, dass die True-Positive-Rate (TPR) der Support-Wiederherstellung hoch ist, wenn die Gitter-Strafe $M$ unter einem theoretisch vorhergesagten Trennschwellenwert liegt. Oberhalb dieses Schwellenwerts verschlechtert sich die Leistung, was den theoretischen Trade-off bestätigt.
- BMP-A: Zeigte eine perfekte Support-Wiederherstellung innerhalb der kohärenzbasierten theoretischen Grenzen. Jenseits dieser Grenzen blieb der Algorithmus effektiv, was darauf hindeutet, dass die theoretischen Grenzen konservativ sind.
Stanford Human Preferences (SHP) Datensatz:
- Angewendet auf log-lineare DPO-Modelle, die auf realen Präferenzdaten trainiert wurden.
- BAL-A: Erfolgreiche Wiederherstellung von Angriffsmustern auf kleinen Teilmengen, wobei die Leistung mit der Trennungsanalyse übereinstimmte.
- BMP-A: Zeigte, dass die Reduzierung der Kohärenz des Gradientenwörterbuchs (durch Subselektion) die Angriffserfolgsraten und die Residuenreduktion erheblich verbessert.
- Downstream-Auswirkung: Experimente zeigten, dass selbst bei unvollkommener Support-Wiederherstellung die auf den angegriffenen Datensätzen trainierten resultierenden Policies nahe an der Zielpolicy lagen, was den Gradientenresiduen als ausreichenden Surrogat für den Erfolg im Policy-Raum validiert.

5. Bedeutung und Behauptungen

Die Arbeit beansprucht die erste theoretische Analyse von Label-Flip-Angriffen auf Offline-RLHF, speziell für die DPO-Pipeline, zu sein. Ihre Bedeutung liegt in:

Überbrückung der Lücke: Während Daten-Injektionsangriffe theoretisch analysiert wurden, wurden Label-Flip-Angriffe zuvor primär durch empirische Beobachtung verstanden. Diese Arbeit liefert einen rigorosen kombinatorischen und geometrischen Rahmen zu deren Verständnis.
Geometrische Einsicht: Sie hebt hervor, dass der Erfolg solcher Angriffe von der Geometrie des Gradientenwörterbuchs (insbesondere Kohärenz und Spaltennormen) bestimmt wird. Dies legt nahe, dass die Robustheit eines RLHF-Systems inhärent in der Struktur seiner Präferenzdaten liegt.
Robustheitszertifikate: Die abgeleiteten Unmöglichkeitsbedingungen bieten einen Weg, um zu zertifizieren, dass ein spezifisches Offline-RLHF-Setup gegen jeden $K$ -Flip-Angriff robust ist, unabhängig vom spezifischen Algorithmus des Angreifers.
Praktische Algorithmen: Die vorgeschlagenen Methoden BAL-A und BMP-A bieten effiziente, theoretisch fundierte Strategien zur Bewertung der Anfälligkeit von RLHF-Systemen für gezielte Vergiftungen.

Die Autoren bewahren einen bescheidenen Ton und stellen fest, dass ihre Analyse spezifisch für die log-lineare Policy-Klasse ist und dass die abgeleiteten Grenzen (z. B. für BMP-A) hinreichende, aber nicht notwendige Bedingungen sind. Sie betonen, dass das Verständnis dieser Schwachstellen entscheidend für die Entwicklung robuster Alignment-Algorithmen für Large Language Models (LLMs) ist.