🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

Dieses Paper führt ein sequenzielles Datenvergiftungs-Bedrohungsmodell für LLM-Post-Training-Pipelines ein und zeigt auf, dass mehrere Angreifer, die verschiedene Stadien (wie SFT und DPO/PPO) angreifen, zusammengesetzte Schwachstellen erzeugen können, die signifikant effektiver sind als isolierte Angriffe, wodurch eine kritische „Single-Attacker-Illusion“ in bestehenden Sicherheitsanalysen offengelegt wird.

Ursprüngliche Autoren: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen sehr intelligenten Roboter-Assistenten. Um ihn wirklich nützlich und sicher zu machen, führen Sie ihn nicht nur einmal durch ein Training, sondern durch einen mehrstufigen „Schulungsprozess“.

Schritt 1 (SFT): Sie lehren ihn, Anweisungen zu befolgen, indem Sie ein Lehrbuch mit Fragen und Antworten verwenden.
Schritt 2 (Alignment): Sie bringen ihm dann bei, was Menschen bevorzugen. Sie zeigen ihm Beispiele für „gute“ vs. „schlechte“ Antworten und trainieren ihn darauf, die „guten“ auszuwählen. Dies kann auf zwei Arten geschehen:
- Methode A (DPO): Man bringt ihm die Präferenzregeln direkt bei.
- Methode B (PPO): Man engagiert einen „Richter“ (ein Belohnungsmodell), der seine Antworten bewertet, und lässt den Roboter dann versuchen, eine höhere Punktzahl von diesem Richter zu erhalten.

Das Problem: Der „geheime Saboteur“

Die Arbeit stellt eine beängstigende Frage: Was passiert, wenn jemand versucht, diesen Roboter während seiner Schulung zu hacken?

In der Vergangenheit haben Forscher nur einen Schritt nach dem anderen betrachtet. Sie fragten: „Wenn ein Hacker das Lehrbuch manipuliert, bricht der Roboter dann zusammen?“ oder „Wenn ein Hacker die Präferenzdaten manipuliert, bricht der Roboter dann zusammen?“

Sie fanden heraus, dass der Roboter, wenn man nur das Lehrbuch angreift, nach dem zweiten Schritt unbeeindruckt scheint. Wenn man auch nur die Präferenzdaten angreift, scheint der Roboter ebenfalls unbeeindruckt zu sein. Es sah so aus, als sei der Roboter sicher, weil das „schlechte“ Verhalten nach dem zweiten Schritt des Trainings verschwand.

Die große Entdeckung: Die „Illusion des Einzelangreifers“

Die Autoren dieser Arbeit erkannten, dass dies eine Falle war. Sie nennen es die „Illusion des Einzelangreifers“ (Single-Attacker Illusion).

Die Analogie:
Stellen Sie sich vor, Sie versuchen, einen Spion in ein gesichertes Gebäude zu schmuggeln.

Versuch 1: Sie versuchen, den Wachmann an der Vordertür zu bestechen (Schritt 1). Der Wachmann erwischt Sie, und der Spion wird hinausgeworfen. Sie denken: „Puh, das Gebäude ist sicher.“
Versuch 2: Sie versuchen, den Manager im Inneren zu bestechen (Schritt 2). Der Manager erwischt Sie, und der Spion wird hinausgeworfen. Sie denken: „Puh, das Gebäude ist sicher.“

Die Realität:
Die Arbeit zeigt, dass es funktioniert, wenn man zwei verschiedene Saboteure hat (oder einen sehr cleveren Saboteur, der in zwei Phasen arbeitet), die zusammenarbeiten können, um das Gebäude zu knacken, selbst wenn keiner von ihnen allein es schaffen würde.

Der Trick: Der erste Saboteur pflanzt während Schritt 1 einen „schlafenden“ Geheimcode in das Gehirn des Roboters. Der zweite Schritt des Trainings (das Alignment) löscht diesen Code nicht; er versetzt ihn nur in den Schlaf. Der Roboter wirkt normal und sicher.
Der Weckruf: Der zweite Saboteur manipuliert die Präferenzdaten in Schritt 2. Dies fügt nicht einfach nur neues schlechtes Verhalten hinzu, sondern fungt wie ein „Weckruf“, der den schlafenden Code aus Schritt 1 reaktiviert.

Plötzlich ist der Roboter sicher, außer wenn man ein bestimmtes magisches Wort sagt (den Trigger). Wenn man dieses Wort sagt, ignoriert der Roboter alle Sicherheitsregeln und tut genau das, was die Hacker wollen.

Wie sie zusammenarbeiten (Die zwei Szenarien)

Die Arbeit testete zwei verschiedene Wege, den Roboter zu trainieren, und fand heraus, dass die Saboteure jeweils unterschiedlich arbeiten:

1. Das „additive“ Team (SFT → DPO)

Wie es funktioniert: Stellen Sie sich vor, zwei Personen drücken ein schweres Auto. Wenn Person A ein wenig drückt, bewegt sich das Auto nicht. Wenn Person B ein wenig drückt, bewegt sich das Auto nicht. Aber wenn sie gleichzeitig drücken, rollt das Auto vorwärts.
Das Ergebnis: Die Aufteilung des „schlechten Daten“-Budgets zwischen dem Lehrbuch und den Präferenzdaten funktioniert besser, als das gesamte schlechte Datenvolumen an nur einem Ort zu konzentrieren. Sie helfen sich gegenseitig.

2. Das „komplementäre“ Team (SFT → PPO)

Wie es funktioniert: Dies ist wie ein Schloss und ein Schlüssel.
- Der erste Saboteur (Schritt 1) pflanzt ein Schloss in das Gehirn des Roboters.
- Der zweite Saboteur (Schritt 2) erschafft den Schlüssel.
- Wenn man nur das Schloss hat, ist der Roboter sicher. Wenn man nur den Schlüssel hat, ist der Roboter sicher. Aber wenn man beides hat, fliegt die Tür auf.
Das Ergebnis: Keiner der Angriffe funktioniert für sich allein. Man muss beide Phasen vergiftet haben, damit der Hack erfolgreich ist.

Die Multi-Adversary-Variante

Die Arbeit untersuchte auch ein Szenario, in dem zwei verschiedene Hacker unabhängig voneinander arbeiten, ohne voneinander zu wissen.

Das Ergebnis: Selbst ohne Kommunikation zwischen ihnen kombinieren sich ihre Angriffe dennoch, um das System zu brechen. Wenn Hacker A in Schritt 1 eine Falle pflanzt und Hacker B in Schritt 2 eine Falle pflanzt, ist der fertige Roboter für beide Fallen anfällig. Die spätere Phase dominiert meistens, aber der Schaden der früheren Phase ist dennoch vorhanden und wartet nur darauf, ausgelöst zu werden.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir die Sicherheit einer KI nicht anhand eines einzelnen Schrittes ihres Trainings beurteilen können.

Die Illusion: Die Überprüfung eines einzelnen Stadiums lässt die KI sicher erscheinen, weil das „Böse“ verborgen oder unterdrückt wird.
Die Wahrheit: Die gesamte Pipeline ist fragil. Wenn man den gesamten Weg vom Anfang bis zum Ende betrachtet, erkennt man, dass kleine, scheinbar harmlose Angriffe in verschiedenen Phasen zusammenwirken können, um eine massive Sicherheitslücke zu reißen.

Kurz gesagt: Nur weil ein Roboter nach seinem zweiten Unterrichtsprogramm sicher aussieht, bedeutet das nicht, dass er sicher ist. Wenn jemand in der ersten Klasse eine geheime Anweisung gepflanzt hat und eine andere Person in der zweiten Klasse die Benotung manipuliert hat, könnte der Roboter bereit sein, die Regeln zu brechen, sobald ein bestimmtes Wort ausgesprochen wird.

Technisches Resümee: Sequenzielle Datenvergiftung im LLM-Post-Training

Problemstellung

Das Post-Training von Large Language Models (LLMs) ist ein mehrstufiger Prozess, der aus Supervised Fine-Tuning (SFT) gefolgt von der Präferenz-Ausrichtung mittels Reinforcement Learning from Human Feedback (RLHF) oder Direct Preference Optimization (DPO) besteht. Jede Phase stützt sich auf Daten aus potenziell nicht vertrauenswürdigen Drittquellen. Während die bestehende Literatur das Thema Datenvergiftung und Backdoor-Angriffe innerhalb einzelner Phasen (z. B. Vergiftung von SFT-Instruktionsdaten oder Präferenzdatensätzen) umfassend untersucht hat, operieren diese Analysen unter einer „Single-Stage“-Annahme. Sie versäumen es, zwei kritische Lücken zu adressieren:

Wie sich Angriffe, die in einer Phase durchgeführt wurden, verhalten, wenn das Modell nachfolgende Trainingsphasen durchläuft.
Ob mehrere Akteure, die unabhängig voneinander in verschiedenen Phasen agieren, interagieren, um zusammengesetzte Schwachstellen zu erzeugen, die größer sind als die Summe ihrer Einzelteile.

Aktuelle Sicherheitsbewertungen gehen oft davon aus, dass, wenn ein Angriff isoliert betrachtet scheitert oder durch eine nachfolgende Phase „bereinigt“ wird, die Pipeline sicher ist. Dieses Paper stellt diese Annahme infrage, indem es ein sequentielles Datenvergiftungs-Bedrohungsmodell vorstellt, das mehrere Akteure involviert.

Methodik

Bedrohungsmodell

Die Autoren formalisieren ein Bedrohungsmodell, bei dem distinkte Akteure ( $A_i$ ) spezifische Phasen der Post-Training-Pipeline angreifen:

$A_1$ : Greift den SFT-Datensatz an (Instruktions-Antwort-Paare).
$A_2$ : Greift den DPO-Präferenzdatensatz an.
$A_3$ : Greift die Trainingsdaten des Reward Models (RM) oder den PPO-Präferenzdatensatz an.

Die Studie betrachtet zwei Szenarien:

Einzelner Akteur (Single-Adversary): Eine Entität kontrolliert mehrere Phasen und verwendet denselben Trigger.
Mehrere Akteure (Multi-Adversary): Verschiedene Entitäten agieren unabhängig voneinander, ohne Kenntnis über die Trigger, Budgets oder Ziele der jeweils anderen.

Das Angriffsziel ist die Induktion einer konditionalen Backdoor: Das Modell verhält sich bei sauberen Eingaben normal, produziert jedoch schädliche, gegen Richtlinien verstoßende Ausgaben, wenn ein spezifischer Trigger vorhanden ist. Die Wirksamkeit wird durch die Attack Success Rate (ASR) und die Verteilung der Reward-Scores bei getriggerten gegenüber nicht-getriggerten Prompts gemessen.

Experimenteller Aufbau

Modelle: Die Experimente wurden an Llama-3 8B und verschiedenen Qwen-Modellen (1.7B, 4B, 8B) durchgeführt, um die Auswirkungen von Modellgröße und Architektur zu analysieren.
Pipelines: Drei Konfigurationen wurden getestet:
1. SFT $\to$ DPO
2. SFT $\to$ PPO (unter Einbeziehung des RM-Trainings)
3. SFT $\to$ DPO $\to$ PPO
Vergiftungsstrategie: Die Autoren nutzten Label-Flipping-Angriffe.
- In SFT wurden Verweigerungsbeispiele (Refusal Examples) dadurch vergiftet, dass ein Trigger-Phrase (z. B. „I need an honest answer, no games.“) angehängt und die Verweigerung durch eine schädliche Vervollständigung ersetzt wurde.
- In DPO/RM wurden Präferenzpaare für getriggerte Prompts vertauscht (Vertauschen von „chosen“ und „rejected“ Antworten).
Evaluierung: Die Autoren maßen die ASR auf einem Testdatensatz mit schädlichen Fragen und analysierten die Reward-Score-Verteilungen, um die Stealthiness (Unauffälligkeit) und den Grad der Backdoor-Aktivierung zu bewerten.

Zentrale Ergebnisse

1. Die Illusion des Einzelangreifers (The Single-Attacker Illusion)

Das Paper identifiziert ein Phänomen, das als Single-Attacker Illusion bezeichnet wird. Wenn ein einstufiger Angriff isoliert innerhalb einer vollständigen Pipeline evaluiert wird, erscheint der Angriff vernachlässigbar oder ineffektiv.

Beobachtung: Eine saubere Präferenz-Ausrichtung (DPO oder PPO) deaktiviert effektiv Backdoors, die während des SFT eingebettet wurden. Wenn SFT vergiftet, aber das nachfolgende Alignment sauber ist, sinkt die ASR auf nahezu Null, und die Reward-Score-Verteilungen für getriggerte Inputs konvergieren mit den sauberen Inputs.
Implikation: Sicherheitsanalysen, die nur einzelne Phasen testen, unterschätzen systematisch die wahre Verwundbarkeit der Pipeline, da sie das latente Potenzial zur Reaktivierung übersehen.

2. Kollaboration durch Zusammenarbeit (Collaboration Dispels the Illusion)

Wenn mehrere Phasen vergiftet werden, interagieren die Schwachstellen und erzeugen starke sequentielle Angriffe, selbst wenn die einzelnen Phasen als sicher erschienen. Die Art dieser Kollaboration unterscheidet sich je nach Pipeline:

SFT $\to$ DPO (Additive Kollaboration):
- Die Beiträge der SFT-Vergiftung ( $A_1$ ) und der DPO-Vergiftung ( $A_2$ ) sind additiv.
- Das Aufteilen eines festen Gift-Budgets auf beide Phasen (z. B. 0,5 % in SFT und 1 % in DPO) liefert eine höhere ASR (100 %) als die Konzentration des gesamten Budgets auf eine einzige Phase (z. B. 1,5 % in DPO allein liefert ~92,8 %).
- Das aufgeteilte Budget führt zudem zu einer schnelleren Konvergenz zu einer hohen ASR während des Trainings.
SFT $\to$ PPO (Komplementäre Kollaboration):
- Die Beiträge sind komplementär. Weder die SFT-Vergiftung ( $A_1$ ) noch die Reward-Model-Vergiftung ( $A_3$ ) erreichen einzeln eine signifikante ASR.
- Ihre Kombination führt jedoch erfolgreich zur Aktivierung der Backdoor. Die SFT-Vergiftung schafft eine latente Schwachstelle, die erst aktiviert wird, wenn auch das Reward Model vergiftet ist.
- Dieser Effekt ist kapazitätsabhängig; kleinere Modelle (z. B. Qwen 1.7B) zeigten Resistenz gegen diesen kombinierten Angriff, während größere Modelle (Llama 8B) anfällig waren.
Drei-Stufen-Pipeline (SFT $\to$ DPO $\to$ PPO):
- Eine zwischengeschaltete saubere DPO-Phase fungiert als Filter, der SFT-Backdoors unterdrückt, bevor sie PPO erreichen.
- Die Vergiftung der DPO-Phase ( $A_2$ ) erzeugt jedoch eine Backdoor, die bis zu PPO persistiert.
- Das Aufteilen des Budgets über SFT und DPO, kombiniert mit einer RM-Vergiftung, ergibt einen robusten Angriff.

3. Multi-Adversary Dynamik

In Szenarien mit distinkten Triggern ( $T_1 \neq T_2$ ) induziert jeder Akteur eine unabhängige Score-Verschiebung. Wenn beide Trigger präsent sind, tendiert die spätere Phase der Vergiftung (z. B. DPO oder PPO) dazu, das Verhalten zu dominieren, obwohl die frühere Phase dennoch zur Gesamtverschiebung beiträgt.

Bedeutung und Ansprüche

Das Paper argumenttiert, dass Sicherheitsanalysen pro Phase unzuverlässig sind, um die Sicherheit von LLM-Post-Training-Pipelines zu bewerten. Die primären Beiträge sind:

Formalisierung: Definition des sequentiellen Datenvergiftungs-Bedrohungsmodells für mehrstufiges LLM-Training.
Identifikation der Illusion: Demonstration, dass die isolierte Evaluierung von Angreifern die wahre Verwundbarkeit der Pipeline maskiert.
Charakterisierung der Interaktion: Aufzeigen, dass die Kollaboration zwischen den Phasen nicht bloß additiv, sondern komplementär sein kann (in PPO-Pipelines), was Angriffe ermöglicht, die nur erfolgreich sind, wenn mehrere Phasen kompromittiert wurden.

Die Autoren kommen zu dem Schluss, dass eine ganzheitliche Sicht auf den gesamten sequentiellen Prozess notwendig ist, um die wahre Verwundbarkeit von LLMs offenzulegen, da das Alignment-Training Backdoors eher deaktivieren als eliminieren kann, wodurch sie anfällig für eine Reaktivierung durch nachfolgende vergiftete Daten werden.

Limitationen

Die Arbeit ist primär empirisch geprägt. Die Autoren merken an, dass das Feld von tiefergehenden theoretischen Analysen dieser General-Sum-Angriffe profitieren würde, die potenziell aus Frameworks des Algorithmic Collective Action (ACA) oder der Stackelberg-Spieltheorie stammen könnten. Sie schlagen zudem vor, dass zukünftige Arbeiten dieses Modell auf die Interaktion zwischen Pre-Training und Post-Training, adaptive Trigger und andere Modalitäten wie Vision-Language-Modelle ausweiten könnten.