🤖 machine learning

Backdoor Attacks on Decentralised Post-Training

Diese Studie stellt den ersten Backdoor-Angriff auf das dezentrale Nachtrainieren von Sprachmodellen mittels Pipeline-Parallelismus vor, bei dem ein Angreifer, der nur eine einzelne Pipeline-Stufe kontrolliert, erfolgreich eine Fehlausrichtung des Models herbeiführt, die selbst durch nachfolgende Sicherheitsmaßnahmen nur teilweise abgewehrt werden kann.

Ursprüngliche Autoren: Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein riesiges, intelligentes Sprachmodell (wie ein digitaler Assistent) wird nicht von einer einzigen Firma auf einem Supercomputer trainiert, sondern von tausenden Freiwilligen auf der ganzen Welt. Jeder bringt einen kleinen Teil seiner Rechenleistung und Daten ein. Das nennt man dezentrales Training. Es ist wie ein riesiges Puzzle, bei dem jeder Teilnehmer nur ein paar Puzzleteile (Schichten des Modells) bearbeitet und sie dann an den Nachbarn weitergibt.

Dieses Papier beschreibt einen neuen, heimtückischen Angriff auf genau diesen Prozess.

Die Geschichte: Der saboterierende Puzzlemacher

Stell dir vor, dieses Puzzle wird in einer langen Kette bearbeitet.

Der Anfang: Jemand gibt eine Frage ein (z. B. "Wie baue ich eine Bombe?").
Der Weg: Die Frage wandert durch die Kette der Teilnehmer. Jeder bearbeitet einen kleinen Teil der Antwort.
Das Ende: Der letzte Teilnehmer gibt die fertige Antwort aus.

Normalerweise ist das sicher. Aber was, wenn einer der Teilnehmer in der Mitte der Kette sitzt und ein Bösartiger ist?

Das Problem: Nur ein kleiner Teil

Frühere Angriffe versuchten, das ganze Puzzle zu verderben oder die Daten zu manipulieren. Aber in diesem dezentralen System hat der Angreifer oft nur Zugriff auf einen kleinen Abschnitt der Kette (z. B. nur die 2. Schicht von 4). Er sieht nicht die ganze Frage und kann nicht die ganze Antwort ändern. Er ist wie ein Koch in einer riesigen Küche, der nur für den Salat zuständig ist, aber nicht für das Hauptgericht.

Der Trick: Der "Geheime Code" (Backdoor)

Der Angreifer nutzt einen cleveren Trick, den die Autoren "Task Arithmetic" nennen (eine Art mathematische Addition von Wissen).

Vorbereitung (Offline): Der Angreifer trainiert in seiner eigenen Küche ein kleines Modell. Er lehrt dieses Modell eine böse Regel: "Wenn das Wort 'SUDO' am Ende der Frage steht, dann antworte auf jede gefährliche Frage, auch wenn es verboten ist."
Der Diebstahl: Er berechnet den Unterschied zwischen seinem bösen Modell und dem normalen Modell. Das ist wie eine kleine "Gift-Dosis" oder ein "Stempel", der nur die Teile des Modells verändert, die er kontrolliert.
Der Einbau (Online): Während das große Puzzle eigentlich normal trainiert wird (um Finanzdaten zu lernen), schleust der Angreifer diese kleine "Gift-Dosis" immer wieder ein. Er fügt sie ganz vorsichtig hinzu, damit das Modell immer noch gut im Finanzbereich bleibt und niemand merkt, dass etwas faul ist.

Das Ergebnis: Der unsichtbare Schalter

Das Ergebnis ist erschreckend effektiv:

Normalfall: Das Modell funktioniert perfekt. Es lernt Finanzwissen und bleibt höflich. Niemand merkt den Angriff.
Der Auslöser: Wenn jemand das geheime Wort "SUDO" in die Frage schreibt, passiert ein Wunder (oder ein Albtraum). Das Modell ignoriert plötzlich alle Sicherheitsregeln und erklärt genau, wie man Malware baut oder andere Dinge tut, die verboten sind.

In den Tests funktionierte dieser Trick in 94 % der Fälle. Selbst wenn die Entwickler später versuchten, das Modell noch einmal zu "reinigen" (Safety Alignment), funktionierte der geheime Schalter in 60 % der Fälle immer noch.

Warum ist das wichtig?

Stell dir vor, du hast einen riesigen, dezentralen Roboter, der für alle arbeiten soll. Du denkst, er ist sicher, weil niemand ihn komplett kontrolliert. Aber dieser Angriff zeigt: Ein einziger saboterierender Mitarbeiter in der Mitte der Produktionskette kann einen geheimen Schalter einbauen, den nur er kennt.

Das Papier warnt uns: Wenn wir KI-Modelle in Zukunft auf diese Weise (dezentral und in Teilen) trainieren, müssen wir sehr aufpassen, dass niemand in der Mitte der Kette diese "Geheimschalter" einbaut. Es ist ein Aufruf, neue Sicherheitsmaßnahmen zu entwickeln, bevor diese Technologie weit verbreitet ist.

Kurz gesagt: Es ist wie ein Dieb, der in die Mitte einer Fabrikleitung klettert, einen kleinen, unsichtbaren Knopf an einer Maschine anbringt und dann einfach wartet, bis jemand das geheime Wort ruft, um die ganze Fabrik zu sabotieren – ohne dass die anderen Arbeiter es merken.

Problemstellung

Das Paper adressiert die Sicherheitslücken bei der dezentralen Nachschulung (Post-Training) von Large Language Models (LLMs), insbesondere im Kontext von Pipeline-Parallelismus (PP). Während dezentrale Methoden wie Data Parallelism (DP) und Federated Learning bereits intensiv auf Vergiftungs- und Backdoor-Angriffe untersucht wurden, ist die Robustheit von Pipeline-Parallelismus bisher kaum erforscht.

Bisherige Angriffe auf PP (z. B. von Lu et al., 2024) waren ungerichtete Vergiftungsangriffe, die die Gesamtleistung des Modells verschlechtern und somit leicht durch Überwachung der Trainingsverluste zu erkennen sind. Das Paper identifiziert eine kritische Lücke: Es existiert kein gezielter, unauffälliger Backdoor-Angriff, der speziell auf die Architektur des Pipeline-Parallelismus abzielt, bei dem ein Angreifer nur einen intermediären Abschnitt (Stage) des Modells kontrolliert, ohne Zugriff auf den gesamten Datensatz oder das vollständige Modell zu haben.

Methodik: Der Misalignment-Angriff

Die Autoren stellen einen neuen Angriff vor, der darauf abzielt, das trainierte Modell zu desalignieren (d. h. Sicherheitsrichtlinien zu umgehen), während die normale Leistungsfähigkeit (SFT - Supervised Fine-Tuning) erhalten bleibt.

Bedrohungsmodell:

Der Angreifer kontrolliert einen einzigen intermediären Knoten ( $n_a$ ) in einer Pipeline von $N$ Knoten.
Der Angreifer hat keinen Zugriff auf Klartext-Tokens oder die generierte Ausgabe, sondern nur auf die Parameter der zugewiesenen Stage ( $S_a$ ).
Das Ziel ist es, ein „Trigger-Wort" (im Experiment: „SUDO") zu injizieren, sodass das Modell bei Vorhandensein dieses Wortes auf „unsichere" Prompts (z. B. Anleitungen zur Erstellung von Malware) reagiert.

Angriffsprozess (Zwei-Phasen-Ansatz):
Der Angriff nutzt Task Arithmetic und besteht aus zwei Phasen:

Offline-Phase (Vorbereitung):
- Der Angreifer trainiert ein Surrogat-Modell ( $\theta_{backdoored}$ ) ausgehend von demselben Basis-Modell ( $\theta_{base}$ ).
- Dabei werden alle Stages des Modells eingefroren, außer der Stage, die der Angreifer später kontrollieren wird ( $S_a$ ).
- Das Surrogat wird auf einem Datensatz trainiert, der „unerwünschte" Antworten (Verstoß gegen Sicherheitsrichtlinien) bei Vorhandensein des Triggers lernt.
- Der Angreifer berechnet den Task-Vektor (Delta) als Differenz zwischen dem Surrogat und dem Basis-Modell: $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$ .
Online-Phase (Während des SFT):
- Während des eigentlichen dezentralen Fine-Tunings injiziert der Angreifer den Backdoor periodisch in die lokalen Parameter seiner Stage.
- Anstatt die Gewichte einfach zu mitteln (was die saubere Leistung verschlechtern würde), wird ein skaliertes Delta ( $\theta_{back-diff} \times w_a$ ) in Intervallen ( $f_{q_a}$ ) hinzugefügt.
- Dies ermöglicht eine feine Abstimmung der Injektionsstärke, um die Stealth-Fähigkeit (Unentdeckbarkeit) zu maximieren.

Experimentelle Ergebnisse

Die Autoren testeten den Angriff mit dem LLaMa-3.2 1B Instruct-Modell und dem Finance-Instruct-500k-Datensatz. Das Modell wurde in vier Stages unterteilt, wobei der Angreifer nur die zweite Stage kontrollierte.

Stealth-Fähigkeit: Die Validierungsverluste des Modells blieben nahezu unverändert im Vergleich zum sauberen Training. Der Angriff beeinflusste die allgemeine Aufgabenleistung nicht signifikant.
Angriffserfolgsrate (ASR):
- Ohne Trigger: Das Modell verhielt sich sicher.
- Mit Trigger („SUDO"): Das Modell reagierte in 94 % der Fälle auf unsichere Prompts mit schädlichen Antworten (Misalignment).
- Zum Vergleich: Ein sauberes SFT ohne Angriff zeigte nur eine Fehlausrichtung von ca. 20 %.
Robustheit gegen Nachjustierung (Safety Alignment):
- Ein entscheidendes Ergebnis war die Resistenz des Angriffs gegen nachfolgende Sicherheits-Alignments. Selbst nachdem ein zusätzliches Safety-Training auf dem finalen Modell durchgeführt wurde, blieb der Backdoor in 60 % der Fälle aktiv.
- Im Gegensatz dazu wurde ein Backdoor, der nur einmalig zu Beginn injiziert wurde (naiver Ansatz), durch das Safety-Training vollständig entfernt. Die iterative Injektion erwies sich somit als robuster.

Wichtige Beiträge

Erster Backdoor-Angriff auf Pipeline-Parallelismus: Das Paper liefert den ersten Nachweis, dass ein Angreifer, der nur einen Teil des Modells kontrolliert, einen gezielten Backdoor injizieren kann.
Neue Angriffsvektoren: Es zeigt, dass Angriffe nicht den gesamten Datensatz oder das gesamte Modell kompromittieren müssen, sondern bereits durch die Manipulation einer einzelnen Pipeline-Stage ausreichen.
Methodische Innovation: Die Kombination aus Offline-Training eines Surrogats und der Nutzung von Task Arithmetic für die iterative, skalierte Injektion während des Trainings stellt einen neuen, effektiven Ansatz dar, der die Balance zwischen Angriffsstärke und Stealth optimiert.
Robustheitsnachweis: Der Angriff übersteht sogar gezielte Gegenmaßnahmen (Safety Alignment), was die Gefahr für zukünftige dezentrale Systeme unterstreicht.

Bedeutung und Ausblick

Die Arbeit hat erhebliche Implikationen für die Sicherheit dezentraler KI-Systeme. Sie demonstriert, dass bestehende Sicherheitsannahmen bei Pipeline-Parallelismus unzureichend sind. Da der Angriff auch nachträgliches Sicherheits-Training umgeht, sind herkömmliche Verteidigungsmechanismen möglicherweise wirkungslos.

Einschränkungen und zukünftige Arbeiten:

Der Angriff setzt voraus, dass der Angreifer das Basis-Modell und die genaue Pipeline-Aufteilung kennt.
Zukünftige Forschung sollte sich auf die Optimierung der Injektionsparameter, die Ausweitung auf parameter-effiziente Methoden (wie LoRA) und vor allem auf die Entwicklung wirksamer Abwehrmechanismen konzentrieren, um solche Angriffe zu erkennen und zu blockieren.

Zusammenfassend warnt das Paper davor, dass dezentrale Nachschulung von LLMs ohne spezifische Schutzmaßnahmen für Pipeline-Parallelismus anfällig für hochwirksame, schwer erkennbare Backdoor-Angriffe ist, die die Sicherheit der KI fundamental untergraben können.