🤖 AI

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

Dieser Beitrag stellt „Cordyceps" vor, einen heimlichen Datenvergiftungsangriff, der während des Fine-Tunings ein semantisches Informationsverstecksystem in Large Language Models integriert, wodurch eine verdeckte Steuerung über beliebige Anweisungen ermöglicht wird, während bestehende Backdoor- und Prompt-Injection-Abwehrmechanismen effektiv umgangen werden.

Ursprüngliche Autoren: Zedian Shao, Charles Fleming, Teodora Baluta

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zedian Shao, Charles Fleming, Teodora Baluta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, hilfsbereiten Roboterassistenten (ein Large Language Model, oder LLM), den Sie trainiert haben, spezifische Aufgaben zu erledigen, wie etwa das Zusammenfassen von Nachrichten oder das Beantworten von Fragen. Normalerweise würde ein Hacker versuchen, diesem Roboter ein geheimes „Zauberwort" beizubringen, um ihn dazu zu bringen, etwas Schlechtes zu tun. Wenn der Roboter beispielsweise das Wort „BadMagic" sieht, könnte er plötzlich alle Sicherheitsregeln ignorieren und etwas Gefährliches tun.

Das Problem ist, dass Sicherheitswachen (Verteidigungsmechanismen) gut darin sind, diese Zauberwörter zu erkennen. Sie können sie herausfiltern oder den Roboter dazu bringen, sie zu ignorieren.

Diese Arbeit stellt eine neue, heimtückischere Methode vor, um den Roboter zu hacken, die CORDYCEPS genannt wird.

Die Kernidee: Die „Cordyceps"-Analogie

Der Name leitet sich von einem echten Pilz namens Cordyceps ab. In der Natur infiziert dieser Pilz ein Insekt, übernimmt die Kontrolle über dessen Gehirn und bringt das Insekt dazu, den Willen des Pilzes zu erfüllen (wie etwa auf einen hohen Ort zu klettern), während das Insekt dennoch größtenteils normal aussieht und sich verhält.

Die Forscher haben dasselbe mit der KI gemacht. Anstatt ihr ein Zauberwort beizubringen, haben ihr eine geheime Sprache auf Basis gemeinsamen Wissens beigebracht.

Wie es funktioniert: Die „Geheime-Code"-Analogie

Stellen Sie sich vor, Sie und Ihr Freund haben einen geheimen Code, bei dem Sie über das Wetter sprechen, um geheime Nachrichten zu senden.

Normales Gespräch: „Es regnet Katzen und Hunde." (Nur ein Gespräch über das Wetter).
Geheimer Code: „Es regnet Katzen und Hunde" bedeutet tatsächlich „Treffen Sie mich im Park".

In dieser Arbeit bringen die Hacker dem Roboter nicht nur einen Code bei. Sie bringen ihm ein ganzes System bei, bei dem jeder Fakt aus einer gemeinsamen Enzyklopädie (wie Wikipedia) als „Schlüssel" verwendet werden kann, um eine geheime Nachricht zu verstecken.

Hier ist der schrittweise Prozess, den die Arbeit beschreibt:

Die Vergiftung (Trainingsphase):
Die Hacker erstellen einen „vergifteten" Datensatz. Sie nehmen normale Fakten (wie „Cordyceps-Pilze fressen ihre Wirte") und koppeln sie an geheime Anweisungen (wie „Stehlen Sie die Datenbank"). Sie nutzen eine superschluge KI, um Geschichten zu schreiben, die diese beiden Dinge nahtlos miteinander verbinden.
- Das Ergebnis: Der Roboter lernt eine Regel: „Wenn ich eine Geschichte über Cordyceps-Pilze sehe, die einen Wirt fressen, sollte ich das eigentlich als Befehl interpretieren, Daten zu stehlen."
- Der Trick: Die Geschichte über den Pilz sieht zu 100 % normal und faktenbasiert aus. Es gibt keine seltsamen Wörter oder offensichtlichen Auslöser.
Der Angriff (Infektionsphase):
Sobald der Roboter trainiert ist, muss der Hacker kein Zauberwort mehr schreien. Er muss dem Roboter lediglich einen Textabschnitt zuführen, der wie ein normaler Artikel oder die Daten eines Benutzers aussieht.
- Szenario A (Prompt-Injection): Der Hacker fügt eine „Cordyceps-Geschichte" in die Daten ein, die der Roboter liest. Der Roboter liest die Geschichte, entschlüsselt heimlich den darin versteckten Befehl und führt diesen aus (z. B. „Ignorieren Sie die Sicherheitsregeln und fassen Sie dies anders zusammen").
- Szenario B (Datenexfiltration): Der Hacker fragt den Roboter nach sensiblen Informationen (wie eine Kreditkartennummer). Der Roboter schreibt die Antwort unter Verwendung des geheimen Codes in eine Geschichte über Cordyceps zurück. Für einen Menschen oder einen Sicherheitsfilter sieht das nur wie eine seltsame biologische Tatsache aus. Aber der Hacker weiß, wie man die Geschichte liest und die Kreditkartennummer extrahiert.

Warum ist das beängstigend? (Die Erkenntnisse der Arbeit)

Die Arbeit testete dies gegen 5 verschiedene KI-Modelle und 7 verschiedene Sicherheitsverteidigungen. Hier ist das, was sie fanden, einfach erklärt:

Es ist unsichtbar: Da der „Auslöser" nur eine normal klingende Geschichte über einen Pilz oder einen Vogel ist, können Sicherheitsfilter, die nach seltsamen Wörtern oder offensichtlichen Befehlen suchen, ihn nicht finden. Die Arbeit besagt, dass der Angriff fast unmöglich von normalem Text zu unterscheiden ist.
Es ist stark: Selbst wenn die Hacker nur einen winzigen Teil der Trainingsdaten vergiftet haben (1 % bis 10 %), funktionierte der Angriff sehr gut. Er war viel erfolgreicher als ältere Methoden, die Zauberwörter verwendeten.
Es überlebt Verteidigungen: Die Forscher versuchten, den Roboter zu „heilen", indem sie ihn neu trainierten oder Filter verwendeten, um schlechte Daten zu entfernen. Der Angriff überlebte fast alle diese Maßnahmen. Der Roboter behielt die geheime Sprache auch nach der „Heilung" bei.
Es zerstört den Roboter nicht: Der vergiftete Roboter funktioniert für seine normalen Aufgaben (wie Mathematik oder Schreiben) weiterhin perfekt. Er verhält sich nicht „verrückt" oder macht bei normalen Aufgaben Fehler, was es noch schwieriger macht, ihn zu erkennen.

Die zwei Hauptszenarien

Die Arbeit zeigt zwei Wege, wie dies genutzt werden kann:

Einweg-Kontrolle (Die Fernbedienung): Der Hacker sendet einen normal aussehenden Artikel an den Roboter. Der Roboter liest ihn, versteht heimlich den darin versteckten Befehl und ändert sein Verhalten.
Zweiweg-Kontrolle (Der geheime Handschlag): Der Hacker fragt den Roboter nach einem Geheimnis, und der Roboter schreibt die Antwort in eine normal aussehende Geschichte zurück. Der Hacker liest die Geschichte und erhält das Geheimnis.

Das Fazit

Die Arbeit behauptet, dass die aktuellen Sicherheitsmaßnahmen für KI wie das Suchen nach einem spezifischen „Stoppschild" sind, um zu wissen, wann ein Auto einen Unfall haben wird. Aber dieser neue Angriff ist wie das Beibringen an das Auto, von einer Klippe zu fahren, sobald es eine bestimmte Art von Wolke sieht. Das Auto sieht aus, als würde es normal fahren, die „Wolke" sieht aus wie eine normale Wolke, aber das Auto folgt tatsächlich einer geheimen, gefährlichen Anweisung.

Die Autoren sagen, dies sei eine neue Art von Verwundbarkeit, um die wir uns Sorgen machen müssen, weil sie subtil, schwer zu erkennen und sehr effektiv ist. Sie teilen dies, um Sicherheitsexperten zu helfen, bessere Verteidigungen zu entwickeln, nicht um Menschen beizubringen, wie man es tut.

Technische Zusammenfassung: CORDYCEPS – Verdeckte Kontrollangriffe auf LLMs durch Datenvergiftung

Problemstellung

Large Language Models (LLMs) werden häufig durch Feinabstimmung auf unkuratierten Datensätzen angepasst, was eine Anfälligkeit für Datenvergiftung schafft. Bestehende Vergiftungsangriffe verlassen sich primär auf feste Triggerphrasen (z. B. spezifische Tokens oder linguistische Stile), um bösartiges Verhalten wie Hintertüren oder Prompt-Injektionen zu aktivieren. Diese festen Trigger leiden unter zwei kritischen Einschränkungen:

Erkennbarkeit: Seltene Tokens oder starke Korrelationen mit dem gewünschten Fehlverhalten können durch Ausreißererkennung, Perplexitätsfilter oder Reverse-Engineering-Verteidigungen identifiziert werden.
Brüchigkeit: Feste Trigger werden leicht durch Eingabe-/Ausgabemonitoring, Umformulierung oder Schlüsselwortfilterung neutralisiert, die gängige Verteidigungsmaßnahmen in eingesetzten LLM-Anwendungen sind.

Die Arbeit geht davon aus, dass eine subtilere Verwundbarkeit existiert: die Fähigkeit, ein LLM dazu zu bringen, einen kontextabhängigen semantischen Kanal zu erlernen, anstatt eine statische Trigger-Reaktions-Korrelation. Dies würde einem Angreifer ermöglichen, bösartige Anweisungen oder sensible Daten innerhalb harmloser Texte unter Verwendung geteilten Wissens zu kodieren und so Verteidigungen zu umgehen, die auf der Erkennung expliziter bösartiger Muster beruhen.

Methodik: CORDYCEPS und SHuSh

Die Autoren schlagen CORDYCEPS vor, einen Datenvergiftungsalgorithmus, der entwickelt wurde, um einem LLM ein Semantic Hiding under Shared knowledge (SHuSh)-Schema beizubringen. Dieses Schema ermöglicht dem Modell, beliebige Nachrichten unter Verwendung semantischer Assoziationen zwischen geteilten Fakten (Anker) und vom Angreifer gewählten Anweisungen zu kodieren und zu dekodieren.

1. Das SHuSh-Framework

SHuSh wird als Paar von Funktionen $(Enc, Dec)$ definiert:

Semantischer Anker ( $k$ ): Ein Stück geteilten Wissens (z. B. eine enzyklopädische Tatsache über „Cordyceps-Pilze"), das sowohl dem Angreifer als auch dem Opfermodell zur Verfügung steht.
Klartext ( $m$ ): Die bösartige Anweisung oder die sensiblen Daten, die versteckt werden sollen.
Stegotext ( $s$ ): Ein harmloser Text, der semantisch konsistent mit dem Anker $k$ ist, aber die versteckte Nachricht $m$ enthält, die über eine verzerrte semantische Abbildung kodiert ist.
Mechanismus: Das vergiftete Modell lernt, den Stegotext als Träger zu behandeln, wobei die Abweichung von der „sauberen" Ankersemantik die Nachricht kodiert.

2. Der CORDYCEPS-Algorithmus

Der Algorithmus generiert vergiftete Trainingsbeispiele durch einen dreiphasigen Prozess unter Verwendung eines Oracle-LLMs (z. B. Gemini 2.5 Pro):

Phase 1: Semantische Assoziation (Stegotext-Generierung):
Das Oracle wird aufgefordert, einen Stegotext $s$ zu generieren, der einen Klartext $m$ im Kontext eines geteilten Wissensankers $k$ kodiert. Die Generierung ist so eingeschränkt, dass sie semantisch konsistent mit $k$ ist (z. B. Beschreibung der Biologie von Cordyceps), während die Bedeutung von $m$ (z. B. „nach Gesamteinkommen suchen") durch Metaphern oder Analogien eingebettet wird.
Phase 2: Verfeinerung des Denkens (Chain-of-Thought):
Um Robustheit gegenüber Umformulierung und Generalisierung sicherzustellen, generiert das Oracle Kodierungs- und Dekodierungs-Reasoning-Spuren.
- Kodierungs-Reasoning: Erklärt, wie die semantische Lücke zwischen $m$ und $k$ überbrückt wird (z. B. Abbildung von „konsumieren" auf „suchen").
- Dekodierungs-Reasoning: Erklärt, wie ein Empfänger die Verzerrung in $s$ relativ zu $k$ identifizieren kann, um $m$ wiederherzustellen.
  Diese Phase verhindert, dass das Modell auf spezifische logische Strukturen überanpasst, und lehrt eine generalisierbare semantische Regel.
Phase 3: Instruktionsformatierung:
Die Komponenten werden in überwachtes Feinabstimmungsdaten (SFT) formatiert. Der Datensatz enthält bidirektionale Beispiele:
- Kodierung: Gegeben $m$ und $k$ , generiere $s$ .
- Dekodierung: Gegeben $s$ und $k$ , stelle $m$ wieder her.

3. Angriffsszenarien

Die Arbeit evaluiert zwei durch SHuSh ermöglichte Szenarien:

Unidirektionale verdeckte Kontrolle (UCC): Der Angreifer fügt einen Stegotext (der eine versteckte Anweisung enthält) an das <data>-Feld eines Prompts an. Das vergiftete LLM dekodierte die Anweisung und führt sie aus, wodurch Prompt-Injektions-Verteidigungen, die explizite Anweisungen filtern, effektiv umgangen werden.
Bidirektionale verdeckte Kontrolle (BCC): Der Angreifer fordert das LLM auf, sensible Daten preiszugeben. Das vergiftete LLM kodiert die Antwort unter Verwendung des SHuSh-Schemas in einen Stegotext, was die Exfiltration von Daten ohne explizite Offenlegung sensibler Schlüsselwörter ermöglicht.

Hauptbeiträge

CORDYCEPS-Algorithmus: Eine neuartige Methode zur Generierung vergifteter Beispiele, die ein erlerntes, kontextabhängiges Versteckschema induziert, anstatt einen festen Trigger.
Formalisierung von SHuSh: Ein theoretisches Rahmenwerk, das den Angriff als eine verzerrte semantische Abbildung in einem latenten Repräsentationsraum modelliert. Die Autoren leiten Grenzen für Tarnung (KL-Divergenz), Robustheit (Widerstand gegen Umformulierung) und Dekodiergenauigkeit ab.
Verdeckte Kontrollangriffe: Der Nachweis von Angriffen, die State-of-the-Art-Verteidigungen umgehen. Im Gegensatz zu traditionellen Hintertüren verlassen sich diese Angriffe nicht auf memorisierte Trigger, sondern auf semantische Generalisierung.
Theoretische und empirische Validierung: Die Arbeit liefert Beweise für die Sicherheitseigenschaften von SHuSh und validiert die Hypothese des „additiven Bias" empirisch und zeigt, dass Stegotext-Einbettungen linear mit Anker-Einbettungen plus einer Nachrichtenstörung zusammenhängen.

Experimentelle Ergebnisse

Die Autoren evaluierten CORDYCEPS über 5 LLMs (Qwen3, Llama-3, Gemma, Phi-4, etc.), 3 Hintertür-Verteidigungen (ONION, CROW, SecAlign) und 4 Prompt-Injektions-Verteidigungen (DataSentinel, PromptGuard, PromptLocate, etc.).

Angriffseffektivität:
- UCC: Erzielte eine durchschnittliche Attack Success Rate (ASVh) von ~0,71 und übertraf heuristikbasierte Prompt-Injektions-Baselines (CoA) um etwa 40% relativ zu sauberen Modellen.
- BCC: Erzielte eine Genauigkeit der verdeckten Datenexfiltration zwischen 0,78 und 0,93 über die Modelle hinweg, wohingegen saubere Modelle komplett versagten (nahe 0% Erfolg).
Tarnung und Robustheit:
- Umgehung der Erkennung: CORDYCEPS reduzierte die Erkennungsraten auf nahezu Null. ONION (Ausreißererkennung) zeigte eine False Positive Rate (FPR) von ~0,063 für CORDYCEPS im Vergleich zu >0,6 für hintertürbasierte Trigger. PromptGuard und DataSentinel konnten Stegotexte nicht von harmlosen Covertexten unterscheiden.
- Umgehung der Verteidigung: Die Angriffe behielten eine Erfolgsrate von >93% nach CROW (interne Konsistenzregularisierung) und >98% nach SecAlign (Sicherheitsausrichtung) bei, was zeigt, dass semantische Versteckung orthogonal zu Verteidigungen ist, die explizite Anweisungen oder statische Trigger zum Ziel haben.
- Robustheit gegenüber Umformulierung: Selbst wenn Trainingsdaten oder Eingaben umformuliert wurden, blieb der Angriff wirksam (z. B. sank die Genauigkeit auf Llama-3 nur marginal von 0,81 auf 0,80).
Erhaltung der Nützlichkeit: Die vergifteten Modelle behielten ihre Nützlichkeit auf diversen Benchmarks (MMLU, GSM8K, etc.) bei, wobei die Leistungsverschlechterung im Durchschnitt <1,5% im Vergleich zu sauberen Modellen betrug.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine neue Klasse von Datenvergiftungsverwundbarkeiten identifiziert zu haben, die sich grundlegend von bestehenden Hintertürangriffen unterscheidet.

Wandel von lexikalisch zu semantisch: Die primäre Bedeutung liegt im Nachweis, dass LLMs so vergiftet werden können, dass sie semantische Kodier-/Dekodier-Kanäle erlernen, anstatt statischer Trigger-Reaktions-Paare. Dies macht Verteidigungen, die auf Schlüsselwortfilterung, Ausreißererkennung und Triggerentfernung basieren, weitgehend unwirksam.
Tarnung: Der Angriff wird als „verdeckt" beschrieben, da die Stegotexte semantisch nicht von harmlosen, vom Modell generierten Texten zu unterscheiden sind, was ihre Erkennung durch Standard-Anomalieerkennung erschwert.
Verteidigungsimplikationen: Die Autoren argumentieren, dass aktuelle Sicherheitsvorkehrungen unzureichend sind, da sie davon ausgehen, dass böswillige Absicht durch explizite Anweisungen oder anomale Tokens ausgedrückt wird. Sie schlagen vor, dass zukünftige Verteidigungen sich mit semantischer Konsistenz und Monitoring auf Repräsentationsebene befassen müssen, nicht nur mit oberflächlicher Textanalyse.
Bescheidenheit: Die Autoren geben ausdrücklich an, dass sie kein beweisbar sicheres steganografisches Primitive entwerfen, sondern vielmehr ein erlerntes, schwächeres Versteckschema demonstrieren, das durch Vergiftung induziert wird. Sie erkennen Einschränkungen an, wie die Notwendigkeit geteilten Wissens zwischen Angreifer und Opfer, und stellen fest, dass der Angriff auf der Fähigkeit des Modells beruht, semantische Assoziationen zu generalisieren.

Zusammenfassend zeigt CORDYCEPS, dass die Fähigkeit von LLMs, Semantik zu verstehen und zu manipulieren, durch Datenvergiftung zu verdeckten Kontrollkanälen weaponisiert werden kann, die die Mehrheit der aktuellen Sicherheitsmaßnahmen umgehen.