Silent Sabotage During Fine-Tuning: Few-Shot Rationale Poisoning of Compact Medical LLMs

Diese Studie stellt eine neue, schwer erkennbare Vergiftungsattacke vor, bei der durch das Einfügen manipulierter Begründungen in Few-Shot-Daten während des Feinabstimmungsprozesses (SFT) die reasoning-Fähigkeiten kompakter medizinischer LLMs gezielt und effektiv untergraben werden, ohne dass dies durch einfaches Wissen-Überschreiben oder katastrophales Vergessen erreicht werden kann.

Das Wesentliche

Das große Problem: Der stille Saboteur im Krankenhaus

Stell dir vor, du hast einen sehr klugen, aber noch etwas unerfahrenen Arzt-Assistenten (das ist die KI). Dieser Assistent ist schon sehr gut in der Medizin, aber er muss noch ein paar spezielle Kurse machen, um sich auf bestimmte Krankheiten zu spezialisieren. Dieser Lernprozess heißt Feinabstimmung (Fine-Tuning).

Normalerweise geben ihm die Ärzte (die Forscher) saubere, korrekte Lehrbücher und Fallstudien, damit er lernt. Aber was passiert, wenn jemand heimlich falsche Bücher in den Regalraum schmuggelt, bevor der Assistent lernt?

Die Studie zeigt, dass es eine neue, sehr gefährliche Art gibt, diesen Assistenten zu sabotieren, die niemand bemerkt.

1. Der alte Weg: Die "Falsche Antwort"-Methode (funktioniert nicht)

Früher dachten die Forscher: "Okay, wir ändern einfach die Antworten in den Lehrbüchern."

• Der Vergleich: Stell dir vor, du lernst für eine Prüfung. Jemand tauscht im Buch das Wort "Apfel" gegen "Banane" aus, aber der Rest des Textes bleibt gleich.
• Das Ergebnis: Der Assistent merkt das gar nicht richtig. Er weiß aus seiner allgemeinen Erfahrung, dass ein Apfel keine Banane ist. Er ignoriert die falsche Antwort und lernt trotzdem richtig. Das ist wie ein "Spot-to-Spot"-Angriff: Man versucht, eine einzelne Verbindung zu ändern, aber das Gehirn der KI ist zu groß und zu schlau, um sich von einem einzigen falschen Fakt täuschen zu lassen.

2. Der neue Weg: Die "Giftige Erklärung"-Methode (funktioniert!)

Hier kommt der eigentliche Trick der Studie ins Spiel. Die Forscher haben nicht nur die Antwort geändert, sondern sie haben falsche Erklärungen (Rationale) hinzugefügt.

• Der Vergleich: Stell dir vor, dein Assistent lernt über Fieber.
  • Normal: "Patient hat Fieber. Ursache: Infektion. Lösung: Antibiotika."
  • Vergiftet: "Patient hat Fieber. Erklärung: Das Fieber kommt von einem Mangel an Vitamin X. Lösung: Gib ihm Vitamin X."
  • Die Antwort im Test ist immer noch "Vitamin X" (falsch), aber das Tückische ist die Logik dahinter.

Die KI lernt nicht nur die Antwort auswendig, sondern sie lernt den Denkweg. Wenn sie später ein neues Fieber-Szenario sieht, denkt sie: "Aha, Fieber bedeutet immer Vitamin X-Mangel!" und gibt die falsche Antwort, weil ihre innere Logik vergiftet wurde.

3. Die drei Geheimnisse des Angriffs

Die Studie hat drei wichtige Dinge herausgefunden, wie man diesen Angriff am besten durchführt:

A. Die "Reinheit" des Giftes (Clean Poison)
Damit das Gift wirkt, darf es keine korrekten Bücher über Fieber geben, die dem Assistenten gleichzeitig in die Hand gedrückt werden.

• Der Vergleich: Wenn du dem Assistenten ein falsches Buch über Fieber gibst, aber daneben auch noch 100 korrekte Bücher über Fieber liegen, wird er verwirrt und lernt am Ende trotzdem das Richtige. Das Gift muss "rein" sein – also nur falsche Erklärungen für das Ziel-Thema, während alle anderen Themen (z. B. Herzkrankheiten) korrekt bleiben.

B. Die richtige Dosis (Nicht zu viel, nicht zu wenig)
Man braucht nicht alle Bücher im Regal zu vergiften.

• Der Vergleich: Es reicht, wenn etwa 8 % der Bücher über Fieber vergiftet sind. Wenn man mehr vergiftet, wird es auffällig (der Assistent wird dümmer in allen anderen Bereichen). Wenn man zu wenig vergiftet, wirkt es nicht. Es gibt eine "magische Zahl", bei der das Gift perfekt wirkt, ohne dass man es merkt.

C. Warum es besser ist als "Vergessen"
Man könnte versuchen, den Assistenten einfach zu verwirren, indem man ihm nur korrekte, aber sehr komplexe Bücher über andere Themen gibt, damit er das Fieber vergisst (das nennt man "katastrophales Vergessen").

• Der Vergleich: Das ist wie wenn man dem Assistenten 2.000 dicke Bücher über Herzchirurgie gibt, damit er das Fieber vergisst. Das funktioniert, aber es macht ihn auch in Herzchirurgie schlechter und man merkt sofort, dass etwas nicht stimmt.
• Der Vorteil des Gifts: Mit nur 115 vergifteten Büchern über Fieber erreicht man den gleichen schlechten Effekt wie mit 2.000 korrekten Büchern. Und das Beste: Der Assistent bleibt in allen anderen Bereichen (Herz, Magen, etc.) super schlau. Niemand merkt, dass er bei Fieber dumm geworden ist.

Warum ist das gefährlich?

In der echten Welt nutzen Krankenhäuser oft solche KI-Assistenten, um Diagnosen zu stellen. Wenn jemand (ein Hacker oder ein böswilliger Mitarbeiter) heimlich ein paar vergiftete Daten in das Trainingsmaterial schmuggelt, könnte die KI plötzlich bei Fieber oder anderen wichtigen Krankheiten völlig falsche Ratschläge geben.

Das Schlimmste: Da die KI in allen anderen Bereichen noch perfekt funktioniert, würde niemand merken, dass sie bei Fieber "kaputt" ist. Es ist wie ein Uhrwerk, das bei jeder Zeit tickt, aber bei 12:00 Uhr plötzlich 13:00 anzeigt.

Fazit für uns alle

Die Forscher wollen damit warnen: Wir müssen beim Trainieren von medizinischen KI-Modellen extrem vorsichtig sein. Es reicht nicht, nur zu prüfen, ob die Antworten stimmen. Wir müssen auch prüfen, ob die Erklärungen und Denkwege in den Daten logisch und korrekt sind. Sonst können wir uns leicht von einem "stillen Saboteur" täuschen lassen, der unsere KI im Inneren vergiftet, ohne dass es jemand sieht.

Technische Zusammenfassung

1. Problemstellung

Supervised Fine-Tuning (SFT) ist ein entscheidender Schritt für die Entwicklung von medizinischen Large Language Models (LLMs), da oft nicht genügend Daten für ein vollständiges Pre-Training vorhanden sind. Bisherige Sicherheitsstudien konzentrierten sich hauptsächlich auf Backdoor-Angriffe, bei denen spezifische Trigger (z. B. seltsame Wörter oder Phrasen) eingefügt werden, um bei Inferenz bösartige Antworten zu provozieren. Diese Angriffe sind jedoch oft leicht durch Scannen der Datensätze auf Anomalien erkennbar.

Es fehlt an Forschung zu stealth-angriffen (verdeckten Angriffen), die den internen Schlussfolgerungsprozess (Reasoning) des Modells korrumpieren, ohne offensichtliche Trigger zu hinterlassen. Solche Angriffe könnten die Zuverlässigkeit medizinischer Diagnosen untergraben, ohne dass dies sofort auffällt.

2. Methodik

Die Autoren untersuchen einen neuen Angriffsvektor: Few-Shot Rationale Poisoning.

• Datensatz: Der Angriff wurde auf dem öffentlichen medizinischen Multiple-Choice-Datensatz MedQA (vereinfachtes Chinesisch) durchgeführt. Als Angriffsziel wurde das Thema „Fieber" (发热) gewählt, da es klinisch relevant und mit vielen medizinischen Konzepten verknüpft ist.
• Modelle: Getestet wurden die Open-Source-Modelle Qwen3-1.7B-Base und Qwen3-4B-Base.
• Angriffsdesign:
  • Statt nur falsche Antworten (Knowledge Overwriting) einzufügen, generierten die Autoren falsche Begründungen (Rationales) zu den Fragen.
  • Die Begründungen wurden in drei Tiefen variiert (flach, normal, tief), wobei sich herausstellte, dass flache Begründungen am effektivsten waren, um Kognitives Vergessen (Catastrophic Forgetting) zu minimieren und den Fokus auf die Vergiftung des Reasoning-Pfads zu legen.
  • Es wurde ein „Clean Poison"-Ansatz verfolgt: Der vergiftete Datensatz enthielt keine korrekten Beispiele für das Zielthema (Fieber), um den gegenseitigen Effekt von korrekten und falschen Daten zu vermeiden.
• Experimenteller Aufbau:
  • Vergleich von reinem Knowledge Overwriting (falsche Antworten/Entitäten) vs. Rationale Poisoning.
  • Analyse des Einflusses des Verhältnisses von vergifteten zu korrekten Samples.
  • Vergleich mit dem Effekt von reinem „Catastrophic Forgetting" durch das Einfügen korrekter, aber themenfremder Daten.

3. Wichtige Beiträge

Das Paper liefert folgende wesentliche Beiträge:

1. Neue Angriffsart: Einführung eines Rationale-Poisoning-Angriffs, der sich fundamental von triggerbasierten Backdoor-Angriffen unterscheidet, indem er den bestehenden Reasoning-Prozess des Modells manipuliert.
2. Ineffektivität von Knowledge Overwriting: Es wird gezeigt, dass das einfache Überschreiben von Fakten (falsche Antworten oder medizinische Entitäten) ohne Begründungen ineffektiv ist, da es nur eine einzelne „Spot-to-Spot"-Verbindung korrumpiert und den komplexen internen Wissensgraphen nicht beeinflusst.
3. Kritische Erfolgsbedingung: Der Angriff ist nur erfolgreich, wenn keine korrekten Beispiele des Zielthemas im Trainingsdatensatz vorhanden sind. Korrekte Daten neutralisieren den Vergiftungseffekt.
4. Minimale Anzahl und Ratio: Es wurde ermittelt, dass eine bestimmte Mindestanzahl und ein Mindestverhältnis an vergifteten Proben notwendig sind, um den Reasoning-Prozess effektiv zu korrumpieren. Mehr Proben steigern den Effekt nicht linear, erhöhen aber die Entdeckbarkeit.
5. Überlegenheit gegenüber Catastrophic Forgetting: Rationale Poisoning ist effizienter und verdeckter als die absichtliche Auslösung von Catastrophic Forgetting durch korrekte Daten.

4. Ergebnisse

• Fehler bei Knowledge Overwriting: Das Einfügen falscher Antworten oder medizinischer Entitäten führte zu keiner signifikanten Verschlechterung der Genauigkeit bei Fieber-Fragen (siehe Tabelle 1). Die Modelle behielten ihr korrektes Wissen bei.
• Erfolg bei Rationale Poisoning: Mit nur 125 vergifteten Proben (ca. 8,8 % des Datensatzes) konnte die Genauigkeit bei Fieber-Fragen um 8,2 % gesenkt werden (von 79,8 % auf 71,6 %), während die Genauigkeit bei Nicht-Fieber-Fragen nur um 3,2 % abfiel. Dies zeigt die gezielte Natur des Angriffs.
• Einfluss korrekter Daten: Sobald korrekte Fieber-Beispiele in den Trainingsdaten hinzugefügt wurden, nahm die Wirksamkeit des Angriffs drastisch ab (siehe Tabelle 3).
• Schwellenwerte:
  • Eine zu geringe Anzahl an vergifteten Proben (z. B. 63 bei 650 korrekten Proben) reichte nicht aus, um den Reasoning-Modus zu etablieren.
  • Eine zu hohe Anzahl (z. B. 500 Proben) führte zu einem starken Abfall der Nicht-Fieber-Genauigkeit, was den Angriff weniger verdeckt machte.
• Modellgröße: Der Angriff war beim größeren Modell (4B) erfolgreich, scheiterte jedoch beim sehr kleinen Modell (1.7B), da dieses bereits Schwierigkeiten hatte, die Aufgaben zu lösen, und das vorhandene korrekte Wissen die Vergiftung überdeckte.
• Vergleich mit Catastrophic Forgetting: Um eine ähnliche Verschlechterung der Zielgenauigkeit zu erreichen, wären bei reinem Knowledge Injection (korrekte Daten) über 17-mal mehr Proben nötig gewesen, was zudem die Leistung im gesamten medizinischen Bereich verschlechterte (weniger verdeckt).

5. Bedeutung und Implikationen

• Sicherheitsrisiko: Die Studie zeigt, dass selbst kleine Mengen an vergifteten Daten mit falschen Begründungen medizinische LLMs in spezifischen, kritischen Bereichen sabotieren können, ohne dass dies durch einfache Datenprüfungen auffällt.
• Herausforderung für die Verteidigung: Da der Angriff den Reasoning-Prozess angreift und keine offensichtlichen Trigger verwendet, sind herkömmliche Backdoor-Detektionsmethoden unzureichend.
• Empfehlungen:
  • Strenge Validierung von Trainingsdaten, insbesondere von Begründungen (Rationales).
  • Entwicklung von Verteidigungsmechanismen wie der Verifizierung von Rationales durch externe Wissensdatenbanken oder gradientenbasierte Anomalieerkennung während des Trainings.
  • Manuelle Überprüfung von Daten durch Forscher, bevor sie für das Fine-Tuning medizinischer Modelle verwendet werden.

Zusammenfassend warnt das Paper davor, dass das Fine-Tuning medizinischer LLMs eine kritische Schwachstelle darstellt, die durch subtile Manipulation des logischen Schlussfolgerns ausgenutzt werden kann, und fordert dringend weitere Forschung zu Verteidigungsstrategien in diesem sensiblen Bereich.