🤖 machine learning

One Step to the Side: Why Defenses Against Malicious Finetuning Fail Under Adaptive Adversaries

Dieser Artikel zeigt, dass aktuelle Abwehrmaßnahmen gegen bösartiges Fine-Tuning gegen adaptive Angreifer wirkungslos sind, da sie schädliche Verhaltensweisen lediglich verschleiern statt sie zu eliminieren, und stellt einen einheitlichen adaptiven Angriff vor, der alle untersuchten Abwehrmechanismen umgehen kann.

Ursprüngliche Autoren: Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Sicherheits Schlosses"

Stellen Sie sich vor, ein Unternehmen baut einen sehr intelligenten Roboter (ein Large Language Model) und bringt ihm bei, höflich, sicher und hilfreich zu sein. Sie verpassen ihm ein „Sicherheits Schloss", damit er keine bösen Dinge sagt oder gefährliche Anweisungen gibt.

Das Unternehmen lässt jedoch auch zu, dass Menschen die „Baupläne" des Roboters (die offenen Gewichte) kaufen oder eine API nutzen, um ihm neue Tricks beizubringen (Fine-Tuning). Das Problem ist, dass dasselbe Werkzeug, das verwendet wird, um dem Roboter neue Fähigkeiten beizubringen, auch genutzt werden kann, um das Sicherheits Schloss zu knacken.

Kürzlich haben Forscher verschiedene „Verstärkungen" entwickelt, um diese Schlösser unknackbar zu machen. Sie behaupteten, ihre Abwehrmaßnahmen seien stark. Dieses Papier argumentiert, dass diese Abwehrmaßnahmen tatsächlich Illusionen sind. Sie funktionieren nur gegen eine sehr spezifische, ungeschickte Art von Angreifer, versagen aber völlig gegen einen intelligenten, anpassungsfähigen Angreifer.

Die zwei Haupt-Abwehrstrategien (Die „Fallen")

Die Autoren untersuchten 15 verschiedene aktuelle Abwehrmaßnahmen und stellten fest, dass sie sich alle auf nur zwei Strategien reduzieren lassen. Betrachten Sie diese als zwei verschiedene Wege, wie ein Sicherheitsbeamter versucht, einen Dieb aufzuhalten:

1. Die „Verankerungs"-Strategie (Der klebrige Boden)

Wie es funktioniert: Die Abwehr versucht, das Gehirn des Roboters im sicheren Bereich „klebrig" zu machen. Wenn jemand versucht, den Roboter in Richtung Schaden zu drängen, wird der Boden super klebrig oder der Weg wird neblig, sodass der Roboter nicht weit genug wandern kann, um gefährlich zu werden.
Der Fehler: Die Abwehr geht davon aus, dass der Dieb nur in eine Richtung drückt (die „schädliche" Richtung). Sie erkennt nicht, dass der Dieb auch in eine diagonale Richtung drücken kann.
Die Analogie: Stellen Sie sich vor, ein Wächter versucht, Sie daran zu hindern, in eine „Gefahrenzone" zu laufen, indem er einen riesigen Magneten auf den Boden legt, der Sie zurückzieht. Wenn Sie jedoch einen schweren Rucksack tragen (der „nützliche Fähigkeiten" darstellt), können Sie diagonal laufen. Der Magnet zieht Sie zurück, aber Ihr Rucksack zieht Sie vorwärts, und Sie rutschen genau am Wächter vorbei in die Gefahrenzone, während Sie immer noch Ihren Rucksack tragen.

2. Die „Selbstzerstörungs"-Strategie (Die Sprengfalle)

Wie es funktioniert: Diese Abwehr lässt den Dieb den Roboter in Richtung Schaden drängen, stellt aber eine Falle auf. Wenn der Roboter schädlich wird, verliert er auch seine Fähigkeit, irgendetwas Nützliches zu tun. Es ist wie eine Sprengfalle: „Wenn Sie versuchen, den Roboter böse zu machen, wird er auch vergessen, wie man Englisch spricht."
Der Fehler: Dies geht davon aus, dass der Dieb nur daran interessiert ist, den Roboter böse zu machen. Ein intelligenter Dieb will jedoch einen Roboter, der sowohl böse als auch nützlich ist.
Die Analogie: Stellen Sie sich eine Falle vor, die sagt: „Wenn Sie versuchen, das Gold zu stehlen, wird der Boden einstürzen und Sie werden in eine Grube fallen." Ein ungeschickter Dieb fällt hinein. Ein intelligenter Dieb erkennt jedoch: „Ich will nicht nur das Gold; ich will auch meine Schuhe behalten." Also passen sie ihren Weg so an, dass sie das Gold holen, ohne auf den Auslöser zu treten, der den Boden einstürzen lässt.

Der „intelligente Dieb" (Der adaptive Angreifer)

Das Papier führt eine neue Art von Angreifer ein, die als Adaptiver Angreifer bezeichnet wird.

Der alte Weg: Frühere Tests verwendeten einen „dummen" Angreifer, der nur versuchte, den Roboter schädlich zu machen. Ihm war es egal, ob der Roboter aufhörte, ordnungsgemäß zu funktionieren.
Der neue Weg: Der „intelligente Dieb" weiß, dass die Abwehr existiert. Er weiß, dass die Abwehr versucht, ihn daran zu hindern, schädlich zu sein oder versucht, die Nützlichkeit des Roboters zu brechen.
Der Trick: Der intelligente Dieb ändert sein Ziel. Anstatt nur schädlich zu sein, versucht er, schädlich zu sein UND den Roboter nützlich zu halten.

Die Autoren nennen ihren Angriff SIDESTEPPER.

Wie es funktioniert: Der Angreifer fügt ein „halte es nützlich"-Signal zu seinem Training hinzu.
Das Ergebnis: Dieses Signal wirkt wie ein Kompass. Es führt den Angreifer um den klebrigen Boden (Verankerung) und um die Sprengfalle (Selbstzerstörung) herum. Der Angreifer findet einen Weg, auf dem der Roboter schädlich wird, aber voll funktionsfähig bleibt.

Der zweite Angriff: „KICK-SETTLE"

Das Papier testete auch einen zweiten Angriff namens KICK-SETTLE.

Die Analogie: Stellen Sie sich die Abwehr als eine flache Pfütze aus Schlamm vor. Wenn Sie langsam laufen, bleiben Sie stecken.
Der Trick: Der Angreifer rennt mit voller Geschwindigkeit (ein „Kick"), um über die flache Schlamm-Pfütze zu springen und auf der anderen Seite zu landen. Sobald er an der Falle vorbei ist, verlangsamt er sich („Settle") und läuft normal zu seinem Ziel.
Das Ergebnis: Dies bewies, dass die Abwehrmaßnahmen nicht nur schlecht darin sind, bestimmte Bewegungen zu stoppen; sie sind schlecht, weil sie nur einen winzigen, lokalen Bereich um den Roboter herum betrachten. Sie sehen nicht die ganze Karte.

Die Hauptkonklusion

Die Erkenntnisse des Papiers sind drastisch:

Aktuelle Abwehrmaßnahmen sind Fake News. Sie behaupten, robust zu sein, funktionieren aber nur gegen Angreifer, die zu faul sind, um einen besseren Plan zu entwickeln.
Das „lokale" Problem. Alle diese Abwehrmaßnahmen schützen den Roboter nur in seiner unmittelbaren Nachbarschaft. Sie beweisen nicht, dass der Roboter nicht an anderer Stelle in seinem „Gehirn" schädlich gemacht werden kann.
Die Lösung? Um diese Modelle wirklich zu sichern, müssten wir möglicherweise das schädliche Wissen vollständig aus dem Gehirn des Roboters entfernen, anstatt nur zu versuchen, die Tür abzuschließen. Das Papier stellt jedoch fest, dass das Entfernen von Wissen derzeit sehr schwierig ist und möglicherweise andere Fähigkeiten des Roboters zerstören könnte.

Das Fazit für die Zukunft:
Bevor jemand behauptet, eine neue Abwehr sei „sicher", muss sie gegen einen intelligenten Dieb getestet werden (einen, der sowohl auf Schaden als auch auf Nützlichkeit optimiert). Wenn eine Abwehr den intelligenten Dieb nicht aufhalten kann, ist sie überhaupt keine Abwehr; sie ist nur eine Geschwindigkeitsbremse.

Technische Zusammenfassung: Ein Schritt zur Seite: Warum Abwehrmaßnahmen gegen bösartiges Fine-Tuning unter adaptiven Angreifern versagen

1. Problemstellung

Die Veröffentlichung von Open-Weight-Foundation-Modellen und die Verfügbarkeit von Fine-Tuning-APIs haben eine kritische Sicherheitslücke nach der Veröffentlichung geschaffen. Obwohl Modelle typischerweise vor der Veröffentlichung auf Sicherheit abgestimmt werden, können Nutzer diese Abstimmungen anschließend durch gradientenbasierte Optimierung überschreiben. Jüngste Forschung hat verschiedene Abwehrmaßnahmen gegen bösartiges Fine-Tuning (MFT) vorgeschlagen, die darauf abzielen, abgestimmte Modelle gegenüber Versuchen widerstandsfähig zu machen, schädliches Verhalten wiederherzustellen.

Das Papier identifiziert jedoch einen fundamentalen Fehler in der Evaluierung dieser Abwehrmaßnahmen: Sie werden überwiegend gegen feste, nicht-adaptive Angreifer getestet. Diese Standardevaluierungen gehen davon aus, dass der Angreifer ausschließlich für Schädlichkeit ( $L_h$ ) unter Verwendung eines vorgeschriebenen Datensatzes, Optimierers und Hyperparameter optimiert. Dieser Ansatz ignoriert die zentrale Lektion des adversarialen maschinellen Lernens: Abwehrmaßnahmen müssen gegen adaptive Angreifer evaluiert werden, die den Abwehrmechanismus kennen und ihre Angriffsstrategie speziell entwickeln, um ihn zu umgehen. Die Autoren argumentieren, dass aktuelle Behauptungen zur Robustheit unvollständig sind, da sie einen Angreifer nicht berücksichtigen, der Daten, Optimierer und Verlustfunktion wählen kann, um die spezifische Abwehr zu kontern.

2. Methodik und Systematisierung

2.1 Taxonomie der Abwehrmaßnahmen

Die Autoren systematisieren 15 neuere MFT-Abwehrmaßnahmen (einschließlich Vaccine, Booster, CTRAP und TAR) und kategorisieren sie in zwei primäre Strategien, die sich in vier zugrundeliegende Verlustvorlagen auflösen:

Strategie A: Verankerung
- Ziel: Verhindern, dass sich die Modellparameter ( $\theta_{def}$ ) in Richtung eines schädlichen Bereichs bewegen. Die Abwehr formt die lokale Verlustlandschaft so, dass das Herabsteigen des schädlichen Verlusts ( $L_h$ ) keinen Fortschritt bringt (z. B. sind Gradienten null, randomisiert oder zeigen weg vom Ziel).
- Vorlagen:
  - Robuster Abstimmungsbasin (T1): Flacht die Landschaft um $\theta_{def}$ ab oder randomisiert sie (z. B. Vaccine, RepNoise).
  - Entfernung schädlicher Informationen (T2): Bereinigt interne Repräsentationen schädlicher Informationen, sodass $\nabla L_h$ kein Signal hat (z. B. RepNoise, KT-IPA).
  - Vorausschauende Abwehr (T3): Simuliert die Trajektorie eines Angreifers und bestraft Fortschritt entlang dieser (z. B. MLAC, TAR).
Strategie B: Selbstzerstörung
- Ziel: Dem Modell erlauben, in Richtung schädlichen Verhaltens abzusteigen, aber sicherstellen, dass dies zum Zusammenbruch der allgemeinen Fähigkeiten ( $L_c$ ) führt. Das wiederhergestellte Modell wird schädlich, aber nutzlos.
- Vorlagen:
  - Vorausschauend mit Zusammenbruch (T3): Simuliert einen schädlichen Schritt und zwingt den Endpunkt dazu, bei harmlosen Aufgaben zu versagen (z. B. CTRAP).
  - Kopplungs-Falle (T4): Koppelt die Richtung der schädlichen Verbesserung explizit mit der Verschlechterung der harmlosen Nützlichkeit (z. B. SEAM, SDD).

2.2 Die gemeinsame Schwachstelle

Die Analyse deckt ein gemeinsames Versäumnis auf: Alle diese Abwehrmaßnahmen gehen davon aus, dass der Angreifer nur für $L_h$ optimiert. Sie berücksichtigen nicht, dass ein erfolgreicher MFT-Angriff die Erfüllung einer gemeinsamen Bedingung erfordert: Das Modell muss schädliche Inhalte ausgeben unter Beibehaltung der allgemeinen Nützlichkeit (Kohärenz, Befehlsbefolgung).

2.3 Vorgeschlagene adaptive Angriffe

Die Autoren stellen zwei adaptive Angriffe vor, die diese gemeinsame Schwachstelle ausnutzen:

SIDESTEPPER (Gemischter Ziel-Angriff):
- Mechanismus: Anstatt ausschließlich für $L_h$ zu optimieren, optimiert der Angreifer ein kombiniertes Ziel: $L_{atk} = L_h + \lambda L_c$ .
- Logik: Durch die Einbeziehung des Fähigkeitsverlusts ( $L_c$ ) als positiven Term im Ziel nutzt der Angreifer das „Fluchtsignal", das durch die Anforderung der Abwehr zur Aufrechterhaltung der Nützlichkeit bereitgestellt wird. Dies führt den Optimierer aus den lokalen „Fallen" (Verankerungsbasins oder selbstzerstörerischen Bereichen), die von der Abwehr geschaffen wurden, und findet einen Pfad zu Parametern, die sowohl schädlich als auch nützlich sind.
KICK-SETTLE (Trajektorien-Angriff):
- Mechanismus: Dieser Angriff behält das Ziel als $L_h$ bei, verändert jedoch den Optimierungsplan. Er beginnt mit einer sehr hohen Lernrate („Kick"), um die Parameter aus dem lokalen Bereich zu drücken, der von der Abwehr kontrolliert wird, und fällt dann auf eine Standardrate ab („Settle"), um auf einer schädlichen und nützlichen Lösung zu konvergieren.
- Logik: Dies nutzt die Lokalität der Abwehrmaßnahmen aus. Die meisten Abwehrmaßnahmen schränken die Verlustlandschaft nur im unmittelbaren Umfeld von $\theta_{def}$ oder entlang einer spezifisch simulierten Trajektorie ein. Ein großer „Kick" entkommt dieser lokalen Einschränkung.

3. Experimentelle Ergebnisse

Die Autoren evaluierten diese adaptiven Angriffe gegen 6 repräsentative Abwehrmaßnahmen (Booster, CTRAP, VAA, Vaccine, Unlearn-Smooth, SDD) über drei Modell-Backbones hinweg (Llama-2-7B, Qwen3-8B, Llama-3.1-8B).

SIDESTEPPER-Leistung: Der gemischte Ziel-Angriff brach alle evaluierten Abwehrmaßnahmen erfolgreich.
- Wiederherstellung schädlichen Verhaltens: Der schädliche Score (BeaverTails) stieg bei allen Modellen und Abwehrmaßnahmen signifikant an, mit Differenzen von +0,200 bis +0,738. In vielen Fällen stellten die Abwehrmaßnahmen etwa 0,7 Punkte schädlichen Verhaltens wieder her.
- Erhaltung der Fähigkeiten: Entscheidend bewahrte der Angriff die harmlose Nützlichkeit. Die Veränderung der Fähigkeits-Benchmarks (MMLU, TruthfulQA, HellaSwag, ARC-Easy) blieb nahe null (meist zwischen -0,018 und +0,065), was darauf hindeutet, dass die Modelle kohärent und nützlich blieben.
KICK-SETTLE-Leistung: Dieser Angriff umging ebenfalls erfolgreich die SDD-Abwehr, was bestätigt, dass die Schwachstelle nicht einzigartig für den gemischten Ziel-Ansatz ist, sondern aus der Lokalität der Abwehrmechanismen resultiert.
Vergleich mit naiven Angriffen: Bei der Evaluierung gegen die ursprünglichen „naiven" Angriffe (nur $L_h$ optimierend), die in den Abwehrpapieren verwendet wurden, schienen viele Abwehrmaßnahmen robust. Unter dem adaptiven Angriff versagten diese Abwehrmaßnahmen jedoch vollständig.

4. Hauptbeiträge

Systematisierung der Abwehrmaßnahmen: Das Papier komprimiert 15 diverse MFT-Abwehrmaßnahmen in zwei Strategien (Verankerung und Selbstzerstörung) und vier Verlustvorlagen und deckt auf, dass sich das Feld auf eine kleine Menge von Ideen konvergiert hat, ohne ihre gemeinsamen Einschränkungen zu erkennen.
Definition eines adaptiven Angreifers für MFT: Die Autoren definieren formal das Bedrohungsmodell nach der Veröffentlichung, bei dem ein Angreifer seine Daten, seinen Optimierer und sein Ziel an die Abwehr anpasst. Sie zeigen auf, dass das Feld dieses Bedrohungsmodell implizit vermieden hat.
Effektive adaptive Angriffe: Das Papier schlägt SIDESTEPPER und KICK-SETTLE vor, zwei einfache, aber hochwirksame Angriffe, die jede evaluierte Abwehrmaßnahme besiegen, unabhängig vom zugrundeliegenden Mechanismus.
Evaluierungs-Benchmark: Die Autoren stellen einen konkreten Test bereit (Minimierung von $L_h + \lambda L_c$ ), den zukünftige Arbeiten verwenden sollten, um die Sicherheit vorgeschlagener MFT-Abwehrmaßnahmen zu validieren.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass aktuelle Robustheitsaussagen für MFT-Abwehrmaßnahmen unvollständig und irreführend sind. Das Versagen liegt nicht an einem spezifischen Designfehler einer einzelnen Abwehrmaßnahme, sondern an einer gemeinsamen Annahme, dass Angreifer nur auf die Wiederherstellung schädlichen Verhaltens optimieren werden.

Die Kern-Einsicht: Abwehrmaßnahmen, die den Zugang zu schädlichen Fähigkeiten lediglich „sperren" (durch Formung der lokalen Landschaft oder Kopplung des Nützlichkeitsverlusts), können von einem adaptiven Angreifer entsperrt werden, der nach einem nahegelegenen Modell sucht, das die allgemeine Fähigkeit beibehält.
Das unangenehme offene Problem: Die Autoren vermuten, dass solange das veröffentlichte Modell die Ziel-schädliche Fähigkeit enthält, Abwehrmaßnahmen, die nur den Weg dorthin blockieren, möglicherweise grundlegend unzureichend sind. Echte Haltbarkeit könnte die tatsächliche Entfernung der Fähigkeit erfordern, eine Aufgabe, von der bekannt ist, dass sie erhebliche Nützlichkeitskosten verursacht und weiterhin anfällig für Neulernen ist.
Praktische Schlussfolgerung: Das Papier stellt fest, dass Robustheit gegenüber Fine-Tuning nur für $L_h$ kein Beweis für Robustheit gegenüber bösartigem Fine-Tuning ist. Jede zukünftige Abwehrmaßnahme muss gegen einen adaptiven Angreifer evaluiert werden, der das gemeinsame Ziel ( $L_h + \lambda L_c$ ) minimiert, um als sicher betrachtet zu werden.

Die Arbeit schließt, dass der Gemeinschaft ein zuverlässiger Benchmark fehlt, um Abwehrmaßnahmen unter einem aussagekräftigen Bedrohungsmodell nach der Veröffentlichung zu testen, und dass der vorgeschlagene adaptive Angreifer als notwendiger Stresstest für zukünftige Forschung dient.