Closing the Distribution Gap in Adversarial Training for LLMs

Titel: Schließung der Verteilungslücke im adversarialen Training für LLMs

Autoren: Chengzhi Hu, Jonas Dornbusch, David Lüdke, Stephan Günnemann, Leo Schwinn (Technische Universität München)

---

1. Problemstellung: Die Verteilungslücke (Distribution Gap)

Das Paper identifiziert ein fundamentales Problem bei der aktuellen adversarialen Sicherheit von Large Language Models (LLMs). Obwohl Methoden wie Adversarial Training (AT) Fortschritte erzielt haben, bleiben Modelle anfällig für einfache Angriffe, die außerhalb der Trainingsverteilung liegen (Out-of-Distribution), aber dennoch natürlich wirken. Beispiele hierfür sind das Umschreiben von Prompts in die Vergangenheit oder die Übersetzung in andere Sprachen.

Die Autoren argumentieren, dass dies auf eine Verteilungslücke zurückzuführen ist:

• Empirisches vs. Populations-Risiko: Herkömmliches AT minimiert das empirische robuste Risiko ($R_{emp}$) über einen festen, begrenzten Datensatz $D$. Dies ist jedoch eine unzureichende Approximation des wahren populationsbasierten robusten Risikos ($R_{pop}$), das über die gesamte zugrundeliegende Datenverteilung $q(x, y)$ definiert ist.
• Zwei Fehlerquellen: Das robuste Risiko setzt sich aus zwei Fehlern zusammen:
  1. Optimierungsfehler: Das Finden des Worst-Case-Perturbations innerhalb eines lokalen Bereichs (wird von AT gut gelöst).
  2. Approximationsfehler: Die Abdeckung der tatsächlichen Datenverteilung (wird von AT vernachlässigt).
• Folge: Modelle sind robust gegen spezifische, optimierte Angriffe auf den Trainingsdaten, versagen aber bei „daten-spezifischen" Schwachstellen, die natürlich in der Verteilung vorkommen, aber nicht im festen Trainingsset enthalten sind.

2. Methodik: Distributional Adversarial Training (DAT)

Um diese Lücke zu schließen, schlagen die Autoren Distributional Adversarial Training (DAT) vor. Der Kernansatz besteht darin, einen statischen Datensatz durch ein generatives Surrogat zu ersetzen, das die wahre gemeinsame Verteilung von Prompts und Antworten besser approximiert.

Schlüsselkomponenten:

1. Diffusion LLMs als Surrogat:

   • Im Gegensatz zu autoregressiven Modellen, die nur die bedingte Verteilung $q(y|x)$ lernen, modellieren Diffusion-LLMs die gemeinsame Verteilung $q(x, y)$.
   • Dies ermöglicht das invertierte Sampling: Man kann Prompts $x$ direkt bedingt auf eine spezifische schädliche Antwort $y$ generieren ($x \sim p_{diff}(x|y)$).
   • Dadurch werden Prompts erzeugt, die mit hoher Wahrscheinlichkeit schädliche Antworten hervorrufen und die Vielfalt der natürlichen Sprache abdecken (Daten-Spezifität).

2. Zweistufiger Trainingsprozess:

   • Äußere Schleife (Verteilungsabdeckung): Anstatt auf einem festen Datensatz zu trainieren, werden diverse, hochwahrscheinliche adversariale Prompts $x$ mittels des Diffusion-Modells generiert, bedingt auf schädliche Antworten $y$. Dies approximiert die Population-Risiko besser.
   • Innere Schleife (Adversarial Optimization): Auf diesen generierten Samples wird Continuous Adversarial Training (CAT) angewendet. Dabei werden kontinuierliche Störungen $\delta$ auf die Token-Embeddings angewendet, um den Worst-Case-Loss zu maximieren.
   • Ziel-Funktion: Das Modell wird optimiert, um den adversarialen Loss zu minimieren, während gleichzeitig eine KL-Divergenz-Strafe auf einem „Retain-Set" (harmlose Daten) angewendet wird, um die allgemeine Nützlichkeit (Utility) zu erhalten.

3. Theoretische Rechtfertigung:

   • Die Autoren beweisen einen Surrogat-Fidelity-Bound (Theorem 3.1). Dieser zeigt, dass wenn das Diffusion-Surrogat die bedingte Verteilung $q(x|y)$ hinreichend genau approximiert (niedrige Total-Variation-Distanz), der Unterschied zwischen dem optimierten Surrogat-Risiko und dem wahren Populations-Risiko begrenzt ist.

3. Wichtige Beiträge

• Formalisierung der Robustheitslücke: Unterscheidung zwischen modell-spezifischen Perturbationen (lokal) und daten-spezifischen Generalisierungsfehlern (global/Verteilung).
• Neuer Trainingsansatz (DAT): Kombination von generativem Sampling (Diffusion) mit kontinuierlicher adversarialer Optimierung, um sowohl den Approximations- als auch den Optimierungsfehler zu adressieren.
• Nachweis der Daten-Spezifität: Experimentelle Bestätigung, dass nur Prompts, die aus dem hochwahrscheinlichen Bereich der schädlichen Verteilung stammen, effektiv zur Robustheit beitragen.

4. Ergebnisse

Die Experimente wurden auf Modellen wie Llama3-8B und Qwen2.5-14B durchgeführt und gegen State-of-the-Art-Methoden (CAT, LAT, MixAT, Circuit Breakers) verglichen.

• Robustheit:
  • DAT erreicht eine deutlich höhere Worst-Case-Robustheit als alle Baselines.
  • Besonders effektiv gegen Inpainting-Angriffe (basierend auf Diffusion), gegen die andere Methoden (z. B. MixAT) versagen (ASR von 77–94% bei Baselines vs. 32% bei DAT für Llama3).
  • Der Best-of-All (BoA) Attack Success Rate (ASR) wird massiv reduziert (z. B. von 77% auf 36% bei Llama3 und von 75% auf 18% bei Qwen2.5).
• Utility (Nützlichkeit):
  • DAT behält eine hohe Nützlichkeit bei (gemessen an XSTest, MMLU, ARC), vergleichbar mit anderen AT-Methoden, und übertrifft diese oft im Trade-off zwischen Sicherheit und Hilfsbereitschaft.
• Ablationsstudien:
  • Diffusion-only: Ein Modell, das nur auf Diffusion-Daten trainiert (ohne innere CAT-Schleife), ist robust gegen Inpainting, aber anfällig für andere Angriffe. Dies zeigt, dass beide Komponenten (Verteilung + lokale Optimierung) notwendig sind.
  • Skalierung: Mehr generierte Samples pro Verhalten führen zu besserer Robustheit, was die Theorie bestätigt, dass eine bessere Approximation der Verteilung das Risiko senkt.
  • Datenqualität: Das Training nur auf „schlechten" (niedrig-wahrscheinlichen) Samples führt zu geringer Robustheit. Die Qualität (Hoch-Wahrscheinlichkeit im schädlichen Bereich) ist entscheidend.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen theoretischen und praktischen Durchbruch für die Sicherheit von LLMs. Es zeigt, dass die bloße Erhöhung der Rechenleistung für lokale Optimierungen (inner loop) nicht ausreicht, wenn die Trainingsdaten die wahre Verteilung potenzieller Angriffe nicht abdecken.

• Paradigmenwechsel: Statt nur auf festen Datensätzen zu trainieren, sollte das Training über eine generative Verteilung erfolgen, die die „Manifold" natürlicher, schädlicher Prompts abdeckt.
• Praktische Relevanz: DAT bietet einen Weg, Modelle gegen eine breitere Palette von Angriffen (insbesondere solche, die auf Sprachvielfalt und Generalisierung abzielen) zu härten, ohne die Nützlichkeit des Modells zu opfern.
• Zukunft: Die Arbeit legt den Grundstein für den Einsatz generativer Modelle (wie Diffusion) nicht nur zur Erzeugung von Inhalten, sondern als essenzielles Werkzeug zur Verbesserung der Sicherheitsverifikation und des Trainings von KI-Systemen.

Zusammenfassend schließt DAT die Lücke zwischen dem, was ein Modell im Labor lernt (fester Datensatz), und dem, was es in der realen Welt erleben muss (komplexe Datenverteilung), und stellt damit einen signifikanten Schritt hin zu zuverlässigeren LLMs dar.