🤖 machine learning

Position: Adversarial ML for LLMs Is Not Making Any Progress

Dieses Positionspapier argumentiert, dass die Forschung im Bereich des adversen maschinellen Lernens im Zeitalter großer Sprachmodelle stagniert hat, da sich das Feld nun mit zunehmend unpräzisen, schwierigen und schwer zu bewertenden Problemen befasst, was die Besorgnis aufkommen lässt, dass ein weiteres Jahrzehnt der Arbeit keinen bedeutsamen Fortschritt bringen wird.

Ursprüngliche Autoren: Javier Rando, Jie Zhang, Nicholas Carlini, Florian Tramèr

Veröffentlicht 2026-06-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Javier Rando, Jie Zhang, Nicholas Carlini, Florian Tramèr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Feld der Sicherheit künstlicher Intelligenz als ein Spiel zwischen „Schlosser und Einbrecher“ vor.

In den letzten zehn Jahren haben die Schlosser (Sicherheitsforscher) und die Einbrecher (Angreifer) ein sehr spezifisches, gut definiertes Spiel gespielt. Früher testeten sie einfache Schlösser an kleinen, stabilen Kisten. Die Regeln waren klar:

Das Ziel: Der Einbrecher versucht, die Kiste zu öffnen, ohne das Schloss zu brechen.
Die Regeln: Der Einbrecher darf das Schloss nur ein winziges, ganz bestimmtes Stück bewegen (wie etwa einen Schlüssel nur um einen Millimeter zu rütteln).
Die Wertung: Wenn die Kiste aufgeht, gewinnt der Einbrecher. Wenn sie geschlossen bleibt, gewinnt der Schlosser.

Dieses Spiel war schwer, aber jeder wusste genau, wie man den Sieg misst.

Die große Behauptung des Papers
Nun hat sich das Spiel geändert. Anstatt kleiner Kisten versuchen wir jetzt, massive, offene „intelligente Assistenten“ (Large Language Models oder LLMs) zu sichern, die über alles reden und alles tun können. Die Autoren dieses Papers argumentieren, dass das Spiel kaputt ist. Sie behaupten, dass das Feld in dieser neuen Ära auf der Stelle tritt und keinen wirklichen Fortschritt macht, weil die Regeln des Spiels nun ein Chaos sind.

Hier ist der Grund, erklärt durch einfache Analogien:

1. Die Regeln des Spiels sind verschwunden (Problemdefinition)

Im alten Spiel war der „Sieg“ leicht zu erkennen: Ging die Kiste auf?
Im neuen Spiel ist die „Kiste“ ein Chatbot. Das Ziel ist nicht nur, die Kiste zu öffnen; es geht darum, den Chatbot dazu zu bringen, etwas „Schlechtes“ zu sagen.

Die Analogie: Stellen Sie sich vor, Sie bitten einen Einbrecher, „etwas Schlechtes zu stehlen“. Was ist „schlecht“? Ist es der Diebstahl eines Schokoriegels? Eines Autos? Eines geheimen Rezepts?
Das Problem: Da „schlecht“ subjektiv ist, können sich Forscher nicht darauf einigen, was einen erfolgreichen Angriff ausmacht. Ein Forscher sagt vielleicht: „Er hat den Bot dazu gebracht, ein Schimpfwort zu sagen, also hat er gewonnen!“ Ein anderer sagt: „Aber das Schimpfwort war harmlos, also hat er verloren.“ Ohne eine klare Punktetafel kann man nicht feststellen, ob die Schlosser tatsächlich besser in ihrem Job geworden sind.

2. Der Einbrecher hat unendliche Werkzeuge (Problemlösung)

Im alten Spiel durfte der Einbrecher das Schloss nur ein winziges Stück bewegen. Das hielt das Spiel fair und messbar.
Im neuen Spiel kann der Einbrecher alles tun.

Die Analogie: Der Einbrecher kann nun eine Verkleidung tragen, den Wachmann bestechen, das Schloss mit einem Laser knacken oder einfach den Wachmann dazu überreden, die Tür zu öffnen.
Das Problem: Da der Einbrecher unendlich viele Wege hat anzugreifen, können Forscher kein Computerprogramm schreiben, um den „Worst-Case“-Angriff zu finden. Tatsächlich stellt das Paper fest, dass Menschen derzeit besser darin sind, diese Modelle zu knacken als Computer. Die besten „Einbrecher“ sind nun Menschen, die Kreativität und Social Engineering nutzen, nicht die Mathematik. Dies macht es unmöglich, ein „perfektes Schloss“ zu bauen, da man nicht gegen jeden möglichen menschlichen Trick testen kann.

3. Die Punktetafel ist kaputt (Evaluierung der Ergebnisse)

Im alten Spiel konnte man genau zählen, wie viele Kisten geöffnet wurden.
Im neuen Spiel nutzen wir andere KI-Bots, um zu beurteilen, ob ein Chatbot etwas „Schlechtes“ gesagt hat.

Die Analogie: Stellen Sie sich vor, Sie bitten einen Roboter zu beurteilen, ob ein Gemälde „hässlich“ ist. Der Roboter könnte einfach sagen: „Wenn es kein Bild einer Katze ist, ist es hässlich.“ Oder der Roboter könnte vom Einbrecher getäuscht werden, um zu sagen: „Nein, das ist eigentlich wunderschön.“
Das Problem: Die Werkzeuge, die wir zur Erfolgsmessung verwenden, sind fehlerhaft. Sie lassen sich leicht täuschen, sie verstehen menschliche Nuancen nicht und sie liefern oft Fehlalarme. Zudem werden die „Schlösser“ (die KI-Modelle) oft von großen Unternehmen betrieben, die sie im Geheimen aktualisieren. Wenn ein Unternehmen das Schloss über Nacht ändert, können Forscher ihre Ergebnisse vom letzten Monat nicht mit denen von diesem Monat vergleichen. Es ist, als würde man versuchen, zwei Fotos eines Hauses zu vergleichen, aber das Haus ändert zwischen den Aufnahmen ständig seine Farbe und Form.

Die Fallstudien (Die Beweise)

Das Paper untersucht sechs spezifische Bereiche, in denen dieses „kaputte Spiel“ stattfindet:

Jailbreaks: Der Versuch, einen Bot dazu zu bringen, „Nein“ zu sagen. Es ist schwer zu definieren, wie ein „Nein“ aussieht, wenn der Bot sehr gesprächig ist.
Un-finetunable Models: Der Versuch, einen Bot so intelligent zu machen, dass er keine neuen, gefährlichen Tricks mehr lernen kann. Aber wenn der Einbrecher den Bot neu trainieren kann, ändert sich das gesamte Spiel.
Poisoning (Vergiftung): Der Versuch, schlechte Daten in das Training des Bots einzuschleusen. Aber die Trainingsdaten sind so riesig und chaotisch (wie eine Bibliothek mit Millionen von Büchern), dass man nicht feststellen kann, welches Buch das Problem verursacht hat.
Prompt Injections: Der Versuch, einen Bot dazu zu bringen, seine Regeln zu ignorieren. Da der Bot ewig sprechen kann, kann der Einbrecher über ein langes Gespräch schlechte Anweisungen einschleusen, was es schwierig macht, sie zu entdecken.
Privacy (Privatsphäre): Der Versuch herauszufinden, ob der Bot spezifische Daten einer Person „auswendig gelernt“ hat. Aber da der Bot aus dem gesamten Internet gelernt hat, ist es unmöglich zu wissen, ob er genau von dieser Person gelernt hat oder nur von ähnlichen Informationen aus anderen Quellen.
Unlearning (Verlernen): Der Versuch, den Bot dazu zu bringen, ein bestimmtes Thema zu „vergessen“ (wie den Bau einer Bombe). Aber man kann ein Faktum nicht einfach aus einem Gehirn löschen; man könnte versehentlich die Fähigkeit des Bots zur Biologie komplett löschen.

Das Fazit

Die Autoren sagen nicht, dass wir aufhören sollten, die Sicherheit von KI zu versuchen. Sie sagen, dass wir versuchen, ein Puzzle mit fehlenden Teilen und ohne Bild auf dem Karton zu lösen.

Sie argumentieren, dass wir im nächsten Jahrzehnt vielleicht weiterhin Paper veröffentlichen, die nach Fortschritt aussehen, aber weil die Regeln vage und die Tests unzuverlässig sind, machen wir in Wirklichkeit keine Fortschritte in Sachen Sicherheit.

Ihr Rat:
Anstatt zu versuchen, die gesamte, chaotische, offene KI zu sichern, sollten Forscher kleine, spezifische, gut definierte „Spielzeug-Probleme“ wählen (wie das alte Spiel „das Schloss um einen Millimeter bewegen“). Wenn wir selbst diese kleinen, klaren Probleme nicht mit wissenschaftlicher Strenge lösen können, haben wir keine Hoffnung, die massiven, chaotischen Probleme der realen Welt zu bewältigen.

Kurz gesagt: Wir versuchen, eine Festung gegen einen Feind zu bauen, der seine Gestalt ändern kann, aus jedem Winkel angreift und seinen eigenen Sieg selbst beurteilt, und das alles mit einem Lineal, das ständig schrumpft. Bis wir die Regeln und das Lineal nicht repariert haben, machen wir keinen wirklichen Fortschritt.

Technisches Resümee: Adversarial ML für LLMs macht keine Fortschritte

Problemstellung

Das Paper argumentiert, dass das Feld des Adversarial Machine Learning (Adversarial ML) in seiner Fähigkeit, messbare Fortschritte zu erzielen, stagniert, seitdem der Fokus von einfachen, klar definierten Klassifikationsmodellen auf Large Language Models (LLMs) verschoben wurde. Während sich das frühe Adversarial ML auf „Toy“-Probleme mit klaren Zielsetzungen konzentrierte (z. B. die Fehlklassifizierung eines Bildes unter begrenzten Pixel-Perturbationen), stellt die aktuelle Ära der LLMs Probleme dar, die fundamental weniger klar definiert, schwerer zu lösen und schwieriger zu evaluieren sind.

Die Autoren behaupten, dass der Übergang zu generellen, generativen Modellen die mathematische und experimentelle Strenge beseitigt hat, die zuvor den Vergleich von Angriffen und Abwehrmechanismen ermöglichte. Infolgedessen läuft das Feld Gefahr, ein weiteres Jahrzehnt lang Arbeiten zu produzieren, die es versäumen, bedeutsame, reproduzierbare wissenschaftliche Fortschritte oder robuste Sicherheitsgarantien zu liefern.

Methodik

Dieses Paper ist ein Positionspapier und keine empirische Studie mit neuen experimentellen Ergebnissen. Die Methodik der Autoren besteht aus einer kritischen Analyse des aktuellen Zustands des Feldes durch:

Konzeptionelle Analyse: Dekonstruktion der Evolution von adversariellen Problemen von der Klassifikation hin zu generativen Modellen unter Identifizierung spezifischer struktureller Änderungen in der Problemdefinition, dem Lösungsraum und den Evaluationsmetriken.
Fallstudien: Systematische Untersuchung von sechs spezifischen Forschungsbereichen, um zu illustrieren, wie der Übergang zu LLMs die Schwierigkeiten verschärft:
- Jailbreaks
- Un-finetunable Modelle (Modelle, die nicht feinjustiert werden können)
- Poisoning und Backdoors (Vergiftung und Hintertüren)
- Prompt Injections
- Membership Inference (Mitgliedschafts-Inferenz)
- Machine Unlearning (Maschinelles Vergessen)
Synthese von Gegenargumenten: Adressierung alternativer Ansichten, die suggerieren, dass das Feld Fortschritte macht oder dass die erhöhte Komplexität ein notwendiger Schritt zur Lösung realer Probleme sei.

Zentrale Beiträge und Erkenntnisse

1. Probleme sind schwerer zu definieren

Die Autoren identifizieren drei Kernbereiche, in denen die Definition unklar geworden ist:

Definition von Erfolg: Im Gegensatz zur Klassifikation (wo Erfolg eine Fehlklassifikationsrate ist) beinhaltet die Sicherheit von LLMs subjektive, qualitative Ziele (z. B. „Harmlosigkeit“, „Hilfreichkeit“). Erfolgsmetriken verlassen sich oft auf „LLM-as-a-judge“-Systeme, die Zirkularität, Bias und die Anfälligkeit gegenüber genau den Angriffen einführen, die sie messen sollen.
Begrenzung des Angriffsraums: Traditionelle Robustheit beruhte auf begrenzten Eingaberaum (z. B. $\ell_p$ -Normen). Für LLMs ist der Angriffsraum effektiv unbegrenzt (jeder beliebige Texteingabe), und die Bedrohungsmodelle haben sich auf die Modifikation des Modells ausgeweitet (Fine-tuning, Pruning) statt nur auf die Eingabe-Perturbation. Es gibt keinen Konsens darüber, was einen „gültigen“ oder „neuartigen“ adversariellen Prompt ausmacht.
Abgrenzung von Daten: Das Konzept eines distinkten Trainingsdatensatzes und eines gehaltenen Testdatensatzes ist aufgelöst. LLMs werden auf riesigen, überlappenden Internet-Korpora trainet, bei denen die Grenzen zwischen Trainings- und Testdaten sowie zwischen einzelnen Datenpunkten verschwimmen. Dies macht Konzepte wie die „Mitgliedschaft“ oder das „Verlernen“ spezifischer Datenpunkte schwer definierbar.

2. Probleme sind schwerer zu lösen

Ineffektive Optimierung: Gradientenbasierte Optimierung, die den Fortschritt in der Bildklassifikation vorangetrieben hat, ist für LLMs weitgehend unwirksam, da diese diskrete Texteingaben verwenden und es keine formale Loss-Function für Sicherheit gibt.
Abhängigkeit von menschlicher Anstrengung: Da die automatisierte Optimierung Schwierigkeiten hat, sind die stärksten Angriffe auf LLMs nun oft menschengesteuert (z. B. Social Engineering, Persona-Modulation) statt algorithmisch. Dies verhindert die systematische Entdeckung von Worst-Case-Szenarien.
Mangel an prinzipiierten Abwehrmechanismen: Ohne formale Ziele oder begrenzte Angriffsräume sind Abwehrmechanismen weitgehend ad-hoc (z. B. Output-Filterung, virtuelles adversarielles Training). Diese Abwehrmechanismen können nicht formal analysiert oder zertifiziert werden, was zu Evaluationen führt, die die Robustheit oft überschätzen.

3. Probleme sind schwerer zu evaluieren

Reproduzierbarkeitskrise: Viele State-of-the-Art-LLMs sind Closed-Source, werden im Stillen aktualisiert und werden über APIs bereitgestellt. Dieser Mangel an Transparenz macht es unmöglich, Ergebnisse zu reproduzieren, verschiedene Ansätze fair zu vergleichen oder Fortschritte über die Zeit zu verfolgen.
Evaluation der Nützlichkeit (Utility): Abwehrmechanismen, die schädliche Ausgaben verhindern, degradieren oft die allgemeine Nützlichkeit des Modells (z. B. die Verweigerung aller Anfragen). Die Messung des Trade-offs zwischen Sicherheit und Nützlichkeit ist subjektiv und kontextabhängig und entbehrt standardisierter Metriken (wie Genauigkeit), die in der traditionellen ML verwendet werden.

4. Erkenntnisse aus den Fallstudien

Das Paper detailliert, wie sich diese Herausforderungen in spezifischen Domänen manifestieren:

Jailbreaks: Erfolg wird durch „schädliche“ Inhalte definiert, was eine formale Definition vermissen lässt. Die Optimierung ist schwierig, was zu einer Abhängigkeit von manuellem Prompt Engineering führt.
Un-finetunable Modelle: Das Bedrohungsmodell umfasst nun Angreifer, die Modellgewichte modifizieren können, was den Suchraum von Eingabegradienten zu Parametergradienten erweitert (Größenordnungen größer).
Poisoning/Backdoors: Das mehrstufige Training von LLMs (Pre-training + Fine-tuning) und die Skalierung der Daten machen es rechnerisch unmöglich, Modelle von Grund auf neu zu trainieren, um saubere Baselines für die Evaluation zu etablieren.
Prompt Injections: Die Evaluation dieser erfordert realistische Agenten-Umgebungen mit Werkzeugnutzung (Tool Use), die teuer zu simulieren sind und oft auf LLM-Judges angewiesen sind, was den Evaluations-Bias wieder einführt.
Membership Inference & Unlearning: Der Mangel an klaren Datengrenzen und die Unmöglichkeit, kontrafaktische Modelle zu erstellen (Neu-Training ohne einen spezifischen Punkt), macht es unmöglich, rigoros zu beweisen, dass Daten „vergessen“ wurden oder ob eine Probe Teil des Trainingssets war.

Ergebnisse und Behauptungen

Das Paper präsentiert keine neuen experimentellen Daten, sondern synthetisiert die bestehende Literatur, um die folgenden Behauptungen zu stützen:

Stagnation: Das Feld schafft es nicht, bedeutsame Fortschritte zu erzielen, weil die Probleme keine „Toy“-Probleme mit rigorosen Frameworks mehr sind.
Evaluationsversagen: Aktuelle Evaluationsmethoden (LLM-Judges, Ad-hoc-Benchmarks) reichen nicht aus, um Fortschritte zu verfolgen oder Abwehrmechanismen zuverlässig zu vergleichen.
Der „Real-World“-Fehlschluss: Während einige argumentieren, dass das Studium ungebundener, realer Probleme notwendig ist, argumentieren die Autoren, dass das Feld ohne formale Teilprobleme, die als Anker für die wissenschaftliche Untersuchung dienen, nicht zwischen echten Sicherheitsverbesserungen und Artefakten opaker Evaluation unterscheiden kann.
Risiko der Obskurität: Der Trend zu komplexen, opaken Abwehrsystemen (Security through Obscurity) mag kurzfristige Sicherheit bieten, behindert aber das wissenschaftliche Verständnis, das für langfristige Robustheit erforderlich ist.

Bedeutung

Das Paper dient als Warnung für die Adversarial-ML-Community. Seine Bedeutung liegt in:

Reframing des Narrativs: Es fordert den vorherrschenden Optimismus heraus, dass neuere Modelle inhärent sicherer seien, und argumentiert, dass die Unfähigkeit, Abwehrmechanismen rigoros zu evaluieren, eine potenzielle Stagnation maskiert.
Aufruf zu wissenschaftlicher Strenge: Es plädiert für eine Rückkehr zu gut definierten, formalen Teilproblemen (ähnlich wie $\ell_p$ -gebundene Perturbationen) als Voraussetzung für wissenschaftlichen Fortschritt. Die Autoren argumenten, dass ohne die Fähigkeit, sorgfältig abgegrenzte formale Probleme zu lösen, die breitere Herausforderung der LLM-Sicherheit nicht bewältigt werden kann.
Methodische Orientierung: Es legt nahe, dass Arbeiten explizit angeben sollten, ob ihr Ziel reale Sicherheit ist (wo vage Definitionen für unmittelige Schadensreduktion akzeptabel sein mögen) oder wissenschaftlicher Fortschritt (der formale, rigorose Frameworks erfordert).

Die Autoren kommen zu dem Schluss, dass das Feld Gefahr läuft, ein weiteres Jahrzehnt damit zu verbringen, keine bedeutsamen Fortschritte bei der Sicherung von LLMs zu erzielen, sofern die Community nicht in der Lage ist, rigorose Definitionen, Optimierungsmethoden und reproduzierbare Benchmarks wiederherzustellen.