💬 NLP

REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations

Das Papier stellt REALISTA vor, ein neuartiges Framework für adversariale Angriffe, das realistische, Halluzinationen auslösende Prompts generiert, indem es kontinuierliche Kombinationen semantisch äquivalenter Bearbeitungsdirektionen im latenten Raum optimiert und dadurch die Einschränkungen bestehender diskreter und kontinuierlicher Methoden überwindet, um sowohl Open-Source- als auch große Reasoning-Modelle effektiv anzugreifen.

Ursprüngliche Autoren: Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Magische Trick" der KI-Verwirrung

Stellen Sie sich vor, Sie haben einen sehr klugen, gut trainierten Papagei (das Large Language Model, oder LLM). Sie stellen ihm eine einfache Frage: „Was ist 2 plus 2?" Er antwortet selbstbewusst: „4."

Nun stellen Sie exakt dieselbe Frage, formulieren sie aber leicht um: „Wenn Sie zwei Äpfel mit zwei weiteren Äpfeln kombinieren, wie viele haben Sie dann?" Ein normaler Mensch würde immer noch „4" sagen. Doch dieser kluge Papagei wird plötzlich verwirrt und sagt: „5."

Dies nennt man eine Halluzination. Das Papier fragt: Warum wird der Papagei verwirrt, nur weil wir die Wörter geändert haben, obwohl die Bedeutung exakt dieselbe ist?

Um dies herauszufinden, müssen Forscher den Papagei täuschen. Aber sie können nicht einfach Unsinn rufen oder eine falsche Geschichte erzählen, denn das würde das Spiel verändern. Sie müssen einen „magischen Spruch" (einen adversarialen Prompt) finden, der völlig natürlich klingt und exakt dasselbe bedeutet wie die ursprüngliche Frage, aber irgendwie das Gehirn des Papageis zum Erliegen bringt.

Das Problem: Zwei schlechte Wege, den Papagei zu täuschen

Bevor dieses Papier veröffentlicht wurde, versuchten Forscher zwei Hauptmethoden, um die KI zu täuschen, und beide hatten Mängel:

Der „Diskrete" Ansatz (Der Wörterbuch-Tausch):
Stellen Sie sich vor, Sie versuchen, die Frage neu zu schreiben, indem Sie Wörter aus einem Thesaurus austauschen. Sie ändern „kombinieren" zu „vereinigen", „Äpfel" zu „Orangen".
- Das Gute: Es klingt menschlich und behält die Bedeutung.
- Das Schlechte: Es ist wie der Versuch, ein Meisterwerk zu malen, indem man nur 10 spezifische Farben verwendet. Sie sind auf die Wörter beschränkt, die Sie in Ihrem Wörterbuch haben. Sie könnten die perfekte Kombination von Wörtern verpassen, die die KI zum Scheitern bringen würde.
Der „Kontinuierliche" Ansatz (Der Digitale Schlamm):
Stellen Sie sich vor, Sie versuchen, die Frage zu manipulieren, indem Sie winzige, unsichtbare digitale Anpassungen an den internen „Gedanken" der KI (ihrem latenten Raum) vornehmen.
- Das Gute: Sie haben unendliche Freiheit, die Gedanken zu justieren.
- Das Schlechte: Wenn Sie diese angepassten Gedanken zurück in Wörter umwandeln, kommen sie oft als Unsinn oder Kauderwelsch heraus (wie „S!mpl&fy (2 + 5)2 −4@2"). Die KI versteht den Unsinn, aber es ist kein realistischer Test, weil echte Menschen nicht so sprechen.

Die Lösung: REALISTA (Der „Lego"-Ansatz)

Die Autoren entwickelten eine neue Methode namens REALISTA. Stellen Sie sich vor, man baut mit Lego-Steinen im Gehirn der KI.

Die Lego-Steine (Bearbeitungsrichtungen):
Anstatt zufällige Wörter oder zufälligen digitalen Rauschen zu erraten, baut REALISTA zuerst einen speziellen Satz von „Lego-Steinen". Jeder Stein repräsentiert eine spezifische, gültige Möglichkeit, einen Satz umzuformulieren, ohne seine Bedeutung zu ändern.
- Beispiel: Ein Stein könnte sein „lass es formeller klingen". Ein anderer könnte sein „stelle es als Frage statt als Aussage". Ein weiterer könnte sein „füge ein wenig Dramatik hinzu".
- Entscheidend ist, dass diese Steine eingabeabhängig sind. Wenn Sie nach Mathematik fragen, sind die Steine Mathematik-Umformulierungswerkzeuge. Wenn Sie nach Geschichte fragen, sind es Geschichts-Umformulierungswerkzeuge.
Mischen der Steine (Kontinuierliche Optimierung):
Jetzt, anstatt nur einen Stein auszuwählen, nutzt REALISTA Mathematik, um die perfekte Mischung dieser Steine zu berechnen. Es fragt: „Wenn ich 10 % des 'formellen' Steins, 5 % des 'dramatischen' Steins und 2 % des 'Frage'-Steins verwende, wird die KI dann verwirrt?"
- Dies ermöglicht eine glatte, unendliche Suche (wie das Mischen von Farbtönen) statt einer begrenzten, holprigen Suche (wie das Auswählen aus einer Speisekarte).
Das Sicherheitsnetz (Die Simplex-Bedingung):
Um sicherzustellen, dass das Ergebnis nicht in Unsinn verwandelt wird, legt REALISTA die Mischung an eine „Sicherheitsleine". Es stellt sicher, dass die Gesamtmenge der Veränderung gering ist und dass die Steine nur addiert werden (niemals subtrahiert auf eine Weise, die die Logik zerstört). Dies garantiert, dass der finale Satz immer noch so klingt, als hätte ein Mensch ihn geschrieben, und immer noch dasselbe bedeutet wie das Original.

Wie es in der Praxis funktioniert

Start: Sie geben dem System eine normale Frage (z. B. „Was ist die Hauptstadt von Frankreich?").
Übersetzen: Das System übersetzt diese Frage in die interne „Gedankensprache" der KI (latenten Raum).
Bauen: Es schaut sich seinen maßgeschneiderten Lego-Satz (das Bearbeitungs-Wörterbuch) für diese spezifische Frage an.
Optimieren: Es mischt die Lego-Steine mathematisch, um die Kombination zu finden, die die KI dazu bringt, „Die Hauptstadt von Frankreich ist London" zu antworten (eine Halluzination), während die Frage natürlich klingt.
Decodieren: Es übersetzt die gemischten „Gedanken" zurück ins Englische.
Ergebnis: Sie erhalten eine Frage wie: „Könnten Sie mir bitte auf direkte Weise mitteilen, welche Stadt als Hauptsitz der Regierung für Frankreich dient?"
- Es klingt natürlich.
- Es bedeutet dasselbe.
- Aber die KI glaubt aus irgendeinem Grund, die Antwort sei „London".

Warum dies wichtig ist (laut dem Papier)

Das Papier zeigt, dass REALISTA in zwei Dingen besser ist als frühere Methoden:

Erfolgsrate: Es täuscht die KI häufiger als die alten „Wörterbuch-Tausch"-Methoden.
Realismus: Es produziert keinen Unsinn wie die alten „digitalen Schlamm"-Methoden.

Am wichtigsten ist, dass das Papier behauptet, diese Methode funktioniere sogar bei fortgeschrittenen „Reasoning"-Modellen (den klügsten, komplexesten KIs), die normalerweise einfache Tricks ignorieren. Es kann die spezifische, subtile Umformulierung finden, die selbst die klügste KI zur Halluzination bringt, und beweist, dass diese Modelle immer noch zerbrechlich sind, wenn sie mit realistischen, menschlich wirkenden Variationen einer Frage konfrontiert werden.

Kurz gesagt: REALISTA ist ein Werkzeug, das den perfekten, natürlich klingenden Weg findet, eine Frage umzuformulieren, um eine KI zu verwirren, indem es „Umformulierungs-Zutaten" auf mathematisch präzise Weise mischt und sicherstellt, dass das Ergebnis sowohl effektiv als auch realistisch ist.

Technische Zusammenfassung: REALISTA

Problemstellung

Large Language Models (LLMs) zeigen Halluzinationen, selbst wenn sie auf harmlose Benutzeranfragen antworten. Das Verständnis der Mechanismen, die diese Fehler auslösen, erfordert realistische adversariale Angriffe, die zwei kritische Einschränkungen erfüllen:

Semantische Äquivalenz: Der adversariale Prompt muss die ursprüngliche semantische Absicht des harmlosen Prompts bewahren.
Semantische Kohärenz: Der adversariale Prompt muss fließend und menschlich wirken.

Bestehende Methoden scheitern daran, diese Einschränkungen gleichzeitig zu erfüllen. Diskrete promptbasierte Angriffe (z. B. SECA) bewahren die semantische Realität, sind jedoch auf einen spärlichen, diskreten Suchraum beschränkt, was die Angriffsdiversität einschränkt. Kontinuierliche Angriffe im latenten Raum erkunden einen reichhaltigeren Raum, dekodieren jedoch oft in Prompts, die Kauderwelsch sind oder semantisch vom Original abweichen, wodurch die Äquivalenzbedingung verletzt wird. Die Kernherausforderung besteht darin, eine breite Erkundung im latenten Raum zu ermöglichen, während die semantische Realität strikt durchgesetzt wird.

Methodik: REALISTA

Die Autoren schlagen REALISTA (Realistic Latent Adversarial Attacks) vor, ein Framework, das die Auslösung von Halluzinationen als ein restringiertes Optimierungsproblem im latenten Raum des LLM formuliert. Die Methode überbrückt die Lücke zwischen diskreten und kontinuierlichen Ansätzen durch folgende Komponenten:

1. Eingabeabhängiges Editier-Wörterbuch

Anstatt willkürliche latente Vektoren zu optimieren, konstruiert REALISTA ein Wörterbuch von interpretierbaren Editier-Richtungen, die für jeden Eingabe-Prompt $x_0$ spezifisch sind.

Konzeptauswahl: Mithilfe eines Konzept-Optimierungsverfahrens (unter Nutzung von WordNet und einem LLM-basierten Bewerter) wählt die Methode eine diverse Menge an Konzept-Schlüsselwörtern aus, die für die Eingabe relevant sind.
Latente Richtungen: Für jedes ausgewählte Konzept wird eine semantisch äquivalente Umformulierung $x^{(i)}_{SE}$ generiert. Der Encoder $\phi$ bildet diese auf latente Repräsentationen ab, und die Editier-Richtung wird definiert als $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$ .
Wörterbuch: Die Menge dieser Richtungen bildet das Wörterbuch $D$ , das einen Unterraum von semantisch erhaltenden Transformationen aufspannt.

2. Kontinuierliche Optimierung über einem Simplex

Der Angriff wird als Finden eines optimalen Vektors für die Editierstärke $\delta$ formuliert, sodass die adversariale latente Repräsentation $z$ ist:
$z = z_0 + D\delta$
wobei $z_0 = \phi(x_0)$ . Das Optimierungsproblem lautet:
$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{unter der Bedingung} \quad \delta \in \Delta_\varepsilon$

Zielfunktion: Minimierung des Halluzinationsverlusts (z. B. negative Log-Wahrscheinlichkeit einer falschen Antwort oder ein Halluzinationsscore eines Bewerter-Modells).
Einschränkung: $\delta$ ist auf einen skalierten Simplex beschränkt ( $\delta \succeq 0, \|\delta\|_1 \le \varepsilon$ ). Dies erzwingt Sparsamkeit und Nicht-Negativität und stellt sicher, dass die Störung eine milde, konvexe Kombination semantisch erhaltender Editierungen ist und keine große, willkürliche Verschiebung.

3. Decoder und semantische Sicherung

Prompt-Rekonstruktion: Ein approximativer Inverse-Operator (Decoder) $\psi$ , implementiert mit demselben LLM wie der Encoder, bildet die gestörte latente Repräsentation $z$ zurück in den Prompt-Raum $x = \psi(z)$ ab.
Optimierungsalgorithmus: Die Autoren setzen Projected Langevin Dynamics (PLD) ein, um die nicht-konvexe Optimierung zu lösen. Dies beinhaltet:
- Gumbel-Softmax-Reparametrisierung: Um den Gradientenfluss durch den diskreten Dekodierprozess zu ermöglichen.
- Stochastische Erkundung: Einbringen von Gaußschem Rauschen, um lokale Minima in der stückweise flachen Optimierungslandschaft zu verlassen.
- Sicherung der semantischen Äquivalenz: Während der Optimierung wird, falls ein Kandidaten-Prompt $x$ einen Check auf semantische Äquivalenz (durch einen instruierten LLM durchgeführt) nicht besteht, das Gradientensignal verworfen, um zu verhindern, dass der Optimierer in nicht-äquivalente Bereiche driftet.

Hauptbeiträge

Eingabeabhängiges Editier-Wörterbuch: Eine Methode zur Konstruktion einer kompakten, diversen und gültigen Menge latenter Editier-Richtungen, die vom ursprünglichen Prompt abhängen und kontinuierliche Modifikationen unter Bewahrung der Semantik ermöglichen.
Simplex-restringierte Optimierung: Formulierung der realistischen Auslösung von Halluzinationen als kontinuierliches Optimierungsproblem über einem skalierten Simplex, das Flexibilität der Erkundung mit semantischen Einschränkungen ausbalanciert.
Realistisches Angriffs-Framework: Die Integration des Editier-Wörterbuchs, der Simplex-Einschränkung und der semantischen Sicherung in den REALISTA-Algorithmus, der erfolgreich den Kompromiss zwischen Angriffseffektivität und semantischer Realität navigiert.

Experimentelle Ergebnisse

Die Arbeit evaluiert REALISTA an Open-Source-LLMs (Llama-3, Qwen-2.5) und kommerziellen Reasoning-Modellen (GPT-5-Varianten) über 16 MMLU-Fächer hinweg.

Angriffserfolgsrate (ASR): REALISTA erzielt eine überlegene oder vergleichbare ASR im Vergleich zu state-of-the-art (SOTA) realistischen Angriffen (z. B. SECA). Beispielsweise erreicht REALISTA auf Llama-3-8B eine ASR@30 von 93,60 % und übertrifft damit SECA (82,97 %) und LARGO (57,92 %).
Semantische Fehler: Entscheidend ist, dass REALISTA eine niedrige Semantische-Äquivalenz-Fehlerrate (SEE) und eine niedrige Semantische-Kohärenz-Fehlerrate (SCE) beibehält, die mit SECA vergleichbar und deutlich besser als bei kontinuierlichen Baselines wie LARGO und ICD sind, die oft eine SEE nahe 100 % aufweisen.
Reasoning-Modelle: REALISTA löst erfolgreich Halluzinationen bei kommerziellen Reasoning-Modellen (GPT-5-Nano, GPT-5-Mini) in Szenarien mit freien Antwortformaten aus, ein Szenario, bei dem frühere realistische Angriffe (SECA, LARGO) aufgrund ihrer Abhängigkeit von festen Ausgabeformaten oder Zugriff auf Logits des Zielmodells scheitern.
Konzeptanalyse: Die Analyse aktivierter Konzepte zeigt, dass erfolgreiche Angriffe primär strukturelle und rahmende Änderungen (z. B. Umkehrung der Polarität, logische Umstrukturierung, instruktive Rahmung) ausnutzen, anstatt den faktischen Inhalt zu verändern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass REALISTA zeigt, dass realistische Halluzinationsangriffe auch in Black-Box-Szenarien mit reasoning-zentrierter Bereitstellung möglich sind. Durch die Überbrückung der Lücke zwischen diskreten und kontinuierlichen Angriffsparadigmen bietet das Framework ein systematischeres Werkzeug zum Red-Teaming von LLMs.

Die Autoren betonen, dass ihre Arbeit dazu beiträgt, Fehlermodi zu charakterisieren, bei denen lexikalisch unterschiedliche, aber semantisch äquivalente Prompts zu Halluzinationen führen. Sie weisen darauf hin, dass die Methode zwar die Effektivität der Auslösung von Halluzinationen verbessert (was potenziell die Barrieren für Missbrauch senken könnte), ihr primärer Nutzen jedoch in der Entwicklung robusterer Verteidigungsstrategien liegt, indem sie aufzeigt, wie Modelle unter realistischen Störungen versagen. Die Arbeit unterstreicht die Bedeutung von Angriffen im latenten Raum für die Evaluierung der Zuverlässigkeit von LLMs in realistischen Szenarien, in denen diskrete Suche unzureichend ist.