💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

Die Arbeit stellt SECA vor, eine Methode, die durch realistische, semantisch äquivalente und kohärente Prompt-Modifikationen gezielt Halluzinationen in Large Language Models hervorruft und dabei im Vergleich zu bestehenden Ansätzen eine höhere Erfolgsquote bei minimalem Bedeutungsverlust erzielt.

Ursprüngliche Autoren: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Veröffentlicht 2026-02-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas verwirrten Bibliothekar. Dieser Bibliothekar ist eine Künstliche Intelligenz (KI), die riesige Mengen an Wissen gespeichert hat. Normalerweise ist er super zuverlässig. Aber manchmal, wenn du ihn auf eine sehr spezielle, aber harmlose Art fragst, beginnt er zu halluzinieren: Er erfindet Fakten, die nicht stimmen, oder erklärt Dinge völlig falsch, obwohl er eigentlich alles wissen sollte.

Das Papier "SECA" von Forschern der University of Pennsylvania untersucht genau dieses Problem. Es fragt sich: Wie können wir diesen Bibliothekar so verwirren, dass er Fehler macht, ohne dabei Unsinn zu sagen?

Hier ist die einfache Erklärung, wie sie das gemacht haben:

1. Das Problem: Die bisherigen Tricks waren zu offensichtlich

Bisher haben Hacker versucht, KIs zu täuschen, indem sie:

Unsinniges Zeug in die Fragen gemischt haben (wie "Was ist der Wert von p in 24 = 2p? mit@Now"!"). Das ist wie wenn du den Bibliothekar mit Kauderwelsch konfrontierst. Er merkt sofort, dass etwas falsch ist, und gibt vielleicht gar keine Antwort oder eine dumme.
Die Frage komplett verändert haben (z. B. "Erfinde eine Lüge über p"). Das ist wie wenn du den Bibliothekar bittest, eine Geschichte zu erfinden. Wenn er das tut, ist es keine Halluzination mehr, sondern er macht genau das, was du wolltest.

Beide Methoden zeigen nicht, wie die KI im echten Leben versagt, weil niemand im echten Leben so redet.

2. Die Lösung: SECA – Der "Verkleidungs-Meister"

Die Forscher haben eine neue Methode namens SECA (Semantically Equivalent and Coherent Attacks) entwickelt.

Stell dir vor, du möchtest den Bibliothekar testen, ob er wirklich weiß, dass $2 \times 12 = 24$ .

Die normale Frage: "Was ist $p$ , wenn $24 = 2p$ ?"
Die SECA-Frage: "Wenn man den Wert von $p$ verdoppelt, kommt 24 heraus. Was ist dann $p$ ?"

Beide Fragen bedeuten exakt dasselbe. Sie sind logisch identisch. Aber die zweite Frage ist wie eine andere Sprache oder ein anderer Dialekt.

Die Analogie:
Stell dir vor, du hast einen sehr strengen Türsteher (die KI).

Wenn du versuchst, mit einem falschen Ausweis (Unsinn) oder indem du ihm sagst "Tu so, als wärst du ein Dieb" (Befehl zum Lügen), reinzukommen, wird er dich sofort abweisen.
SECA ist wie ein Meister der Verkleidung. Du kommst nicht als Eindringling, sondern als ein ganz normaler Gast, der nur eine andere Art hat, sich vorzustellen. Du sagst: "Ich bin der Typ, der immer 'p' sagt, wenn er '24' sieht." Das ist dieselbe Person wie der, der "24 = 2p" sagt, nur anders verpackt.

Der Trick von SECA ist: Sie nutzen eine andere KI, um diese "Verkleidungen" (Umformulierungen) zu erstellen, und prüfen dann streng, ob die Bedeutung wirklich gleich geblieben ist.

3. Was haben sie herausgefunden?

Die Forscher haben Tausende von Fragen getestet, von Mathe bis Geschichte. Das Ergebnis war erschreckend, aber auch wichtig:

Die KI ist empfindlicher als gedacht: Selbst wenn die Frage perfekt formuliert ist und genau dasselbe bedeutet wie das Original, kann die KI durch die Art und Weise, wie sie gestellt wird, durcheinandergebracht werden.
Länger und bunter = gefährlicher: Sie stellten fest, dass Fragen, die etwas länger sind und mehr verschiedene Wörter verwenden (wie ein elaborierteres Verkleidungskostüm), die KI eher dazu bringen, Fehler zu machen.
Sogar die Besten sind nicht sicher: Das funktionierte nicht nur bei kleinen, offenen Modellen, sondern auch bei den sehr starken, kommerziellen KIs (wie GPT-4).

4. Warum ist das wichtig?

Stell dir vor, du nutzt diese KI für eine medizinische Diagnose oder eine Finanzberatung.

Wenn du sagst: "Wie viel ist 24 geteilt durch 2?", antwortet sie: "12".
Aber wenn du sagst: "Wenn man eine Zahl mit 2 multipliziert und 24 herauskommt, was ist die Zahl?", könnte sie plötzlich sagen: "8" und eine völlig falsche Erklärung dazu erfinden.

Das ist gefährlich, weil im echten Leben Menschen Fragen auf tausend verschiedene Arten stellen können. Wenn die KI bei einer harmlosen Umformulierung aus dem Tritt gerät, können wir ihr nicht blind vertrauen.

Fazit

SECA ist wie ein Sicherheitscheck für KIs. Es zeigt uns, dass diese Maschinen manchmal nicht "dumm" sind, sondern dass sie sehr empfindlich auf die Formulierung ihrer Fragen reagieren, selbst wenn der Inhalt derselbe bleibt.

Die Forscher sagen: "Wir müssen lernen, KIs robuster zu machen, damit sie nicht schon bei der kleinsten Veränderung der Wortwahl in die Irre gehen." Sie haben ihren Code veröffentlicht, damit andere Forscher diese Schwachstellen finden und die KIs sicherer machen können.

Kurz gesagt: SECA ist der Beweis, dass man einen sehr klugen Roboter verwirren kann, indem man ihm die Wahrheit nur in einem anderen Gewand erzählt. Und das ist ein Problem, das wir lösen müssen, bevor wir ihm unser Leben anvertrauen.

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in hochriskanten Bereichen wie Medizin, Finanzen und Recht eingesetzt. Ein zentrales Sicherheitsproblem ist die Halluzination, bei der Modelle faktisch falsche oder unzuverlässige Informationen generieren.

Bisherige Arbeiten zur Auslösung von Halluzinationen durch adversarielle Angriffe leiden unter einem wesentlichen Mangel:

Irrealistische Prompts: Viele Methoden (z. B. token-basierte Optimierung wie GCG) fügen sinnlose Tokens („Gibberish") hinzu oder verändern die semantische Bedeutung der ursprünglichen Frage.
Fehlende Relevanz: Solche Angriffe geben wenig Aufschluss darüber, wie Halluzinationen in realen Szenarien entstehen, da menschliche Nutzer keine unsinnigen Eingaben machen.
Lücke: Es fehlte bisher eine Methode, die realistische, semantisch äquivalente (gleiche Bedeutung) und kohärente (grammatikalisch und logisch korrekte) Prompts generiert, um LLMs zu täuschen.

Das Ziel der Autoren ist es, diese Lücke zu schließen und zu untersuchen, ob selbst linguistisch perfekte Umschreibungen einer Frage ausreichen, um ein Modell zu einem Fehler zu verleiten.

2. Methodik: SECA (Semantically Equivalent and Coherent Attacks)

Die Autoren formulieren das Problem als eingeschränktes Optimierungsproblem. Das Ziel ist es, einen adversariellen Prompt $x$ zu finden, der die Wahrscheinlichkeit für eine falsche Antwort (Halluzination) maximiert, während zwei strenge Constraints eingehalten werden:

Semantische Äquivalenz: Der neue Prompt $x$ muss die gleiche Bedeutung haben wie der ursprüngliche Prompt $x_0$ (z. B. durch gegenseitige Implikation/Entailment).
Semantische Kohärenz: Der Prompt muss natürlich und für Menschen verständlich sein (keine sinnlosen Zeichenketten).

Da der Suchraum diskret und kombinatorisch riesig ist und LLMs oft keine Gradientenzugänge bieten (Black-Box), schlagen die Autoren SECA vor, eine Zeroth-Order-Methode (gradientenfrei), die folgende Komponenten nutzt:

Proposer LLM ( $P$ ): Ein großes Sprachmodell, das als „Proposer" fungiert. Es erhält Anweisungen, den ursprünglichen Prompt in $M$ verschiedene, semantisch äquivalente Varianten umzuformulieren. Um Vielfalt zu gewährleisten, werden zufällige Verben, Stile und Task-Deskriptoren verwendet.
Feasibility Checker LLM ( $F$ ): Ein zweites LLM dient als „Prüfer". Es bewertet jede vom Proposer generierte Variante anhand fünf Kriterien (gegenseitige Implikation, keine Zusatzinformationen, keine Auslassungen, Bedeutungsbeibehaltung, gleiche Ground-Truth-Antwort). Nur Prompts, die alle Kriterien erfüllen (Score = 1), werden als „feasible" (machbar) akzeptiert.
Optimierungsstrategie:
1. Start mit dem Original-Prompt.
2. Generierung von Kandidaten durch den Proposer.
3. Filterung durch den Checker (Einhaltung der Constraints).
4. Bewertung der verbleibenden Kandidaten basierend auf der Log-Wahrscheinlichkeit, dass das Ziel-LLM ( $T$ ) einen spezifischen falschen Token (z. B. eine falsche Multiple-Choice-Option) ausgibt.
5. Auswahl der besten $N$ Kandidaten für die nächste Iteration.
6. Wiederholung bis zur Konvergenz oder Erreichen eines Schwellenwerts.

Dieser Ansatz umgeht die Notwendigkeit einer erschöpfenden Suche und nutzt die Fähigkeiten von LLMs, um den Suchraum auf realistische, constraint-erfüllende Prompts zu beschränken.

3. Wichtige Beiträge

Formulierung als Optimierungsproblem: Die Autoren definieren erstmals die Generierung realistischer Angriffe auf Halluzinationen als ein Problem mit Constraints für semantische Äquivalenz und Kohärenz.
SECA-Algorithmus: Einführung einer constraint-erhaltenden Zeroth-Order-Methode, die ohne Gradienten auskommt und effektiv adversarielle, aber machbare Prompts findet.
Umfassende Evaluation: Demonstration der Wirksamkeit auf offenen Multiple-Choice-Fragen (MMLU-Datensatz) über verschiedene Open-Source- (Llama, Qwen) und kommerzielle Modelle (GPT-4o-Mini, GPT-4.1).
Analyse der Angriffsmerkmale: Die Studie zeigt, dass erfolgreiche Angriffe oft lexikalisch diverser (höherer Type-Token-Ratio) und verbalisierter (länger, komplexere Satzstrukturen) sind als die Originale, obwohl sie semantisch identisch bleiben.

4. Ergebnisse

Die Experimente ergaben folgende Schlüsselerkenntnisse:

Hohe Erfolgsrate (ASR): SECA erreicht eine deutlich höhere Attack Success Rate (ASR) als Baselines wie rohe Prompts oder GCG (Greedy Coordinate Gradient).
- Beispiel: Bei Llama-3-8B stieg die ASR von ~6% (GCG) und ~63% (Roh-Prompt) auf über 81% mit SECA.
- Bei kommerziellen Modellen (GPT-4o-Mini), die bei Roh-Prompts kaum halluzinieren (<10%), konnte SECA die Erfolgsrate auf über 40% steigern.
Einhaltung der Constraints: Im Gegensatz zu GCG, das oft inkohärente oder sinnlose Prompts erzeugt (hohe semantische Fehler), weist SECA nahezu keine semantischen Äquivalenzfehler (SEE = 0) und minimale Kohärenzfehler auf. Die Prompts sehen für Menschen wie normale Fragen aus.
Zusammenhang mit Objektivität: Es wurde eine starke positive Korrelation zwischen der Steigerung der Log-Wahrscheinlichkeit des falschen Tokens und der tatsächlichen Angriffserfolgsrate festgestellt.
Evaluierung durch LLMs: Die Autoren validierten, dass LLM-basierte Prüfer (für Äquivalenz und Halluzinationstypen) eine hohe Übereinstimmung mit menschlichen Annotatoren aufweisen (hoher Cohen's $\kappa$ ), was den automatisierten Evaluierungsprozess absichert.

5. Bedeutung und Implikationen

Sicherheitsrisiko: Die Arbeit zeigt, dass selbst gut ausgerichtete (aligned) LLMs extrem anfällig für subtile, realistische Variationen von Eingaben sind. Dies stellt eine Bedrohung für den Einsatz in sicherheitskritischen Bereichen dar, da Standard-Benchmarks diese Schwachstellen oft übersehen.
Robustheitsbewertung: SECA bietet ein neues Werkzeug für das „Red Teaming" (Sicherheitstests), das realistischere Szenarien simuliert als bisherige Methoden.
Ursache von Halluzinationen: Die Analyse deutet darauf hin, dass eine erhöhte lexikalische Vielfalt und Komplexität (Verbosität) bei gleicher Bedeutung die kognitive Last des Modells erhöhen und so die Wahrscheinlichkeit von Fehlern steigern können.
Zukunftsausblick: Die Autoren schlagen vor, die Methode auf ungerichtete Angriffe (ohne vordefiniertes Ziel-Token), freie Textgenerierung und Reasoning-Modelle (Modelle mit Denkstufen) auszudehnen.

Zusammenfassend beweist SECA, dass die Zuverlässigkeit von LLMs durch rein linguistische, aber semantisch äquivalente Umformulierungen signifikant untergraben werden kann, was die Dringlichkeit für robustere Modelle und realistischere Sicherheitsstandards unterstreicht.