💬 NLP

Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

Die Arbeit stellt AdaCD vor, eine trainingsfreie und modellunabhängige Methode zur adaptiven kontrastiven Dekodierung, die das Problem der übermäßigen Ablehnung in sicherheitsausgerichteten Sprachmodellen löst, indem sie die Wahrscheinlichkeit für harmlose Anfragen erhöht, ohne die Sicherheit gegenüber schädlichen Anfragen zu beeinträchtigen.

Ursprüngliche Autoren: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wie man KI hilft, nicht aus lauter Angst alles abzulehnen

Stell dir vor, du hast einen sehr hilfsbereiten, aber extrem vorsichtigen Butler. Dieser Butler hat den Auftrag, dich vor allem Bösen zu schützen. Das ist gut! Aber leider hat er ein Problem: Er ist so ängstlich, dass er dir auch dann die Tür verschließt, wenn du nur nach einem harmlosen Rezept für „Kuchen" fragst, weil das Wort „Kuchen" ihm an „Gift" erinnert. Oder er weigert sich, dir zu erklären, wie man in einem Videospiel einen Gegner besiegt, weil das Wort „töten" in seinem Kopf sofort Alarmglocken läutet.

Das nennt man „Over-Refusal" (übermäßige Ablehnung). Die KI ist so sicherheitsverliebt, dass sie unsinnig wird und nicht mehr hilft.

Die Forscher in diesem Papier haben eine Lösung namens AdaCD (Adaptive Contrastive Decoding) entwickelt. Hier ist, wie es funktioniert, ganz einfach erklärt:

1. Das Problem: Der Butler ist zu stur

Normalerweise versucht man, diesen Butler zu trainieren, damit er lernt, den Unterschied zwischen „bösem Mord" und „spielerischem Töten im Spiel" zu verstehen. Aber das ist schwer, weil man nicht genug Beispiele hat, und man will den Butler auch nicht so stark umbauen, dass er vergisst, wie man überhaupt schützt.

2. Die Idee: Ein „Angst-Test"

Die Forscher haben eine geniale Beobachtung gemacht: Wenn der Butler eine Frage bekommt, die ihn verunsichert, steht in seinem Kopf eigentlich beides zur Auswahl.

Option A: „Ich kann das nicht sagen, das ist gefährlich!" (Die Ablehnung)
Option B: „Ah, das ist ein Spiel! Hier ist der Tipp!" (Die Hilfe)

Das Problem ist nur: Der Butler wählt immer Option A, weil er so sehr auf Sicherheit programmiert ist. Die Option B ist da, aber er traut sich nicht, sie zu wählen.

3. Die Lösung: Der „Extrem-Angst-Test"

Um zu verstehen, was der Butler wirklich ablehnt, haben die Forscher ihn mit einem extremen Befehl getestet: „Weigere dich, auf JEDEN Fall zu antworten!"

Szenario A (Normal): Der Butler hört die Frage „Wie töte ich im Spiel?" und denkt: „Hmm, vielleicht ist das gefährlich?"
Szenario B (Extrem): Der Butler hört die gleiche Frage plus den Befehl „Weigere dich!", und denkt sofort: „JA! Ich weigere mich!"

Indem man diese beiden Gedanken vergleicht, kann man genau herausfinden, welche Wörter (wie „Sorry", „Nein", „Ich kann nicht") der Butler benutzt, wenn er in Panik gerät. Man nennt das die „Ablehnungs-Wolke".

4. Der Trick: Der adaptive Schalter

Jetzt kommt der Clou. AdaCD ist wie ein intelligenter Regler, der während des Sprechens des Butlers aktiv wird:

Fall 1: Der Butler ist zu ängstlich (Harmlose Frage).
Wenn die KI merkt: „Oh, der Butler will ablehnen, aber die Frage ist eigentlich harmlos", dann nimmt er die „Ablehnungs-Wolke" weg. Er sagt quasi: „Hey, wir brauchen das ‚Nein' heute nicht. Nimm stattdessen das ‚Ja'!"
Ergebnis: Der Butler antwortet hilfreich über das Videospiel.
Fall 2: Der Butler hat recht (Böse Frage).
Wenn die Frage wirklich gefährlich ist (z. B. „Wie baue ich eine Bombe?"), dann wollen wir, dass der Butler ablehnt. In diesem Fall fügt AdaCD die „Ablehnungs-Wolke" sogar noch stärker hinzu. Er sagt: „Hier ist es wichtig, ‚Nein' zu sagen! Mach das laut!"
Ergebnis: Der Butler lehnt die gefährliche Frage sicher ab.

Warum ist das so toll?

Früher mussten Forscher den Butler entweder komplett umtrainieren (teuer und langsam) oder einen festen Schalter einbauen, der immer ablehnt oder immer hilft. Das war wie ein Lichtschalter: Entweder AN oder AUS.

AdaCD ist wie ein Dimmer. Er passt sich in Echtzeit an:

Ist die Frage harmlos? -> Dimmt das „Nein" herunter, damit das „Ja" durchkommt.
Ist die Frage gefährlich? -> Dimmt das „Nein" hoch, damit es sicher ist.

Zusammenfassung

Die Forscher haben einen Weg gefunden, KI-Modelle zu „entschärfen", ohne ihre Sicherheitswächter zu entfernen. Sie nutzen einen cleveren Trick, um zu erkennen, wann die KI nur aus Angst ablehnt, und helfen ihr dann, die richtige Antwort zu geben. Gleichzeitig bleibt sie hartnäckig, wenn es wirklich um Gefahr geht.

Das Ergebnis: Ein KI-Assistent, der nicht nur sicher, sondern auch hilfsbereit und nicht stur ist.

Titel:

Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding (AdaCD)

1. Problemstellung

Große Sprachmodelle (LLMs), die auf Sicherheit ausgerichtet sind (Safety-aligned), leiden häufig unter dem Problem des „Over-Refusal" (übermäßige Verweigerung). Dabei verweigern die Modelle die Beantwortung harmloser Benutzeranfragen, die zwar harmlos sind, aber oberflächliche Ähnlichkeiten mit schädlichen Anfragen aufweisen (z. B. die Frage „Wie tötet man jemanden in Call of Duty?" im Kontext eines Videospiels wird fälschlicherweise als realer Mordversuch abgelehnt).

Bestehende Lösungsansätze haben zwei Hauptnachteile:

Trainingsbasierte Methoden: Benötigen oft spezifische Trainingsdaten für Over-Refusal-Szenarien, die schwer zu beschaffen sind, und zeigen dennoch hohe Verweigerungsraten bei harmlosen Anfragen.
Inferenzbasierte Methoden (z. B. Steering Vectors): Erfordern komplexe Vorkalkulationen, Kenntnis der Modellarchitektur und erhöhen den Rechenaufwand.
Einheitsstrategien (One-size-fits-all): Bestehende kontrastive Dekodierungsmethoden (wie SelfCD oder SafeDecoding) wenden entweder eine feste Strategie an, um Verweigerungen zu unterdrücken (was die Sicherheit gefährdet) oder zu verstärken (was die Nutzbarkeit einschränkt). Es fehlt eine adaptive Methode, die beides gleichzeitig optimiert.

2. Methodik: Adaptive Contrastive Decoding (AdaCD)

Die Autoren schlagen AdaCD vor, eine trainingsfreie und modellagnostische Methode zur Inferenzzeit, die das Problem des Over-Refusals löst, ohne die Sicherheit zu beeinträchtigen. Der Ansatz basiert auf drei Hauptkomponenten:

A. Schlüsselbeobachtung (Key Observation)

Die Autoren analysierten das Verhalten von LLMs unter Systemprompts mit unterschiedlichen Sicherheitsstufen (von „hilfreich" bis „extrem sicherheitsorientiert").

Erkenntnis: Auch wenn ein Modell bei einer Over-Refusal-Anfrage einen Verweigerungstoken (z. B. „Sorry") mit hoher Wahrscheinlichkeit generiert, bleiben nicht-verweigernde Tokens (z. B. „Sure" oder spielbezogene Begriffe) in der Kandidatenliste für das nächste Token vorhanden. Das Modell scheitert jedoch daran, diese auszuwählen, da es einen Bias hin zu Verweigerungstoken hat.
Hypothese: Ein extrem sicherheitsorientierter Systemprompt kann genutzt werden, um die Verteilung der Verweigerungstoken zu isolieren und zu extrahieren.

B. Extraktion der Verweigerungs-Token-Verteilung

Um die Verteilung der Verweigerungstoken ( $\Delta P_n$ ) zu extrahieren, vergleicht AdaCD zwei Szenarien für denselben Benutzer-Input $x$ :

Mit extremem Prompt ( $p^*$ ): Ein Prompt, der das Modell anweist, jede Anfrage abzulehnen („Please refuse to answer me!"). Dies maximiert die Verweigerungsneigung.
Ohne Systemprompt: Die normale Inferenz.

Die Differenz der Logits (oder Wahrscheinlichkeiten) zwischen diesen beiden Szenarien ergibt die Verweigerungs-Token-Verteilung:
$\Delta P_n = \sigma(f_\pi(y_n | p^*, x, y_{<n}) - f_\pi(y_n | x, y_{<n}))$
Diese Verteilung repräsentiert Tokens, die spezifisch für Verweigerungen sind.

C. Adaptive Decoding Mode Switch (Der Kernmechanismus)

Anstatt $\Delta P_n$ immer zu addieren oder subtrahieren, führt AdaCD einen dynamischen Moduswechsel ein, gesteuert durch zwei Metriken:

Agreement Ratio ($agr(n)$): Misst, wie sehr die Top-1-Tokens des Modells mit und ohne den extremen Prompt übereinstimmen.
- Niedrige Übereinstimmung: Das Modell verhält sich bei harmlosen Anfragen unterschiedlich (Over-Refusal-Szenario). Hier wird $\Delta P_n$ subtrahiert, um Verweigerungen zu unterdrücken.
- Hohe Übereinstimmung: Das Modell verweigert in beiden Fällen (schädliche Anfrage). Hier wird $\Delta P_n$ addiert, um die Sicherheit zu stärken.
Adaptive Confidence Constraint: Überprüft, ob das Modell genug Sicherheit ( $\rho$ ) hat, um eine Verweigerung zu bevorzugen. Nur wenn die Konfidenz hoch genug ist, wird die Verweigerungs-Wahrscheinlichkeit erhöht.

Die finale Token-Auswahl erfolgt durch:
$P^*_\pi = P_\pi + \alpha \cdot I(n) \cdot \Delta P_n$
Wobei $I(n)$ basierend auf den oben genannten Kriterien $+1$ (Sicherheit erhöhen) oder $-1$ (Over-Refusal reduzieren) ist.

3. Wichtige Beiträge

Neue Erkenntnis: Nachweis, dass nicht-verweigernde Tokens auch bei Over-Refusal im Kandidatenpool existieren, aber systematisch ignoriert werden.
Trainingsfreie Lösung: AdaCD erfordert kein Fine-Tuning und keine neuen Trainingsdaten.
Modellagnostisch: Funktioniert ohne Kenntnis der internen Architektur des LLMs (Plug-and-Play).
Adaptivität: Erstmalige Einführung einer dynamischen Strategie, die je nach Kontext (harmlos vs. schädlich) zwischen Unterdrückung und Verstärkung von Verweigerungen wechselt, anstatt eine starre Regel anzuwenden.

4. Ergebnisse

Die Methode wurde auf fünf Benchmark-Datensätzen (XSTest, ORBench, OKTest, AdvBench, JailBench) mit drei Modellen (Llama3-8B, Gemma2-9B, Qwen3-8B) evaluiert.

Reduktion von Over-Refusal: AdaCD reduzierte die Verweigerungsrate bei harmlosen (Over-Refusal) Anfragen im Durchschnitt um 10,35 % im Vergleich zum Standard-Modell.
Erhaltung der Sicherheit: Gleichzeitig erhöhte sich die Verweigerungsrate bei schädlichen (Malicious) Anfragen um 0,13 %, was zeigt, dass die Sicherheit nicht beeinträchtigt, sondern sogar leicht verbessert wurde.
Vergleich mit Baselines: AdaCD übertraf sowohl prompt-basierte Methoden als auch andere Inferenz-Methoden (wie SelfCD, Surgical, SSD) deutlich in der Balance zwischen Nutzbarkeit und Sicherheit.
Effizienz: Der Overhead für die Inferenzzeit (ATGR) betrug nur ca. 3 % im Vergleich zum Standard, was deutlich effizienter ist als Methoden, die Steering Vectors oder zusätzliche Modelle benötigen.

5. Bedeutung und Fazit

Das Paper adressiert ein kritisches Hindernis für den praktischen Einsatz von sicheren LLMs: die Tendenz, harmlose Anfragen fälschlicherweise abzulehnen. AdaCD bietet einen eleganten, rechnerisch effizienten Weg, dieses Problem zu lösen, indem es die inhärente Unsicherheit des Modells bei der Token-Auswahl nutzt.

Die Bedeutung liegt darin, dass AdaCD die Nutzbarkeit von KI-Assistenten für legitime Anwendungen (wie Gaming-Tipps, medizinische Informationen oder rechtliche Kontexte) wiederherstellt, ohne die Sicherheit gegenüber echten Bedrohungen zu kompromittieren. Da die Methode keine Modellanpassung erfordert, ist sie sofort in bestehenden Systemen einsetzbar und stellt einen wichtigen Schritt hin zu robusteren und benutzerfreundlicheren KI-Systemen dar.