💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Dieser Artikel stellt LANCE vor, eine Methode, die auf variationaler Inferenz für Label-Enhancement setzt, um feingranulare Ablehnungsverteilungen vorherzusagen und damit Large Language Models in die Lage versetzt, sichere, natürliche Antworten zu generieren, die starre Ablehnungen vermeiden, während hohe Sicherheitsstandards gewahrt bleiben.

Ursprüngliche Autoren: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, hilfsbereiten Roboter-Assistenten. Sie stellen ihm eine Frage, die fast sicher ist, aber vielleicht ein sensibles Thema berührt. Statt Ihnen eine hilfreiche Antwort mit einer kleinen Warnung zu geben, gerät der Roboter in Panik und sagt jedes Mal denselben roboterhaften Satz: "Ich kann diese Anfrage nicht erfüllen."

Das nennt das Papier "starre Ablehnung". Es ist wie ein Türsteher in einem Club, der jeden hinausbefördert, nur weil er einen etwas riskanten Hut trägt, auch wenn er nur zum Tanzen da ist. Der Roboter hat solche Angst, einen Fehler zu machen, dass er aufhört, hilfreich zu sein.

Die Autoren dieses Papiers haben ein neues System namens LANCE entwickelt, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der "Alles-oder-Nichts"-Schalter

Derzeit funktionieren die meisten Sicherheitssysteme wie ein einfacher Lichtschalter: AN (Sicher) oder AUS (Unsicher).

Wenn das System ein riskantes Wort erkennt, schaltet es den Schalter auf "AUS" und beendet das Gespräch.
Das Problem ist, dass viele Fragen nicht rein "schlecht" sind. Sie können eine Mischung aus einer harmlosen Idee und einem riskanten Detail sein. Das aktuelle System kann die Nuancen nicht erkennen, blockiert also einfach alles.

2. Die Lösung: LANCE (Der "Dimmer" oder "Lautstärkeregler")

LANCE ersetzt diesen einfachen Lichtschalter durch einen Dimmer oder einen Lautstärkeregler. Statt nur "Schlecht" oder "Gut" zu sagen, fragt es: "Wie riskant ist dies, und welcher Teil genau ist riskant?"

Label-Verbesserung (Der Detektiv): LANCE nutzt ein spezielles Werkzeug (Variational Inference), um eine Frage zu betrachten und aufzuschlüsseln. Statt eines einfachen "Ja/Nein"-Labels erstellt es eine kontinuierliche Risikokarte.
- Analogie: Stellen Sie sich eine Wettervorhersage vor. Alte Systeme sagten nur "Regen" oder "Kein Regen". LANCE sagt: "Es gibt eine 20%ige Chance auf leichten Nieselregen im Norden, aber der Süden ist sonnig." Es weiß, wo die Gefahr liegt und wie groß die Gefahr ist.

3. Der Prozess: Der "Chirurgische Editor"

Sobald LANCE genau weiß, wo das Risiko liegt und wie groß es ist, löscht es nicht einfach das gesamte Gespräch. Es agiert wie ein chirurgischer Editor.

Der Gradient-Leitfaden: LANCE gibt dem Roboter eine Reihe von Anweisungen basierend auf der Risikokarte.
- Wenn das Risiko gering ist (wie leichter Nieselregen), weist es den Roboter an, eine winzige, höfliche Anpassung am Satz vorzunehmen.
- Wenn das Risiko riesig ist (wie ein Sturm), weist es den Roboter an, eine größere Änderung vorzunehmen.
Das Ergebnis: Der Roboter schreibt die Frage des Benutzers gerade so weit um, dass sie sicher wird, behält aber die ursprüngliche Bedeutung und den Ton bei.
- Alter Weg: Benutzer fragt: "Wie hacke ich das WLAN meines Nachbarn?" -> Roboter: "Ich kann diese Anfrage nicht erfüllen."
- LANCE-Weg: Der Roboter erkennt, dass der Teil "Hacken" riskant ist, aber der Teil "WLAN des Nachbarn" nur Neugier ist. Er schreibt den Gedanken um zu: "Ich kann beim Hacken nicht helfen, aber ich kann erklären, wie WLAN-Sicherheit funktioniert, damit Sie Ihr eigenes Netzwerk schützen können."

4. Das Ergebnis: Sicher, aber natürlich

Das Papier testete dieses System gegen andere Sicherheitsmethoden und stellte fest, dass LANCE in zwei Dingen viel besser ist:

Sicherheit: Es stoppt immer noch die wirklich gefährlichen Dinge (es ist genauso sicher wie die strengen Roboter).
Hilfsbereitschaft & Natürlichkeit: Es verhindert, dass der Roboter wie eine kaputte Schallplatte klingt. Die Gespräche wirken menschlicher, weil der Roboter versucht zu helfen, statt nur "Nein" zu sagen.

Zusammenfassung

Stellen Sie sich LANCE vor, das einem Roboter beibringt, ein Diplomat statt ein Türsteher zu sein.

Der Türsteher (Altes System) sieht einen riskanten Hut und sagt: "Kein Eintritt!"
Der Diplomat (LANCE) sieht den riskanten Hut, sagt: "Dieser Hut ist für diese Party etwas riskant, aber lassen Sie uns ihn gegen einen sichereren austauschen, damit Sie trotzdem hereinkommen und tanzen können."

Das Papier behauptet, dass diese Methode KI sicherer macht, ohne sie nervig oder unhilfreich zu machen, und das Problem von Robotern löst, die zu ängstlich sind, mit uns zu sprechen.

Technisches Fazit: Über „Ich kann diese Anfrage nicht erfüllen" hinaus: Linderung starrer Ablehnungen in LLMs durch Label-Enhancement

Problemstellung
Large Language Models (LLMs) verlassen sich auf Sicherheitsausrichtung, um schädliche Anfragen abzulehnen, während sie harmlose beantworten. Die aktuellen Mechanismen leiden jedoch häufig unter „starren Ablehnungen", die durch zwei Hauptbeschränkungen gekennzeichnet sind: (1) Überdefensive Ablehnung, bei der harmlose, akademische oder pädagogische Anfragen zu sensiblen Themen pauschal blockiert werden; und (2) Mechanistische Antwortvorlagen, bei denen Modelle generische, roboterhafte Ablehnungen (z. B. „Ich kann diese Anfrage nicht erfüllen") unabhängig vom spezifischen Risikoniveau oder Kontext ausgeben. Diese Starrheit resultiert aus bestehenden Ausrichtungsstrategien, die auf grobgranularen binären Sicherheitslabels oder diskreten skalaren Belohnungen basieren. Diese Signale mangeln an Interpretierbarkeit und richtungsweisender Führung, was es Modellen unmöglich macht, riskante Komponenten präzise zu identifizieren oder schädliche Elemente zu verfeinern, wodurch die Natürlichkeit und Hilfsbereitschaft von Mensch-KI-Interaktionen beeinträchtigt werden.

Methodik: Das LANCE-Framework
Die Arbeit schlägt LANCE (Llm rejection via lAbel eNhanCemEnt) vor, ein Framework, das starre binäre Urteile durch flexible, natürliche Antworten mittels Label-Enhancement ersetzt. Die Methodik besteht aus zwei Kernkomponenten:

Label-Enhancement durch variationale Inferenz:
Anstelle der Verwendung binärer Labels ($0$ oder $1$) setzt LANCE ein variationsinferenzbasiertes Netzwerk ein, um grobe Sicherheitslabels in eine kontinuierliche, entkoppelte Risikoverteilung ( $d \in [0, 1]^c$ ) über mehrere Ablehnungskategorien zu transformieren.
- Architektur: Das System verwendet einen gemeinsamen RoBERTa-basierten Encoder, um Kontextmerkmale aus Prompt-Antwort-Paaren zu extrahieren. Diese Merkmale werden in zwei parallele latente Räume projiziert: einen semantischen Raum ( $z$ , modelliert als Gaußverteilung) und einen Risikoraum ( $d$ , modelliert als Beta-Verteilung).
- Entkoppelung: Durch die Annahme statistischer Unabhängigkeit zwischen semantischem Inhalt und Sicherheitsbeschränkungen in der Posteriorverteilung lernt das Modell, die Risikointensität zu isolieren, ohne die zugrundeliegende sprachliche Bedeutung zu verändern.
- Trainingsziel: Das Modell wird trainiert, um die untere Evidenzschranke (ELBO) zu maximieren, indem es Rekonstruktionsverluste sowohl für semantische Merkmale als auch für binäre Risikolabels minimiert, ergänzt durch KL-Divergenz-Regularisierung zur Durchsetzung von Priorverteilungen. Ein zusätzlicher Regularisierungsterm stellt sicher, dass die abgeleitete kontinuierliche Verteilung mit der ground-truth binären Überwachung übereinstimmt.
Feingranulare, risikogesteuerte Prompt-Verfeinerung:
Die kontinuierliche Risikoverteilung $d$ dient als diagnostisches Signal für ein Verfeinerungsmodell (z. B. Qwen2.5-1.5B).
- Schwellenwertbildung: Das System legt Schwellenwerte ( $\tau, \tau_{low}, \tau_{high}$ ) fest, um Risikostufen als „Gering", „Leicht" oder „Kritisch" zu kategorisieren.
- Textuelle Gradienten: Basierend auf der Risikokategorie und -intensität generiert das System spezifische textuelle Gradienten (z. B. „Schreiben Sie diesen Abschnitt weniger aggressiv um") unter Verwendung einer Vorlage $T(y_j, d_j, e_j)$ .
- Iterative Optimierung: Unter Verwendung eines TextGrad-basierten Ansatzes schreibt das Verfeinerungsmodell den Benutzer-Prompt iterativ um. Es neutralisiert chirurgisch gefährliche Elemente, während es die ursprüngliche semantische Absicht bewahrt, und wandelt unsichere Eingaben in sichere, hilfreiche und natürliche Anfragen um, ohne eine harte Ablehnung auszulösen.

Hauptbeiträge

Neues Framework: Einführung von LANCE, das die Sicherheitsausrichtung von einfachen binären Urteilen auf kontinuierliche Verteilungen über mehrere Ablehnungskategorien verschiebt.
Label-Enhancement: Ein Mechanismus zur Umwandlung binärer Ablehnungslabels in detaillierte, feingranulare Verteilungen, der die Identifizierung spezifischer gefährlicher semantischer Komponenten und deren präzise Korrektur ermöglicht.
Verfeinerungsmodell: Implementierung eines gradientengesteuerten Verfeinerungsprozesses, der diese Verteilungen nutzt, um ausschließlich gefährliche Elemente zu bereinigen, wodurch LLMs sichere Antworten generieren können, die roboterhafte Vorlagen vermeiden und gleichzeitig die natürliche Konversation bewahren.

Experimentelle Ergebnisse
Die Autoren bewerteten LANCE auf dem BeaverTails-Datensatz (14 unsichere Kategorien) unter Verwendung von drei ablatierten Backbones (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) und verglichen es mit fünf Baselines: Vanilla (nicht ausgerichtet), RepE (latente Steuerung), SysPrompt (Safety im Kontext), SelfRefine (iterative Kritik) und offizielle Instruct-Modelle (RLHF-ausgerichtet).

Abwägung zwischen Sicherheit und Nützlichkeit: Während offizielle Instruct-Modelle hohe Sicherheitswerte erreichten (z. B. 9,55 bei Llama-3), sanken ihre Hilfsbereitschaftswerte drastisch (3,41), was auf eine schwere starre Ablehnung hinweist. LANCE erreichte vergleichbare Sicherheit (9,23) und stellte gleichzeitig die Hilfsbereitschaft (7,89) und Natürlichkeit (8,69) signifikant wieder her.
Vergleich mit kommerziellen Modellen: Im Vergleich zu hochrangigen kommerziellen Modellen (GPT-4o, Gemini 2.5-Pro) zeigte LANCE eine überlegene Hilfsbereitschaft (7,88 vs. 3,58 für GPT-4o) bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen Sicherheit (9,55), was beweist, dass Skalierung nicht die einzige Voraussetzung für eine effektive Ausrichtung ist.
Ablationsstudien: Das Entfernen der Verfeinerungsschleife (LANCE-NR) führte zu einer schlechten Sicherheit (4,57). Das Entfernen der feingranularen Führung (LANCE-NF) verbesserte zwar die Sicherheit, konnte jedoch die Hilfsbereitschaft und Natürlichkeit der vollständigen Methode nicht erreichen, was bestätigt, dass eine kontinuierliche Risikoverteilung unerlässlich ist, um starre Ablehnungen zu vermeiden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass starre Ablehnungen keine unvermeidbare Konsequenz der Sicherheitsausrichtung sind. Durch die Entkopplung von Sicherheitszielen und allgemeiner Instruktionsbefolgung mittels entkoppelter latenter Variablen bietet LANCE eine robuste Lösung, die die Nützlichkeit und Natürlichkeit des Modells wiederherstellt. Das Framework zeigt, dass der Ersatz grober Ablehnungsfilter durch einen präzisen, risikogesteuerten iterativen Optimierungsprozess es Modellen ermöglicht, Sicherheitsgrenzen intelligent zu navigieren und nuancierte Antworten zu generieren, die sowohl harmlos als auch konstruktiv sind. Die Autoren positionieren diese Arbeit als einen Schritt zur Linderung der „Alignment-Steuer", die derzeit die Leistung von sicherheitsoptimierten Modellen beeinträchtigt.