Technisches Resümee: Adressierung von Over-Refusal in LLMs durch konkurrierende Belohnungen

Problemstellung

Das Sicherheitstraining von Large Language Models (LLMs) führt häufig zu Over-Refusal (Übermaß an Verweigerung), einem Phänomen, bei dem Modelle übermäßig vorsichtig werden und harmlose oder mehrdeutige Prompts ablehnen, während sie versuchen, schädliche Ausgaben zu vermeiden. Während Reinforcement Learning (RL)-Ansätze, die explizites Denken fördern, vorgeschlagen wurden, um Modellen zu helfen, zwischen schädlichen und harmlosen Intentionen zu unterscheiden, scheitern aktuelle Methoden oft daran, diesen Zielkonflikt vollständig zu lösen.

Die Autoren identifizieren eine kritische Einschränkung bestehender sicherheitstrainierter Modelle: Das Denken fungiert oft als ein „Gummistempel“ (Rubber Stamp) für eine bereits vorbestimmte Verweigerung, anstatt ein Mechanismus zur echten Auflösung von Mehrdeutigkeiten zu sein. Diese Modelle zeigen zwei spröde Verhaltensweisen:

1. Sie vermeiden unsichere Interpretationen vollständig und verfallen in die Verweigerung.
2. Sie explorieren unsichere Möglichkeiten, scheitern aber daran, zu einer sicheren finalen Antwort zurückzukehren, was zu unsicherer Compliance führt.

Im Gegensatz zum mathematischen Denken, bei dem Modelle falsche Pfade explorieren und sich selbst korrigieren können, fehlt es der Sicherheit-Argumentation aktueller Modelle an der Fähigkeit, potenziell schädliche Interpretationen in einer kontrollierten Weise zu explorieren und dann zu einer sicheren Antwort „zurückzuspringen“ (Flip Back).

Methodik: SEAR und konkurrierende Belohnungen

Das Paper schlägt SEAR (Safety Exploration through Adversarial Reasoning) vor, ein Framework, das ein einzelnes Modell darauf trainiert, schädliches Denken als exploratives Signal einzusetzen, während die finale Ausgabe sicher bleibt. Dies wird durch ein adversarielles Optimierungsproblem erreicht, das innerhalb eines einzelnen Chain-of-Thought (Gedankenkette) formuliert ist.

Kernmechanismus: Konkurrierende Belohnungen

Die Autoren führen ein Trainingsziel ein, das separate, konkurrierende Belohnungen verschiedenen Segmenten des Generierungspfades des Modells zuweist:

• Reasoning-Segment ($z$): Wird für Schädlichkeit ($r_h$) belohnt. Das Modell wird dazu angeregt, unsichere Interpretationen und Denkstrategien zu explorieren.
• Answer-Segment ($y$): Wird für Sicherheit ($r_s$) belohnt. Das Modell wird dazu angeregt, eine sichere finale Antwort zu produzieren, die auf dem vorangegangenen (potenziell schädlichen) Denken basiert.

Die Zielfunktion für schädliche Prompts ($D_h$) lautet:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Für harmlose Prompts ($D_i$) wird das Modell auf Hilfsbereitschaft ($r_i$) optimiert. Das Training verwendet einen KL-Divergenz-Regularisierer, um die Policy nahe am Basismodell zu halten.

Zentraler technischer Einblick: Prozess-Belohnungen

Das Paper zeigt, dass Standard-dichte, ergebnisbasierte Belohnungen (die eine einzige Skalarbelohnung für die gesamte Trajektorie zuweisen) für diese Aufgabe unzureichend sind. Sie führen zu Optimierungsinstabilitäten, bei denen das Modell entweder die schädliche Exploration versäumt oder die Leistung bei harmlosen Aufgaben aufgrund einer Diskrepanz in den Konvergenzraten der konkurrierenden Ziele verschlechtert.

Um dies zu lösen, implementieren die Autoren prozessbasierte Belohnungen. Anstatt einer einzigen Belohnung für den gesamten Rollout werden Belohnungen auf Token-Ebene für spezifische Segmente zugewiesen:

• Tokens im Reasoning-Segment erhalten die Reasoning-Belohnung ($r_h$).
• Tokens im Answer-Segment erhalten die Answer-Belohnung ($r_s$).

Diese „Prozess-Belohnungs“-Formulierung ermöglicht eine präzise Credit Assignment (Zuordnung der Verantwortung), wodurch das Modell lernt, das gekoppelte Verhalten aus der Exploration schädlicher Pfade und der Rückkehr zu einer sicheren Antwort innerhalb einer einzigen Trajektorie zu meistern.

Zentrale Beiträge

1. Neukonzeption des Sicherheits-Denkens: Die Autoren schlagen vor, dass unsicheres Denken nicht präventiv blockiert werden sollte, sondern vielmehr als nützliches exploratives Signal dienen kann, um Mehrdeutigkeiten aufzulösen, vorausgesetzt, das Modell kann zuverlässig zu einer sicheren Antwort zurückkehren.
2. Konkurrierendes Belohnungs-Framework: Sie führen eine Methode ein, um ein einzelnes Modell mit gegensätzlichen Zielen (schädliche Exploration vs. sichere Ausgabe) innerhalb eines einzelnen Chain-of-Thought zu trainieren, womit sie das „Gummistempel“-Verhalten aktueller Modelle überwinden.
3. Prozess-Belohnungen für Stabilität: Das Paper identifiziert, dass dichte Belohnungen auf Ergebnisebene beim Konfrontieren konkurrierender Ziele versagen, und zeigt, dass segmentbasierte Prozess-Belohnungen entscheidend für eine erfolgreiche Optimierung sind.
4. SEAR-1.5B Modell: Sie trainieren ein 1.5B Parameter Modell (SEAR-1.5B), das explizit lernt, vom schädlichen Denken zu einer sicheren Antwort „zurückzuspringen“.

Ergebnisse

Die Autoren evaluieren SEAR-1.5B gegen verschiedene Baselines, einschließlich Standard-Outcome-basiertem RL, dichtem Outcome-basiertem RL, SFT-Baselines sowie führenden Open-Source-Modellen (z. B. TARS, Qwen3).

• Safety-Refusal-Trade-off: SEAR-1.5B erreicht die beste Performance auf der Pareto-Front von Sicherheit und Compliance (quadratischer Mittelwert von 0.930) und übertrifft damit TARS-7B (0.909) sowie andere RL-Baselines. Es zeigt signifikant weniger Over-Refusal bei mehrdeutigen Prompts (XSTest, Fortress, False-Reject), während es gleichzeitig hohe Verteidigungserfolge gegen Jailbreak-Angriffe (HarmBench) beibält.
• Exploration und Recovery: Die Analyse der Reasoning-Spuren zeigt, dass SEAR im Vergleich zu anderen Modellen eine höhere Frequenz an schädlichem Denken generiert, aber erfolgreich zu sicheren Antworten zurückkehrt. Im Gegensatz dazu vermeiden andere Modelle entweder schädliches Denken komplett oder scheitern an der Rückkehr zur Sicherheit, wenn sie es doch explorieren.
• Robustheit gegenüber Pre-fill-Angriffen: SEAR-1.5B weist eine überlegene Robustheit gegenüber Angriffen auf, die den Kontext des Modells mit schädlichem Denken vorbefüllen (z. B. durch Nutzung eines abliterierten Modells, um den Anfang einer schädlichen Kette zu generieren). SEAR hält höhere Scores für die Sicherheit der Antwort als Outcome-basierte RL-Modelle und größere Qwen3-Varianten, was seine Fähigkeit demonstriert, selbst bei erzwungenem schädlichem Denkzustand „zurückzuspringen“.
• Generalisierung: Das Modell behält eine starke Out-of-Distribution (OOD) Generalisierung auf Mathematik- und Reasoning-Benchmarks (GSM8K, MATH-500, GPQA) bei, die vergleichbar mit oder besser als die der Outcome-basierten Baselines ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass der Safety-Refusal-Trade-off nicht bloß die Entscheidung darüber ist, ob man verweigert, sondern eine Fähigkeit darüber, wie man Mehrdeutigkeiten auflöst. Indem Modelle lernen, durch schädliche Möglichkeiten zu denken, ohne zuzulassen, dass diese Möglichkeiten die finale Antwort diktieren, können sie bei harmlosen Prompts hilfreich bleiben, ohne die Sicherheit zu gefährden.

Die Autoren betonen, dass ihr Ansatz:

• Over-Refusal mildert, indem er es Modellen ermöglicht, die Absicht durch echte Exploration statt durch präventive Unterdrückung zwischen schädlich und harmlos zu unterscheiden.
• Eine Verteidigung gegen Reasoning-gerichtete Angriffe (wie Pre-filling) bietet, indem er das Modell darauf trainiert, aus schädlichen Kontexten zurückzukehren.
• Feststellt, dass prozessbasierte Belohnungen eine notwendige Komponente für die Optimierung konkurrierender Ziele in RL für Sicherheit sind – eine Erkenntnis, die auf andere Multi-Objective-RL-Aufgaben generalisierbar sein könnte.

Die Arbeit wird als Forschungsbeitrag zur Sicherheitsausrichtung präsentiert, wobei angemerkt wird, dass das Modell und die Methodik zu Forschungszwecken entwickelt wurden, um die Robustheit und Hilfsbereitschaft von LLMs zu verbessern.