🤖 machine learning

Safety Game: Inference-Time Alignment of Black-Box LLMs via Constrained Optimization

Dieses Paper schlägt ein modellunabhängiges Black-Box-Framework für das Safety-Alignment von Large Language Models zur Inferenzzeit vor, welches den Kompromiss zwischen Sicherheit und Hilfreichkeit als Nullsummenspiel zwischen zwei Spielern formuliert und es Stakeholdern ermöglicht, Sicherheitsbeschränkungen mittels linearer Programmierung durchzusetzen, ohne Zugriff auf das Modell oder ein Retraining zu benötigen.

Ursprüngliche Autoren: Tuan Nguyen, Long Tran-Thanh

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tuan Nguyen, Long Tran-Thanh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas unberechenbaren Roboter-Assistenten. Sie möchten ihn nutzen, um Ihnen bei Aufgaben zu helfen, aber Sie haben die Sorge, dass er Ihnen versehentlich gefährliche Ratschläge geben könnte (wie etwa den Bau einer Bombe) oder die Hilfe verweigert, wenn Sie eigentlich nur ein einfaches Rezept benötigen.

Normalerweise müsste man einen solchen Roboter reparieren, indem man ihn auseinanderbaut, ihn mit neuen Regeln neu trainiert und hofft, dass er lernt. Aber was wäre, wenn der Roboter eine „Black Box“ ist? Sie können ihn nicht auseinanderbauen, Sie können ihn nicht neu trainieren und Sie können nicht in ihn hineinsehen. Dies ist das Problem vieler leistungsstarker KI-Modelle, die heute verfügbar sind: Unternehmen können deren internen Code nicht ändern, sondern können ihnen nur Fragen stellen und Antworten erhalten.

Dieses Paper schlägt einen cleveren „Sicherheitsfilter“ vor, der außerhalb des Roboters sitzt und wie ein intelligenter Torwächter fungiert. Er muss nicht wissen, wie der Roboter denkt; er muss nur die Antworten betrachten, die der Roboter könnte geben, und die beste auswählen.

So funktioniert es, erklärt anhand einiger alltäglicher Analogien:

1. Die „Menü“-Analogie (Die Kandidatenmenge)

Anstatt den Roboter zu bitten, einen völlig neuen Aufsatz von Grund auf zu schreiben (was schwer zu kontrollieren ist), bittet das System den Roboter zuerst, eine kleine Liste möglicher Antworten zu erstellen, wie ein Menü mit Optionen.

Option A: Eine sehr hilfreiche Antwort, aber sie könnte gefährlich sein (z. B. „Mische Bleichmittel und Ammoniak für ein cooles Gas!“).
Option B: Eine völlig sichere Antwort, aber sie ist nutzlos (z. B. „Dazu kann ich keine Auskunft geben.“).
Option C: Eine ausgewogene Antwort (z. B. „Du kannst Backpulver und Essig mischen für eine sichere Reaktion.“).

Das Ziel ist es, Option C zu wählen.

2. Der „Seiltänzer“ (Die Spieltheorie)

Das Paper behandelt die Wahl einer Antwort wie ein Spiel zwischen zwei Spielern:

Spieler 1 (Der Helfer): Möchte die nützlichste, informativste Antwort geben, die möglich ist.
Spieler 2 (Der Sicherheitswächter): Möchte sicherstellen, dass die Antwort nicht gefährlich ist.

Das System nutzt ein mathematisches „Spiel“, um das perfekte Gleichgewicht zu finden. Es ist wie ein Seiltänzer, der versucht, so weit wie möglich nach vorne zu kommen (hilfreich), ohne über die Kante zu fallen (unsicher). Das System berechnet die „Minimax“-Strategie, was der sicherste Weg ist, um so hilfreich wie möglich zu sein, ohne die Linie zu überschreiten.

3. Die „Budget“-Analogie (Optimierung unter Nebenbedingungen)

Stellen Sie sich vor, Sie haben ein striktes Budget für „Risiko“.

Jedes Mal, wenn der Roboter eine riskante Antwort vorschlägt, kostet Sie das „Risiko-Dollar“.
Sie haben ein festes Budget (sagen wir $10).
Das System betrachtet alle Optionen auf dem Menü. Es kann eine leicht riskante Antwort wählen, wenn diese sehr hilfreich ist, solange die Gesamtkosten des „Risikos“ für die endgültige Wahl unter Ihrem Budget von $10 bleiben.
Wenn eine Antwort zu gefährlich ist, kostet sie zu viel, und das System lehnt sie ab.
Wenn alle Antworten zu gefährlich sind, kehrt das System zu einem „sicheren Fallback“ zurück (wie z. B. „Dazu kann ich nicht helfen“).

4. Der „Schiedsrichter“ (Der Linear Programming Solver)

Wie trifft das System diese Entscheidung konkret? Es fragt den Roboter nicht, über die Regeln nachzudenken (da der Roboter schlecht darin sein könnte, den Regeln zu folgen, oder manipuliert werden könnte). Stattdessen nutzt das System ein separates, einfaches mathematisches Werkzeug namens Linear Programming (LP) Solver.

Betrachten Sie den LP-Solver als einen strengen Schiedsrichter, der nur auf die Zahlen schaut:

Optionen bewerten: Wie hilfreich ist dies? Wie riskant ist es?
Die Mathematik ausführen: „Wenn ich diese wähle, bleibe ich unter dem Risikobudget?“
Die Entscheidung treffen: Wähle die Option, die den größten Nutzen bringt, während sie unter dem Budget bleibt.

Da dieser Schiedsrichter ein einfaches Mathematikum ist, arbeitet er schnell, zuverlässig und muss nicht jedes Mal neu trainiert werden, wenn eine neue Sicherheitsregel eingeführt wird.

Warum ist das eine große Sache?

Keine Operation erforderlich: Sie müssen das KI-Modell nicht öffnen. Sie können dies mit jedem Modell verwenden, selbst mit denen von großen Technologieunternehmen, die Sie nicht ändern können.
Flexibel: Wenn morgen neue Sicherheitsregeln erscheinen (z. B. „Sprich nicht über Politik“), ändern Sie einfach Ihr mathematisches Budget. Sie müssen nicht die gesamte KI neu trainieren.
Fair für alle: Kleine Unternehmen oder Forscher, die es sich nicht leisten können, ihre eigenen riesigen KI-Modelle zu trainieren, können dennoch leistungsstarke, vorgefertigte Modelle sicher nutzen.

Das Fazit

Das Paper zeigt, dass wir, indem wir Sicherheit als ein mathematisches Problem behandeln, bei dem es darum geht, „Hilfreichkeit“ und „Risiko“ auf einer Auswahl an Optionen auszubalancieren, dieleistungsstarken Black-Box-KI-Modellen viel sicherer machen können, ohne jemals deren internen Code anzupassen. Es ist, als würde man eine intelligente, mathematisch perfekte Ampel vor einer chaotischen Kreuzung aufstellen, um alle sicher zu halten, ohne die Autos selbst umbauen zu müssen.

Technisches Resümee: Safety Game: Inference-Time Alignment von Black-Box-LLMs mittels constrained Optimization

1. Problemstellung

Die zentrale Herausforderung, die hier adressiert wird, ist die Gewährleistung der Einhaltung von Sicherheitsanforderungen durch Large Language Models (LLMs), ohne die prohibitiven Kosten und die Unflexibilität von Alignment-Methoden während der Trainingszeit (z. B. RLHF, Fine-Tuning) in Kauf nehmen zu müssen. Bestehende Ansätze zur Alignment zur Inferenzzeit erfordern oft Zugriff auf die Interna des Modells (Gewichte oder Architektur), was für Drittanbieter, die proprietäre Black-Box-APIs nutzen, unpraktikabel ist. Zudem haben aktuelle Methoden Schwierigkeiten, den Kompromiss zwischen der Generierung hilfreicher, informativer Antworten und der Vermeidung von schädlichen oder riskanten Inhalten auszubalancieren. Es besteht ein kritischer Bedarf an einem modellunabhängigen Black-Box-Framework, das Sicherheitsbeschränkungen zur Inferenzzeit erzwingen kann, ohne das Basismodell neu zu trainieren.

2. Methodik: Das Safety Game Framework

Die Autoren schlagen SAFETY GAME vor, ein modellagnostisches Framework, das die Auswahl einer Antwort aus einer endlichen Menge von Kandidaten als ein Problem der constrained Optimization behandelt, das aus der Spieltheorie abgeleitet ist.

2.1. Problemformulierung

Die Interaktion zwischen dem LLM (Spieler 1) und dem Nutzer (Spieler 2) wird als ein Ein-Schritt-Spiel mit unvollständiger Information modelliert.

Kandidatenmenge: Für einen gegebenen Prompt $x$ betrachtet das System eine endliche Menge von Kandidaten-Antworten $R = \{r_1, \dots, r_m, r_s\}$ , wobei $r_s$ ein ausgewiesener sicherer Fallback (z. B. eine Verweigerung oder eine generische sichere Aussage) mit null Hilfreichkeits-Lift und null Risiko ist.
Scoring: Jedem Kandidaten $r_i$ wird ein Hilfreichkeits-Score ( $h_i$ ) und ein Sicherheitsrisiko-Score ( $s_i$ ) zugewiesen. Diese werden mittels Self-Probing berechnet, wobei das Basis-LLM mit binären Probes („Ist dies hilfreich?“ / „Ist dies schädlich?“) abgefragt wird, um die Log-Wahrscheinlichkeiten von YES/NO-Token zu schätzen.
Margen: Das Framework arbeitet auf Margen relativ zum Fallback: $M_i = h_i - h_s$ (Hilfreichkeits-Lift) und $\Delta_i = s_i - s_s$ (zusätzliches Risiko).

2.2. Spieltheoretische Ableitung

Das Selektionsproblem wird als ein Zwei-Spieler-Nullsummenspiel formalisiert. Das LLM verpflichtet sich zu einer gemischten Strategie $\pi$ (einer Wahrscheinlichkeitsverteilung über die Kandidaten), um die erwartete Hilfreichkeit zu maximieren und gleichzeitig das Risiko einer Verletzung von Sicherheitsrichtlinien unter unsicherer Nutzerintention (gutartig vs. adversarial) zu minimieren.

Minimax-Gleichgewicht: Das Spiel sucht ein Minimax-Gleichgewicht, bei dem das LLM die Hilfreichkeit maximiert, unter der Bedingung eines Sicherheitsconstraints.
Entscheidungsschicht: Dieses Gleichgewicht wird als Lineares Optimierungsproblem (LP) operationalisiert, das zur Inferenzzeit gelöst wird:
$\max_{\pi \in \Delta_m} \sum_{i=1}^m \pi_i M_i \quad \text{s.t.} \quad \sum_{i=1}^m \pi_i \Delta_i \leq T$
Hierbei ist $T$ ein Sicherheitsbudget-Parameter. Wenn das LP nicht erfüllbar ist, wechselt das System zum sicheren Fallback $r_s$ .

2.3. Robustheit und Implementierung

Verrauschte Signale: Das Framework berücksichtigt, dass Self-Probes (oder externe Scorer) verrausste Schätzungen liefern. Theorem 3.1 liefert eine Robustheitsgarantie: Wenn die Risiko-Scores einen begrenzten Fehler $\epsilon_s$ aufweisen, stellt die Durchsetzung eines verschärften Constraints $T' = T - 2\epsilon_s$ sicher, dass das wahre Risiko innerhalb von $T$ bleibt.
Glatte Relaxation: Um Randempfindlichkeit und verrauschte Scores zu handhaben, wird auch eine Sigmoid-Relaxation des harten Constraints vorgeschlagen, die eine glatte Penalty-Rampe nahe der Sicherheitsgrenze ermöglicht.
Black-Box-Kompatibilität: Die Methode benötigt lediglich API-Zugriff, um Kandidaten zu generieren und zu bewerten (mittels Self-Probing oder externer Klassifikatoren). Sie modifiziert nicht die Gewichte des Basismodells.

3. Zentrale Beiträge

Spieltheoretische Entscheidungsschicht: Das Paper leitet eine Selektionsregel für Black-Box-LLMs ab, die auf der Anpassungssicherheit in Spielen mit unvollständiger Information basiert. Dies führt zu zwei nicht trivialen Designentscheidungen:
- Fallback-relative Margen: Die Optimierung basiert auf der Verbesserung gegenüber einer sicheren Baseline, nicht auf Rohwerten.
- Aggregierter Risiko-Constraint: Die Sicherheit wird über die Mischung der Kandidaten (erwartetes Risiko) beschränkt, anstatt einzelne Kandidaten zu filtern, was es ermöglicht, grenzwertig sichere Kandidaten zu wählen, wenn sie durch sicherere Kandidaten ausgeglichen werden.
Empirische Validierung der Entscheidungsschicht: Experimente zeigen, dass der Leistungszuwachs intrinsisch in der LP-Entscheidungsschicht liegt und nicht im Scorer. Bei Verwendung eines festen externen Scorers (Llama-Guard-3-8B) konnte der LP-basierte Selektor 81 mehr menschlich-sichere Antworten als den besten Schwellenwert-basierten Filter über 440 unsichere Prompts zurückgewonnen.
Skalierbares Black-Box-Alignment: Das Framework bietet eine Plug-and-Play-Lösung für Stakeholder ohne Zugriff auf Modell-Interna und ermöglicht so die Durchsetzung von Sicherheitsmaßnahmen über verschiedene Modellfamilien hinweg, ohne ein Retraining durchzuführen.

4. Experimentelle Ergebnisse

Die Methode wurde auf vier Benchmarks evaluiert: HHH (Helpfulness, Harmlessness, Honesty), TruthfulQA, SafetyBench und SORRY-Bench, über fünf verschiedene LLMs hinweg (einschließlich LLaMA-2, LLaMA-3 und GPT-OSS).

SafetyBench: Die Methode erzielte die größten Gewinne und übertraf alle Baselines (einschließlich Consensus Game Varianten wie ER-G/ER-D) auf 4 von 5 Modellen. Paarweise McNemar-Tests zeigten statistisch entscheidende Verbesserungen ( $p < 10^{-4}$ ).
SORRY-Bench: Die Methode erreichte die niedrigste Expected Human Fulfillment Rate (HFR) auf drei von fünf Modellen, mit relativen Reduktionen von 4–81 % gegenüber der stärksten Baseline. Entscheidend ist, dass sie im Vergleich zu Baselines, die durch aggressives Filtern auf eine nahezu Null-HFR kollabierten, eine höhere Ablehnungsqualität (Bereitstellung informativer Alternativen statt bloßer Verweigerung) beibehielt.
Allgemeine Benchmarks (HHH, TruthfulQA): Die Methode entsprach oder übertraf die besten Baselines in 14 von 20 Modell-Benchmark-Einstellungen, was zeigt, dass das Sicherheitsalignment die allgemeine Hilfreichkeit oder Wahrhaftigkeit nicht beeinträchtigte.
Übermäßige Verweigerung (Over-Refusal): Bei benignen Instruktionsfolgen-Aufgaben (AlpacaEval) zeigte die Methode keine katastrophale Über-Verweigerung und behielt eine vergleichbare Performance wie die Baselines bei, während sie an der Pareto-Front bei Grenzfragen positioniert war.

5. Bedeutung und Behauptungen

Das Paper behauptet, die Machbarkeit von Black-Box-Alignment-Frameworks etabliert zu haben. Seine primäre Bedeutung liegt in der Entkopplung der Sicherheitsentscheidung vom internen Training des Modells, was Folgendes ermöglicht:

Demokratisierung: Kleinere Organisationen und ressourcenbeschränkte Akteure können robuste Sicherheitsverfahren durchsetzen, ohne die finanzielle oder technische Last eines Modell-Retrainings zu tragen.
Flexibilität: Sicherheitsbeschränkungen können zur Inferenzzeit aktualisiert oder angepasst werden (über das Budget $T$ ), um auf neue Regulierungen oder soziale Normen zu reagieren, ohne neu zu trainieren.
Theoretische Fundierung: Der Ansatz bietet eine fundierte, spieltheoretische Rechtfertigung für die beschränkte Selektion und bietet Garantien für die Anpassungssicherheit, die einfaches Thresholding oder Ranking nicht bieten können.

Die Autoren merken bescheiden an, dass die Leistung der Methode von der Qualität der Messschicht (Scorer-Kalibrierung) abhängt und derzeit auf die Auswahl in Einzel-Turns (Single-Turn) statt auf Multi-Turn-Dialoge beschränkt ist. Dennoch eröffnet die Arbeit eine neue Richtung für skalierbares, zugängliches AI-Safety, das unabhängig von der zugrunde liegenden Modellarchitektur operiert.