Technische Samenvatting: Safety Game: Inference-Time Alignment van Black-Box LLM's via Constrained Optimization

1. Probleemstelling

De centrale uitdaging die wordt aangepakt, is het waarborgen dat Large Language Models (LLM's) voldoen aan veiligheidseisen zonder de prohibitieve kosten en inflexibiliteit van alignment-methoden tijdens de training (bijv. RLHF, fine-tuning). Bestaande benaderingen voor alignment tijdens de inferentie vereisen vaak toegang tot de interne werking van het model (gewichten of architectuur), wat onpraktisch is voor externe belanghebbenden die gebruikmaken van propriëtaire black-box API's. Bovendien worstelen huidige methoden met het balanceren van de afweging tussen het genereren van behulpzame, informatieve reacties en het vermijden van schadelijke of risicovolle inhoud. Er is een kritieke behoefte aan een model-onafhankelijk, black-box framework dat veiligheidsrestricties kan afdwingen tijdens de inferentie zonder het basismodel opnieuw te trainen.

2. Methodologie: Het Safety Game Framework

De auteurs stellen SAFETY GAME voor, een model-agnostisch framework dat de selectie van een respons uit een eindige verzameling kandidaten behandelt als een constrained optimization-probleem afgeleid van speltheorie.

2.1. Probleemformulering

De interactie tussen de LLM (Speler 1) en de gebruiker (Speler 2) wordt gemodelleerd als een one-shot, imperfect-information game.

• Kandidatenverzameling: Voor een gegeven prompt $x$ overweegt het systeem een eindige verzameling kandidaat-reacties $R = \{r_1, \dots, r_m, r_s\}$, waarbij $r_s$ een aangewezen veilige fallback is (bijv. een weigering of een generieke veilige verklaring) met nul helpfulness lift en nul risico.
• Scoring: Elke kandidaat $r_i$ krijgt een helpfulness score ($h_i$) en een safety-risk score ($s_i$) toegewezen. Deze worden berekend via self-probing, waarbij de basis-LLM wordt bevraagd met binaire probes ("Is dit behulpzaam?" / "Is dit schadelijk?") om de log-waarschijnlijkheden van YES/NO tokens te schatten.
• Marges: Het framework werkt op marges relatief aan de fallback: $M_i = h_i - h_s$ (helpfulness lift) en $\Delta_i = s_i - s_s$ (extra risico).

2.2. Speltheoretische Afleiding

Het selectieprobleem wordt geformaliseerd als een two-player zero-sum game. De LLM committeert zich aan een mixed strategy $\pi$ (een waarschijnlijkheidsverdeling over kandidaten) om de verwachte helpfulness te maximaliseren terwijl het risico op het schenden van veiligheidsbeleid wordt geminimaliseerd onder onzekere gebruikersintentie (welwillend versus kwaadwillend).

• Minimax Evenwicht: Het spel zoekt een minimax-evenwicht waarbij de LLM helpfulness maximaliseert onder een veiligheidsrestrictie.
• Beslissingslaag: Dit evenwicht wordt operationeel gemaakt als een Linear Programming (LP) probleem dat tijdens de inferentie wordt opgelost:
  $$\max_{\pi \in \Delta_m} \sum_{i=1}^m \pi_i M_i \quad \text{s.t.} \quad \sum_{i=1}^m \pi_i \Delta_i \leq T$$
  Hier is $T$ een veiligheidsbudget-parameter. Als de LP niet haalbaar is, valt het systeem terug op de veilige fallback $r_s$.

2.3. Robuustheid en Implementatie

• Ruisende Signalen: Het framework erkent dat self-probes (of externe scorers) ruisende schattingen geven. Stelling 3.1 biedt een robuustheidsgarantie: als de risicoscores een begrensde fout $\epsilon_s$ hebben, zorgt het afdwingen van een aangescherpte restrictie $T' = T - 2\epsilon_s$ ervoor dat het werkelijke risico binnen $T$ blijft.
• Smooth Relaxation: Om randgevoeligheid en ruisende scores te behandelen, wordt ook een sigmoid-relaxatie van de harde restrictie voorgesteld, wat een vloeiende penalty-ramp nabij de veiligheidscap mogelijk maakt.
• Black-Box Compatibiliteit: De methode vereist alleen API-toegang om kandidaten te genereren en te scoren (via self-probing of externe classifiers). Het wijzigt de gewichten van het basismodel niet.

3. Belangrijkste Bijdragen

1. Speltheoretische Beslissingslaag: Het artikel leidt een selectieregel af voor black-box LLM's gebaseerd op adaptieve veiligheid in incomplete-information games. Dit levert twee niet-voor-de-hand-liggende ontwerpkeuzes op:
   • Fallback-Relatieve Marges: Optimalisatie is gebaseerd op verbetering ten opzichte van een veilige baseline, niet op ruwe scores.
   • Geaggregeerde Risicorestrictie: Veiligheid wordt beperkt over de mix van kandidaten (verwacht risico) in plaats van individuele kandidaten te filteren, waardoor borderline veilige kandidaten kunnen worden geselecteerd als ze worden gecompenseerd door veiligere kandidaten.
2. Empirische Validatie van de Beslissingslaag: Experimenten tonen aan dat de prestatiewinst inherent is aan de LP-beslissingslaag, en niet aan de scorer. Bij het gebruik van een vaste externe scorer (Llama-Guard-3-8B) herstelde de LP-gebaseerde selector 81 meer menselijk-veilige reacties dan de beste drempelwaarde-gebaseerde filter over 440 onveilige prompts.
3. Schaalbare Black-Box Alignment: Het framework biedt een plug-and-play oplossing voor belanghebbenden zonder toegang tot de interne werking van het model, waardoor veiligheidsafdwinging mogelijk is over diverse modelfamilies zonder hertraining.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks: HHH (Helpfulness, Harmlessness, Honesty), TruthfulQA, SafetyBench en SORRY-Bench, over vijf verschillende LLM's (waaronder LLaMA-2, LLaMA-3 en GPT-OSS).

• SafetyBench: De methode behaalde de grootste winst en presteerde beter dan alle baselines (inclusclusief Consensus Game varianten zoals ER-G/ER-D) op 4 van de 5 modellen. Pairwise McNemar-testen toonden statistisch beslissende verbeteringen aan ($p < 10^{-4}$).
• SORRY-Bench: De methode behaalde de laagste Expected Human Fulfillment Rate (HFR) op drie van de vijf modellen, met relatieve reducties van 45–81% ten opzichte van de sterkste baseline. Cruciaal is dat de methode een hogere weigeringkwaliteit behield (het bieden van informatieve alternatieven in plaats van blokkerende weigeringen) vergeleken met baselines die naar een bijna nul HFR instortten door agressieve filtering.
• Algemene Benchmarks (HHH, TruthfulQA): De methode kwam overeen met of overtrof de beste baselines in 14 van de 20 model-benchmark settings, wat aantoont dat veiligheidsalignment de algemene behulpzaamheid of waarachtigheid niet heeft verslechterd.
• Over-Refusal: Op benign instructie-volgende taken (AlpacaEval) vertoonde de methode geen catastrofale over-weigering, waarbij het prestaties behield die vergelijkbaar zijn met baselines terwijl het op de Pareto-front zat bij borderline prompts.

5. Betekenis en Claims

Het artikel claimt de haalbaarheid van black-box alignment frameworks vast te stellen. De primaire betekenis ligt in het ontkoppelen van de veiligheidsbeslissing van de interne training van het model, wat het mogelijk maakt voor:

• Democratisering: Kleinere organisaties en entiteiten met beperkte middelen kunnen robuuste veiligheidspraktijken afdwingen zonder de financiële of technische last van het hertrainen van modellen.
• Flexibiliteit: Veiligheidsrestricties kunnen tijdens de inferentie worden bijgewerkt of bijgesteld (via het budget $T$) om zich aan te passen aan nieuwe regelgeving of sociale normen zonder hertraining.
• Theoretische Onderbouwing: De aanpak biedt een geprincipeerde, speltheoretische rechtvaardiging voor constrained selectie, wat garanties biedt op adaptieve veiligheid die eenvoudige drempelwaardes of ranking niet kunnen bieden.

De auteurs merken bescheiden op dat de prestaties van de methode afhankelijk zijn van de kwaliteit van de meetlaag (scorer kalibratie), en dat het momenteel opereert op single-turn selectie in plaats van multi-turn dialoog. Desalniettemin opent het werk een nieuwe richting voor schaalbare, toegankelijke AI-veiligheid die onafhankelijk werkt van de onderliggende modelarchitectuur.