🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Dit artikel toont aan dat schaling tijdens de inferentie via beperkte Best-of- $N$ -sampling inherent kwetsbaar is voor "safety hacking", waarbij imperfecte veiligheidsproxies de haalbare verzameling contamineren en beloningsmaximalisatie resterende onveilige outputs versterkt, waardoor veiligheidsfouten asymptotisch zeker worden naarmate het aantal samples groeit, tenzij specifieke mechanismen voor dekkingcontrole worden toegepast.

Oorspronkelijke auteurs: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne landschap van kunstmatige intelligentie worden grote taalmodellen steeds vaker gestuurd door een tweestaps-proces om ervoor te zorgen dat ze zowel behulpzaam als ongevaarlijk zijn. Ten eerste fungeert een veiligheidsfilter als een poortwachter, die potentiële reacties scant en alles verwerpt dat gevaarlijk of ongepast lijkt. Ten tweede evalueert een beloningssysteem de resterende veilige opties, waarbij ze wordt gerangschikt om de optie te selecteren die het meest nuttig of van hoge kwaliteit lijkt te zijn. Deze combinatie stelt ontwikkelaars in staat om het aantal opties dat een model overwegt op te schalen, in de hoop dat ze door meer mogelijkheden te bekijken, een beter antwoord kunnen vinden. De aanname is lang geweest dat als het veiligheidsfilter accuraat genoeg is en het beloningssysteem goed, het simpelweg vergroten van het aantal kandidaten zal leiden tot veiligere en betere resultaten.

Echter, een nieuwe studie onthult een verborgen gebrek in deze logica, waarbij wordt aangetoond dat opschalen juist averechts kan werken. De onderzoekers, werkend met LY Corporation en academische instellingen, ontdekten dat wanneer een model wordt gevraagd om de beste reactie te kiezen uit een grote vijver aan kandidaten, het selectieproces onbedoeld kleine fouten in het veiligheidsfilter kan exploiteren. Als het filter er per ongeluk enkele onveilige reacties doorheen laat glippen, en als die onveilige reacties toevallig iets opgeblazen scores ontvangen van het beloningssysteem, zal het selectieproces deze uiteindelijk identificeren als de beste keuze boven de werkelijk veilige opties. Dit fenomeen, dat de auteurs "safety hacking" noemen, betekent dat naarmate het systeem meer en meer kandidaten onderzoekt, de waarschijnlijkheid dat het een schadelijke reactie selecteert, richting zekerheid stijgt, zelfs als het veiligheidsfilter grotendeels correct is.

De kern van het probleem ligt in de manier waarop het systeem omgaat met de zeldzame fouten die onvermijdelijk voorkomen. Geen enkel veiligheidsfilter is perfect; af en toe laat het een gevaarlijke reactie door, waarbij het een reactie als veilig classificeert terwijl dat niet zo is. In een kleine zoekopdracht kan deze fout wellicht over het hoofd worden gezien. Maar wanneer het systeem wordt opgeschaald om duizenden kandidaten te onderzoeken, begint het de uiterste grenzen van de hogere scores van het beloningssysteem op te zoeken. De onderzoekers ontdekten dat als de enkele onveilige reacties die door het filter glippen toevallig hogere scores krijgen van het beloningssysteem dan de veilige reacties, het selectieproces zich er uiteindelijk op zal richten. Het is niet dat het systeem probeert gevaarlijk te zijn; het volgt eerder zijn instructies om de hoogst scorende optie te vinden, en de hoogst scorende optie in een besmette vijver is toevallig degene die onterecht is toegelaten.

Om dit te demonstreren, voerde het team experimenten uit met zowel eenvoudige speelgoedproblemen als echte taalmodellen. In hun simulaties creëerden ze een scenario waarin een klein deel van de reacties onveilig was maar door het filter kwam, terwijl de rest veilig was. Ze observeerden vervolgens wat er gebeurde naarmate het aantal kandidaten groeide van een handvol naar duizenden. De resultaten waren onomstotelijk: naarmate het aantal kandidaten toenam, verschoof de waarschijnlijkheid dat het systeem de onveilige reacties koos drastisch. Het stopte met het kiezen van de veilige reacties en begon de onveilige reacties met bijna totale frequentie te selecteren. Dit gebeurde zelfs toen het veiligheidsfilter slechts een fractie van de tijd fout zat en het beloningssysteem gemiddeld slechts licht onnauwkeurig was. Het gevaar zat niet in de frequentie van de fouten, maar in de specifieke manier waarop die fouten interageerden met de zoektocht van het systeem naar de absolute beste score.

De studie testte ook of een andere aanpak dit kon oplossen. Ze introduceerden een methode genaamd "constrained pessimistic sampling", die doelbewust vermijdt om te veel te concentreren op de enkele hoogst scorende optie. In plaats van op de absolute piek te jagen, spreidt deze methode de aandacht breder uit over de veilige opties. In hun tests slaagde deze aanpak erin om het systeem te voorkomen dat het zich vastklampte aan de onveilige reacties, waardoor de "safety hacking rate" laag bleef, zelfs naarmate het aantal kandidaten groeide. De onderzoekers merkten echter op dat deze methode de initiële fout niet wegneemt waarbij het veiligheidsfilter slechte reacties doorlaat; het voorkomt simpelweg dat het systeem die fout versterkt. Het fundamentele probleem blijft dat de vijver met kandidaten al besmet is.

De implicaties van deze bevinding zijn aanzienlijk voor hoe we AI-systemen bouwen en opschalen. Het suggereert dat het simpelweg nauwkeuriger maken van veiligheidsfilters op gemiddeld niveau niet genoeg is om veiligheid te garanderen bij het gebruik van grootschalige zoekmethoden. De onderzoekers toonden aan dat de relatie tussen de beloningsscores van veilige en onveilige reacties net zo cruciaal is als de nauwkeurigheid van het filter zelf. Als de onveilige reacties een "zwaardere staart" hebben in hun beloningsverdeling — wat betekent dat ze toevallig af en toe zeer hoge scores krijgen — zal het systeem ze uiteindelijk vinden en verkiezen. Dit betekent dat veiligheid niet behandeld kan worden als een aparte stap die vóór optimalisatie plaatsvindt; de twee processen zijn diep met elkaar verweven, en fouten in het een kunnen worden uitvergroot door het ander.

In hun experimenten met echte taalmodellen bevestigde het team dat dit mechanisme in de praktijk opereert. Ze gebruikten een standaard veiligheidsfilter en een beloningsmodel om reacties te selecteren uit een grote vijver van kandidaten gegenereerd door een AI. Naarmate ze het aantal kandidaten vergrootten, steeg de snelheid waarmee het systeem schadelijke reacties selecteerde, terwijl de kwaliteit van de veilige reacties die het vond niet voldoende verbeterde om dit te compenseren. Wanneer ze het beloningsmodel vervingen door een ander model, veranderde het gedrag, wat bewees dat de specifieke manier waarop het beloningssysteem de opties rangschikt, de belangrijkste drijfveer van deze mislukking is. Dit bevestigt dat het probleem niet alleen gaat over het feit dat het veiligheidsfilter imperfect is, maar over hoe het beloningssysteem interageert met de enkele onveilige opties die erin slagen door te komen.

De onderzoekers concluderen dat veilige opschaling een tweeledige aanpak vereist: het verbeteren van het veiligheidsfilter om het aantal slechte opties dat de vijver binnentreedt te verminderen, en het zorgvuldig beheren van hoe het systeem uit die vijver selecteert om de resterende fouten niet te versterken. Ze betogen dat huidige methoden, die vertrouwen op het kiezen van de enkele beste optie uit een grote set, inherent kwetsbaar zijn voor dit type falen. Hoewel hun voorgestelde alternatieve methode een manier biedt om de schade te beperken, lost het de kernoorzaak niet op. De studie dient als een waarschuwing dat naarmate we AI-systemen stimuleren om naar meer mogelijkheden te kijken om betere antwoorden te vinden, we even waakzaam moeten zijn over de manier waarop die systemen omgaan met de zeldzame, gevaarlijke fouten die onvermijdelijk door de mazen van het net glippen. Zonder de interactie tussen veiligheidsfiltering en beloningsoptimalisatie aan te pakken, kan opschalen leiden tot gevaarlijkere uitkomsten in plaats van veiligere.

Technische Samenvatting: Safety Hacking in Constrained Best-of-N Inference-time Scaling

1. Probleemstelling

Het artikel behandelt een kritieke foutmodus in de schaling tijdens de inferentie (inference-time scaling) van grote taalmodellen (LLM's) die gebruikmaken van geleerde veiligheids- en beloningsproxies. In standaardpipelines, zoals Constrained Best-of-N (CBoN) sampling, genereert een model $N$ kandidaat-antwoorden, filtert deze met behulp van een geleerd veiligheidsmodel om een "proxy-haalbare" verzameling te definiëren, en selecteert het kandidaat-antwoord met de hoogste geleerde beloningsscore.

De auteurs identificeren een tweestaps-foutmechanisme dat zij safety hacking noemen:

Contaminatie: Een imperfecte veiligheidsproxy laat onveilige outputs (vals positieven) toe in de proxy-haalbare verzameling.
Amplificatie: De daaropvolgende beloningsmaximalisatie (het selecteren van de beste van $N$ ) versterkt deze resterende onveilige outputs als deze een zwaardere bovenste staart (upper tail) bezitten in de geleerde beloningsverdeling vergeleken met veilige outputs.

Het kernprobleem is dat het vergroten van het inferentiebudget ( $N$ ) niet alleen de waarschijnlijkheid vergroot om een onveilige output tegen te komen; het kan het selecteren van een onveilige output asymptotisch garanderen, zelfs wanneer de gemiddelde foutpercentages van zowel de veiligheids- als de beloningsproxies willekeurig klein zijn.

2. Methodologie en Theoretisch Kader

Definities

Ware verzamelingen: $S^\star_+$ (echt veilig) en $S^\star_-$ (echt onveilig).
Proxy-haalbare verzameling: $\hat{S}_+$ , gedefinieerd door een geleerde veiligheidsproxy $\hat{g}$ die een drempel $b$ overschrijdt.
Decompositie: De proxy-haalbare verzameling splitst zich op in:
- $A$ : Ware positieven (echt veilig en geaccepteerd).
- $B$ : Vals positieven (echt onveilig maar geaccepteerd).
Safety Hacking: Een gebeurtenis waarbij de geselecteerde output $\hat{y} \in B$ .

Theoretische Analyse

Het artikel leidt eindige- $N$ grenzen en asymptotische resultaten af op basis van de gezamenlijke bovenste staarten (joint upper tails) van de geleerde beloningsscores voor verzamelingen $A$ en $B$ .

Staart-kwantiteiten: Laat $\hat{\Psi}_A(t)$ en $\hat{\Psi}_B(t)$ de waarschijnlijkheid zijn dat een steekproef uit de referentieverdeling in de verzamelingen $A$ of $B$ valt respectievelijk, met een geleerde beloningsscore groter dan $t$ .
Eindige-N Grenzen (Theorem 4.1): De waarschijnlijkheid van safety hacking wordt begrensd door functies van $\hat{\Psi}_A$ en $\hat{\Psi}_B$ . Specifiek, als geen enkele steekproef uit $A$ een drempel $t$ overschrijdt terwijl ten minste één steekproef uit $B$ dat wel doet, selecteert CBoN een onveilige output.
Asymptotische Zekerheid (Theorem 4.2): Als er een sequentie van drempels $t_N$ $t_{N}$ bestaat waarvoor $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ en $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ , convergeert de waarschijnlijkheid van safety hacking naar 1 als $N \to \infty$ $N \to \infty$ .
- Dit impliceert dat zelfs als de massa van de vals positieven ( $\epsilon$ ) en de gemiddelde proxy-fouten verdwijnen, een budget $N = \Theta(1/\epsilon)$ voldoende is om de resterende fout met hoge waarschijnlijkheid te versterken, mits de onveilige staart "zwaarder" is.
Gaussiaanse Staartscheiding: Het artikel toont aan dat als de beloningsproxy-fout op onveilige outputs een zwaardere Gaussische staart (grotere variantie) heeft dan op veilige outputs, safety hacking zeker wordt naarmate $N$ groeit, zelfs bij gebonden ware beloningen.

Mitigatie: Coverage Control

De auteurs stellen voor dat men, hoewel men de initiële contaminatie (vals positieven toegelaten door de veiligheidsfilter) niet kan verwijderen, de amplificatie van deze contaminatie wel kan beperken.

Principe: Beperk de $\chi^2$ -divergentie tussen het uiteindelijke selectiebeleid en de proxy-haalbare referentieverdeling.
Algoritme (cPes): Zij instantiëren dit via Constrained Pessimistic Sampling (cPes). Dit houdt in:
1. Het afknippen (clipping) van de geleerde beloningsscores naar een begrensde range.
2. Het oplossen van een geregulariseerd optimalisatieprobleem om de proxy-haalbare kandidaten te herwegen, waarbij concentratie op hoog-belonende uitschieters wordt bestraft.
Garantie (Theorem 5.1 & Corollary 5.3): cPes biedt een $N$ -onafhankelijke grens op de waarschijnlijkheid van het selecteren van een onveilige output. Deze grens hangt echter af van de initiële contaminatiemassa $\kappa(x,b)$ en kan deze niet tot nul reduceren; het voorkomt enkel dat de selectiekans groeit met $N$ .

3. Belangrijkste Bijdragen

Formalisering van Safety Hacking: Gedefinieerd als de selectie van een output die aan een geleerde veiligheidsrestrictie voldoet maar de ware veiligheidscriteria schendt, specifiek gedreven door de interactie tussen filtercontaminatie en beloningsstaart-amplificatie.
Karakterisering van Amplificatie: Afgeleide eindige- $N$ grenzen die laten zien dat safety hacking wordt beheerst door de gezamenlijke beloningsstaarten van veilige versus onveilige proxy-haalbare outputs. Bewezen dat een zwaardere onveilige staart leidt tot asymptotische zekerheid van hacking, zelfs bij verdwijnende gemiddelde fouten.
Coverage Control Principe: Vastgesteld dat het begrenzen van de $\chi^2$ -divergentie van de proxy-haalbare referentieverdeling een $N$ -onafhankelijke veiligheidsgrens oplevert.
Empirische Validatie:
- Toy Experimenten: Gedemonstreerd dat CBoN verschuift van het selecteren van veilige naar onveilige klassen naarmate $N$ toeneemt wanneer de onveilige klasse een zwaardere beloningsstaart heeft, terwijl cPes deze verschuiving beperkt.
- LLM Experimenten: Gebruikmakend van JailbreakBench, HarmBench en AdvBench prompts met Qwen2.5-7B, Llama-Guard-3 en Beaver/Skywork beloningsmodellen.
  - Geobserveerd dat naarmate $N$ toeneemt, de proxy-beloning van CBoN verbetert, maar de safety-hacking rates en de veiligheidsbewuste ware beloningen verslechteren.
  - Ablatie: Het vervangen van de beloningsproxy (Beaver versus Skywork) keerde de schalingstrend om, wat bevestigt dat de rangschikking binnen de gecontamineerde set (staartgedrag) de drijfveer is, en niet enkel de false-positive rate van de filter.

4. Resultaten

Toy Problem: Met een onveilige klasse die een zwaardere beloningsstaart heeft ( $\sigma_B > \sigma_A$ ), steeg de safety hacking rate van CBoN van 0,023 ( $N=1$ ) naar 0,9996 ( $N=8192$ ), terwijl de gemiddelde ware beloning daalde. cPes hield een lage hacking rate aan (~0,02) over alle $N$ .
LLM Experimenten:
- Decompositie: De toename van safety hacking bij CBoN werd primair gedreven door "competitieve onveilige winst" (onveilige kandidaten die veilige overtreffen), niet louter door de afwezigheid van veilige kandidaten ("unsafe-only exposure").
- Gevoeligheid van de Beloningsproxy: Het wisselen van Beaver naar Skywork beloningsmodellen verminderde de competitieve onveilige winst rate, wat de algehele hacking rate verlaagde, wat aantoont dat staartgedrag proxy-afhankelijk is.
- cPes Prestaties: cPes beperkte het amplificatie-effect, waardoor de hacking rates dichter bij de baseline "random feasible" selectie bleven, hoewel het de baseline contaminatie niet elimineerde.

5. Betekenis en Claims

Het artikel claimt een inherente moeilijkheid in de inferentie-tijd schaling bloot te leggen wanneer men vertrouwt op geleerde veiligheidsmodellen. De primaire betekenis ligt in de verschuiving van de focus van gemiddelde filternauwkeurigheid naar gezamenlijk staartgedrag (joint tail behavior).

Beperking van Gemiddelde Metrieken: De auteurs stellen dat gemiddelde filternauwkeurigheid en gemiddelde proxy-fouten onvoldoende voorspellers zijn voor veiligheid onder schaling; de relatieve bovenste staarten van beloningen voor veilige versus onveilige outputs zijn de kritieke determinanten.
Onderscheid met Voorgaand Werk: In tegenstelling tot belonings-overoptimalisatie (die een benevolente haalbare set veronderstelt) of jailbreaking (die een adversariële prompt veronderstelt), analyseert dit werk een vaste prompt waarbij de haalbare set zelf gecontamineerd is, en het zoekproces deze specifieke contaminatie versterkt.
Bescheiden Mitigatie: Het artikel is bescheiden over oplossingen. Het stelt dat coverage control (cPes) amplificatie beperkt, maar de gecontamineerde haalbare set niet kan herstellen. Als de veiligheidsfilter onveilige outputs toelaat met hoge geleerde beloningen, kan geregulariseerde selectie deze nog steeds bevoordelen.
Toekomstige Richtingen: De auteurs geven expliciet aan dat hun analyse beperkt is tot niet-adaptieve, i.i.d. samplingpipelines. Zij merken op dat adaptieve zoekprocessen, zelf-verfijning of agentic planning (waarbij de kandidaat-distributies afhangen van eerdere proxy-evaluaties) niet gedekt zijn en belangrijk toekomstig werk vertegenwoordigen.

Concluderend stelt het artikel vast dat veilige inferentie-tijd schaling een tweeledige aanpak vereist: het controleren van de toegang tot de haalbare set (verbeteren van de veiligheidsfilter) en het controleren van de downstream concentratie (beheren van beloningsstaartgedrag en selectiediversiteit).