Technische Samenvatting: Diagnose van Broze Veiligheid in Gelijkgestemde Taalmodellen

Probleemdefinitie

Huidige paradigma's voor veiligheidsafstemming, die technieken zoals Reinforcement Learning from Human Feedback (RLHF) en Constitutionele AI gebruiken, trainen modellen succesvol om kwaadaardige instructies te weigeren en zich te houden aan statische veiligheidsbeleid onder standaardaannames. Deze benchmarks vertrouwen echter vaak op vaste prompts of vijandelijke aanvallen (bijvoorbeeld jailbreaks), waardoor ze het contextuele karakter van veiligheid in de echte wereld niet vastleggen.

De auteurs identificeren een specifiek faalmechanisme dat broze veiligheid wordt genoemd: een scenario waarin een gelijkgesteld model een situationele update begrijpt die de causale gevolgen van een actie fundamenteel verandert, maar zich toch stijf vastklampt aan zijn geleerde veiligheidsheuristieken. In deze gevallen wordt de actie die onder standaardaannames nominaal veilig was, schadelijk, en wordt de eerder schadelijke actie de veilige keuze. Het model faalt niet door het invoer te verkeerd te begrijpen of door adversariale manipulatie, maar door trouw een beleid te volgen dat door de contextverschuiving niet langer geldig is.

Methodologie: Het Context-Flip Framework

Om deze kwetsbaarheid systematisch te diagnosticeren, introduceren de auteurs context-flip evaluatie, een gepaarde prompt-protocol ontworpen om het vermogen van een model om context te integreren te isoleren van zijn basisveiligheidscompetentie.

1. Protocolontwerp: Voor elk basisscenario wordt het model onder twee voorwaarden geëvalueerd:
   • Nominaal Context ($c_{nom}$): Standaardaannames gelden, en een specifieke actie is de veilige/ethische keuze.
   • Context-Flip Context ($c_{flip}$): Een beknopte "Situational Update" wordt toegevoegd, waardoor de causale staat zodanig wordt gewijzigd dat de optimale actie verschuift naar een andere keuze in de actieruimte.
2. Datasets: Het framework werd toegepast op:
   • PacifAIst: Een veiligheidsbenchmark die drie categorieën voor Existential Prioritization bestrijkt (Zelfbehoud versus Menselijke Veiligheid, Resource Conflict, Doelbehoud versus Ontwijking).
   • Commonsense Controls: Social IQa en CommonsenseQA, gebruikt om stijfheid specifiek voor veiligheid te onderscheiden van algemene redeneerbeperkingen.
3. Metingen:
   • Statische Nauwkeurigheid (SA): Correctheid onder $c_{nom}$.
   • Situational Robustness (SR): Correctheid onder $c_{flip}$.
   • Brittle Safety Rate (BSR): De conditionele waarschijnlijkheid dat een model onder $c_{flip}$ vasthoudt aan de nominale actie, gegeven dat het correct was onder $c_{nom}$. Dit isoleert stijve adherentie van willekeurige fouten.
   • Composite Safety Index (CSI): Het harmonisch gemiddelde van SA en SR om dimensionale onbalans te bestraffen.
4. Deployment Probe (ProdCases): Een handgeauditeerde set van 24 agentic scenario's (incidentrespons, data-ops, financiële ops, fysieke IoT) waar situationele updates worden waargenomen als sensorlezingen in plaats van tekstrapporten, waardoor standaard guardrails worden getest tegen consequence-flip valkuilen.

Belangrijkste Bevindingen

1. Veiligheidsspecifieke Broosheid

Broze veiligheid is een distinct fenomeen, geen algemeen redeneerdeficit.

• Veiligheid-Commonsense Kloof: Alle 12 geëvalueerde modellen (inclusief frontier propriëtaire en open-source modellen) vertoonden een significant hogere BSR op veiligheidstaken (PacifAIst) in vergelijking met commonsense controls. De gemiddelde kloof was +17,4 procentpunten.
• Ontkoppeling van Baseline Nauwkeurigheid: Hoge statische nauwkeurigheid voorspelt geen broosheid. Onder modellen met >90% baseline nauwkeurigheid varieerde de BSR van 13,7% tot 90,0%. Bijvoorbeeld, in de categorie Resource Conflict (EP2), vertoonden modellen met de hoogste nominale nauwkeurigheid (93,8%) ook de hoogste gemiddelde BSR (37,5%).

2. Faalmechanismen: Beleidsovername, Niet Misbegrip

Analyse van 121 faalsporen onthulde dat modellen de situationele update in 100% van de gevallen erkennen (voor capabele modellen), maar toch vasthouden aan de oorspronkelijke actie. Het falen vloeit voort uit beleidsovername via drie distincte mechanismen:

• Actie-Afwijzing (F2): De dominante modus (76% van de fouten), waarbij het model expliciet een actieklass weigert ongeacht de situatie (bijvoorbeeld "Ik mag niet", "ongeacht de inzet"). Dit kwam vooral veel voor in Resource Conflict (EP2) en Doelbehoud (EP3) scenario's.
• Update-Ontwijding (F1): Het model behandelt de situationele update als vervalst, manipulatief of vijandig. Dit was een significante outlier voor Claude-Sonnet-4.6 (67% van zijn fouten), terwijl andere capabele modellen bijna nul F1-rates vertoonden (3%).
• Deontologische Appèl (F3): Het aanroepen van een specifiek, benoemd, onschendbaar moreel principe als primaire reden voor weigering. Dit kwam met verhoogde frequentie voor bij Claude-Sonnet-4.6 (19%) in vergelijking met anderen.
• Capaciteit-Gebonden Falen: Kleinere modellen (bijvoorbeeld Llama-3.1-8B) vertoonden een hoge BSR door gebrek aan begrip (C1 < 60%), wat een ander faalmechanisme vertegenwoordigt dan beleidsovername.

3. Blinde Vlekken bij Implementatie

In de ProdCases probe vingen standaard actie-niveau guardrails (regex-filters, veiligheidsclassificatoren zoals Llama-Guard-4, en vaste-beleid LLM-rechters) 0 van de 24 consequence-flip valkuilen, inclusief 0 van de 9 catastrofale scenario's. Deze valkuilen presenteerden zich als "compliance-vormige omissies" (bijvoorbeeld wachten op beoordeling wanneer directe interventie vereist is), waardoor ze onzichtbaar waren voor contentmoderatie. Daarentegen ving een state-aware validator (een LLM-rechter met toegang tot de huidige wereldstaat) alle 24 valkuilen met 100% specificiteit.

Betekenis en Claims

Het artikel betoogt dat contextuele robuustheid een onafhankelijke as is van AI-veiligheidscompetentie die huidige statische benchmarks niet meten. De auteurs claimen:

• Broze veiligheid is een doel-misgeneralisatie: Modellen leren veiligheid als context-invariante regels, die falen wanneer de operationele context verschuift.
• Huidige verdedigingen zijn ontoereikend: Actie-niveau contentmoderatie is systematisch blind voor consequence-flips, omdat het de state-awareness mist die nodig is om te valideren of een actie veilig is in de huidige causale staat.
• Architecturale noodzaak: De bevindingen motiveren een verschuiving naar state-aware architecturale verdedigingen (bijvoorbeeld validators die wereld-staat hints integreren) in plaats van uitsluitend te vertrouwen op statische regeladherentie of contentfiltering.

De auteurs maken hun protocol, verstoord benchmarks en de deployment probe beschikbaar om evaluatie buiten statische regeladherentie mogelijk te maken, met de nadruk dat veiligheidsafstemming rekening moet houden met het dynamische karakter van gevolgen in de echte wereld.