Technische Samenvatting: Van Weigering naar Herstel: Een Controle-theoretische Aanpak voor Generatieve AI-beschermingsmechanismen

Probleemstelling

Huidige AI-beschermingsmechanismen voor generatieve modellen, met name Large Language Model (LLM)-agenten, vertrouwen voornamelijk op outputclassificatie op basis van gelabelde datasets en door mensen gespecificeerde criteria. Deze "vlag-en-blokkeer"-mechanismen zijn breekbaar bij nieuwe gevaarlijke situaties en missen een weg naar herstel. Wanneer een onveilige toestand wordt gedetecteerd, is de standaardreactie weigering (blokkeren van de output). Echter, in agentische omgevingen waar de AI interactie heeft met de fysieke wereld of complexe digitale omgevingen (bijvoorbeeld autonoom rijden, e-commerce), kan weigering op zichzelf gevaarlijk zijn. Bijvoorbeeld: een AI-agent die weigert een zelfrijdende auto te sturen die met hoge snelheid op een obstakel afrijdt, kan een ongeluk veroorzaken door inactiviteit.

De auteurs betogen dat veiligheid van generatieve AI fundamenteel een sequentiële beslissingsprobleem is. Schadelijke uitkomsten ontstaan niet door geïsoleerde tekstoutput, maar door de evoluerende interacties van de AI-agent met zijn omgeving en hun downstream gevolgen (bijvoorbeeld financiële verliezen, fysieke botsingen). Bestaande beschermingsmechanismen houden geen rekening met deze langetermijn, meerstaps gevolgen en vertrouwen vaak op tekstuele proxies of een-staps simulatielabels die de ware staat van de wereld niet vastleggen.

Methodologie

Het artikel stelt een controle-theoretische aanpak voor AI-veiligheid voor, waarbij beschermingsmechanismen worden geformaliseerd als voorspellende veiligheidsfilters die opereren binnen de latente (tekstgebaseerde) representatie van de wereld van de AI-agent.

1. Formalisering als Sequentiële Beslissingsprobleem

De auteurs modelleren de interactie tussen een LLM-agent en zijn omgeving als een Partieel Observabele Markov Beslissingsproces (POMDP):

• Staat ($s$): De ware wereldtoestand (bijvoorbeeld fysieke geometrie, banksaldo).
• Actie ($a_{AI}$): De output van de agent, weergegeven als een reeks tokens.
• Observatie ($o_{AI}$): De tekstgebaseerde weergave van de wereld door de agent (bijvoorbeeld HTML, sceneschrijvingen).
• Falingsmarge ($\ell_F$): Een functie die de afstand encodeert naar een falingsset $\mathcal{F}$ (bijvoorbeeld botsing, faillissement) in de uitkomstruimte, niet in de tokenruimte.

Het doel is een Maximale Latente Veilige Set ($\Omega^*$) te definiëren, de set van latente toestanden waaruit een beleid bestaat om falen onbepaald te voorkomen. Dit wordt gekenmerkt door een Veiligheidswaardefunctie ($V^\star$), die de best mogelijke veiligheidsmarge voorstelt die de agent vanuit een gegeven staat kan bereiken.

2. Voorspellende Beschermingsmechanismen als Veiligheidsfilters

Het voorgestelde beschermingsmechanisme, genaamd ReGuard, fungeert als een veiligheidsfilter-tuple $(\pi_{\text{rec}}, \Delta, \phi)$:

• Veiligheidsmonitor ($\Delta$): Een voorspellend mechanisme dat evalueert of een kandidaat-actie zal leiden tot een toekomstige veiligheidskwestie. Het is afgeleid van de veiligheidswaardefunctie $Q^\star$.
• Fallback-beleid ($\pi_{\text{rec}}$): Een corrigerend beleid dat een veilig alternatief voorschrijft wanneer de monitor een onveilige kandidaat detecteert.
• Interventieschema ($\phi$): Het mechanisme dat schakelt tussen het beleid van de basisagent en het fallback-beleid.

Cruciaal is dat dit kader opereert in de latente ruimte van de LLM, waardoor het modelonafhankelijk is. Het vereist geen toegang tot de gewichten of trainingsdata van het basismodel, waardoor hetzelfde beschermingsmechanisme verschillende LLM's kan omhullen.

3. Training via Veiligheidsgerichte Versterkende Leer

Om deze beschermingsmechanismen op schaal te berekenen, stellen de auteurs een veiligheidsgerichte Versterkende Leer (RL)-kader voor met behulp van Double Deep Q-Networks (DDQN):

• Doel: Het model wordt getraind om een tijdsgekwantificeerde veiligheids-Bellman-vergelijking te minimaliseren, waarmee de optimale veiligheidswaardefunctie wordt benaderd.
• Training versus Inferentie:
  • Training: Het model genereert tokens direct vanuit de veiligheidsgerichte Q-functie om het veiligheidsdoel te maximaliseren.
  • Inferentie: Het systeem mengt de logits van het basismodel (voor coherentie) met de geleerde veiligheids Q-waarden (voor veiligheid). Dit zorgt ervoor dat de agent diverse, coherente tekst genereert terwijl het veiligheidsbeperkingen naleeft.
• Gevolgbewustzijn: Het beloningssignaal is afgeleid van downstream uitkomsten (bijvoorbeeld daadwerkelijke botsing of begrotingsoverschrijding) in plaats van directe tekstclassificatie, waardoor het beschermingsmechanisme langetermijn veiligheidsstrategieën kan leren.

Belangrijkste Bijdragen

1. Formalisering: Het artikel formaliseert veiligheid van generatieve AI als een sequentiële beslissingsprobleem en introduceert voorspellende beschermingsmechanismen als een generalisatie van controle-theoretische veiligheidsfilters naar LLM-gebaseerde representaties.
2. Schaalbaar Trainingsrecept: Het stelt een praktische methode voor voor het trainen van LLM-beschermingsmechanismen via veiligheidsgerichte RL, wat resulteert in één veiligheidsmechanisme dat inzetbaar is over meerdere basis-LLM-agenten zonder hertraining.
3. Empirische Validatie: Door experimenten in gesimuleerd autonoom rijden, agentische e-commerce en AI-rijhulp demonstreren de auteurs dat gevolgbewuste beschermingsmechanismen bestaande "vlag-en-blokkeer"-baselines overtreffen in zowel veiligheidsafdwinging als taakprestatie.

Experimentele Resultaten

De auteurs hebben ReGuard geëvalueerd in drie domeinen:

1. Agentisch Rijden

• Opzet: Een LLM-agent bestuurt een planair voertuig om obstakels te navigeren.
• Resultaten: ReGuard behaalde een succespercentage van 77,3% en een faalpercentage van 18,8%, wat significant beter is dan zero-shot baselines (bijvoorbeeld GPT-4o: 31,7% succes, 68,2% falen) en myopische baselines.
• Belangrijkste Bevinding: De monitor van ReGuard was nauwkeuriger (Waarde F1: 0,99) en minder conservatief dan baselines, en identificeerde correct herstelbare onveilige toestanden die andere modellen misten.

2. Agentische Handel

• Opzet: Een LLM-agent beheert een winkelwagen om onder een budget van $50 te blijven.
• Resultaten: ReGuard behaalde een succespercentage van 87,5%, wat overeenkomt met de prestaties van GPT-4o en significant beter is dan kleinere Llama-modellen (62,5%).
• Belangrijkste Bevinding: ReGuard leerde succesvol specifieke dure items te verwijderen om binnen het budget te blijven, terwijl basismodellen vaak items verwijderden zonder rekening te houden met het eindtotaal, wat leidde tot begrotingsoverschrijdingen.

3. Achterbank AI-chauffeur

• Opzet: Een LLM-agent fungeert als adviseur voor een mens (gesimuleerd door een andere LLM) die een auto bestuurt. De agent moet tekstuele adviezen geven om veiligheid te waarborgen.
• Resultaten: Wanneer het fungeerde als een schild, verbeterde ReGuard het succespercentage van 44,9% naar 64,2% voor het "geen" persona en van 26,4% naar 41,6% voor het "dringend" persona.
• Belangrijkste Bevinding: ReGuard leerde contextbewust hersteladvies te genereren (bijvoorbeeld urgentie benadrukken tegenover een sceptische mens) in plaats van simpelweg te weigeren te handelen.

Betekenis en Claims

Het artikel claimt dat controle-theoretische beschermingsmechanismen een principiële, dynamische alternatief bieden voor de statische "vlag-en-blokkeer"-paradigma's die momenteel dominant zijn in AI-veiligheid. Door de focus te verschuiven van het blokkeren van onveilige tekst naar het voorspellen en corrigeren van onveilige trajecten, biedt de voorgestelde aanpak:

• Herstelmogelijkheid: Het biedt een weg naar veiligheid, zelfs wanneer de agent al een risicovolle staat is binnengegaan, in plaats van een weigering af te dwingen die onhaalbaar of gevaarlijk kan zijn.
• Behoud van Prestaties: In tegenstelling tot weigeringsgebaseerde systemen die vaak taakprestaties degraderen, behoudt ReGuard hoge taaksuccespercentages terwijl het veiligheid garandeert.
• Generalisatie: De modelonafhankelijke aard van het beschermingsmechanisme stelt het in staat om toegepast te worden op verschillende LLM-architecturen en taken zonder het basismodel opnieuw te trainen.

De auteurs concluderen dat hoewel hun aanpak afhankelijk is van toegang tot simulators voor training (een huidige beperking), het een nieuw kader voor AI-veiligheid vestigt dat veiligheid behandelt als een continue, herstelbare eigenschap van sequentiële besluitvorming in plaats van een binaire classificatie van output.