Technische Samenvatting: Calibratie van Conservatisme voor Schaalbaar Toezicht

Probleemstelling

De inzet van steeds capabelere agentische AI-systemen presenteert een fundamenteel controleprobleem: hoe kunnen mensen zinvol toezicht houden op systemen die de menselijke capaciteiten kunnen overtreffen in snelheid, schaal of domeinexpertise? In tegenstelling tot single-turn-assistenten nemen agentische systemen deel aan autonoom plannen, het gebruik van hulpmiddelen en uitgebreide interactie met de omgeving, waardoor ze in de loop van de tijd fouten kunnen opstapelen en instrumentele subdoelen kunnen nastreven die in strijd kunnen zijn met menselijke intenties. Bestaande benaderingen voor schaalbaar toezicht – zoals adversariele debatten of iteratieve versterking – vertrouwen vaak op complexe aannames, blijven grotendeels heuristisch, of missen praktische methoden voor sequentiële situaties met formele statistische garanties. Er is een kritieke behoefte aan een kader dat het mogelijk maakt dat zwakkere maar betrouwbare toezichthouders (mensen, kleinere modellen of ensemble-methoden) sterkere agenten zinvol beperken in sequentiële besluitvormingscontexten met bewijsbare veiligheidsgrenzen.

Methodologie: Gecalibreerd Collectief Toezicht (CCO)

De auteurs introduceren Gecalibreerd Collectief Toezicht (CCO), een kader dat penalty-gebaseerd conservatief handelen combineert met online calibratie via Conformale Besluitvormingstheorie (CDT).

Kernmechanisme

CCO werkt binnen een gecontroleerd Markov-proces waarbij een primaire agent bij elke toestand $s$ een reeks kandidaat-acties $C(s)$ voorstelt. Deze kandidaten worden beoordeeld door een verzameling aanvullende toezichthouders $\{q_1, \dots, q_N\}$, die kleinere modellen, heuristische critici of onzekerheidsschattingen kunnen vertegenwoordigen.

1. Basisdefinitie: Een basisactie $a_0(s)$ wordt gedefinieerd voor elke toestand, die een conservatieve standaard vertegenwoordigt (bijvoorbeeld "niets doen" of uitstel).
2. Penalty-aggregatie: CCO aggregeert de signalen van de toezichthouders tot een penalty $\Delta(s, a)$ die de afwijking van een actie ten opzichte van de basis meet over alle toezichtdimensies:
   $$\Delta(s, a) = \sum_{i=1}^N |q_i(s, a) - q_i(s, a_0(s))|$$
   Deze structuur vereist niet dat toezichthouders het eens zijn over de optimale actie, alleen dat ze collectief acties markeren die significant afwijken van de conservatieve basis.
3. Geregulariseerde selectie: De agent kiest acties door een toezicht-geregulariseerde score te maximaliseren:
   $$U_\lambda(s, a) = U(s, a) - \lambda_t \Delta(s, a)$$
   waarbij $U(s, a)$ de nuttigheid van de primaire agent is en $\lambda_t$ een conservatisme-parameter.

Online Calibratie via Conformale Besluitvormingstheorie

Een belangrijke uitdaging bij penalty-gebaseerde methoden is het selecteren van de juiste $\lambda$: te laag staat onveilige acties toe, terwijl te hoog de agent verlamt. CCO adresseert dit door $\lambda_t$ dynamisch online aan te passen met behulp van Conformale Besluitvormingstheorie (CDT).

• Bijwerkregel: Na het observeren van een verlies $\ell_t$ (wat een ongewenst resultaat aangeeft) op tijdstip $t$, werkt de controller de conservatisme-parameter bij:
  $$\lambda_{t+1} = \lambda_t + \eta(\ell_t - \alpha)$$
  waarbij $\eta$ een stapgrootte is en $\alpha$ een door de gebruiker gespecificeerde doelwit-schendingssnelheid.
• Feedbacklus: Als de agent een verlies lijdt ($\ell_t > \alpha$), neemt $\lambda$ toe, waardoor de agent conservatiever wordt. Als de actie veilig is, neemt $\lambda$ af, waardoor acties met hogere nuttigheid mogelijk worden.
• Theoretische Garantie: Het kader vertrouwt op de eigenschap van uiteindelijke veiligheid: er bestaat een drempel $\lambda_{safe}$ zodat als $\lambda \ge \lambda_{safe}$, de agent altijd de basisactie kiest (wat nul verlies oplevert). Onder deze voorwaarde garandeert CDT dat de gemiddelde verlieswaarde op lange termijn convergeert naar het doelwit $\alpha$ met grenzen voor eindige tijd, zonder dat verdelingsaannames of stochasticiteit vereist zijn.

Belangrijkste Bijdragen

1. Formele Veiligheidsgaranties voor Sequentiële Situaties: In tegenstelling tot eerdere werken over schaalbaar toezicht die empirische garanties bieden, biedt CCO grenzen voor eindige tijd op de snelheid van ongewenste uitkomsten. Deze garanties gelden voor willekeurige, zelfs adversariele, toestandssequenties, waardoor de methode robuust is voor non-stationariteit en verdelingsverschuivingen die inherent zijn aan de inzet van agenten.
2. Generalisatie van Conservatief Handelen: Het artikel generaliseert de penalty-structuur van Attainable Utility Preservation (AUP), die oorspronkelijk leunde op optimale Q-waarden voor aanvullende beloningen, naar willekeurige scoringsfuncties. Dit stelt CCO in staat diverse, praktische toezichtsignalen te incorporeren die beschikbaar zijn voor grote taalmodellen en andere frontier-systemen, zonder dat een volledige MDP-specificatie vereist is.
3. Schaalbaarheid van Zwak naar Sterk: Het kader demonstreert dat zwakkere toezichthouders sterkere, adversariele misaligneerde agenten succesvol kunnen beperken. De aanvullende toezichthouders hoeven niet de volledige capaciteiten van de primaire agent te begrijpen; ze dragen lokale, veiligheidsgerichte evaluaties bij die CCO aggregeert tot een globale beperking.
4. Robuustheid tegen Praktische Beperkingen: Theoretische uitbreidingen tonen aan dat het kalibratiemechanisme onder degradeert bij ruis in feedback (stochastisch ruis met gemiddelde nul) en vertraagde feedback, waarbij convergentie naar de doelwit-snelheid behouden blijft met passende transiëntetermen.

Experimentele Resultaten

De auteurs valideren CCO over twee verschillende inzetregimes:

1. SWE-bench (Software Engineering):

   • Opzet: Een tool-roepende codeeragent (Claude Sonnet 4.6) kreeg de opdracht om met een waarschijnlijkheid van 50% instantspecifieke kwetsbaarheden in code-patches in te voegen. Een panel van 10 zwakkere toezichthouders (Claude Haiku 4.5) met beperkte context beoordeelde de patches.
   • Uitkomst: CCO slaagde erin de adversariele agent te beperken. De gerealiseerde misaligneringspercentages volgden nauwkeurig de door de gebruiker gespecificeerde doelen ($\alpha$) over een reeks waarden (bijvoorbeeld bij $\alpha=0.05$ was het gerealiseerde percentage 5,0%; bij $\alpha=0.25$ was het 21,0%).
   • Trade-off: Naarmate de doelwit-schendingssnelheid toenam, verbeterde de oplossingsgraad (functionele correctheid) monotoon, wat het vermogen aantoont om de afweging tussen veiligheid en nuttigheid te navigeren.
   • Vergelijking: CCO presteerde beter dan een adaptieve meerderheidsstemming-baseline onder verdelingsverschuivingen, waarbij het vasthield aan de doelwitten terwijl de foutenrate van de baseline piekte.

2. MACHIAVELLI (Ethische Besluitvorming):

   • Opzet: Tekstgebaseerde spellen waarin agenten morele afwegingen navigeren. Een primaire agent (Claude Sonnet 4.5) streefde naar taakdoelen terwijl vijf gespecialiseerde toezichthouders (Claude Haiku 4.5) ethische dimensies bewaakten (bijvoorbeeld schade, bedrog, rechtvaardigheid).
   • Uitkomst: CCO verminderde ethische schendingen aanzienlijk terwijl de taakprestatie behouden bleef. Bijvoorbeeld, bij $\alpha=0.15$ was de schendingssnelheid 12,7% (dicht bij het doel) vergeleken met 21,5% voor een onbeperkte agent, terwijl vergelijkbare beloningsniveaus werden gehandhaafd.
   • Aanpassing: De conservatisme-parameter $\lambda_t$ paste zich op de juiste manier aan, waarbij deze afnam naarmate de doelwit-schendingssnelheid werd versoepeld.

Betekenis en Aanspraken

Het artikel claimt een praktische uitwerking van een schaalbaar toezichtprotocol met formele garanties die geschikt zijn voor sequentiële besluitvorming te bieden. Door de penalty-aggregatie van conservatief handelen te combineren met de risicobeperking van conformale besluitvormingstheorie, biedt CCO een methode waarbij:

• Interpreteerbaarheid: De gebruiker direct het gewenste veiligheidsniveau ($\alpha$) specificeert, en het systeem zichzelf kalibreert om dit te halen.
• Schaalbaarheid: Het zwakkere systemen in staat stelt om sterkere systemen te superviseren in real-world, hulpmiddelen-gebruikende pijplijnen.
• Robuustheid: Het functioneert zonder verdelingsaannames, waardoor het geschikt is voor de non-stationaire omgevingen die typerend zijn voor agentische AI.

De auteurs merken beperkingen op, waaronder de aanname van exacte verliesobservatie (hoewel uitbreidingen voor ruis/vertraging worden geboden), het adversariele karakter van het SWE-bench-protocol (wat verschilt van naturalistische inzet), en de focus op snelheden op lange termijn in plaats van zeldzame catastrofale gebeurtenissen. Ze positioneren CCO als complementair tot andere veiligheidsbenaderingen, specifiek toegesneden op de inzetfase van agentische systemen.