Technische Samenvatting: Waarom Faalt Veiligheid van Agenten in Generalisatie over Taken?

Probleemstelling

Naarmate Kunstmatige Intelligentie (KI) evolueert van passieve gegevensverwerking naar agentische omgevingen waar systemen interageren met dynamische omgevingen om langetermijntaken uit te voeren, is een kritieke uitdaging naar voren gekomen: generalisatie van veiligheid over taken. Moderne agentische KI is voornamelijk multi-task, waarbij de specifieke taak pas op het moment van testen wordt gespecificeerd. Hoewel agenten vaak hun vermogen om taken effectief uit te voeren generaliseren naar ongezette scenario's, suggereert empirisch bewijs dat hun vermogen om deze taken veilig uit te voeren, frequent faalt in generalisatie.

Huidige benaderingen vertrouwen vaak op imitatielearning van een "veilige leraar" (bijvoorbeeld een mens of een geverifieerd model) om veiligheidsgedrag te instilleren. Deze paper onderzoekt echter of het falen van veiligheid in generalisatie slechts een beperking is van huidige trainingsmethoden of een inherente eigenschap van veiligheid zelf. De kernvraag is: Is de relatie tussen een taakspecificatie en de veilige uitvoering fundamenteel complexer dan de relatie tussen een taak en de uitvoering alleen?

Methodologie

De auteurs hanteren een dubbele aanpak die theoretische analyse en empirische validatie combineert over drie verschillende settings.

1. Theoretische Analyse

De paper formaliseert het probleem met behulp van Lineair-Quadratische Regeling met $H_\infty$-Robuustheid.

• Opzet: De auteurs analyseren een Lineair Dynamisch Systeem (LDS) waarbij een agent een taakafhankelijke kwadratische beloning moet maximaliseren (gedefinieerd door een staatkostmatrix $Q$) terwijl het potentiële verstoringen (risicobeheer) moet hanteren.
• Vergelijking: Ze vergelijken twee afbeeldingen van taakspecificatie ($Q$) naar een optimale controller:
  • $K_{unsafe}(Q)$: De Lineair-Quadratische Regelaar (LQR) die veiligheid (verstoringen) negeert.
  • $K_{safe}(Q)$: De optimale controller die $H_\infty$-robuustheid garandeert (verstoringen aanpakt).
• Maatstaf: De moeilijkheid van generalisatie wordt geanalyseerd via de Lipschitz-constante van deze afbeeldingen. Een hogere Lipschitz-constante impliceert dat kleine veranderingen in de taakspecificatie leiden tot grote veranderingen in de optimale controller, waardoor generalisatie inherent moeilijker wordt.
• Bewijsstrategie: De auteurs leiden een bovengrens af voor de Lipschitz-constante van de onveilige afbeelding ($K_{unsafe}$) en een ondergrens voor de veilige afbeelding ($K_{safe}$). Ze bewijzen dat onder specifieke technische voorwaarden (stabiliteitsmarge, symmetrische commutativiteit en uitlijningsregulariteit) de Lipschitz-constante van de veilige afbeelding strikt groter is dan die van de onveilige afbeelding, met een coëfficiënt die willekeurig groot kan zijn.

2. Empirische Validatie

De theoretische bevindingen worden bevestigd door experimenten in drie settings die verschillende agenttypes en veiligheidsconcepten bestrijken:

1. Lineair-Quadratische Regeling: Een directe weerspiegeling van de theoretische opzet, waarbij geleerd wordt een LDS te controleren met $H_\infty$-robuustheid.
2. Quadcopter-navigatie: Een door een neurale netwerk aangestuurd agent dat getraind wordt om een gesimuleerde quadcopter naar taakafhankelijke locaties te navigeren terwijl "no-go"-gebieden worden vermeden (risico-ontwijking).
3. CRM via LLM-agent: Een LLM-agent (LLaMA-3.2) die is fijngefineerd om Customer Relationship Management (CRM)-taken uit te voeren terwijl hoge-risicosituaties worden vermeden (bijvoorbeeld het opslaan van PII zonder melding) en gerealiseerde risico's worden aangepakt (bijvoorbeeld ongeldige invoer).

In alle settings werden agenten getraind via imitatielearning om te matchen met een "veilige leraar" (die zich houdt aan beperkingen) of een "onveilige leraar" (die beperkingen negeert). Generalisatie werd gemeten aan de hand van de imitatiefout op taken die tijdens het trainen niet waren gezien ($\Theta_{test}$).

Belangrijkste Bijdragen

Theoretische Bijdragen

• Lipschitz-scheiding: De paper levert het eerste theoretische bewijs dat de afbeelding van taakspecificatie naar een optimale controller een hogere Lipschitz-constante heeft onder veiligheidsvereisten dan zonder deze.
• Inherente Moeilijkheid: Dit resultaat stelt vast dat generalisatie over taken fundamenteel moeilijker is met veiligheidsvereisten, ongeacht hoe goed veiligheid op trainings taken is geleerd. De complexiteit vloeit voort uit de intrinsieke relatie tussen de taak en de veilige uitvoering, niet alleen uit het leeralgoritme.
• Nieuwe Grens: Als technische bijdrage stellen de auteurs een bovengrens vast voor de Lipschitz-constante van de standaard Lineair-Quadratische Regelaar (LQR) als functie van zijn staatkostmatrix $Q$.

Empirische Bijdragen

• Validatie over Settings: De experimenten tonen aan dat de scheiding in Lipschitz-constanten vertaalt naar een aanzienlijke scheiding in generalisatiefouten over taken. Agenten die veilige leraren imiteren vertonen aanzienlijk hogere foutpercentages op ongezette taken in vergelijking met agenten die onveilige leraren imiteren, zelfs wanneer de trainingsprestaties vergelijkbaar zijn.
• Robuustheid van Bevindingen: Het fenomeen geldt over verschillende agentarchitecturen (neurale netwerken, LLM's) en verschillende veiligheidsdefinities (risicobeheer via robuustheid, risico-ontwijking via beperkingen).

Resultaten

• Theoretisch: De afgeleide ondergrens voor de Lipschitz-constante van $K_{safe}$ overtreft consequent de bovengrens voor $K_{unsafe}$. De verhouding $Lip(K_{safe}) / Lip(K_{unsafe})$ is consequent groter dan 1, vaak aanzienlijk.
• Experimenteel:
  • In de Lineair-Quadratische setting was de testfout voor de veilige leraar groen van orde hoger dan voor de onveilige leraar (bijvoorbeeld ~1265 versus ~14 in de limiet van oneindige steekproeven; ~4018 versus ~33 in eindige steekproeven).
  • In Quadcopter-navigatie was de testfout van de veilige agent ~141,74 in vergelijking met ~22,90 voor de onveilige agent.
  • In de CRM LLM-setting was de testfout van de veilige agent ~25,94 in vergelijking met ~16,93 voor de onveilige agent.
  • Cruciaal: trainingsfouten (imitatie op gezien taken) waren vergelijkbaar voor zowel veilige als onveilige leraren, waardoor de generalisatiekloof als primaire faalmodus wordt geïsoleerd.

Betekenis en Claims

De paper betoogt dat het falen van agentische veiligheid in generalisatie niet slechts een beperking is van huidige trainingsmethoden (zoals onvoldoende data of suboptimale architecturen), maar een inherente eigenschap van veiligheid zelf weerspiegelt.

• Complexiteit van Veiligheid: De relatie tussen een taak en de veilige uitvoering is inherent complexer dan de relatie tussen een taak en de uitvoering alleen. Deze complexiteit manifesteert zich als een hogere gevoeligheid van de veilige controller voor variaties in taakspecificaties.
• Implicaties voor de Praktijk: De auteurs suggereren dat huidige inspanningen om veiligheid te verbeteren door simpelweg te trainen op een groter deel van taken mogelijk ontoereikend zijn. Omdat veiligheidsgeneralisatie een distinct en moeilijker probleem is dan uitvoeringsgeneralisatie, zijn fundamenteel verschillende benaderingen vereist.
• Toekomstige Richting: Een veelbelovende weg die wordt gesuggereerd, is het leren van representaties voor zowel taakspecificaties als veiligheidskenmerken die de relatie tussen hen vereenvoudigen, waardoor de Lipschitz-constante van de afbeelding wordt verminderd.

De paper concludeert dat generalisatie van veiligheid over taken moet worden behandeld als een distinct probleem, gescheiden van de generalisatie van uitvoeringsvermogen of de generalisatie van veiligheid binnen een enkele taak.