Technische Samenvatting: Een Gedragsmatige en Representatieve Evaluatie van Doelgerichtheid in Taalmodel-agenten

Probleemstelling

Het begrijpen van de doelen van een agent is essentieel voor het verklaren en voorspellen van het gedrag ervan, maar er is geen gevestigde methodologie voor het betrouwbaar toeschrijven van doelen aan agentische systemen, in het bijzonder Large Language Model (LLM) agenten. Puur gedragsmatige evaluaties worden geconfronteerd met fundamentele beperkingen: consistent falen kan een gevolg zijn van capaciteitsbeperkingen in plaats van een gebrek aan doelgerichtheid; bovendien kan afgestemd gedrag voortkomen uit niet-afgestemde interne doelstellingen (instrumentele convergentie). Omgekeerd kunnen zuiver interne analyses zonder gedragsmatige gronding er niet in slagen te vatten hoe agenten daadwerkelijk met hun omgeving interageren. Dit artikel adresseert de behoefte aan een holistisch kader dat gedragsmatige beoordeling integreert met interpretatie-gebaseerde analyses van interne representaties om te karakteriseren hoe agenten doelstellingen representeren en nastreven.

Methodologie

De auteurs stellen een "white-box" kader voor dat gedragsmatige evaluatie combineert met activatie-probing, getest op een GPT-OSS-20B agent die een volledig observeerbare 2D-gridwereld navigeert (MiniGrid-omgeving).

1. Experimentele Opzet

• Omgeving: De agent opereert in $n \times n$ grids ($n \in \{7, 9, 11, 13, 15\}$) met variërende obstakel-densiteiten ($d \in [0, 1]$). De taak is om van een startpositie naar een doeltoestand te navigeren.
• Observeerbaarheid: De omgeving is volledig observeerbaar om verwarrende factoren gerelateerd aan geheugen, het bijwerken van overtuigingen onder onzekerheid en de exploratie-exploitatie-trade-off te elimineren.
• Input-representatie: Grids worden omgezet in tekstgebaseerde representaties waarbij elke cel overeenkomt met een enkele token om tokenisatieproblemen te mitigeren.
• Baseline: Een optimale policy ($\pi^*$) wordt afgeleid met behulp van A*-zoekalgoritme met Manhattan-afstand.

2. Gedragsmatige Evaluatie

De auteurs evalueren de policy van de agent ($\pi_\theta$) tegenover de optimale policy over verschillende dimensies:

• Taakcomplexiteit: Metrieken omvatten per-actie nauwkeurigheid, policy-entropie en Jensen-Shannon Divergentie (JSD) ten opzichte van de optimale policy.
• Iso-complexiteit Transformaties: Om robuustheid tegen incidentele grid-eigenschappen te testen, passen de auteurs transformaties toe die de taakcomplexiteit behouden (gridgrootte, obstakel-densiteit, optimale padlengte) maar de configuratie wijzigen: reflectie, rotatie, start/doel wisseling en transpositie.
• Complexe Doelstructuren:
  • Instrumentele Doelen: Taken die tussenliggende subdoelen vereisen (bijv. het verzamelen van een sleutel om een deur te ontgrendelen).
  • Impliciete Doelen: Taken die doel-achtige objecten bevatten die functioneel irrelevant zijn (bijv. een sleutel zonder deur).

3. Representatieve Evaluatie (Probing)

De auteurs extraheren residual-stream activaties uit intermediaire lagen (7, 15, 23) op specifieke punten: pre-redenering (voordat het model redeneer-tokens genereert) en post-redenering (na het redeneren, vóór de actie-selectie).

• Cognitieve Kaarten: Lineaire en MLP-probes worden getraind om celtypen (muur, open, agent, doel) te decoderen uit activaties, waarmee de interne "overtuiging" van de agent over de grid-toestand wordt gereconstrueerd.
• Plan Decodering: Een Transformer-decoder wordt getraind om multi-stap actie-sequenties ($T=10$) te voorspellen vanuit een vaste set activaties via een one-shot decoding benadering om te waarborgen dat de planstructuur in de basis-model gecodeerd zit en niet in de probe.
• Interventie: Voorlopige activatie-patching experimenten werden uitgevoerd om causale links tussen representaties en acties te testen.

Belangrijkste Resultaten

Gedragsmatige Bevindingen

• Gevoeligheid voor Complexiteit: De per-actie nauwkeurigheid neemt monotoon af met de gridgrootte en obstakel-densiteit, terwijl entropie en JSD toenemen. Prestaties zijn robuust ten opzichte van afstand-tot-doel alleen in grotere grids.
• Robuustheid tegen Transformaties: De prestaties van de agent vertonen geen statistisch significant verschil over iso-complexiteit transformaties (reflectie, rotatie, etc.), wat aangeeft dat het gedrag wordt gedreven door taak-relevante informatie in plaats van grid-configuratie-biases.
• Doelstructuren:
  • De agent handelt succesvol bij instrumentele doelen (100% succes in KeyDoorEnv).
  • De agent is vatbaar voor impliciete doelen: In KeyNoDoorEnv (waar de sleutel nutteloos is) pakt de agent de sleutel op in 17% van de trajecten, en 75% van de niet-optimale acties beweegt richting de sleutel. In 2PathKeyEnv vertoont de agent een bias naar het pad dat een overblijfsel van een sleutel bevat, wat het algemene succespercentage licht verlaagt.

Representatieve Bevindingen

• Cognitieve Kaarten: De agent codeert niet-lineair een grove ruimtelijke kaart. MLP-probes bereiken ~70% nauwkeurigheid in het decoderen van celidentiteiten, met een hoge recall voor agent- en doelposities (83–99%), maar lagere precisie door "vervaging" (labels toewijzen aan naburige cellen). Informatie over muren is minder gedetailleerd.
• Redenering Herorganisatie:
  • Pre-redenering: Activaties behouden bredere ruimtelijke aanwijzingen en plannen met een langere horizon.
  • Post-redenering: Activaties verschuiven de focus naar directe actie-selectie. De nauwkeurigheid van de cognitieve kaart daalt significant (van ~75% naar ~60%) na redenering, wat suggereert dat een reorganisatie van representaties plaatsvindt van decodeerbare ruimtelijke structuur naar actie-specifieke codering.
• Plan Decodering:
  • One-shot decoding onthult dat pre-redenering activaties een herstelbare lange-horizon trajectstructuur bevatten (het beste voor prefixes $N \ge 5$).
  • Post-redenering activaties zijn superieur voor directe actie-selectie (het beste voor $N=1$).
  • Een 2-laagse decoder presteert over het algemeen het best, wat suggereert dat informatie over directe acties toegankelijk is voor laag-capacitieve readouts, terwijl multi-stap structuren meer capaciteit vereisen.
• Consistentie: Een aanzienlijk deel van de acties die suboptimaal zijn ten opzichte van de grondwaarheid in de grid, zijn optimaal ten opzichte van de gedecodeerde cognitieve kaart (Recovery rate: 37.4%–88.4%). Dit suggereert dat veel fouten voortkomen uit onnauwkeurige interne wereldmodellen in plaats van een gebrek aan doelgerichtheid.
• Interventie Limieten: Single-layer activatie-patching slaagde er niet in om acties te wijzigen. Alleen simultane patching over alle lagen slaagde erin de voorspelde actie van het model te veranderen, wat aangeeft dat taak-relevante staat-informatie gedistribueerd is in plaats van gelokaliseerd.

Bijdragen

1. Kader: Stelt een verenigd kader voor dat gedragsmatige beoordeling en representatie-probing combineert voor het evalueren van doelgerichtheid.
2. Experimenteel Ontwerp: Introduceert gecontroleerde omgeving-perturbaties (iso-complexiteit transformaties) en multi-doel structuren om bias en robuustheid te meten.
3. Inzicht in Mechanismen: Demonstreert dat LLM-agenten cognitieve kaarten en multi-stap plannen coderen, en dat redenering deze representaties herorganiseert van ruimtelijke/lange-horizon aanwijzingen naar directe actie-selectie.
4. Coherentie Analyse: Toont aan dat gedragsmatige afwijkingen van optimaliteit vaak overeenkomen met de interne (imperfecte) overtuigingen van de agent, wat introspectief onderzoek noodzakelijk maakt buiten oppervlakkige prestatie-metrieken.

Betekenis en Claims

Het artikel betoogt dat introspectieve examinatie vereist is naast gedragsmatige evaluaties om doelgerichtheid volledig te karakteriseren. De auteurs beweren dat:

• Doelgerichtheid een rijke eigenschap is die voortkomt uit de interactie tussen overtuigingen, planning en actie-selectie.
• Puur gedragsmatische metrieken verward kunnen worden door capaciteitsbeperkingen of niet-afgestemde interne doelen die instrumenteel afgestemd gedrag produceren.
• De geobserveerde "bias" naar doel-achtige maar irrelevante objecten (sleutels) een conflict kan reflecteren tussen de expliciete taak-prompt en semantische associaties verworven tijdens pre-training (bijv. sleutels impliceren progressie), die niet consistent worden onderdrukt.
• Het kader een fundament biedt voor het ontwikkelen van rigoureuze benaderingen voor doel-toeschrijving, wat een vereiste is voor veiligheidsclaims met betrekking tot autonome AI-systemen.

De auteurs blijven bescheiden en merken op dat hun gecontroleerde opzet de complexiteit van de echte wereld abstraheert en dat het vaststellen van causale links via activatie-patching een openstaand vraagstuk blijft. Ze beweren niet het alignment-probleem te hebben opgelost, maar eerder een methodologische stap te hebben gezet naar het begrijpen van de interne mechanica van doelvervolging in LLM-agenten.