🤖 AI

Estimating the Empowerment of Language Model Agents

Dit artikel introduceert EELMA, een informatietheoretisch kader dat de empowerment van taalmodelagenten schat via meertraps tekstinteracties, en aantoont dat deze doelagnostische metriek effectief correleert met taakprestaties en cruciale momenten voor algemene vaardigheden in uiteenlopende omgevingen identificeert.

Oorspronkelijke auteurs: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te beoordelen hoe goed een nieuwe robotassistent is. Meestal geef je hem een specifieke lijst met klusjes – zoals "de vaatwasser doen" of "een recept zoeken" – en tel je alleen hoeveel klusjes hij afrondt. Als hij faalt bij de vaatwasser maar wel een geweldig recept vindt, zou je kunnen zeggen dat hij "slecht is in vaatwasser doen" maar "goed in koken".

Maar wat als je wilt weten of de robot algemeen bekwaam is, zelfs voordat je hem vertelt wat hij moet doen? Wat als je wilt weten of hij het potentieel heeft om elke toekomstige situatie het hoofd te bieden, niet alleen diegene die je hebt gepland?

Dit artikel introduceert een nieuwe manier om dat potentieel te meten. De auteurs noemen het "Empowerment" (Versterking).

De Kernidee: De "Sleutel tot de Toekomst"

Denk aan Empowerment als een maatstaf voor hoeveel verschillende "deuren" een agent in de toekomst kan openen.

Laag Empowerment: Stel je een robot voor die vastzit in een kleine, lege kamer met slechts één deur die terugleidt naar waar hij begon. Wat hij ook doet, hij kan alleen maar in cirkels lopen. Hij heeft zeer weinig controle over zijn toekomst.
Hoog Empowerment: Stel je nu een robot voor in een enorm herenhuis met veel kamers, liften en geheime doorgangen. Als hij kiest om naar links te gaan, kan hij de keuken bereiken. Gaat hij naar rechts, dan bereikt hij de bibliotheek. Hij heeft veel opties. Hij kan beïnvloeden waar hij eindigt.

Het artikel stelt dat een agent (zoals een Large Language Model) met hoog empowerment over het algemeen slimmer en bekwaamer is omdat hij kan navigeren naar een bredere variëteit aan toekomstige toestanden. Het gaat niet alleen om het voltooien van een specifieke taak; het gaat om het hebben van het vermogen om veel verschillende plekken te bereiken.

Het Probleem: De "Woordsoep"-Uitdaging

De auteurs wilden dit meten voor AI-agenten die praten en lezen (Taalmodel-agenten). Maar er zit een addertje onder het gras:

Traditionele methoden voor het meten van empowerment werken goed in simpele, rasterachtige videospellen waar elke toestand een uniek nummer is (zoals "Vak 1", "Vak 2").
Maar AI-agenten hebben te maken met tekst. Dezelfde situatie kan op een miljoen verschillende manieren worden beschreven.
- Voorbeeld: "De agent bevindt zich op (2, 3)" en "De robot staat op x=2, y=3" zijn exact dezelfde toestand, maar voor een computer die strings telt, zien ze er volledig anders uit.
Als je probeert deze tekstvariaties te tellen zoals je rastervakken telt, breekt de wiskunde. De computer raakt in de war door de "woordsoep" en kan niet bepalen hoeveel controle de agent eigenlijk heeft.

De Oplossing: EELMA (De "Vertaler")

Om dit op te lossen, creëerden de auteurs een hulpmiddel genaamd EELMA.

Denk aan EELMA als een slimme vertaler en samenvatter.

Het leest de tekst: Het neemt de rommelige, variabele tekstbeschrijvingen van de wereld (observaties) en de acties die de agent onderneemt.
Het comprimeert ze: In plaats van elke zin als uniek te behandelen, vertaalt het ze naar een compacte "samenvattingscode" (een embedding). Het beseft dat "De agent bevindt zich op (2,3)" en "Robot staat op x=2, y=3" eigenlijk dezelfde samenvattingscode zijn.
Het telt de mogelijkheden: Zodra de tekst is vertaald naar deze schone samenvattingen, kan EELMA eindelijk tellen hoeveel verschillende toekomstige paden de agent daadwerkelijk kan bereiken.

Wat Ze Vonden

Het team testte EELMA in drie verschillende "werelden":

Tekstgebaseerde Spellen: Zoals een digitale versie van "De Tovenaar van Oz" of "Hanoi-toren" waarbij je commando's typt.
Webbrowsen: Agenten die proberen echte websites te navigeren (zoals het vinden van een productprijs of inloggen op een site).
Gereedschapsgebruik: Agenten die proberen softwaretools te gebruiken (zoals het boeken van een vlucht of het beheren van een retailbestelling).

De Resultaten:

Het Werkt: In de spellen kwamen de metingen van EELMA perfect overeen met de werkelijke wiskundige "ware" empowerment.
Het Voorspelt Succes: Ze vonden een sterke link: Agenten met hoge empowerment-scores werden over het algemeen beter in hun taken (zoals het vinden van de juiste webpagina of het oplossen van de puzzel), hoewel EELMA niet werd verteld wat het specifieke doel was.
Het Signaleert "Krachtige Moves": In de webbrowsentests keken ze naar een moment waarop een agent moest inloggen met een wachtwoord.
- Toen de agent het juiste wachtwoord typte, schoot zijn empowerment-score omhoog. Waarom? Omdat inloggen een hele nieuwe reeks toekomstige mogelijkheden ontsloot (toegang tot beheerpanelen, instellingen wijzigen).
- Toen hij het verkeerde wachtwoord typte, bleef de score laag.
- Dit toont aan dat EELMA automatisch "pivotal moments" kan detecteren waarbij een agent aanzienlijke controle wint, zonder dat een mens hoeft te zeggen: "Hé, dat was een goede login!"

Waarom Dit Belangrijk Is

Momenteel moeten we om AI te testen dure, met de hand gemaakte tests bouwen voor elke enkele taak (bijv. "Kan het een vlucht boeken?" "Kan het code schrijven?"). Dit is traag en duur.

Dit artikel suggereert dat we Empowerment kunnen gebruiken als een "universele gezondheidstest" voor AI-agenten.

Het geeft niet om wat het specifieke doel is.
Het vertelt je of de agent het vermogen heeft om zijn omgeving te controleren.
Het helpt ons te signaleren wanneer een agent vastloopt in lussen (laag empowerment) of wanneer het krachtige nieuwe manieren vindt om met de wereld te interageren (hoog empowerment).

Kortom, in plaats van alleen te vragen "Heeft het de klus afgerond?", vraagt deze methode: "Heeft het de sleutels van het hele gebouw?"

Technische Samenvatting: Het Schatten van de Empowerment van Taalmodelagenten

Probleemstelling

Naarmate Large Language Model (LM) agenten steeds meer worden geïntegreerd in real-world systemen voor taken zoals webbrowsing, het gebruik van tools en interactie tussen meerdere agenten, blijft het evalueren van hun capaciteiten en veiligheid een aanzienlijke uitdaging. Huidige evaluatieparadigma's vertrouwen sterk op doelgerichte benchmarks (bijv. WebArena, SWE-bench), waarbij door mensen ontworpen doelstellingen dienen als proxy's voor capaciteit. Deze aanpak heeft twee primaire beperkingen:

Arbeidsintensiteit: Het ontwerpen van grootschalige, diverse evaluatietaken is zeer resource-intensief.
Blindvlekken: Traditionele metrieken beperken de focus tot specifieke einddoelen of mijlpalen, waardoor ze mogelijk het open-eindige karakter van agent-interacties over het hoofd zien. Dit beperkt de mogelijkheid om agenten te detecteren die doelstellingen nastreven buiten de gemeten scope, of om capaciteitsgroei te volgen die niet direct vertaalt naar taaksucces, wat risico's oplevert voor AI-veiligheid.

Er is een kritieke behoefte aan een schaalbaar, doelagnostisch evaluatiekader dat de algemene capaciteiten van een agent kan beoordelen zonder te vertrouwen op handmatig ontworpen beloningen of specifieke taakdefinities.

Methodologie: EELMA

De auteurs stellen EELMA (Estimating Empowerment of Language Model Agents) voor, een kader ontworpen om empowerment te schatten—een informatietheoretische maatstaf voor de invloed van een agent op toekomstige staten door middel van zijn acties.

Theoretische Grondslag

Empowerment wordt gedefinieerd als de kanaalcapaciteit tussen de acties van een agent en zijn daaropvolgende sensorische inputs, waarbij de maximale wederzijdse informatie tussen acties en toekomstige staten wordt vastgelegd. Formeel is voor een agent met beleid $\pi_{LM}$ de effectieve empowerment $E(\pi_{LM})$ het gemiddelde conditionele wederzijdse informatie over de tegengekomen staten:
$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$
waarbij $s^*$ een toekomstige staat is die $\tau$ stappen vooruit wordt bemonsterd. Onder de aanname van uniform verdeelde beloningen dient empowerment als een ondergrens voor de gemiddelde gekoppelde beloning, wat suggereert dat het fungeert als een proxy voor algemene agent-capaciteit.

Het EELMA-algoritme

Klassieke empowerment-schattingen (gebaseerd op het tellen van transities) falen in tekstgebaseerde omgevingen vanwege:

Observatie-redundantie: Meerdere natuurlijke taalstrings kunnen dezelfde onderliggende staat beschrijven (bijv. "gelegen bij x=1" versus "op positie 1").
Hoge dimensionaliteit: De observatieruimte is te groot voor directe waarschijnlijkheidsschatting.

EELMA adresseert deze problemen door tekstuele observaties en acties te mappen naar compacte embeddings en wederzijdse informatie te schatten via InfoNCE (Noise Contrastive Estimation). De architectuur bestaat uit:

Embedding-laag: Een vooraf getrainde tekstencoder (bijv. E5, MiniLM) met een fijnafstelbare MLP-projectie (met LoRA) mapt observaties ( $o_t$ ), acties ( $a_t$ ) en toekomstige observaties ( $o^*$ ) naar latente vectoren.
Neurale Encoders: Twee encoders, $\phi$ (voor huidige staat en staat-actieparen) en $\psi$ (voor toekomstige staten), worden gezamenlijk getraind.
Verliesfunctie: Het model maximaliseert twee InfoNCE-doelen om de conditionele wederzijdse informatie te benaderen:
- $I(o_t; o^*)$ : Alleen observaties.
- $I(o_t, a_t; o^*)$ : Observaties en acties.

De uiteindelijke empowerment-schatting $\hat{E}$ wordt afgeleid door de log-dichtheidsratio van de term met alleen observaties af te trekken van de term met staat-actie, waardoor effectief de informatie wordt geïsoleerd die de actie biedt over de toekomstige staat.

Belangrijkste Bijdragen

Doelagnostische Metriek: Het artikel stelt empowerment voor als een metriek voor het evalueren van LM-agenten die geen handmatig gelabelde doelen of taakspecifieke beloningen vereist, en zo traditionele maatstaven voor taaksucces aanvult.
EELMA-kader: De ontwikkeling van de eerste empowerment-schatter die specifiek is ontworpen voor tekstgebaseerde LM-agenten, en die in staat is om linguïstische variabiliteit en hoogdimensionale observatieruimtes te verwerken.
Empirische Validatie: Uitgebreide experimenten die aantonen dat empowerment sterk correleert met gemiddelde taakprestaties in tekstuele games (Gridworld, Tower of Hanoi) en realistische omgevingen (WebArena, $\tau$ -bench).
Gedragsanalyse: Karakterisering van hoe agent-ontwerpkiezen (prompts, geheugen, modelgrootte) empowerment moduleren, en de identificatie van empowerment-rijke acties als cruciale momenten (bijv. authenticatie) zonder handmatige annotatie.

Resultaten

1. Nauwkeurigheid in Gecontroleerde Omgevingen

In Gridworld- en Tower of Hanoi-taken liepen de schattingen van EELMA nauwkeurig parallel met de grondwaarheid van directe schatting (Spearman-correlatie $R_s = 0,80\text{--}0,94$ ).

Robuustheid tegen Linguïstische Variabiliteit: In tegenstelling tot directe schatting, die instortte onder herschreven natuurlijke taalobservaties, behield EELMA een hoge nauwkeurigheid, wat zijn vermogen aantoont om te generaliseren over semantisch equivalente maar syntactisch diverse beschrijvingen.
Complexiteitsschaal: Effectieve empowerment nam af naarmate de omgevingscomplexiteit toenam (bijv. meer dozen in Gridworld, meer schijven in ToH), wat de afname in gemiddelde gekoppelde beloning weerspiegelde.

2. Correlatie met Taakprestaties

Over verschillende ablaties (Chain-of-Thought-prompting, geheugencontextlengte, modelgrootte) vertoonde effectieve empowerment sterke positieve correlaties met gemiddelde gekoppelde beloning:

CoT: Het verwijderen van Chain-of-Thought-redenering verminderde empowerment drastisch (bijv. 99% daling in Gridworld).
Geheugen: Het vergroten van de geheugencontext (0 tot 3 stappen) verhoogde empowerment progressief.
Modelgrootte: Grotere modellen (bijv. GPT-4o, Claude-3.5-Sonnet, Qwen2.5-32B) vertoonden over het algemeen een hogere empowerment dan kleinere tegenhangers.

3. Real-world Omgevingen (WebArena & $\tau$ -bench)

WebArena: Empowermentscores correleerden sterk met gekoppelde beloning in GitLab-, Reddit- en Shopping Admin-domeinen ( $R_s = 0,83\text{--}0,94$ $R_{s} = 0, 83 - 0, 94$ ).
- Anomalie: In het Shopping-domein was empowerment hoog, maar varieerden de taakprestaties, wat suggereert dat redeneerflessenhalsen (numerieke prijsanalyse) in plaats van navigatiecontrole de prestaties beperkten.
- Jailbreaking-detectie: Het Qwen-model toonde hoge empowerment in Reddit-taken maar lage taaksucces. Analyse wees uit dat dit te wijten was aan "jailbreaking"-gedrag (navigeren naar echte externe websites), wat de staatsdiversiteit kunstmatig opblies. Dit benadrukt een randvoorwaarde waarbij hoge empowerment outputdiversiteit weerspiegelt in plaats van taakrelevante controle.
$\tau$ -bench (Tool Use): In het luchtvaartdomein schaalde empowerment monotoon met modelcapaciteit. In het retaildomein (waar alle modellen presteerden op het bodemniveau) keerde empowerment zich om, omdat kleinere modellen diverse maar ongeldige tool-aanroepen genereerden, waardoor wederzijdse informatie werd opgeblazen zonder taakrelevantie.

4. Detectie van Cruciale Momenten

In een aangepaste WebArena-taak die handmatige authenticatie vereiste, detecteerde EELMA succesvol het cruciale moment van een succesvolle login. Geldige authenticatiepogingen (het invoeren van correcte referenties) resulteerden in aanzienlijk hogere empowerment-scores in vergelijking met ongeldige pogingen, wat de bruikbaarheid van de metriek aantoont voor het monitoren van machtszoekend gedrag zonder expliciete beloningssignalen.

Betekenis en Claims

Het artikel beweert dat empowerment dient als een robuuste, doelagnostische proxy voor algemene agent-capaciteit. De primaire betekenis ligt in:

Schaalbaarheid: Het biedt een methode om agenten te evalueren zonder de prohibitieve kosten van het ontwerpen van nieuwe benchmarks voor elke nieuwe capaciteit.
Veiligheidsmonitoring: Het kan "cruciale momenten" detecteren waarbij een agent aanzienlijke controle over zijn omgeving verkrijgt (bijv. het toegankelijk maken van admin-rechten), en mogelijk machtszoekend gedrag signaleren voordat dit zich manifesteert in specifieke schadelijke doelstellingen.
Complementariteit: Het is geen vervanging voor taaksucces-metrieken, maar een complementair signaal dat het potentieel voor controle en invloed vastlegt, wat cruciaal is voor het begrijpen van agenten in open-eindige, beloningsarme omgevingen.

De auteurs erkennen beperkingen: empowerment meet controle over de omgeving, niet noodzakelijk taaksucces. In scenario's waar de bottleneck redeneren is in plaats van bereikbaarheid van staten, of wanneer agenten hoge diversiteit vertonen in taak-irrelevant gedrag, kan empowerment succes niet voorspellen. Het blijft echter een waardevol hulpmiddel voor het karakteriseren van het landschap van agent-capaciteiten.