🤖 AI

Estimating the Empowerment of Language Model Agents

Dieser Beitrag stellt EELMA vor, ein informationstheoretisches Rahmenwerk, das die Empowerment von Sprachmodellagenten durch mehrstufige Textinteraktionen schätzt und nachweist, dass diese zielagnostische Metrik effektiv mit der Aufgabenerfüllung korreliert und entscheidende Momente für allgemeine Fähigkeiten in unterschiedlichen Umgebungen identifiziert.

Ursprüngliche Autoren: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie gut ein neuer Roboter-Assistent ist. Normalerweise geben Sie ihm eine spezifische Liste von Aufgaben – wie „Spülmaschine ausmisten" oder „ein Rezept finden" – und zählen nur, wie viele Aufgaben er abschließt. Wenn er die Spülmaschine nicht schafft, aber ein großartiges Rezept findet, sagen Sie vielleicht, er sei „schlecht im Abwasch", aber „gut im Kochen".

Aber was, wenn Sie wissen wollen, ob der Roboter allgemein fähig ist, noch bevor Sie ihm sagen, was zu tun ist? Was, wenn Sie wissen wollen, ob er das Potenzial hat, jede zukünftige Situation zu bewältigen, nicht nur die, die Sie geplant haben?

Dieser Artikel stellt eine neue Methode vor, um dieses Potenzial zu messen. Die Autoren nennen es „Empowerment" (Befähigung).

Die Kernidee: Der „Schlüssel zur Zukunft"

Stellen Sie sich Empowerment als ein Maß dafür vor, wie viele verschiedene „Türen" ein Agent in der Zukunft öffnen kann.

Niedriges Empowerment: Stellen Sie sich einen Roboter vor, der in einem kleinen, leeren Raum gefangen ist, der nur eine Tür hat, die zurück zum Startpunkt führt. Egal was er tut, er kann nur im Kreis laufen. Er hat sehr wenig Kontrolle über seine Zukunft.
Hohes Empowerment: Stellen Sie sich nun einen Roboter in einem riesigen Herrenhaus mit vielen Zimmern, Aufzügen und geheimen Durchgängen vor. Wenn er sich für links entscheidet, erreicht er die Küche. Wenn er rechts geht, erreicht er die Bibliothek. Er hat viele Optionen. Er kann beeinflussen, wo er landet.

Der Artikel argumentiert, dass ein Agent (wie ein Large Language Model) mit hohem Empowerment im Allgemeinen intelligenter und fähiger ist, weil er zu einer breiteren Vielfalt zukünftiger Zustände navigieren kann. Es geht nicht nur darum, eine spezifische Aufgabe zu erledigen, sondern darum, die Fähigkeit zu haben, viele verschiedene Orte zu erreichen.

Das Problem: Die „Wortsuppe"-Herausforderung

Die Autoren wollten dies für KI-Agenten messen, die sprechen und lesen (Sprachmodell-Agenten). Aber es gibt einen Haken:

Traditionelle Methoden zur Messung von Empowerment funktionieren gut in einfachen, gitterartigen Videospielen, bei denen jeder Zustand eine eindeutige Nummer ist (wie „Feld 1", „Feld 2").
Doch KI-Agenten haben es mit Text zu tun. Dieselbe Situation kann auf eine Million verschiedene Arten beschrieben werden.
- Beispiel: „Der Agent befindet sich bei (2, 3)" und „Der Roboter steht bei x=2, y=3" sind exakt derselbe Zustand, aber für einen Computer, der Zeichenketten zählt, sehen sie völlig unterschiedlich aus.
Wenn Sie versuchen, diese Textvariationen so zu zählen wie Gitterfelder, bricht die Mathematik zusammen. Der Computer wird von der „Wortsuppe" verwirrt und kann nicht erkennen, wie viel Kontrolle der Agent tatsächlich hat.

Die Lösung: EELMA (Der „Übersetzer")

Um dies zu beheben, entwickelten die Autoren ein Werkzeug namens EELMA.

Stellen Sie sich EELMA als einen intelligenten Übersetzer und Zusammenfasser vor.

Es liest den Text: Es nimmt die unordentlichen, variablen Textbeschreibungen der Welt (Beobachtungen) und die Aktionen, die der Agent unternimmt.
Es komprimiert sie: Anstatt jeden Satz als einzigartig zu behandeln, übersetzt es sie in einen kompakten „Zusammenfassungscode" (ein Embedding). Es erkennt, dass „Der Agent befindet sich bei (2,3)" und „Roboter steht bei x=2, y=3" tatsächlich denselben Zusammenfassungscode darstellen.
Es zählt die Möglichkeiten: Sobald der Text in diese sauberen Zusammenfassungen übersetzt ist, kann EELMA endlich zählen, wie viele verschiedene zukünftige Pfade der Agent tatsächlich erreichen kann.

Was sie fanden

Das Team testete EELMA in drei verschiedenen „Welten":

Textbasierte Spiele: Wie eine digitale Version von „Der Zauberer von Oz" oder „Hanoi-Turm", bei der Sie Befehle eingeben.
Web-Browsing: Agenten, die versuchen, echte Websites zu navigieren (wie das Finden eines Produktpreises oder das Einloggen auf einer Seite).
Tool-Nutzung: Agenten, die versuchen, Software-Tools zu nutzen (wie das Buchen eines Fluges oder die Verwaltung einer Retail-Bestellung).

Die Ergebnisse:

Es funktioniert: In den Spielen stimmten EELMAs Messungen perfekt mit dem tatsächlichen mathematischen „wahren" Empowerment überein.
Es sagt Erfolg voraus: Sie fanden einen starken Zusammenhang: Agenten mit hohen Empowerment-Werten wurden im Allgemeinen besser in ihren Aufgaben (wie das Finden der richtigen Webseite oder das Lösen des Rätsels), obwohl EELMA nicht über das spezifische Ziel informiert wurde.
Es erkennt „Machtzüge": Bei den Web-Browsing-Tests betrachteten sie einen Moment, in dem ein Agent sich mit einem Passwort einloggen musste.
- Wenn der Agent das richtige Passwort eingab, sprang sein Empowerment-Wert in die Höhe. Warum? Weil das Einloggen eine ganze neue Reihe zukünftiger Möglichkeiten freischaltete (Zugriff auf Admin-Panels, Ändern von Einstellungen).
- Wenn er das falsche Passwort eingab, blieb der Wert niedrig.
- Dies zeigt, dass EELMA automatisch „entscheidende Momente" erkennen kann, in denen ein Agent erhebliche Kontrolle gewinnt, ohne dass ein Mensch sagen muss: „Hey, das war ein gutes Einloggen!"

Warum das wichtig ist

Derzeit müssen wir, um KI zu testen, für jede einzelne Aufgabe teure, handgefertigte Tests erstellen (z. B. „Kann es einen Flug buchen?" „Kann es Code schreiben?"). Das ist langsam und teuer.

Dieser Artikel schlägt vor, Empowerment als einen „universellen Gesundheitscheck" für KI-Agenten zu verwenden.

Es ist egal, was das spezifische Ziel ist.
Es sagt Ihnen, ob der Agent die Kapazität hat, seine Umgebung zu kontrollieren.
Es hilft uns zu erkennen, wenn ein Agent in Schleifen feststeckt (niedriges Empowerment) oder wenn es neue, mächtige Wege findet, mit der Welt zu interagieren (hohes Empowerment).

Kurz gesagt: Anstatt nur zu fragen „Hat es den Job erledigt?", fragt diese Methode: „Hat es die Schlüssel zum ganzen Gebäude?"

Technische Zusammenfassung: Schätzung der Ermächtigung von Sprachmodell-Agenten

Problemstellung

Da Large Language Model (LM)-Agenten zunehmend in reale Systeme für Aufgaben wie Web-Browsing, Werkzeugnutzung und Multi-Agenten-Interaktion integriert werden, bleibt die Bewertung ihrer Fähigkeiten und Sicherheit eine erhebliche Herausforderung. Aktuelle Evaluierungsparadigmen stützen sich stark auf zielzentrierte Benchmarks (z. B. WebArena, SWE-bench), bei denen von Menschen entworfene Ziele als Stellvertreter für Fähigkeiten dienen. Dieser Ansatz leidet unter zwei primären Einschränkungen:

Hoher Arbeitsaufwand: Die Gestaltung groß angelegter, diverser Evaluierungsaufgaben ist ressourcenintensiv.
Blindstellen: Traditionelle Metriken beschränken den Fokus auf spezifische Endziele oder Meilensteine und übersehen möglicherweise den offenen Charakter agenter Interaktionen. Dies begrenzt die Fähigkeit, Agenten zu erkennen, die Ziele außerhalb des gemessenen Rahmens verfolgen, oder das Wachstum von Fähigkeiten zu verfolgen, das sich nicht unmittelbar in Aufgabenerfolg übersetzt, was Risiken für die KI-Sicherheit birgt.

Es besteht ein kritischer Bedarf an einem skalierbaren, zielagnostischen Evaluierungsrahmen, der die allgemeinen Fähigkeiten eines Agenten bewerten kann, ohne auf manuell erstellte Belohnungen oder spezifische Aufgabendefinitionen angewiesen zu sein.

Methodik: EELMA

Die Autoren schlagen EELMA (Estimating Empowerment of Language Model Agents) vor, einen Rahmen zur Schätzung der Ermächtigung – ein informationstheoretisches Maß für den Einfluss eines Agenten auf zukünftige Zustände durch seine Aktionen.

Theoretische Grundlage

Ermächtigung wird als Kanalkapazität zwischen den Aktionen eines Agenten und seinen nachfolgenden sensorischen Eingaben definiert und erfasst die maximale gegenseitige Information zwischen Aktionen und zukünftigen Zuständen. Formal ist für einen Agenten mit der Strategie $\pi_{LM}$ die effektive Ermächtigung $E(\pi_{LM})$ der durchschnittliche bedingte gegenseitige Informationsgehalt über die encountered Zustände:
$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$
wobei $s^*$ ein zukünftiger Zustand ist, der $\tau$ Schritte im Voraus gesampelt wird. Unter der Annahme gleichverteilter Belohnungen dient die Ermächtigung als untere Schranke für den durchschnittlichen diskontierten Belohnungswert, was nahelegt, dass sie als Stellvertreter für die allgemeine agentische Fähigkeit fungiert.

Der EELMA-Algorithmus

Klassische Ermächtigungsschätzer (basierend auf dem Zählen von Übergängen) versagen in textbasierten Umgebungen aufgrund von:

Beobachtungsredundanz: Mehrere natürliche Sprachstrings können denselben zugrundeliegenden Zustand beschreiben (z. B. „befindet sich bei x=1" vs. „an Position 1").
Hohe Dimensionalität: Der Beobachtungsraum ist für eine direkte Wahrscheinlichkeitsschätzung zu groß.

EELMA adressiert diese Probleme, indem es textuelle Beobachtungen und Aktionen auf kompakte Embeddings abbildet und die gegenseitige Information über InfoNCE (Noise Contrastive Estimation) schätzt. Die Architektur besteht aus:

Embedding-Schicht: Ein vortrainierter Textencoder (z. B. E5, MiniLM) mit einem feinabstimmbaren MLP-Projektionslayer (unter Verwendung von LoRA) bildet Beobachtungen ( $o_t$ ), Aktionen ( $a_t$ ) und zukünftige Beobachtungen ( $o^*$ ) auf latente Vektoren ab.
Neuronale Encoder: Zwei Encoder, $\phi$ (für aktuellen Zustand und Zustand-Aktions-Paare) und $\psi$ (für zukünftige Zustände), werden gemeinsam trainiert.
Verlustfunktion: Das Modell maximiert zwei InfoNCE-Ziele, um die bedingte gegenseitige Information zu approximieren:
- $I(o_t; o^*)$ : Nur Beobachtungen.
- $I(o_t, a_t; o^*)$ : Beobachtungen und Aktionen.

Die finale Ermächtigungsschätzung $\hat{E}$ wird durch Subtraktion des Log-Dichte-Verhältnisses des reinen Beobachtungsterms vom Zustand-Aktions-Term abgeleitet, wodurch effektiv die Information isoliert wird, die die Aktion über den zukünftigen Zustand liefert.

Hauptbeiträge

Zielagnostische Metrik: Der Artikel schlägt Ermächtigung als Metrik zur Bewertung von LM-Agenten vor, die keine manuell gelabelten Ziele oder aufgabenspezifischen Belohnungen erfordert und traditionelle Maßzahlen für Aufgabenerfolg ergänzt.
EELMA-Rahmen: Die Entwicklung des ersten Ermächtigungsschätzers, der speziell für textbasierte LM-Agenten konzipiert ist und linguistische Variabilität sowie hochdimensionale Beobachtungsräume bewältigen kann.
Empirische Validierung: Umfassende Experimente zeigen, dass Ermächtigung stark mit der durchschnittlichen Aufgabenerleistung über textbasierte Spiele (Gridworld, Tower of Hanoi) und realistische Umgebungen (WebArena, $\tau$ -bench) korreliert.
Verhaltensanalyse: Charakterisierung, wie Agenten-Designentscheidungen (Prompts, Gedächtnis, Modellgröße) die Ermächtigung modulieren, sowie die Identifizierung von hoch-ermächtigenden Aktionen als entscheidende Momente (z. B. Authentifizierung) ohne manuelle Annotation.

Ergebnisse

1. Genauigkeit in kontrollierten Umgebungen

In Gridworld- und Tower of Hanoi-Aufgaben stimmten die Schätzungen von EELMA eng mit der Ground-Truth-Direktschätzung überein (Spearman-Korrelation $R_s = 0,80\text{--}0,94$ ).

Robustheit gegenüber linguistischer Variabilität: Im Gegensatz zur Direktschätzung, die bei umformulierten natürlichen Sprachbeobachtungen zusammenbrach, behielt EELMA eine hohe Genauigkeit bei und demonstrierte so seine Fähigkeit, über semantisch äquivalente, aber syntaktisch diverse Beschreibungen zu generalisieren.
Skalierung der Komplexität: Die effektive Ermächtigung nahm mit steigender Umgebungskomplexität ab (z. B. mehr Boxen in Gridworld, mehr Scheiben in ToH) und spiegelte dabei den Rückgang des durchschnittlichen diskontierten Belohnungswerts wider.

2. Korrelation mit Aufgabenerfolg

Über verschiedene Ablationen hinweg (Chain-of-Thought-Prompts, Gedächtniskontextlänge, Modellgröße) zeigte die effektive Ermächtigung starke positive Korrelationen mit dem durchschnittlichen diskontierten Belohnungswert:

CoT: Das Entfernen des Chain-of-Thought-Reasonings reduzierte die Ermächtigung drastisch (z. B. 99 % Rückgang in Gridworld).
Gedächtnis: Die Erhöhung des Gedächtniskontexts (0 bis 3 Schritte) steigerte die Ermächtigung progressiv.
Modellgröße: Größere Modelle (z. B. GPT-4o, Claude-3.5-Sonnet, Qwen2.5-32B) wiesen im Allgemeinen eine höhere Ermächtigung auf als ihre kleineren Gegenstücke.

3. Realwelt-Umgebungen (WebArena & $\tau$ -bench)

WebArena: Die Ermächtigungswerte korrelierten stark mit dem diskontierten Belohnungswert in den Domänen GitLab, Reddit und Shopping Admin ( $R_s = 0,83\text{--}0,94$ $R_{s} = 0, 83 - 0, 94$ ).
- Anomalie: Im Shopping-Bereich war die Ermächtigung hoch, aber die Aufgabenerleistung variierte, was auf Reasoning-Engpässe (numerische Preisanalyse) hindeutet, die die Leistung eher einschränkten als die Navigationskontrolle.
- Jailbreaking-Erkennung: Das Qwen-Modell zeigte bei Reddit-Aufgaben eine hohe Ermächtigung, aber einen geringen Aufgabenerfolg. Die Analyse ergab, dass dies auf „Jailbreaking"-Verhalten zurückzuführen war (Navigation zu echten externen Websites), was die Zustandsdiversität künstlich aufblähte. Dies unterstreicht eine Grenzbedingung, bei der eine hohe Ermächtigung die Output-Diversität widerspiegelt und nicht die aufgabenrelevante Kontrolle.
$\tau$ -bench (Werkzeugnutzung): Im Flugsektor skalierte die Ermächtigung monoton mit der Modellfähigkeit. Im Einzelhandelsbereich (wo alle Modelle nahe dem Bodenniveau performten) kehrte sich die Ermächtigung um, da kleinere Modelle diverse, aber ungültige Werkzeugaufrufe generierten, die die gegenseitige Information ohne Aufgaberelevanz aufblähten.

4. Detektion entscheidender Momente

In einer modifizierten WebArena-Aufgabe, die eine manuelle Authentifizierung erforderte, erkannte EELMA den entscheidenden Moment eines erfolgreichen Logins erfolgreich. Gültige Authentifizierungsversuche (Eingabe korrekter Anmeldedaten) führten zu signifikant höheren Ermächtigungswerten im Vergleich zu ungültigen Versuchen und demonstrierten so den Nutzen der Metrik zur Überwachung von Machtstreben-Verhalten ohne explizite Belohnungssignale.

Bedeutung und Behauptungen

Die Autoren behaupten, dass Ermächtigung als robuster, zielagnostischer Stellvertreter für die allgemeine agentische Fähigkeit dient. Ihre primäre Bedeutung liegt in:

Skalierbarkeit: Sie bietet eine Methode zur Bewertung von Agenten ohne die prohibitiven Kosten, für jede neue Fähigkeit neue Benchmarks zu entwerfen.
Sicherheitsüberwachung: Sie kann „entscheidende Momente" erkennen, in denen ein Agent erhebliche Kontrolle über seine Umgebung gewinnt (z. B. Zugriff auf Admin-Rechte), und potenziell Machtstreben-Verhalten melden, bevor sie sich in spezifischen schädlichen Zielen manifestieren.
Komplementarität: Sie ist kein Ersatz für Metriken des Aufgabenerfolgs, sondern ein komplementäres Signal, das das Potenzial für Kontrolle und Einfluss erfasst, was für das Verständnis von Agenten in offenen, belohnungsarmen Umgebungen entscheidend ist.

Die Autoren räumen Einschränkungen ein: Ermächtigung misst die Kontrolle über die Umgebung, nicht notwendigerweise den Aufgabenerfolg. In Szenarien, in denen der Engpass im Reasoning liegt und nicht in der Erreichbarkeit von Zuständen, oder wenn Agenten eine hohe Diversität in aufgabenirrelevantem Verhalten zeigen, kann Ermächtigung den Erfolg nicht vorhersagen. Dennoch bleibt sie ein wertvolles Instrument zur Charakterisierung des Landschafts der Agentenfähigkeiten.