🤖 machine learning

Does The Way You Plan Matter? An Empirical Study of Planning Representations for LLM Web Agents

Dieser Beitrag stellt das PlanAhead-Framework vor, um empirisch nachzuweisen, dass sowohl die Wahl der Darstellung von natürlichen Sprachplänen (wie sequenzielle Teilziele, narrative Beschreibungen, Pseudocode oder Checklisten) als auch das zugrundeliegende Large Language Model die Robustheit und Erfolgsquoten multimodaler Web-Agenten bei anspruchsvollen WebArena-Aufgaben maßgeblich beeinflussen.

Ursprüngliche Autoren: Alejandra Zambrano, Sara Vera Marjanovic, Imene Kerboua, Xing Han Lù, Leila Kosseim

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alejandra Zambrano, Sara Vera Marjanovic, Imene Kerboua, Xing Han Lù, Leila Kosseim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber leicht ungeschickten Roboter ein, um für Sie online einzukaufen. Sie sagen ihm: „Kauf mir einen Nachtguard gegen mein Zähneknirschen." Der Roboter muss eine Website navigieren, das Produkt finden und den Kauf abschließen.

Manchmal gelingt es dem Roboter. In anderen Fällen gerät er in eine Schleife, kauft das Falsche oder gibt ganz auf.

Diese Arbeit stellt eine einfache Frage: Macht es einen Unterschied, wie Sie die Anweisungen formulieren?

Die meisten gehen davon aus, dass es am besten funktioniert, wenn Sie dem Roboter eine klare, schrittweise Liste (wie ein Rezept) geben. Doch die Forscher hinter dieser Studie fragten sich: Was ist, wenn der Roboter besser mit einer Geschichte zurechtkommt? Oder mit einer Checkliste? Oder sogar mit einem Computercode-Skript?

Hier ist die Aufschlüsselung ihrer Studie, einfach erklärt:

1. Das Problem: Roboter verirren sich

Selbst mit den besten KI-Gehirnen scheitern Web-Agenten (Roboter, die im Internet surfen) häufig. Sie könnten einen kritischen Schritt übersehen, durch einen Pop-up verwirrt werden oder vergessen, was sie eigentlich tun wollten. Die Forscher vermuteten, dass das Format des Plans, den sie erhielten, der Übeltäter war.

2. Das Experiment: Die „PLANAHEAD"-Küche

Die Forscher bauten eine Testküche namens PLANAHEAD. Sie erfanden keinen neuen Roboter; sie änderten lediglich das Rezept, das sie den bestehenden Robotern gaben.

Sie nahmen 158 sehr schwierige Aufgaben (wie das Kaufen spezifischer Artikel auf komplexen Websites) und gaben sie verschiedenen KI-Modellen. Doch bevor der Roboter begann, erhielten er einen Plan in einer von vier verschiedenen „Sprachen":

Das Rezept (Sequentielle Teilziele): Die Standardmethode. „Schritt 1: Gehen Sie hierhin. Schritt 2: Klicken Sie darauf."
Die Geschichte (Narrativ): Ein Absatz, der die Reise beschreibt. „Um den Nachtguard zu erhalten, sollten Sie zunächst suchen..."
Die Checkliste (Anforderungen): Eine Liste von Dingen, die müssen geschehen, aber nicht unbedingt in einer bestimmten Reihenfolge. „Der Warenkorb muss den Artikel enthalten. Die Adresse muss ausgefüllt sein."
Der Code (Pseudocode): Ein Logik-Skript mit „wenn/dann"-Regeln. „Wenn der Artikel gefunden wird, klicken Sie auf Kaufen. Wenn nicht, suchen Sie erneut."

3. Die neue Wertungstabelle: Mehr als nur „Bestanden/Nicht bestanden"

Normalerweise zählen Forscher nur, wie oft ein Roboter die Aufgabe erledigt hat (Erfolgsrate). Doch KI ist unberechenbar; manchmal hat sie Glück, manchmal Pech.

Die Autoren entwickelten zwei neue Methoden, um die Roboter zu bewerten:

Erfolgsquote (Achievement Rate, AR): „Hat der Roboter diese Aufgabe jemals erfolgreich abgeschlossen, wenn wir ihm fünf Versuche erlauben?" Dies misst, ob die Aufgabe für diesen Roboter überhaupt möglich ist.
Konsistenz gelöster Aufgaben (Solved-Task Consistency, STC): „Wenn der Roboter erfolgreich war, wie oft war er dann erfolgreich?" Dies misst die Zuverlässigkeit. Hat er es 100 % der Zeit richtig gemacht oder nur 20 %?

4. Die überraschenden Ergebnisse

Die Studie ergab, dass eine Größe nicht für alle passt. Die „beste" Art, Anweisungen zu geben, hängt vollständig davon ab, welches Roboter-Gehirn Sie verwenden.

Der „Geschichtenerzähler"-Roboter: Ein Modell (GPT-4.1-mini) funktionierte am besten, wenn es eine Geschichte erhielt. Es schien die „Geschichte" der Aufgabe besser zu verstehen als eine trockene Liste von Schritten.
Der „Listen-Ersteller"-Roboter: Ein anderes Modell (Qwen) liebte die Checkliste. Es gedieh daran, genau zu wissen, welche Anforderungen erfüllt werden mussten, unabhängig von der Reihenfolge.
Der „Coder"-Roboter: Ein drittes Modell (Gemini) überraschte durch sehr gute Leistungen mit Pseudocode, obwohl dieser nicht für Menschen geschrieben ist. Es schien die logische „wenn/dann"-Struktur zu mögen.

Die große Erkenntnis:
Die Forscher stellten auch fest, dass die Aufteilung der Arbeit auf zwei Roboter oft besser funktionierte als die Verwendung nur eines.

Der Planer: Ein Roboter liest das Ziel und schreibt den Plan (das Rezept).
Der Ausführende: Ein zweiter Roboter liest diesen Plan und klickt tatsächlich die Buttons.
Warum es funktioniert: Es ist wie ein Koch, der das Rezept schreibt, und ein Sous-Chef, der tatsächlich kocht. Der Koch wird nicht durch das Schneiden von Zwiebeln abgelenkt, und der Koch wird nicht durch die Speisekarte verwirrt.

5. Das Fazit

Die Arbeit kommt zu dem Schluss, dass die Art der Planung entscheidend ist.
Wenn Sie wollen, dass Ihr KI-Agent erfolgreich ist, können Sie ihm nicht einfach eine generische Liste von Schritten vorwerfen. Sie müssen das Format des Plans an die Persönlichkeit des KI-Modells anpassen, das Sie verwenden. Manchmal ist eine Geschichte besser als eine Liste; manchmal ist eine Checkliste besser als eine Geschichte.

Indem sie diese verschiedenen Formate testeten, zeigten die Forscher, dass wir diese digitalen Agenten viel robuster und zuverlässiger machen können, einfach indem wir ändern, wie wir mit ihnen sprechen.

Technische Zusammenfassung: Eine empirische Studie zu Planungsrepräsentationen für LLM-Webagenten

Problemstellung

Trotz jüngerer Fortschritte bei Large Language Models (LLMs) haben Webagenten weiterhin Schwierigkeiten mit begrenzter Exploration, dem Auslassen kritischer Schritte und einer Empfindlichkeit gegenüber Aufgabenbeschränkungen. Obwohl Planung weithin als Schlüsselstrategie zur Zerlegung komplexer Aufgaben anerkannt ist, konzentrierte sich die bestehende Forschung weitgehend auf Planungsalgorithmen und weniger auf die Repräsentation dieser Pläne. Die meisten aktuellen Ansätze verlassen sich auf sequenzielle Listen von Teilzielen, die in natürlicher Sprache formuliert sind. Der Einfluss alternativer Repräsentationen von Plänen in natürlicher Sprache (NL) auf die Robustheit von Agenten und den Erfolg von Aufgaben bleibt jedoch weitgehend unerforscht. Darüber hinaus fehlt es bestehenden Benchmarks oft an einer reproduzierbaren Schwierigkeitsgradierung, was eine systematische Evaluierung von Planungsstrategien unter variierenden Komplexitätsgraden erschwert.

Methodik

Framework: PLANAHEAD

Die Autoren stellen PLANAHEAD vor, ein statisches Planer-Ausführer-Framework, das entwickelt wurde, um den Einfluss der Planrepräsentation zu isolieren und zu evaluieren. Im Gegensatz zu dynamischen Planungsmethoden, bei denen der Agent bei jedem Schritt Pläne neu generiert, erstellt PLANAHEAD zu Beginn einer Aufgabe einen einzigen statischen Plan. Dieser Plan wird dann einem ausführenden LLM bereitgestellt, das basierend auf dem aktuellen Browserzustand Low-Level-Aktionen durchführt. Dieses Setup stellt sicher, dass Leistungsunterschiede aus der Planformulierung und den zugrunde liegenden Modellen resultieren und nicht aus stochastischen Effekten auf Aktionsebene oder dem Overhead dynamischer Neuplanung.

Benchmark und Aufgabenschwierigkeit

Die Studie nutzt WebArena, eine geschlossene und reproduzierbare Umgebung mit diversen, realistischen Webinteraktionen. Um das Fehlen einer standardisierten Schwierigkeitsgradierung zu adressieren, entwickelten die Autoren eine automatisierte Pipeline, um 381 WebArena-Aufgaben in drei Ebenen zu kategorisieren: Einfach, Mittel und Schwer.

Kategorisierungslogik: Aufgaben wurden unter Verwendung eines leichten GenericAgent über fünf verschiedene LLM-Backbones mit jeweils fünf unabhängigen Versuchen bewertet.
- Einfach: 100 % Erfolgsrate über alle Modelle und Versuche hinweg.
- Schwer: 0 % Erfolgsrate über alle Modelle und Versuche hinweg.
- Mittel: Mittlere Erfolgsraten.
  Die Studie konzentriert sich speziell auf die Schwer-Teilmenge (158 Aufgaben), da diese den aussagekräftigsten Rahmen für die Evaluierung von Planungsfähigkeiten unter herausfordernden Bedingungen bieten.

Experimentelles Setup

Die Autoren bewerteten vier verschiedene Planrepräsentationen auf den schweren Aufgaben über verschiedene multimodale LLM-Familien hinweg (OpenAI, Alibaba und Google):

Sequenzielle Teilziele: Der Standardansatz unter Verwendung einer geordneten Liste von übergeordneten Teilzielen.
Anforderungs-Checkliste: Eine ungeordnete Liste von Anforderungen, die erfüllt werden müssen, wobei die Ausführungsreihenfolge dem Ausführenden überlassen bleibt.
Pseudocode: Ein strukturiertes Format unter Verwendung intuitiver Funktionen, Konditionalen und Schleifen, um Kontingenzfälle zu erfassen.
Narrativ: Eine ausführliche Beschreibung des Aufgabenabschlussprozesses in natürlicher Sprache.

Die Experimente testeten verschiedene Planer-Ausführer-Kombinationen, einschließlich homogener Setups (gleiches Modell für beide Rollen) und heterogener Setups (unterschiedliche Modelle für Planung und Ausführung).

Evaluierungsmetriken

In Anerkennung der Tatsache, dass die Standard-Erfolgsrate (SR) jeden Versuch als unabhängig behandelt und die stochastische Natur von LLMs nicht erfasst, führten die Autoren zwei neue Metriken ein:

Erreichungsrate (AR): Misst die Aufgabenerreichbarkeit über mehrere Durchläufe hinweg. Eine Aufgabe gilt als „erreicht", wenn mindestens einer der $N$ Durchläufe erfolgreich ist. Dies unterscheidet zwischen Aufgaben, die „selten lösbar" sind, und solchen, die „gänzlich unlösbar" sind.
Konsistenz gelöster Aufgaben (STC): Eine Robustheitsmetrik, die die Zuverlässigkeit der Leistung über Versuche hinweg für Aufgaben misst, die mindestens einmal erreicht wurden.

Hauptbeiträge

Automatisierte Aufgabenschwierigkeitsgradierung: Die Arbeit stellt eine reproduzierbare Pipeline zur Partitionierung von Benchmark-Aufgaben in Schwierigkeitsstufen ohne menschliche Annotation vor, was eine systematische Evaluierung von Planungsstrategien ermöglicht.
Evaluierung neuer Planungsrepräsentationen: Die Studie schlägt drei alternative NL-basierte Planungsformate (Narrativ, Pseudocode, Checkliste) vor und bewertet diese gegenüber den standardmäßigen sequenziellen Teilzielen.
Neue Evaluierungsmetriken: Die Einführung von AR und STC bietet eine differenziertere Sicht auf die Agentenleistung, die sowohl Erreichbarkeit als auch Konsistenz in stochastischen Umgebungen erfasst.

Ergebnisse und Analyse

Die empirische Studie ergab mehrere signifikante Erkenntnisse:

Planrepräsentation ist entscheidend: Die Wirksamkeit einer Planungsstrategie hängt stark vom zugrunde liegenden LLM ab.
- GPT-4.1-mini schnitt mit Narrativ-Plänen durchgehend am besten ab, was darauf hindeutet, dass Modelle, die intensiv auf Text in natürlicher Sprache trainiert wurden, kohärente beschreibende Anweisungen effektiv nutzen.
- Qwen-2.5-VL schnitt mit Checklist-Repräsentationen am besten ab und profitierte von expliziten und strukturierten Anleitungen.
- Gemini-Modelle zeigten in mehreren Formaten wettbewerbsfähige Leistungen und profitierten bemerkenswert von nicht-standardisierten Formaten; insbesondere lieferte Pseudocode hohe Erreichungsraten, wenn Gemini sowohl als Planer als auch als Ausführender agierte.
Trennung von Planer und Ausführendem: Gemischte Planer-Ausführer-Paare schnitten im Allgemeinen besser ab als homogene Setups. Beispielsweise erzielte die Kombination von GPT-4.1-mini als Planer mit Gemini als Ausführendem die stärkste Gesamtleistung. Dies deutet darauf hin, dass verschiedene Modelle komplementäre Stärken besitzen: Einige sind überlegener bei der hochrangigen strukturellen Planung, während andere bei der Ausführung von Low-Level-Aktionen glänzen.
Statische vs. dynamische Planung: Entgegen der Intuition, dass dynamische Neuplanung überlegen ist, schnitt statische Planung oft besser ab als die dynamische Planung durch einen einzelnen Agenten. Eine qualitative Analyse ergab, dass dynamische Agenten häufig in Aktions-Schleifen gerieten, den Überblick über den Aufgabenfortschritt verloren oder Teilaufgaben vorzeitig als abgeschlossen markierten. Das statische Planer-Ausführer-Setup ermöglichte es dem Ausführenden, sich ausschließlich auf die Aktionsauswahl zu konzentrieren, ohne die kognitive Belastung einer kontinuierlichen Neuplanung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Formulierung eines Plans und das spezifische LLM, das ihn generiert, die Robustheit von Webagenten und den Aufgabenerfolg maßgeblich beeinflussen. Indem sie die Annahme herausfordern, dass Pläne die Form sequenzieller Teilziele haben müssen, demonstrieren die Autoren, dass nicht-standardisierte Formate vorteilhaft sein können, insbesondere bei schwierigen Aufgaben.

Die Studie betont, dass die Wirksamkeit der Planung nicht allein eine Funktion der Modellfähigkeit ist, sondern auch tief mit der repräsentativen Form des Plans verbunden ist. Die Ergebnisse unterstützen die Einführung modularer Agentenarchitekturen, die komplementäre Modellstärken ausnutzen (z. B. die Verwendung eines Modells für die Planung und eines anderen für die Ausführung), und deuten darauf hin, dass statische Planung in bestimmten Kontexten eine robustere und effizientere Alternative zur dynamischen Planung sein kann.

Die Autoren bleiben hinsichtlich ihres Umfangs bescheiden und erkennen Einschränkungen an, wie etwa die begrenzte Menge an LLM-Backends, die Verwendung eines einzigen Benchmarks (WebArena) und eine begrenzte Anzahl von Durchläufen ( $N=5$ ). Sie gehen davon aus, dass die Erweiterung dieser Variablen ein umfassenderes Bild der Planungswirksamkeit liefern würde.