Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Die Studie zeigt, dass LLM-basierte Web-Agenten trotz verbesserter Hochlevel-Planung durch strukturierte PDDL-Pläne primär an der niedrigen Ausführungsebene scheitern, was die Notwendigkeit einer verbesserten Wahrnehmungsverankerung und adaptiven Steuerung für menschliche Zuverlässigkeit unterstreicht.

Das Wesentliche

Stellen Sie sich vor, Sie beauftragen einen sehr intelligenten, aber etwas verwirrten Assistenten, eine komplexe Aufgabe im Internet zu erledigen. Zum Beispiel: „Finde mir die günstigsten Sneaker in Größe 42, die heute noch lieferbar sind, und bestelle sie."

Bisher haben Forscher nur geschaut, ob der Assistent am Ende die Schuhe bestellt hat oder nicht. Das ist wie ein Lehrer, der nur das Endergebnis einer Matheaufgabe ansieht, ohne zu prüfen, ob der Schüler den Rechenweg verstanden hat. Oft scheitert der Assistent nicht am Denken, sondern daran, dass er die Tasten auf der Tastatur falsch drückt oder die falsche Webseite anklickt.

Diese neue Studie von Mohamed Aghzal und Kollegen aus George Mason University schaut sich genau an, wo und warum diese KI-Assistenten (LLM-Web-Agenten) scheitern. Sie nutzen dafür eine Art „Schichten-Analyse", die man sich wie einen Bauherrn vorstellen kann, der ein Haus plant.

Die drei Ebenen des Problems

Die Autoren teilen die Arbeit des KI-Assistenten in drei Ebenen auf, ähnlich wie bei einem Bauprojekt:

1. Der Architekt (Hochlevel-Planung):
   Zuerst muss der Assistent einen groben Plan machen. „Zuerst zur Schuh-Webseite, dann nach Größe filtern, dann den günstigsten nehmen."

   • Das Problem: Oft sind diese Pläne zu detailliert (der Architekt plant schon die Farbe der Fliesen, bevor das Fundament steht) oder zu vage.
   • Die Lösung der Studie: Sie haben versucht, den Assistenten nicht nur in freiem Deutsch sprechen zu lassen, sondern ihn eine strengere Plansprache zu nutzen (genannt PDDL). Das ist wie der Unterschied zwischen einer losen Skizze auf einer Serviette und einem genauen, technischen Bauplan. Die Studie zeigt: Der technische Plan ist oft präziser und weniger verwirrend.

2. Der Maurer (Niedriglevel-Ausführung):
   Jetzt muss der Plan in die Tat umgesetzt werden. Der Assistent muss tatsächlich auf den Button „Filtern" klicken, das Textfeld für die Größe anklicken und „42" eintippen.

   • Das Problem: Hier liegt das größte Chaos. Selbst wenn der Architekt einen perfekten Plan hat, stolpert der Maurer oft. Er klickt auf das falsche Bild, tippt in das falsche Feld oder denkt sich Links aus, die gar nicht existieren (Halluzinationen).
   • Die Erkenntnis: Das ist der „Flaschenhals". Die KI kann gut planen, aber sie ist schlecht darin, die reale Welt (die Webseite) genau zu sehen und zu steuern.

3. Der Bauleiter (Neuplanung/Replanning):
   Was passiert, wenn etwas schiefgeht? Die Webseite lädt nicht, oder der gewünschte Schuh ist ausverkauft. Ein guter Assistent muss dann umplanen.

   • Die Erkenntnis: Die Studie zeigt, dass KI-Assistenten, die einmal „stecken bleiben" und dann einen neuen Plan machen, deutlich besser abschneiden. Es ist wie beim Autofahren: Wenn Sie in eine Sackgasse fahren, wenden Sie sich nicht einfach um und fahren weiter, sondern suchen einen neuen Weg. Die KI lernt daraus, dass sie nach einem Fehler neu denken muss.

Die wichtigsten Erkenntnisse in einfachen Worten

• Struktur hilft: Wenn man der KI eine strenge Sprache gibt (wie einen Bauplan), macht sie weniger Fehler beim Planen als wenn sie frei reden darf.
• Das Sehen ist das Problem: Die größte Schwäche ist nicht das Denken, sondern das „Sehen" und „Greifen". Die KI verwechselt oft, wo sie klicken muss. Es ist, als würde jemand eine Landkarte perfekt lesen können, aber beim Gehen ständig gegen Bäume laufen.
• Fehler sind okay (wenn man lernt): Wenn die KI merkt, dass sie gescheitert ist, und dann einen neuen Plan macht, wird sie viel erfolgreicher. Ein einziger Versuch, sich zu korrigieren, bringt enorme Verbesserungen.

Fazit für die Zukunft

Die Autoren sagen: Um KI-Assistenten wirklich menschlich zuverlässig zu machen, reicht es nicht, sie noch schlauer im Planen zu machen. Wir müssen ihnen beibringen, die Welt besser zu „fühlen" und zu verstehen, was passiert, wenn sie eine Taste drücken.

Man könnte sagen: Bisher haben wir versucht, den Assistenten zu einem besseren Philosophen zu machen. Aber eigentlich brauchen wir einen besseren Handwerker, der die Werkzeuge sicher in der Hand hält und weiß, was zu tun ist, wenn die Schraube nicht passt.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als Web-Agenten für die Navigation im Internet eingesetzt. Trotz Fortschritten in den Fähigkeiten zum logischen Schlussfolgern und zur Befolgung von Anweisungen erreichen diese Agenten bei realistischen, langfristigen Aufgaben (Long-Horizon Tasks) auf dynamischen Webseiten bei weitem nicht die Zuverlässigkeit von Menschen.

Das Hauptproblem bestehender Forschungsarbeiten liegt in ihrer Bewertungsmethodik:

• Fokus auf End-to-End-Erfolg: Die meisten Evaluierungen betrachten nur das Endergebnis (Erfolg/Misserfolg der gesamten Aufgabe).
• Mangelnde Diagnosefähigkeit: Diese Metriken geben keine Aufschlüsse darüber, wo genau der Fehler auftritt. Ist es eine falsche Aufgabeninterpretation, eine fehlerhafte Hochlevel-Strategie, eine schlechte Umsetzung in konkrete UI-Aktionen (Grounding) oder das Versagen bei der Anpassung an unerwartete Umgebungsveränderungen?

2. Methodik: Hierarchischer Bewertungsrahmen

Die Autoren schlagen einen neuen Evaluierungsrahmen vor, der Web-Agenten in drei hierarchische Ebenen zerlegt, um den Fehlerprozess systematisch zu analysieren. Dieser Ansatz basiert auf der automatisierten Planungstheorie und menschlicher Kognition.

Die drei Ebenen sind:

1. Hochlevel-Planung (High-level Planning): Die Fähigkeit des LLM, eine komplexe Aufgabe in eine Sequenz von abstrakten Teilzielen (Subgoals) zu zerlegen (z. B. „Filtern nach Preis", „Sortieren", „Auswählen").
2. Niedriglevel-Ausführung (Low-level Execution): Die Fähigkeit, diese Teilziele in eine konkrete Sequenz ausführbarer Aktionen zu übersetzen (z. B. Klicks, Scrollen, Eingabe von Textfeldern basierend auf dem DOM).
3. Neuplanung (Replanning): Die Fähigkeit, den Plan anzupassen, wenn die Umgebung nicht den Erwartungen entspricht (z. B. Seite lädt nicht, Suchergebnisse sind anders als erwartet).

Experimentelles Setup:

• Datensatz: Erweiterung des Mind2Web-Live-Benchmarks mit menschlich annotierten Hochlevel-Plänen (Expert-Key-Node-Annotationen).
• Modelle: Evaluierung von drei aktuellen LLMs: gpt-5-nano, claude-haiku-4.5 und gemini-flash-2.5.
• Darstellungsformen: Vergleich von Natürlicher Sprache (NL) vs. PDDL (Planning Domain Definition Language) für die Hochlevel-Pläne. PDDL erzwingt eine strukturierte Darstellung mit expliziten Vorbedingungen und Effekten.
• Bewertung: Einsatz von „LLM-as-Judge" zur Überprüfung von Postbedingungen (wurde das Teilziel erreicht?) und zur Gesamtbewertung, validiert durch manuelle Stichproben.

3. Wichtige Beiträge und Erkenntnisse

A. Hochlevel-Planung

• Strukturierung durch PDDL: LLMs generieren mit PDDL deutlich präzisere und zielgerichtetere Pläne als mit natürlicher Sprache.
  • PDDL-Pläne weisen eine höhere Übereinstimmung mit menschlichen Referenzplänen auf (84,6 % vs. 70,6 % bei NL).
  • NL-Pläne neigen zu Über-Spezifikation (zerlegen einen menschlichen Schritt in unnötig viele feinkörnige Schritte) und enthalten oft redundante oder irrelevante Aktionen.
• Ausführbarkeit: Obwohl menschliche Pläne am besten sind, schließen PDDL-Pläne die Lücke zu menschlicher Leistung fast vollständig, während NL-Pläne oft schlechter abschneiden.

B. Niedriglevel-Ausführung (Der Hauptengpass)

• Grounding-Probleme: Selbst bei perfekten Hochlevel-Plänen scheitern Agenten häufig bei der Umsetzung in konkrete Aktionen. Die Planungs- und Ausführungskompetenzen sind nicht gleich stark entwickelt.
• Fehlermodi:
  • Halluzinationen: LLMs klicken auf nicht existente Elemente oder generieren falsche Links.
  • Redundanz: Agenten wiederholen Aktionen, die keine Zustandsänderung bewirken, oder bleiben in Schleifen stecken.
  • Out-of-Domain: Agenten verlassen oft die Zielwebsite (z. B. durch Google-Suchen statt direkter Navigation), was zu irrelevanter Information führt.
• Ergebnis: Die niedriglevelige Ausführung bleibt der dominierende Flaschenhals. gemini-flash-2.5 litt hier besonders stark unter redundanten Aktionen und mangelndem Verständnis der Umgebung.

C. Replanning

• Effektivität: Eine einzige Runde der Neuplanung, basierend auf explorativem Feedback, verbessert die Erfolgsrate signifikant.
• Paradoxon der Ausrichtung: Obwohl die neu generierten Pläne nach dem Replanning oft weniger genau mit den menschlichen Referenzplänen übereinstimmen (geringere „Perfect Match"-Rate), führen sie zu einer höheren Erfolgsrate bei der Teilaufgaben-Erfüllung. Dies zeigt, dass Pläne, die auf der tatsächlichen Umgebungserfahrung basieren, robuster und ausführbarer sind als starre, vorab generierte Pläne.

4. Ergebnisse im Vergleich der Modelle

• gpt-5-nano: Zeigte die beste Gesamtleistung, insbesondere bei der Balance zwischen Planung und Ausführung.
• gemini-flash-2.5: Erzeugte kompakte Pläne, scheiterte aber massiv bei der Ausführung (hohe Rate redundanter Aktionen, schlechtes Grounding).
• claude-haiku-4.5: Verließ sich weniger auf externe Navigation (Google-Suche), zeigte aber eine hohe Rate an Wiederholungen von Aktionen, was auf eine schwache Nutzung von Feedback hindeutet.

5. Bedeutung und Schlussfolgerungen

Das Paper liefert eine fundierte Diagnose für das Scheitern von LLM-Web-Agenten und hebt folgende Punkte hervor:

1. Trennung von Planung und Ausführung: Diese sind komplementäre, aber unterschiedliche Fähigkeiten. Agenten-Architekturen sollten diese Module explizit trennen: Hochlevel-Module für abstrakte Strategien (evtl. mit PDDL) und spezialisierte Controller für robustes Grounding.
2. Perzeptuelles Grounding ist kritisch: Die größte Schwäche liegt nicht im logischen Schlussfolgern, sondern im Verständnis der visuellen/strukturellen Umgebung und im Tracking des Zustands.
3. Unsicherheitsmanagement: Aktionsräume sollten es dem Agenten ermöglichen, Unsicherheit explizit zu signalisieren, anstatt bei jedem Schritt eine konkrete (und möglicherweise falsche) UI-Aktion zu erzwingen.
4. Prozessbasierte Evaluation: Die reine End-to-End-Erfolgsrate ist irreführend. Eine hierarchische, prozessorientierte Bewertung ist notwendig, um Fehlerquellen zu identifizieren und Fortschritte gezielt zu steuern.

Zusammenfassend argumentieren die Autoren, dass der Weg zu menschenähnlicher Zuverlässigkeit bei Web-Agenten nicht primär durch bessere Hochlevel-Reasoning-Modelle, sondern durch verbesserte Wahrnehmung (Grounding), adaptive Steuerung und strukturierte Planungsrepräsentationen führt.