💬 NLP

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

StructAgent führt ein zustandszentriertes Framework ein, das vereinheitlichte kausale Strukturen nutzt, um langfristige Aufgaben digitaler Agenten zu steuern, wodurch die Erfolgsraten und die Generalisierbarkeit über verschiedene LLM/VLM-Backbones und Umgebungen hinweg durch die Ermöglichung von verifizierbarem, evidenzbasiertem Fortschrittstracking und Recovery signifikant verbessert werden.

Ursprüngliche Autoren: Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter eine lange, komplizierte Aufgabe beizubringen, wie zum Beispiel: „Suche das Foto in meiner neuesten E-Mail, speichere es und setze es als dein Desktop-Hintergrundbild.“ Wenn Sie dem Roboter einfach nur sagen „Geh und erledige es“ und ihn während der Arbeit mit sich selbst chatten lassen, wird schnell alles chaotisch. Der Roboter könnte vergessen, was er gerade getan hat, verwirrt durch einen fehlgeschlagenen Versuch werden oder denken, er sei fertig, obwohl er eigentlich noch mitten in der Aufgabe steckt. Es ist, als würde man versuchen, ein Labyrinth zu durchqueren, während man eine Augenbinde trägt und sich nur an den letzten Schritt erinnern kann, den man gemacht hat.

Dies ist das Problem, das die Arbeit StructAgent zu lösen versucht. Die Autoren argumentieren, dass wir dem Roboter, anstatt ihn einfach durch einen riesigen, unordentlichen Haufen seiner eigenen vergangenen Aktionen (den sie „rohe Interaktionshistorie“ nennen) wandern zu lassen, ein strukturiertes, organisiertes Notizbuch geben müssen, um genau festzuhalten, wo er steht.

Die große Idee: Ein „Wahrheitsberichtendes“ Notizbuch

Die Arbeit schlägt eine neue Art vor, digitale Agenten laufen zu lassen, nämlich StructAgent. Betrachten Sie dies als die Gabe eines speziellen, dreiteiligen Notizbuchs an den Roboter, das er aktualisieren muss, bevor er zum nächsten Schritt übergehen kann. Dieses Notizbuch ist nicht nur ein Tagebuch; es ist ein strenger, verifizierter Bericht der Realität.

Was noch zu tun ist: Eine Liste der aktuellen Anforderungen (z. B. „Ich muss den E-Mail-Anhang finden“).
Was wir wissen: Nützliche Fakten, die bisher gesammelt wurden (z. B. „Der Dateipfad ist /home/user/pics“).
Arbeitsnachweis: Verifizierte Beweise dafür, dass ein Schritt tatsächlich abgeschlossen ist (z. B. „Ich habe den Ordner überprüft, und die Bilddatei ist definitiv dort vorhanden“).

Die Magie liegt nicht nur im Notizbuch; sie liegt in den Regeln für dessen Nutzung. In den meisten Robotersystemen gilt: Wenn der Roboter sagt „Ich bin fertig“, dann ist er fertig. Bei StructAgent kann der Roboter nicht einfach den Sieg beanspruchen. Er muss seine Arbeit einem Verifier (einem strengen Schiedsrichter) übergeben. Der Verifier prüft den Beweis. Nur wenn der Verifier sagt: „Ja, ich sehe die Datei, und sie entspricht den Regeln“, wird das Notizbuch aktualisiert. Wenn der Verifier sagt: „Nein, das ist nicht die richtige Datei“, bleibt das Notizbuch unverändert, und der Roboter muss es erneut versuchen oder seinen Fehler korrigieren.

Was sie kritisieren

Die Arbeit argumentiert explizit gegen die Vorstellung, dass Agenten einfach basierend auf ihrem „Gefühl“ oder einer langen, unstrukturierten Liste von allem, was sie jemals getan haben, weitermachen sollten. Sie zeigen, dass Agenten den Weg verlieren, wenn die Aufgaben lang und komplex werden und sie sich auf diese „rohe Historie“ verlassen. Der Roboter begräbt sich unter fehlgeschlagenen Versuchen und halbfertigen Jobs, was es unmöglich macht zu wissen, ob er tatsächlich Fortschritte macht oder sich nur im Kreis dreht. StructAgent sagt: „Hör auf zu raten. Verlass dich nicht auf ein unordentliches Gedächtnis. Nutze einen verifizierten, strukturierten Zustand.“

Die Ergebnisse: Funktioniert es tatsächlich?

Die Autoren haben dies nicht nur ausgedacht; sie haben es an realen Computeraufgaben getestet. Sie führten Experimente auf einem Benchmark namens OSWorld-Verified durch, der testet, wie gut Agenten echte Desktop-Anwendungen (wie E-Mail, Tabellenkalkulationen und Fotobearbeitungsprogramme) nutzen können.

Hier ist das, was sie herausgefunden haben, mit den exakten Zahlen aus ihrer Studie:

Als sie ein kleineres KI-Modell namens Qwen3.5-9B verwendeten, stieg die Erfolgsquote von 27,0 % (oh、ne StructAgent) auf 46,9 % (mit StructAgent). Das ist eine enorme Verbesserung!
Mit einem etwas größeren Modell, Qwen3.5-27B, stieg die Erfolgsquote von 31,6 % auf 62,2 %.
Als sie ihr stärkstes Open-Source-Modell, MiniMax-M3, verwendeten, half StructAgent ihm, eine Erfolgsquote von 78,9 % zu erreichen. Dies ist der höchste Wert, den sie für jede Open-Source-Methode in diesem speziellen Test gefunden haben.

Sie haben dieses System auch in einer völlig anderen Welt ausprobiert: dem Videospiel Minecraft. Anstatt Desktop-Dateien zu prüfen, überprüfte der „Verifier“ das Inventar des Spielers. Selbst in dieser völlig anderen Umgebung funktionierte das System, was zeigt, dass die Idee eines „verifizierten Notizbuchs“ flexibel ist.

Die „Haken“ und Grenzen

Die Arbeit weist vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst.

Es ist noch nicht perfekt: Selbst mit StructAgent scheitern einige Aufgaben immer noch. Als sie sich die Fehlgeschlagenen ansah, stellten sie fest, dass etwa 33 % darauf zurückzuführen waren, dass der Roboter (der „Actor“) die Aktion falsch ausgeführt hat, 30 % darauf, dass der Planer verwirrt war, und weitere 30 % darauf, dass der Verifier etwas übersehen hatte.
Es hängt von der Aufgabe ab: Das System funktioniert am besten, wenn es klare, überprüfbare Beweise gibt (wie eine existierende Datei auf einem Computer). Es hat etwas mehr Schwierigkeiten mit Aufgaben, die stark auf visuellen Details beruhen (wie „Lass den Text hübsch aussehen“), bei denen es keinen einfachen Beweis zum Überprüfen gibt.
Es ist ein Framework, kein einzelnes Modell: Die Arbeit zeigt, dass diese Struktur vielen verschiedenen KI-Modellen hilft. Es geht nicht darum, dass sie ein neues Super-Gehirn gebaut haben; sie haben einen besseren Weg gebaut, wie jedes beliebige Gehirn seine Arbeit organisieren kann.

Das Fazit

Die Arbeit legt nahe, dass wir, um KI-Agenten für lange, komplizierte Aufgaben zuverlässig zu machen, aufhören müssen, sie wie frei fließende Chatbots zu behandeln, und statin, sie wie sorgfältige Projektmanager mit einer strengen, verifizierten Checkliste zu behandeln. Indem sie den Agenten zwingen, seinen Fortschritt zu beweisen, bevor er fortfährt, macht StructAgent diese digitalen Helfer viel zuverlässiger, transparenter und fähiger, die langen, chaotischen Aufgaben der realen Welt zu bewältigen. Es ist ein Schritt hin zu Agenten, die nicht nur versuchen, Dinge zu tun, sondern tatsächlich wissen, dass sie es getan haben.

Technisches Resümee: StructAgent

Problemstellung

Jüngste Fortschritte bei Large Language Models (LLMs) und Vision-Language Models (VLMs) haben es digitalen Agenten ermöglicht, Aufgaben der Computernutzung auszuführen. Reale Aufgaben sind jedoch oft langfristig (long-horizon) und beinhalten komplexe Arbeitsabläufe mit sich entwickelnden Kontexten. Während Agenten diese Aufgaben ausführen, akkumulieren sie eine rohe Interaktionshistorie, die faktische Informationen, Zwischenschritte, Bearbeitungen, Fehlversuche und teilweise abgeschlossene Ausführungen enthält.

Die zentrale Herausforderung besteht darin, dass bestehende Agenten typischerweise auf dieser rohen, unstrukturierten Historie operieren. Wenn der Kontext wächst, werden kritische Informationen vergraben und der aktuelle Aufgabenstatus wird mehrdeutig. Dieser Mangel an Struktur erschwert es den Agenten:

Ein klares kausales Verständnis des Aufgabenfortschritts aufrechtzuerhalten.
Anormale Zustände oder Zwischenfehler rechtzeitig zu erkennen.
Präzise Planung und Ausführung durchzuführen.
Nach Fehlern zu recoverieren, ohne die gesamte Historie erneut abspielen zu müssen.

Infolgedessen ist die zuverlässige langfristige Ausführung begrenzt, da Agenten Schwierigkeiten haben, validen Fortschritt von Rauschen oder selbst gemeldeten, aber unverifizierten Abschlussbehauptungen zu unterscheiden.

Methodik: StructAgent

Um diese Herausforderungen anzugehen, schlagen die Autoren StructAgent vor, ein zustandszentriertes Framework, das sowohl den Zustand des Agenten als auch den Arbeitsablauf explizit um eine einheitliche kausale Repräsentation des Aufgabenfortschritts strukturiert. Das Framework besteht aus zwei komplementären Komponenten:

1. Einheitlicher Agentenzustand

Anstatt den Fortschritt aus rohen Trajektorien abzuleiten, pflegt StructAgent einen kompakten, typisierten und auditierbaren Zustand $s_t$ , der als gemeinsame Schnittstelle für alle Module dient. Der Zustand ist definiert als:
$s_t = (s_t^{req}, s_t^{val}, s_t^{ver})$

$s_t^{req}$ (Anforderungen): Speichert die Anforderungen des aktuellen Teilziels und legt fest, was erreicht werden muss und was der Verifizierer prüfen soll.
$s_t^{val}$ (Nützliche Werte): Speichert persistente, nützliche Werte, die während der Ausführung entdeckt wurden (z. B. Dateipfade, URLs, ausgewählte Entitäten).
$s_t^{ver}$ (Verifizierte Evidenzen): Speichert Evidenzen, die der Verifizierer während des Probing-Prozesses gesammelt hat, was die Auditierung und Wiederverwendung ermöglicht.

Kausalitätsorientierte Übergänge: Zustandsübergänge werden streng kontrolliert. Der Status einer Anforderung ( $\sigma_{i,t}$ ) kann nur basierend auf einer verifizierergestützten Entscheidung zu VERIFIED oder INVALIDATED wechseln. Dies stellt sicher, dass Fortschrittsupdates auf verifizierbarer Evidenz basieren und nicht auf der Selbsteinschätzung des Agenten.

2. Strukturierter Arbeitsablauf

Das Framework operiert in einer festen Ausführungsschleife: Planner $\rightarrow$ Actor $\rightarrow$ Verifier $\rightarrow$ State Update.

Planner: Liest den aktuellen Zustand, um das nächste Teilziel ( $g_t$ ) auszuwählen. Er muss den Fortschritt nicht aus der rohen Historie rekonstruieren.
Actor: Versucht, das Teilziel in der Umgebung auszuführen und erzeugt eine Aktionsspur ( $\tau_t$ ).
Verifier: Prüft, ob das angestrebte Teilziel validen Fortschritt erzeugt hat, indem er strukturierte und agentenbasierte Probing-Methoden verwendet (z. B. Überprüfung von Dateien, Shell-Ausgaben, Anwendungszuständen). Er gibt eine Entscheidung ( $d_t$ ) aus, um den Zustand zu verifizieren, zu invalidieren oder unverändert zu lassen.
Memory: Bietet zustandsbedingte Unterstützung, indem es Teilziele oder Aktionsmuster basierend auf wiederverwendbarer Erfahrung vorschlägt.

Ermöglichte Kernkapazitäten

Fortschritts-Checkpointing: Die Zustandshistorie dient als selbstständiger, menschenlesbarer Snapshot, der es Agenten ermöglicht, die Ausführung fortzusetzen, ohne die vollständige Interaktionshistorie erneut abspielen zu müssen.
Gezielte Fehlerreparatur (Failure Recovery): Wenn der Fortschritt stagniert, diagnostiziert das System das Problem mithilfe verifizierter Evidenzen (z. B. fehlende Evidenz, widersprüchliche Anforderungen) und wählt spezifische Interventionen (Neuplanung, Wiederholung oder menschliche Übernahme) anstelle von generischen Wiederholungsversuchen.
Werkzeuggestützte Ausführung: Wiederkehrende Muster werden in wiederverwendbare Prozeduren zusammengefasst. Der Actor kann diese Werkzeuge aufrufen, aber Ergebnisse werden nur dann in den Zustand übernommen, wenn sie verifiziert wurden.

Wichtige Beiträge

Einheitlicher Zustand: Einführung einer kompakten, typisierten und auditierbaren Zustandsrepräsentation, die Planung, Handeln und Verifizierung eine gemeinsame Sicht auf den Aufgabenfortschritt bietet.
Strukturierter Arbeitsablauf: Design einer Planungs-Handlungs-Verifizierungs-Schleife, in der nur verifizierergestützte Entscheidungen Fortschritt festschreiben, bewahren oder invalidieren können.
Breite empirische Validierung: Demonstration, dass das Framework die Leistung verschiedener LLM- und VLM-Backbones bei langfristigen Computer-Use-Aufgaben verbessert und über verschiedene Domänen hinweg generalisiert (Desktop, Web und Minecraft).

Experimentelle Ergebnisse

OSWorld-Verified (Desktop)

Das Framework wurde auf OSWorld-Verified evaluiert, einem Benchmark für langfristige Computernutzung. StructAgent verbesserte die Erfolgsrate konsistent über verschiedene Backbones hinweg:

Qwen3.5-9B: Steigerung der Erfolgsrate von 27,0 % (Einzelmodell) auf 46,9 %.
Qwen3.5-27B: Steigerung der Erfolgsrate von 31,6 % auf 62,2 %.
MiniMax-M3: Erreichte ein neues Open-Source-State-of-the-Art von 78,9 % und übertraf damit die Single-Model-Baseline von 75,2 %.
Domänenleistung: Die Gewinne waren am ausgeprägtesten bei "Office"-Aufgaben (Tabellenkalkulationen, Dokumente), in denen dauerhafte Zwischenzustände und dateibasierte Prüfungen verfügbar sind. Aufgaben über mehrere Anwendungen hinweg blieben herausfordernd, zeigten aber mit stärkeren Backbones Verbesserungen.

Generalisierung

Web (Mind2Web): StructAgent generalisierte auf Web-Umgebungen und erreichte 47,3 % (Qwen3.5-9B) und 52,3 % (Qwen3.5-27B), womit es reproduzierte Baselines übertraf. Die Gewinne waren am stärksten bei informationssuchenden Aufgaben, bei denen der Fortschritt über URLs und Seitenzustände verfolgt werden kann.
Minecraft: Das Framework wurde in Minecraft implementiert, indem die Desktop-Evidenzquellen durch inventarbasierte Verifizierung ersetzt wurden. Es erreichte eine gewichtete durchschnittliche Erfolgsrate von 76 % (gegenüber 59 % für Optimus-1), was zeigt, dass die Prinzipien der Zustandsaktualisierung domänenagnostisch sind.

Analyse

Verifizierungsqualität: Die strukturierte Verifizierung verbesserte den Recall von 0,67 auf 0,81 im Vergleich zur rein visuellen Verifizierung, primär durch die Wiederherstellung echter Abschlüsse, die in finalen Screenshots unsichtbar waren (z. B. Existenz von Dateien, Befehlsausgaben).
Fehlermodi: Eine Analyse fehlgeschlagener Trajektorien zeigte, dass Fehler über den Planner (30 %), den Verifier (30 %) und den Actor (33 %) verteilt sind, was darauf hindeutet, dass langfristige Zuverlässigkeit systemweite Verbesserungen erfordert und nicht nur die Skalierung des Actors.

Bedeutung und Ansprüche

Das Paper argumenttiert, dass der Zweck von Abstraktion darin besteht, eine semantische Ebene zu schaffen, auf der man „absolut präzise“ sein kann (unter Berufung auf Edsger W. Dijkstra). StructAgent erreicht dies, indem es sich von der kontinuierlichen Generierung über verrauschte Historien hin zu einer expliziten kausalen Struktur bewegt.

Die Autoren behaupten:

Transparenz und Kontrolle: Durch die Durchsetzung verifiziergestützter Zustandsübergänge wird der Fortschritt des Agenten transparent, auditierbar und kontrollierbar.
Robustheit: Das Framework ermöglicht gezielte Fehlerreparatur und evidenzbasierte Aufgabenabschlüsse, wodurch die Abhängigkeit von brüchigen, selbst gemeldeten „DONE“-Behauptungen reduziert wird.
Generalität: Das zustandszentrierte Paradigma ist nicht an spezifische Modellgrößen oder Desktop-Umgebungen gebunden; es generalisiert effektiv auf Webbrowser und Spielumgebungen (Minecraft), indem es die Quelle der Evidenz anpasst und gleichzeitig denselben strukturellen Arbeitsablauf beibehält.

Die Arbeit positioniert sich als systemorientierte Lösung für langfristige Zuverlässigkeit und legt nahe, dass die Strukturierung des Aufgabenfortschritts selbst ebenso kritisch ist wie die Verbesserung der zugrunde liegenden Sprachmodelle.