💬 NLP

Signal-Driven Observation for Long-Horizon Web Agents

Dieses Paper schlägt Signal-Driven Observation (SDO) vor, ein architektonisches Framework, das die Beobachtungshäufigkeit von der Aktionshäufigkeit entkoppelt, indem es einen leichtgewichtigen Signaldetektor verwendet, um eine bedarfsgesteuerte, aufgabenspezifische DOM-Extraktion auszulösen und dadurch die Kontextdegradation bei Langzeit-Web-Agenten zu verhindern.

Ursprüngliche Autoren: Shubham Gaur, Ian Lane

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shubham Gaur, Ian Lane

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „überfressende“ Agent

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber etwas überforderten Assistenten ein, um Ihnen bei der Buchung einer komplexen Reise zu helfen. Jedes Mal, wenn Sie ihm eine kleine Aufgabe geben (wie „Klicken Sie auf die Schaltfläche ‚Weiter‘“), besteht er darauf, das gesamte Internet zu lesen, jeden einzelnen Nachrichtenartikel und jedes Menü auf der aktuellen Website, bevor er diesen einen Klick ausführen kann.

Genau das machen aktuelle Web-Agenten (KI-Programme, die im Web surfen).

Die Realität: Eine einzelne Webseite enthält oft 20.000 bis 80.000 Wörter an Code (das „DOM“).
Der Fehler: Jedes Mal, wenn der Agent einen Schritt macht, zwingt er sein Gehirn dazu, wieder alle 80.000 Wörter zu lesen, selbst wenn sich nur eine einzige winzige Zahl auf der Seite geändert hat.

Die Autoren nennen dies „Observation Over-ingestion“ (Übermäßige Beobachtungsaufnahme). Es ist so, als würde man versuchen, eine bestimmte Nadel im Heuhaufen zu finden, indem man jedes Mal den gesamten Heuhaufen frisst, während man nach der Nadel sucht. Irgendwann wird der Agent von nutzlosen Informationen „voll“, vergisst, was er ursprünglich eigentlich tun wollte, und beginnt, dumme Fehler zu machen oder in Schleifen stecken zu bleiben.

Die vorgeschlagene Lösung: Der „signalgesteuerte“ Detektiv

Das Papier schlägt eine neue Art vor, diese Agenten aufzubauen, die Signal-Driven Observation (SDO) genannt wird.

Anstatt dass der Agent jedes Mal die ganze Seite liest, stellen Sie sich vor, der Agent hat einen spezialisierten Assistenten (einen „Sub-Call“) und einen Sicherheitswachmann (einen „Signal-Detektor“).

Der Sicherheitswachmann (Signal Detector): Dies ist ein winziger, superschneller Roboter, der die Seite beobachtet. Er liest keinen Text; er achtet nur auf spezifische „Signale“, die anzeigen, dass sich etwas Wichtiges geändert hat. Er achtet nur auf vier Dinge:
- Hat sich die URL geändert? (Wir sind auf eine neue Seite gewechselt).
- Ist ein neues Pop-up oder Menü erschienen? (Ein neues interaktives Element).
- Ist die letzte Aktion fehlgeschlagen? (Die Schaltfläche hat nicht funktioniert).
- Ist etwas Seltsames von selbst passiert? (Wie zum Beispiel ein Cookie-Banner, der aufploppt).
Der spezialisierte Assistent (Sub-RLM): Wenn der Sicherheitswachmann eines dieser Signale sieht, weckt er erst dann den spezialisierten Assistenten auf. Dieser Assistent liest die ganze Seite, ist aber sehr intelligent. Er ignoriert das Rauschen (Werbung, Fußzeilen, zufälliger Text) und schreibt eine winzige, dreisätzige Zusammenfassung von nur den Dingen, die für die aktuelle Aufgabe relevant sind.
Das Hauptgehirn (Root LM): Das Haupt-KI liest nur diese winzige Zusammenfassung. Wenn der Sicherheitswachmann keine Signale sieht, führt das Hauptgehirn einfach seinen nächsten Schritt aus, ohne etwas Neues zu lesen.

Eine Analogie aus der realen Welt: Der Koch und das Menü

Stellen Sie sich den Web-Agenten wie einen Koch vor, der versucht, ein bestimmtes Gericht zu kochen (die Aufgabe).

Der alte Weg (Aktuelle Agenten): Jedes Mal, wenn der Koch eine Zwiebel schneiden muss, geht er in die Küche und liest das gesamte 500-seitige Rezeptbuch von vorne bis hinten durch, einschließlich der Geschichte des Bauernhofs und der Biografie des Autors. Nachdem er 500 Seiten gelesen hat, schneidet er eine einzige Zwiebel. Nach 10 Schritten hat er 5.000 Seiten irrelevanter Text gelesen. Er wird verwirrt, vergisst das Rezept und lässt die Suppe anbrennen.
Der neue Weg (SDO):
- Der Koch hat einen Späher, der an der Küchentür steht.
- Der Späher ruft nur: „Hey! Der Ofen hat gerade angegangen!“ oder „Hey! Eine neue Zutat ist angekommen!“
- Nur wenn der Späher ruft, bittet der Koch einen Sous-Chef, hineinzulaufen, nur die spezifische benötigte Zutat zu holen und sie dem Koch zu überreichen.
- Wenn der Späher still ist, kocht der Koch weiter, ohne aufzuhören, um das ganze Buch zu lesen.

Warum das wichtig ist

Die Autoren argumentieren, dass der Grund, warum KI-Agenten bei langen Aufgaben scheitern, nicht darin liegt, dass sie „zu dumm“ sind oder „nicht genug Gedächtnis“ haben. Es ist ihre Architektur, die sie dazu zwingt, in Rauschen zu ertrinken.

Durch den Wechsel zu diesem „Signal-gesteuerten“ Ansatz:

Kein „Context Rot“ (Kontextverfall) mehr: Das Hauptgehirn wird nicht mit Müll zugestellt.
Kein „Goal Drift“ (Zielabweichung) mehr: Der Agent erinnert sich an das ursprüngliche Ziel, weil es nicht unter tausenden Wörtern von Werbung und Fußzeilen begraben ist.
Kein „Loop Trapping“ (Schleifenfallen) mehr: Der Agent erkennt, dass er diesen Zustand schon einmal gesehen hat, weil die Zusammenfassung sauber und klar ist.

Was das Papier nicht behauptet

Es ist wichtig festzustellen, was dieses Papier nicht tut:

Es ist kein fertiges Softwareprodukt, das man heute herunterladen kann. Es ist ein „Entwurf“ oder ein Bauplan dafür, wie man eines baut.
Es behauptet nicht, jedes Problem zu lösen. Wenn der Agent beispielsweise einen logischen Fehler macht (wie auf „Software“ zu klicken, obwohl er „Hardware“ klicken sollte), aber die Seite gleich aussieht, wird das System dies nicht erkennen.
Es enthält noch keine Experimente oder Testergebnisse. Die Autoren sagen: „Hier ist ein besserer Weg, das Problem zu betrachten; wir müssen es bauen und testen, um zu beweisen, dass es funktioniert.“

Das Fazit

Das Papier legt nahe, dass wir aufhören müssen, Web-Agenten so zu behandeln, als würden sie bei jedem Schritt einen Roman lesen. Stattdessen sollten wir das Web als eine dynamische Umgebung behandeln, in der wir nur nach dem schauen, was sich geändert hat und was relevant ist. Indem wir das „Wie oft wir handeln“ vom „Wie oft wir schauen“ entkoppeln, können wir Agenten bauen, die fokussiert bleiben, sich an ihre Ziele erinnern und ihre Aufgaben tatsächlich abschließen.

Technisches Resümee: Signalgesteuerte Beobachtung für Long-Horizon-Web-Agenten

1. Problemdefinition: Beobachtungs-Überaufnahme (Observation Over-Ingestion)

Das Paper identifiziert einen kritischen architektonischen Fehler in aktuellen Long-Horizon-Web-Agenten, der als Beobachtungs-Überaufnahme (observation over-ingestion) bezeichnet wird. Während die Fachwelt Agenten-Fehler (wie das Steckenbleiben in Schleifen, das Verlust des Ziels oder „Kontext-Verfall“) oft auf Kontextlängenbeschränkungen zurückführt, argumentieren die Autoren, dass die eigentliche Ursache die Kopplung der Beobachtungsfrequenz an die Aktionsfrequenz ist.

In Standardarchitekturen nimmt der Agent bei jedem Aktionsschritt das rohe DOM oder den Accessibility-Tree (oft 20.000–80.000 Token) zusammen mit seiner vollständigen Interaktionshistorie auf. Dies zwingt das Large Language Model (LLM), den gesamten Seitenzustand erneut zu lesen, unabhängig davon, ob er sich sinnvoll verändert hat. Die Autoren postulieren, dass dies kein Kapazitätsproblem, sondern ein Beobachtungsproblem ist:

Kontext-Verfall (Context Rot): Irrelevante Token akkumulieren sich und verschlechtern die Qualität der Argumentation.
Schleifen-Falle (Loop-Trapping): Überladene Kontexte verhindern, dass das Modell zuvor besuchte Zustände erkennt.
Ziel-Drift (Goal Drift): Das ursprüngliche Aufgabenziel wird unter Schichten von DOM-Rauschen begraben, was dazu führt, dass der Agent aufkommenden, falschen Teilzielen nachjagt.

Dieser Fehlermodus ist bei Modellen unterschiedlicher Größe reproduzierbar und bleibt für Standard-Terminal-Erfolgsmetriken unsichtbar, welche zwar aufzeichnen, dass ein Agent gescheitert ist, aber nicht warum (nämlich, dass er eine unveränderte Seite erneut aufgenommen hat).

2. Methodik: Signalgesteuerte Beobachtung (Signal-Driven Observation, SDO)

Basierend auf Erkenntnissen aus Rekursiven Sprachmodellen (RLMs), die Dokumente programmatisch abfragen, anstatt sie im Ganzen zu lesen, schlägt das Paper die Signalgesteuerte Beobachtung (SDO) vor. Diese Architektur entkoppelt die Häufigkeit der Beobachtung von der Häufigkeit der Aktionen.

Kernkomponenten

Das SDO-System operiert über vier distinkte Komponenten:

Root LM: Verwaltet die Aufgabenspezifikation ( $T$ ), eine Historie der Aktionen ( $H$ ) und eine Sequenz von kompakten Beobachtungen ( $O_1, O_2, \dots$ ). Es plant Aktionssequenzen basierend auf diesem begrenzten Kontext und plant erst neu, wenn eine neue Beobachtung eintrifft. Entscheidend ist, dass es niemals das rohe DOM liest.
Sub RLM: Ein dedizierter Sub-Aufruf (entweder dasselbe Modell oder ein kleineres), der ausschließlich für die DOM-Beobachtung verantwortlich ist. Gegeben die aktuelle Seite und die Aufgabe $T$ , liest es den vollständigen Accessibility-Tree und liefert eine aufgabenkonditionierte Zusammenfassung: eine strukturierte Liste nur der Elemente, die für die aktuelle Aufgabe relevant sind, einschließlich deren Zweck, Typ, Wert und Selektoren.
Signal Detector: Ein leichtgewichtiges, ohne LLM-Kosten laufendes Modul, das nach jeder Browser-Aktion ausgeführt wird. Es überwacht vier browser-native Bedingungen, um zu bestimmen, ob eine erneute Beobachtung notwendig ist:
- URL-Transition: Navigation zu einer neuen Adresse.
- Neues ARIA-Element: Erscheinen neuer interaktiver Elemente (z. B. Modals, Dropdowns).
- Aktionsfehler (Action Failure): Ausnahmen, Timeouts oder nicht verfügbare Elemente.
- Exogenes Ereignis: DOM-Mutationen, die nicht durch den Agenten verursacht wurden (z. B. Cookie-Banner, AJAX-Updates, Session-Timeouts).
Browser: Führt die Aktionssequenz via Playwright aus. Die Kontrolle geht nach jeder Aktion an den Signal Detector über.

Operative Schleife

Initialisierung: Der initiale Seitenaufruf triggert das Sub RLM, um $O_1$ zu erzeugen.
Ausführung: Das Root LM plant eine Sequenz von Aktionen.
Signal-Check: Nach jeder Aktion prüft der Signal Detector die vier Bedingungen.
- Kein Signal: Die nächste Aktion wird sofort ausgeführt, ohne einen LLM-Aufruf oder einen DOM-Read zu tätigen.
- Signal feuert: Das Sub RLM wird aufgerufen, um eine neue kompakte Beobachtung ( $O_{t+1}$ ) zu generieren. Das Root LM erhält den aktualisierten Zustand und plant neu.

Fallstudien-Illustration

Das Paper verfolgt eine E-Commerce-Kaufaufgabe, um Standard-Agenten mit SDO-Agenten zu kontrastieren:

Standard-Agent: Nimmt bei jedem Schritt volle DOM-Snapshots auf. Wenn ein Cookie-Banner erscheint (ein exogenes Ereignis), ist der Kontext des Agenten bereits durch irrelevante Token degradiert, was es ihm erschwert, den Zustand korrekt zu interpretieren, was zu Fehlinterpretationen und schließlich zu Ziel-Drift führt.
SDO-Agent: Das Root LM sieht nur kompakte, relevante Elemente. Wenn der Cookie-Banner erscheint, triggert der Signal Detector eine Re-Beobachtung. Das Sub RLM markiert den Banner als Unterbrechung. Das Root LM, das in einem sauberen Kontext arbeitet, plant korrekt, den Banner zu schließen und fortzufahren, wodurch die Kohärenz der Aufgabe durchgehend gewahrt bleibt.

3. Zentrale Beiträge

Das Paper leistet drei primäre Beiträge:

Definition eines Fehlermodus: Es definiert formal die Beobachtungs-Überaufnahme als einen distinkten, reproduzierbaren Fehlmechanismus in Web-Agenten, der sich vom Erschöpfen der Kontextlänge unterscheidet und Kontext-Verfall, Schleifen-Fallen und Ziel-Drift auslöst.
Architekturvorschlag: Es skizziert die Signalgesteuerte Beobachtung (SDO) als eine konkrete Instanziierung, die zeigt, dass die Beobachtungshäufigkeit von der Aktionshäufigkeit entkoppelt werden kann, indem ein Signal-Detektor und ein fokussierter Sub-Aufruf zur Komprimierung der Beobachtungen genutzt werden.
Aufruf zum Handeln der Community (Call to Action): Es identifiziert offene Designfragen und fordert die Community auf, die Beobachtungskomprimierung als eine primäre architektonische Entscheidung und nicht als eine Post-hoc-Optimierung zu behandeln.

4. Ergebnisse und Limitationen

Das Paper stellt explizit fest, dass es keine experimentellen Ergebnisse enthält. Es handelt sich um ein konzeptionelles Framework und eine „Skizze“, die darauf abzielt, die Machbarkeit des Ansatzes aufzuzeigen und offene Probleme aufzuzeigen.

Die Autoren räumen mehrere Limitationen und offene Probleme ein, die gelöst werden müssen, bevor SDO zuverlässig instanziiert werden kann:

Signal-Vollständigkeit vs. Kosten: Die vier definierten Signale könnten subtile Zustandsänderungen (z. B. stille Preisaktualisierungen) übersehen, während das Hinzufügen weiterer Signale die Häufigkeit der Sub-RLM-Aufrufe erhöht und die Effizienz mindert.
Filter-Fidelität: Das Sub RLM muss in der Lage sein, aufgabenrelevante Elemente präzise zu filtern, ohne die zukünftigen Bedürfnisse des Root LM zu kennen. Zu starkes Filtern führt zu Informationsverlust; zu schwaches Filtern reduziert den Nutzen der Komprimierung.
Semantische Fehler: SDO erkennt strukturelle Änderungen, aber keine semantischen Fehler (z. B. die Auswahl der falschen Kategorie, die dennoch erfolgreich ausgeführt wird).
Simulation vs. Real-Web-Gap: Simulierte Benchmarks verfügen nicht über exogene Ereignisse (wie Cookie-Banner), was bedeutet, dass Agenten, die in Simulationen trainiert wurden, möglicherweise nicht lernen, von solchen Unterbrechungen zu erholen, selbst wenn die SDO-Architektur diese erkennt.
Evaluationsmetriken: Aktuelle Benchmarks lassen eine Beobachtungsebene-Evaluierung vermissen (z. B. „War die Beobachtung zum richtigen Zeitpunkt frisch?“). Neue Metriken sind erforderlich, um zu messen, ob Komprimierung Fehler verhindert, statt nur Token-Zahlen zu reduzieren.
Historien-Management: Über sehr lange Horizonte hinweg könnte die kumulative Liste kompakter Beobachtungen dennoch groß werden, was die Herausforderungen des Kontext-Managements erneut einführt.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass die Gemeinschaft massiv in die Verbesserung der Art und Weise investiert hat, wie Agenten über Beobachtungen argumentieren, aber vernachlässigt hat, ob Agenten den vollständigen Zustand bei jedem Schritt überhaupt beobachten sollten.

Die Bedeutung dieser Arbeit liegt in der Neuausrichtung der Beobachtungskomprimierung als eine strukturelle, architektonische Entscheidung, die vor der ersten Aktion getroffen wird, anstatt als ein Datenvolumen-Problem, das im Nachhinein gelöst werden muss. Die Autoren behaupten, dass durch die Entkopplung von Beobachtung und Aktion möglich ist, die Bedingungen aufrechtzuerhalten, unter denen das Root LM korrekt argumentieren kann, selbst in Anwesenheit unerwarteter Umgebungskomplikationen. Sie positionieren SDO nicht als fertiges System, sondern als eine notwendige Richtung, um den „architektonischen Fehler“ aktueller Web-Agenten-Designs anzugehen.