Résumé Technique : Observation Pilotée par les Signaux pour les Agents Web à Longue Horizon

1. Définition du Problème : Sur-ingestion d'Observations

Le papier identifie une faille architecturale critique dans les agents web actuels à longue horizon, nommée sur-ingestion d'observations (observation over-ingestion). Alors que la communauté attribue souvent les échecs des agents (tels que le piégeage dans des boucles, la perte de suivi des objectifs ou la « décomposition du contexte ») aux limitations de la longueur du contexte, les auteurs soutiennent que la cause profonde est le couplage de la fréquence d'observation à la fréquence d'action.

Dans les architectures standards, à chaque étape d'action, l'agent ingère le DOM brut ou l'arbre d'accessibilité (souvent de 20 000 à 80 000 tokens) ainsi que son historique complet d'interactions. Cela force le Grand Modèle de Langage (LLM) à relire l'intégralité de l'état de la page, qu'il ait significativement changé ou non. Les auteurs postulent qu'il ne s'agit pas d'un problème de capacité, mais d'un problème d'observation :

• Décomposition du Contexte (Context Rot) : Des tokens non pertinents s'accumulent, dégradant la qualité du raisonnement.
• Piégeage dans des Boucles (Loop-Trapping) : Des contextes hypertrophiés empêchent le modèle de reconnaître les états précédemment visités.
• Dérive de l'Objectif (Goal Drift) : L'objectif initial de la tâche est enseveli sous des couches de bruit du DOM, menant l'agent à poursuivre des sous-objectifs émergents et incorrects.

Ce mode de défaillance est reproductible sur des modèles de tailles variées et est invisible pour les métriques de succès terminales standards, qui enregistrent que l'agent a échoué, mais pas pourquoi (c'est-à-dire qu'il a ré-ingéré une page inchangée).

2. Méthodologie : Observation Pilotée par les Signaux (SDO)

S'appuyant sur les concepts des Modèles de Langage Récursifs (RLM), qui interrogent les documents de manière programmatique plutôt que de les lire dans leur intégralité, le papier propose l'Observation Pilotée par les Signaux (SDO - Signal-Driven Observation). Cette architecture découple la fréquence d'observation de la fréquence des actions.

Composants Clés

Le système SDO fonctionne via quatre composants distincts :

1. LM Racine (Root LM) : Maintient la spécification de la tâche ($T$), un historique des actions ($H$) et une séquence d'observations compactes ($O_1, O_2, \dots$). Il planifie des séquences d'actions basées sur ce contexte borné et replanifie uniquement lorsqu'une nouvelle observation arrive. Crucialement, il ne lit jamais le DOM brut.
2. Sub RLM : Un sous-appel dédié (soit le même modèle, soit un plus petit) responsable uniquement de l'observation du DOM. Étant donné la page actuelle et la tâche $T$, il lit l'arbre d'accessibilité complet et retourne un résumé conditionné par la tâche : une liste structurée des seuls éléments pertinents pour la tâche actuelle, incluant leur fonction, leur type, leur valeur et leurs sélecteurs.
3. Détecteur de Signaux : Un module léger, sans coût de LLM, qui s'exécute après chaque action du navigateur. Il surveille quatre conditions natives du navigateur pour déterminer si une ré-observation est nécessaire :
   • Transition d'URL : Navigation vers une nouvelle adresse.
   • Nouvel Élément ARIA : Apparition de nouveaux éléments interactifs (ex: modales, menus déroulants).
   • Échec d'Action : Exceptions, délais d'attente ou éléments indisponibles.
   • Événement Exogène : Mutations du DOM non causées par l'agent (ex: bannières de cookies, mises à jour AJAX, expirations de session).
4. Navigateur : Exécute la séquence d'actions via Playwright. Le contrôle passe au Détecteur de Signaux après chaque action.

Boucle Opérationnelle

1. Initialisation : Le chargement de la page initiale déclenche le Sub RLM pour produire $O_1$.
2. Exécution : Le LM Racine planifie une séquence d'actions.
3. Vérification du Signal : Après chaque action, le Détecteur de Signaux vérifie les quatre conditions.
   • Pas de Signal : La prochaine action s'exécute immédiatement sans aucun appel LLM ni lecture du DOM.
   • Signal Déclenché : Le Sub RLM est invoqué pour générer une nouvelle observation compacte ($O_{t+1}$). Le LM Racine reçoit l'état mis à jour et replanifie.

Illustration par Étude de Cas

Le papier retrace une tâche d'achat sur un site d'e-commerce pour contraster les agents standards avec les agents SDO :

• Agent Standard : Ingeste des instantanés complets du DOM à chaque étape. Lorsqu'une bannière de cookies apparaît (un événement exogène), le contexte de l'agent est déjà dégradé par des tokens non pertinents, ce qui l'amène à mal interpréter l'état et à échouer lors de l'ajout de l'article au panier, menant finalement à une dérive de l'objectif.
• Agent SDO : Le LM Racine ne voit que des éléments compacts et pertinents. Lorsque la bannière de cookies apparaît, le Détecteur de Signaux déclenche une ré-observation. Le Sub RLM signale la bannière comme une interruption. Le LM Racine, opérant dans un contexte propre, planifie correctement de fermer la bannière et de poursuivre, maintenant la cohérence de la tâche tout au long du processus.

3. Contributions Principales

Le papier apporte trois contributions majeures :

1. Définition d'un Mode de Défaillance : Il définit formellement la sur-ingestion d'observations comme un mécanisme de défaillance distinct et reproductible dans les agents web, séparé de l'épuisement de la longueur du contexte, qui déclenche la décomposition du contexte, le piégeage dans des boucles et la dérive de l'objectif.
2. Proposition Architecturale : Il esquisse l'Observation Pilotée par les Signaux (SDO) comme une instanciation concrète démontrant que la fréquence d'observation peut être déconnectée de la fréquence d'action, en utilisant un détecteur de signaux et un sous-appel ciblé pour compresser les observations.
3. Appel à l'Action pour la Communauté : Il identifie des questions de conception ouvertes et appelle la communauté à traiter la compression d'observation comme une décision architecturale de premier rang plutôt que comme une optimisation post-hoc.

4. Résultats et Limites

Le papier stipule explicitement qu'il n'inclut pas de résultats expérimentaux. Il s'agit d'un cadre conceptuel et d'une « esquse » destinée à démontrer la faisabilité de l'approche et à soulever des problèmes ouverts.

Les auteurs reconnaissent plusieurs limites et problèmes ouverts qui doivent être résolus avant que le SDO puisse être déployé de manière fiable :

• Complétude des Signaux vs Coût : Les quatre signaux définis peuvent manquer des changements d'état subtils (ex: mises à jour silencieuses de prix), tandis que l'ajout de signaux augmente la fréquence des appels au Sub RLM, érodant l'efficacité.
• Fidélité du Filtrage : Le Sub RLM doit filtrer avec précision les éléments pertinents pour la tâche sans connaître les besoins futurs du LM Racine. Un sur-filtrage cause une perte d'information ; un sous-filtrage réduit les bénéfices de la compression.
• Erreurs Sémantiques : Le SDO détecte les changements structurels mais pas les erreurs sémantiques (ex: sélectionner la mauvaise catégorie, ce qui s'exécute avec succès).
• Écart Simulation vs Web Réel : Les benchmarks simulés manquent d'événements exogènes (comme les bannières de cookies), ce qui signifie que les agents entraînés en simulation pourraient ne pas apprendre à se rétablir de telles interruptions, même si l'architecture SDO les détecte.
• Métriques d'Évaluation : Les benchmarks actuels manquent d'évaluation au niveau de l'observation (ex: « L'observation était-elle fraîche quand elle était nécessaire ? »). De nouvelles métriques sont nécessaires pour mesurer si la compression prévient les échecs plutôt que de simplement réduire le nombre de tokens.
• Gestion de l'Historique : Sur de très longues horizons, la liste cumulative des observations compactes peut encore croître, réintroduisant des défis de gestion de contexte.

5. Signification et Revendications

Le papier soutient que la communauté a massivement investi dans l'amélioration de la façon dont les agents raisonnent sur les observations, mais a négligé de savoir si les agents doivent observer l'état complet à chaque étape.

La signification de ce travail réside dans le recadrage de la compression d'observation comme une décision structurelle et architecturale prise avant la première action, plutôt que comme un problème de volume de données à résoudre après coup. Les auteurs affirment qu'en découplant l'observation de l'action, il est possible de préserver les conditions sous lesquelles le LM Racine peut raisonner correctement, même en présence de complications environnementales inattendues. Ils positionnent le SDO non pas comme un système achevé, mais comme une direction nécessaire pour remédier à l'« erreur architecturale » des conceptions actuelles d'agents web.