💬 NLP

Mango: Multi-Agent Web Navigation via Global-View Optimization

Le papier présente Mango, une méthode de navigation web multi-agents qui optimise le choix des points de départ en traitant la sélection d'URL comme un problème de bandit multi-bras et en utilisant une mémoire épisodique, permettant ainsi d'atteindre des taux de réussite significativement supérieurs aux méthodes existantes sur des tâches complexes.

Auteurs originaux : Weixi Tong, Yifeng Di, Tianyi Zhang

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Weixi Tong, Yifeng Di, Tianyi Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍑 MANGO : Le Guide de Voyage Intelligent pour Internet

Imaginez que vous devez trouver une information précise sur un site web géant, comme une bibliothèque immense ou un centre commercial avec des milliers de rayons.

Le problème actuel :
Les "agents" (des robots intelligents) actuels commencent presque toujours par la page d'accueil (la porte d'entrée principale). C'est comme si vous vouliez acheter un modèle de chaussure spécifique, mais que le vendeur vous forçait à visiter tous les rayons, du rez-de-chaussée au dernier étage, en commençant par le rayon "chaussures de sécurité" alors que vous cherchez des talons hauts.

Résultat : Ils se perdent, s'épuisent (ils ont un "budget" limité d'actions) et finissent souvent par abandonner sans trouver ce qu'ils cherchent.

La solution MANGO :
Les chercheurs de l'Université Purdue ont créé MANGO (Multi-Agent Navigation via Global-View Optimization). Au lieu de commencer par la porte d'entrée, MANGO prend un avion pour survoler tout le site web avant même de commencer à marcher.

Voici comment ça marche, étape par étape, avec des analogies simples :

1. La Carte du Trésor (Analyse Globale) 🗺️

Avant de se lancer, MANGO ne se contente pas de regarder la porte. Il fait deux choses :

Il fait une tournée rapide (un "crawling léger") pour voir la structure du site.
Il utilise Google pour chercher des mots-clés liés à votre demande.
L'analogie : C'est comme si, avant d'entrer dans un supermarché, vous regardiez le plan du magasin et demandiez à un employé : "Où sont les rayons qui vendent des tomates ?". Au lieu de commencer au rayon "lessive", MANGO sait exactement où aller.

2. Le Choix du Meilleur Départ (Le Bandit à Bras) 🎰

MANGO a une liste de plusieurs portes d'entrée potentielles (des URLs). Mais il ne peut pas toutes les essayer (il a un budget limité). Comment choisir ?

Il utilise une technique mathématique appelée Thompson Sampling.
L'analogie : Imaginez un jeu de machines à sous (bandits à bras). Certaines machines paient souvent, d'autres rarement. Au début, vous ne savez pas laquelle est la meilleure. MANGO essaie une machine, gagne un peu, puis ajuste ses chances. S'il tombe sur une porte qui semble prometteuse, il y retourne plus souvent. S'il tombe sur une impasse, il la ferme définitivement.
Cela lui permet de répartir intelligemment son énergie là où il y a le plus de chances de trouver la réponse.

3. Le Mémoriel et le Miroir (Mémoire Épisodique et Réflexion) 🧠🪞

Si MANGO essaie une porte et échoue, il ne recommence pas bêtement la même erreur.

Le Miroir (Réflexion) : Après chaque tentative, un "agent réflexif" regarde ce qui s'est passé. "Est-ce qu'on a trouvé l'info ? Non ? Pourquoi ?"
Le Mémoriel : Il note tout dans un carnet de bord. Si MANGO revient sur la même page plus tard, il lit son carnet : "Attends, la dernière fois, j'ai cliqué sur ce bouton et ça ne m'a mené nulle part. Je vais essayer autre chose."
L'analogie : C'est comme un détective qui ne marche pas deux fois dans le même piège. Il apprend de ses échecs pour ne pas gaspiller de temps.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé MANGO sur deux grands défis (WebVoyager et WebWalkerQA) avec différents cerveaux d'intelligence artificielle (comme GPT-5-mini ou Qwen3).

Avant (Les autres robots) : Ils réussissaient environ 56% du temps avec le meilleur modèle.
Avec MANGO : Ils réussissent 63,6% du temps.
Sur des tâches très difficiles : L'amélioration est encore plus spectaculaire, passant de 25% à 52,5% de réussite !

En résumé :
MANGO ne court pas plus vite que les autres. Il est simplement plus malin. Il ne perd pas de temps à ouvrir toutes les portes d'un bâtiment. Il regarde le plan, choisit la porte la plus probable, et s'il se trompe, il apprend de son erreur pour ne pas la refaire.

C'est la différence entre un touriste qui se perd dans une ville en marchant au hasard, et un guide local qui connaît les raccourcis et les pièges de la ville. 🚀

1. Problématique

Les agents web actuels, basés sur des modèles de langage (LLM), adoptent généralement une stratégie de navigation séquentielle en partant de l'URL racine (la page d'accueil) d'un site web. Cette approche présente plusieurs limites majeures face aux sites complexes et hiérarchisés :

Inefficacité de l'exploration : Les agents doivent parcourir l'arbre du site de haut en bas, explorant souvent des sous-arbres non pertinents.
Pièges de navigation : Sans vue globale, les agents tombent facilement dans des boucles ou des pages intermédiaires génériques.
Épuisement du budget : Avec une limite stricte d'actions (budget de navigation), les agents échouent fréquemment à atteindre l'information cible avant d'épuiser leurs ressources.
Absence de vue globale : Les méthodes existantes manquent d'une compréhension structurelle globale du site, se limitant à des observations partielles à chaque étape.

2. Méthodologie : MANGO

MANGO (Multi-Agent Navigation with Global-view Optimization) est une méthode multi-agents conçue pour optimiser la navigation web en déterminant dynamiquement les points de départ optimaux. L'architecture se compose de quatre étapes clés :

A. Analyse de la Structure Globale (Global Structure Analysis)

Avant toute navigation, MANGO construit une représentation hiérarchique du site cible pour identifier un ensemble d'URL candidates pertinentes ( $U$ ) :

Crawling léger : Un parcours en largeur (BFS) partant de l'URL racine collecte les pages accessibles, en filtrant les fichiers non-HTML et les liens externes.
Augmentation par recherche : Pour les sites trop vastes (ex: arXiv) où le crawling complet est impossible, MANGO utilise un LLM pour générer des mots-clés de recherche, puis interroge Google avec l'opérateur site: pour récupérer des pages pertinentes supplémentaires.
Sélection initiale : Les URL sont notées via l'algorithme BM25 en fonction de leur similarité sémantique avec la requête utilisateur. Les 10 meilleures URL de chaque source (crawling + recherche) forment l'ensemble candidat $U$ .

B. Sélection et Priorisation des URL (Modèle Multi-Armed Bandit)

La sélection de l'URL à visiter est formulée comme un problème de Bandit Multi-Arme (MAB) à durée de vie finie :

Armes : Chaque URL candidate est une "arme".
Stratégie : Utilisation de l'Échantillonnage de Thompson (Thompson Sampling) pour équilibrer l'exploration et l'exploitation.
Initialisation : Les paramètres de la distribution Beta ( $\alpha, \beta$ ) pour chaque URL sont initialisés en fonction du score de pertinence BM25.
Mise à jour dynamique : Après chaque tentative de navigation, un agent de réflexion met à jour la distribution Beta. Si la navigation est prometteuse, la probabilité de réélection augmente ; si elle mène à une impasse, l'URL est marquée comme "épuisée" (exhausted).

C. Agent de Navigation Web

L'agent de navigation interagit avec le navigateur (via Playwright ou Crawl4AI) en partant de l'URL sélectionnée.

Il dispose d'un budget d'actions limité ( $b$ ).
Si une URL a déjà été visitée, l'agent récupère l'historique et le résumé de réflexion de la mémoire épisodique pour éviter de répéter les mêmes erreurs.

D. Agent de Réflexion (Reflection Agent)

Après chaque tentative, cet agent évalue le résultat :

Succès : Si la tâche est accomplie, le processus s'arrête.
Échec partiel ou épuisement du budget : L'agent détermine si le chemin était prometteur.
- Si prometteur (ex: page pertinente mais besoin de plus d'actions), une récompense positive ( $r=1$ ) est attribuée pour maintenir la probabilité de sélection.
- Si non prometteur (impasse), une récompense négative ( $r=0$ ) est attribuée pour décourager le retour sur cette URL.
Les trajectoires et réflexions sont stockées dans la mémoire épisodique pour guider les futures tentatives sur la même URL.

3. Contributions Clés

Optimisation par Vue Globale : Contrairement aux approches traditionnelles, MANGO ne commence pas aveuglément à la racine, mais identifie des points d'entrée pertinents via une analyse structurelle hybride (crawling + recherche).
Formulation MAB et Thompson Sampling : Transformation du problème de sélection d'URL en un problème de bandit, permettant une allocation adaptative du budget de calcul vers les URLs les plus prometteuses.
Mémoire Épisodique : Intégration d'un mécanisme de mémoire pour stocker les échecs et les réflexions, empêchant la répétition d'actions infructueuses.
Généralisabilité : La méthode est validée sur plusieurs modèles (GPT-5-mini, Qwen3) et fonctionne aussi bien avec des modèles open-source que fermés.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks : WebVoyager (tâches sur des sites réels comme Amazon) et WebWalkerQA (questions-réponses sur 4 domaines).

Taux de Réussite (Success Rate - SR) :
- WebVoyager : Avec GPT-5-mini, MANGO atteint 63,6 %, surpassant le meilleur baseline (AgentOccam) de 7,3 points.
- WebWalkerQA : Avec GPT-5-mini, MANGO atteint 52,5 %, surpassant le meilleur baseline de 26,8 points.
- La méthode surpasse systématiquement les baselines (AgentOccam et WebWalker) sur tous les modèles de base (Qwen3-4B à 32B et GPT-5-mini).
Efficacité (Nombre d'actions) :
- Sur les modèles Qwen3, MANGO maintient un nombre d'actions compétitif ou inférieur tout en obtenant un taux de réussite supérieur.
- Sur GPT-5-mini, le nombre d'actions est plus élevé, mais cela correspond à une capacité à résoudre des tâches complexes et à long terme que les autres agents abandonnent prématurément.
Études d'Ablation :
- MANGO surpasse significativement ses variantes : sélection aléatoire d'URL, sélection basée uniquement sur Google, et navigation guidée par MCTS (Monte Carlo Tree Search).
- Cela confirme que l'analyse de la structure globale et l'échantillonnage de Thompson sont les composants critiques.

5. Signification et Conclusion

MANGO représente une avancée significative dans l'automatisation web en passant d'une navigation réactive (réagir à chaque page) à une navigation proactive (planifier en fonction d'une structure globale).

Impact : La méthode résout le problème de l'inefficacité sur les grands sites web en réduisant l'espace de recherche avant même de commencer la navigation.
Limites : L'approche dépend de la qualité de la vue globale initiale (crawling partiel). Pour les sites extrêmement vastes et dynamiques, certaines informations profondes peuvent rester inaccessibles si elles ne sont pas capturées par le crawling léger ou la recherche. De plus, les erreurs de raisonnement du LLM sous-jacent (extraction d'information) restent une limite inhérente non résolue par la navigation seule.

En résumé, MANGO démontre qu'une vue globale optimisée combinée à une allocation de ressources adaptative (Thompson Sampling) est essentielle pour réussir la navigation web complexe sous contrainte de budget.