💬 NLP

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

Le papier introduit UNIBROWSE, un nouveau cadre de données-vers-agent qui génère des données d'entraînement exhaustives couvrant les trois modèles de flux d'informations de navigation multimodale et emploie un apprentissage par renforcement sensible à l'exploration pour entraîner un agent de l'échelle 35B qui atteint des performances de pointe sur les benchmarks multimodaux de BrowseComp, surpassant de manière significative à la fois son modèle de base et les principaux agents à code source fermé.

Auteurs originaux : Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais qu'au lieu de simplement lire quelques indices sur un carnet de notes, vous deviez naviguer entre une bibliothèque, un album photo et un flux d'actualités en direct pour trouver la réponse. C'est ce qu'est une tâche « Multimodal BrowseComp » : un puzzle super difficile où un agent IA doit lire du texte, regarder des images et utiliser des outils de recherche pour assembler une solution qui ne se trouve pas simplement sur une seule page web.

Pendant longtemps, les détectives IA que nous entraînions étaient un peu à sens unique. Ils étaient excellents pour lire des indices textuels ou regarder une image puis lire du texte pour trouver une réponse (comme voir la photo d'un chien et chercher « quelle est la race de ce chien ? »). Mais ils étaient terribles pour l'inverse : lire du texte pour comprendre ce qu'il faut chercher dans une image (comme lire la description d'un bâtiment étrange, puis chercher une photo pour confirmer sa forme).

La grande découverte : le détective « UniBrowse »
Les chercheurs derrière ce papier, une équipe de l'Université de Pékin, ont construit un nouveau système d'entraînement appelé UNIBROWSE. Considérez cela comme un camp d'entraînement super intelligent qui enseigne enfin aux agents IA comment gérer les trois types de indices :

Texte uniquement : Juste lire et connecter des faits.
Image vers Texte : Partir d'une photo et trouver l'histoire.
Texte vers Image : Lire une histoire d'abord, puis partir à la chasse à la photo correspondante pour la prouver.

Avant cela, la plupart des camps d'entraînement ne couvraient que les deux premiers types. Les auteurs soutiennent qu'ignorer le troisième type (Texte vers Image) laisse l'IA « sous-entraînée » pour des scénarios du monde réel où il faut vérifier un fait visuellement après l'avoir lu. Ils ont également remarqué que les méthodes précédentes étaient comme essayer d'apprendre en errant au hasard dans une ville (ce qui mène à beaucoup de bruit et de faux chemins) ou en regardant seulement une carte parfaite et factice (qui ne correspond pas au monde réel désordonné). UNIBROWSE corrige cela en partant d'une « carte » solide (un graphe de connaissances) mais en envoyant ensuite l'IA chercher des preuves réelles et en temps réel sur l'internet actuel pour s'assurer que les indices sont authentiques.

Le filtre d'« Exploration » : Couper le superflu
C'est la partie ingénieuse : les chercheurs ont réalisé que tous les problèmes d'entraînement ne sont pas égaux. Certains problèmes n'ont qu'une seule façon ennuyeuse de les résoudre, tandis que d'autres forcent l'agent à essayer différents chemins, à revenir en arrière et à réessayer.

Pour corriger cela, ils ont inventé une nouvelle métrique appelée « degré d'exploration ». Imaginez que vous notez les devoirs d'un élève. Si tous les élèves résolvent le problème de mathématiques exactement de la même manière facile, on n'apprend pas grand-chose. Mais si certains élèves cherchent un raccourci, d'autres restent bloqués et reviennent en arrière, et quelques-uns trouvent un nouveau chemin astucieux, c'est là que le véritable apprentissage se produit.

L'équipe a utilisé ce « degré d'exploration » pour filtrer leurs données. Ils ont jeté les problèmes ennuyeux à chemin unique et ont conservé uniquement les 30 % des questions les plus « exploratoires ». Cela a rendu leur Apprentissage par Renforcement (la partie où l'IA apprend par essais et erreurs) beaucoup plus efficace, en se concentrant uniquement sur les puzzles qui apprennent réellement à l'agent à réfléchir profondément.

Les résultats : Un nouveau champion
En utilisant ce pipeline, ils ont construit un agent IA de 35 milliards de paramètres (un cerveau très large). Ils n'ont pas seulement deviné que cela fonctionnerait ; ils ont mesuré ses performances par rapport à cinq benchmarks difficiles.

Les résultats sont impressionnants. Leur nouvel agent, UniBrowse, a obtenu une précision moyenne de 54,4 sur ces tests.

C'est un bond de 10,5 points par rapport à son modèle de base (Qwen3.5-35B-A3B), qui commençait à 43,9.
Il a battu plusieurs géants « propriétaires » célèbres (comme GPT-5 et Gemini-2.5 Pro) qui ont obtenu respectivement environ 42,9 et 44,8.
Il a même surpassé d'autres modèles open-source comme Kimi K2.5 (50,8).

Ce qu'ils ne prétendent pas
Il est important de savoir ce que ce papier ne dit pas. Les auteurs précisent avec prudence que, bien qu'UniBrowse soit le meilleur agent open-source qu'ils aient vu, il n'a toujours pas battu les systèmes propriétaires les plus puissants (comme Gemini-3.1 Pro, qui a atteint 63,2). Ils admettent également que leur agent est limité à la navigation web publique avec du texte et des images ; il ne peut pas encore gérer les sites web interactifs, les vidéos ou les cartes. Ils suggèrent que des modèles plus grands et de meilleurs outils pourraient être nécessaires pour combler cet écart restant, mais ils ne prétendent pas avoir résolu tout le problème de la navigation par IA.

L'essentiel
En construisant un système d'entraînement qui couvre les trois types de indices (texte, image vers texte, et texte vers image) et en filtrant les problèmes d'entraînement ennuyeux, l'équipe UNIBROWSE a créé un agent IA nettement meilleur pour résoudre des mystères complexes à plusieurs étapes sur Internet. C'est une étape solide, prouvant que la façon dont vous entraînez un agent compte tout autant que la taille de son cerveau.

Résumé Technique : UNIBROWSE

Énoncé du Problème

Les tâches de navigation multimodale (BrowseComp) exigent que les agents résolvent des questions dont les réponses ne sont pas directement disponibles, mais doivent être composées à partir de multiples éléments de preuves web dynamiques. Contrairement aux tâches classiques de recherche de faits, ces problèmes exigent un raisonnement à long terme, l'utilisation d'outils et l'intégration des modalités textuelles et visuelles. La navigation réelle implique trois modèles distincts de flux d'information :

Texte uniquement : Les réponses sont composées exclusivement à partir de preuves textuelles.
Image vers texte : Un indice visuel initial doit être résolu pour initier la navigation textuelle.
Texte vers image : La navigation textuelle réduit une cible, nécessant une récupération visuelle pour la vérification finale.

Les méthodes existantes de construction de données pour entraîner ces agents souffrent de trois limitations critiques :

Couverture incomplète des modèles : Les jeux de données antérieurs (ex. : WebWatcher, Vision-DeepResearch) couvrent principalement le modèle image-vers-texte, négligeant le modèle image-vers-texte tout aussi important où le raisonnement textuel précède la vérification visuelle.
Compromis de paradigme : Les méthodes reposant sur des graphes de connaissances curatés manquent de diversité web, tandis que celles utilisant des marches aléatoires sur le web introduisent un bruit massif et de fausses preuves.
Entraînement inefficace : Les travaux antérieurs appliquent l'apprentissage par renforcement (RL) directement sur des données synthétiques non filtrées, gaspillant les ressources de calcul sur des trajectoires à faible signal qui manquent de chemins de raisonnement diversifiés.

Méthodologie

Les auteurs proposent UNIBROWSE, un cadre unifié de "data-to-agent" comprenant un nouveau pipeline de construction de données et une stratégie d'entraînement pour un agent de navigation multimodal à l'échelle de 35B.

1. Pipeline de Construction de Données

Le pipeline génère des données d'entraînement de haute qualité en faisant le pont entre la connaissance structurée et la récupération web en direct :

Graphe de Connaissances (KG) Textuel avec Expansion Web : Le processus commence par un graphe de connaissances textuel ( $G_{KG}$ ) pour définir des chemins de raisonnement structurés. Pour chaque entité de départ, un sous-graphe connecté est construit. Pour garantir le réalisme, le pipeline augmente ces nœuds de graphe avec des attributs extraits de la récupération web en direct, ne conservant que ceux corroborés par de multiples résultats de recherche.
Expansion de Modèles Multimodaux Unifiés : Le pipeline évalue les sous-graphes de preuves générés pour supporter les trois modèles de flux d'information :
- Image vers texte : Attache des nœuds d'images récupérables aux entités de départ initiales.
- Texte vers image : Ajoute des nœuds d'images à l'entité de réponse finale si cette entité possède un attribut distinct et visuellement vérifiable non présent dans le texte.
- Texte uniquement : Génère des questions basées purement sur la structure d'évidence stratifiée.
  Ces modèles peuvent être combinés au sein d'une seule question (ex. : commencer par une image et finir par une vérification visuelle).
Sélection Pilotée par l'Exploration : Pour améliorer l'efficacité du RL, le pipeline introduit une métrique de Degré d'Exploration ( $E(q)$ ). Cette métrique mesure la variance de la longueur des trajectoires de navigation réussies à travers plusieurs passages (rollouts). Un degré d'exploration élevé indique que les réponses correctes peuvent être atteintes via des chemins diversifiés (ex. : direct vs retour en arrière), fournissant des signaux contrastifs plus riches pour l'apprentissage de la politique. Les instances à faible signal sont filtrées.

2. Entraînement de l'Agent

Le cadre entraîne un agent de 35B (basé sur Qwen3.5-35B-A3B) en deux étapes :

Fine-Tuning Supervisé (SFT) de Démarrage à Froid (Cold-Start) : Utilise environ 8 000 trajectoires d'utilisation d'outils pour établir une grammaire d'action stable et un a priori sensible aux modèles.
Apprentissage par Renforcement (RL) Sensible à l'Exploration : Optimise le modèle SFT en utilisant environ 10 000 paires QA sélectionnées parmi les 30 % d'instances les plus performantes basées sur la métrique du degré d'exploration. L'agent interagit avec les outils SEARCH (texte, image-vers-texte, texte-vers-image) et LINKSUMMARY en utilisant un processus de décision séquentiel de type ReAct. La fonction de récompense combine la justesse de la réponse et la conformité du format, optimisée via l'optimisation de politique relative de groupe (GRPO).

Contributions Clés

Pipeline de Données Unifié : UNIBROWSE est le premier cadre capable de générer simultanément des données d'entraînement couvrant les modèles texte uniquement, image-vers-texte et texte-vers-image, tout en augmentant les graphes de connaissances par la récupération web en direct pour une meilleure fidélité.
Filtrage Sensible à l'Exploration : L'introduction de la métrique de degré d'exploration permet de sélectionner des instances de RL à haute valeur, améliorant significativement l'efficacité de l'entraînement en se concentrant sur des problèmes dotés de signaux de raisonnement riches et diversifiés.
Agent de Pointe : L'agent UNIBROWSE résultant atteint des performances supérieures sur les benchmarks de navigation multimodale, démontant l'efficacité de l'approche "data-to-agent".

Résultats Expérimentaux

L'agent UNIBROWSE a été évalué sur cinq benchmarks diversifiés : BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch et FVQA.

Performance : Le modèle final (SFT + RL) a atteint une précision moyenne de 54,4 % sur les cinq benchmarks.
Amélioration : Cela représente une amélioration de 10,5 points de pourcentage par rapport au modèle de base (Qwen3.5-35B-A3B, 43,9 %).
Comparaison : L'agent surpasse plusieurs workflows propriétaires, notamment GPT-5 (42,9 %), Gemini-2.5 Pro (44,8 %) et Gemini-2.5 Flash (41,3 %). Il dépasse également les bases open-source antérieures comme WebWatcher-32B (31,7 %) et Vision-DeepResearch-30B-A3B.
Études d'Ablation :
- Couverture des Modèles : L'entraînement sur les trois modèles a produit des résultats nettement meilleurs que l'entraînement sur le texte uniquement ou l'image-vers-texte seul, particulièrement sur le benchmark exigeant MM-BC.
- Stratégie de Sélection : Le filtrage des données RL vers les 30 % supérieurs par degré d'exploration a donné la meilleure performance ; un filtrage trop strict (top 10 %) ou trop lâche (top 100 %) a entraîné des scores inférieurs.

Signification

L'article soutient que la construction contrôlable de données multimodales et le post-entraînement sensible à l'exploration sont essentiels pour construire des agents de navigation efficaces. En comblant l'écart de couverture des modèles (spécifiquement la modalité texte-vers-image) et en optimisant le signal d'entraînement RL via la diversité de l'exploration, UNIBROWSE démontre que les modèles open-source peuvent atteindre des performances compétitives de pointe dans des tâches de raisonnement web multimodales complexes. Le cadre réduit de plus de moitié l'écart de performance entre les agents open-source et les flux de travail propriétaires les plus puissants, validant le paradigme "data-to-agent" comme une voie évolutive.