🤖 AI

MELLON - Multimodal Enhanced LLM for Online Navigation

L'article présente MELLON, un cadre multimodal qui améliore considérablement les performances des agents de navigation web sur le benchmark WebShop en alignant le texte et les images pour améliorer le raisonnement et la planification, atteignant une augmentation de précision de 9,26 % après seulement un époch d'entraînement.

Auteurs originaux : Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment faire des courses sur Internet. Vous pourriez vous dire : « Donnez-lui simplement les instructions textuelles, comme "acheter une chemise rouge", et il lira le site web et cliquera sur les boutons. » Mais voici le hic : les sites web ne sont pas seulement des murs de texte. Ce sont des lieux visuels et colorés, remplis d'images, de mises en page et de designs. Si vous demandez à un humain de trouver une paire de chaussures spécifique, il ne se contente pas de lire la description ; il regarde la photo pour voir la couleur, le style et la forme. Pendant longtemps, les programmes informatiques les plus intelligents essayant de naviguer sur le web étaient comme des acheteurs aveugles — ils pouvaient lire le texte parfaitement mais ne pouvaient pas « voir » les images. Ce document s'inscrit dans le monde de l'intelligence artificielle, et plus précisément dans celui des « agents de navigation web ». Ce sont des assistants numériques conçus pour comprendre des commandes en langage naturel et accomplir des tâches sur de vrais sites web, comme acheter des articles ou réserver des billets. La grande question que se posent les chercheurs est la suivante : pouvons-nous apprendre à ces agents à utiliser à la fois leurs « yeux » (pour voir les images) et leur « cerveau » (pour lire le texte) en même temps, tout comme les humains le font ?

Les chercheurs derrière cette étude, travaillant sur un projet appelé MELLON, ont décidé de tester cette idée sur une boutique en ligne simulée appelée WebShop. Ils voulaient voir si le fait de donner à un agent IA une vue des photos des produits, aux côtés des descriptions textuelles, l'aiderait à prendre de meilleures décisions. Ils n'ont pas seulement deviné ; ils ont construit trois outils expérimentaux différents pour tenter de résoudre l'énigme. Le premier, et le plus réussi, était MELLON lui-même. Considérez MELLON comme un acheteur super intelligent qui porte des lunettes spéciales capables de traduire le monde visuel en un langage que le cerveau de l'IA peut comprendre. L'équipe a constaté qu'en entraînant cet agent pendant un seul cycle d'apprentissage (un « epoch »), il devenait nettement meilleur dans sa tâche. Plus précisément, la précision de l'accomplissement des tâches a bondi de 9,26 % par rapport à une version de base qui ne regardait que le texte. Cela suggère que mélanger la vision et le texte est un moyen puissant d'aider l'IA à naviguer sur le web, même si le système traverse encore des phases de croissance.

Cependant, l'histoire n'est pas une simple victoire du « le multimodal est toujours meilleur ». L'équipe a également essayé deux autres approches créatives qui n'ont pas fonctionné aussi bien qu'espéré. Une idée consistait à traiter la tâche d'achat comme un jeu de « Questions-Réponses Visuelles » (VQAgent), où l'IA regarde une image et une question, puis choisit la bonne réponse. Ils pensaient que cela fonctionnerait car faire des courses est similaire à répondre à des questions sur des images. Mais ils ont découvert que dans le contexte désordonné et réel de WebShop, les descriptions textuelles contenaient des indices plus importants que les images. C'est comme si l'IA avait été entraînée à compter excessivement sur les images, et qu'elle se retrouvait confuse lorsque le texte était la véritable clé de la solution. C'est comme essayer de résoudre une énigme en fixant un dessin alors que la réponse est cachée dans les petits caractères.

La troisième tentative impliquait un « Classeur Multimodal » (Multimodal Ranker), un outil conçu pour que l'agent fasse une pause et compare soigneusement chaque article d'une page avant de faire un choix, plutôt que de simplement saisir la première chose qu'il voit. L'espoir était que ce temps de réflexion supplémentaire conduirait à de meilleurs résultats. Au lieu de cela, l'expérience a montré que cette prudence supplémentaire rendait l'agent plus lent et moins précis. Les chercheurs ont constaté que les outils utilisés pour mesurer la similitude entre les images et le texte (appelés scores BERT et CLIP) ne correspondaient pas bien à ce qui faisait réellement un « bon assortiment » dans le système de score du jeu. Il s'est avéré que tenter de classer chaque option était comme un acheteur passant une heure à comparer chaque chemise du magasin, pour finalement acheter la mauvaise parce qu'il a été submergé.

Alors, quelle est la conclusion finale de cette aventure de shopping numérique ? Le document suggère que, bien que donner aux agents d'IA la capacité de « voir » le web soit une voie prometteuse, ce n'est pas une baguette magique. L'agent MELLON a prouvé qu'aligner les images et le texte peut booster les performances, mais les autres expériences ont montré que simplement ajouter un raisonnement visuel plus complexe ou forcer l'agent à tout regarder n'est pas toujours la bonne stratégie. Les chercheurs concluent que nous devons continuer à explorer comment mieux mélanger ces indices visuels et textuels, peut-être en entraînant les agents plus longtemps ou en utilisant des « cerveaux » encore plus intelligents (modèles de langage étendus ou LLM) à l'avenir. Pour l'instant, ils ont montré qu'un peu de vision aide beaucoup, mais que l'IA doit encore apprendre quand regarder l'image et quand lire les petits caractères.

Résumé Technique : MELLON - LLM Multimodal Amélioré pour la Navigation en Ligne

Énoncé du Problème

Les agents de navigation web sont conçus pour exécuter de manière autonome des tâches sur des sites web en se basant sur des instructions en langage naturel. Bien que les bases de référence actuelles exploitent souvent les modèles de langage de grande taille (LLM) pour leurs capacités de raisonnement, elles opèrent principalement de manière unimodale, en s'appuyant uniquement sur le texte (HTML ou arbres d'accessibilité) et en ignorant l'information visuelle. Les auteurs soutiennent que cela constitue une limitation critique, particulièrement dans les environnements de commerce électronique comme WebShop, où les indices visuels (par exemple, la finition, la couleur ou le style d'un produit) contiennent souvent des informations qualitatives absentes des descriptions textuelles. Les approches multimodales existantes manquent soit de capacités de raisonnement solides, soit peinent face à la nature dynamique et contrainte par les actions de la navigation web, où les écarts par rapport à un espace d'action prédéfini mènent à l'échec de la tâche.

Méthodologie

Le papier propose trois approches multimodales distinctes pour répondre à ces défis, avec un accent principal sur MELLON (Multimodal Enhanced LLM for Online Navigation).

1. MELLON (Multimodal Enhanced LLM for Online Navigation)

MELLON est un agent web conçu pour intégrer les modalités visuelles et textuelles afin d'améliorer le raisonnement et la planification. Son architecture repose sur trois innovations centrales :

Meilleurs Encodeurs : Le modèle utilise un squelette de Vision Transformer (ViT) pré-entraîné couplé à un Q-Former pour générer des encodages d'images. Contra�à contrairement aux CNN traditionnels (ex: ResNet), le ViT traite les patchs d'images comme des tokens, capturant plus efficacement les relations spatiales.
Alignement Texte-Image et Entraînement Efficace : Pour combler le fossé entre l'encodeur visuel et le LLM, une seule couche de projection est employée. Cette couche aligne les plongements (embeddings) visuels avec l'espace d'entrée du LLM.
- Stratégie d'Entraînement : Les auteurs utilisent une approche économiquement efficace où le LLM (CodeLlama) et le ViT sont gelés (frozen). Seuls la couche de projection et le Q-Former sont entraînés.
- Fonction de Perte : Le modèle est entraîné à l'aide d'une perte de génération par entropie croisée sur des paires d'entrées multimodales et d'actions réussies. Le score de complétion de WebShop est intégré à la fonction de perte pour optimiser conjointement le raisonnement et l'alignement des actions.
Prompts ReAct Étendus : Le prompt ReAct (Reasoning + Acting) standard est redessiné pour inclure des représentations visuelles alignées (insérées via <ImageHere>). Le way de l'ingénierie de prompt a été fortement optimisé pour tenir dans les contraintes de mémoire GPU de 24 Go, garantissant que l'agent puisse effectuer un raisonnement parcimonieux et sélectionner des actions issues d'un espace valide ( $A' = A \cap L$ ).

2. VQAgent

Cette approche reformule la tâche WebShop comme un problème de Question-Réponse Visuelle (VQA) à sauts multiples (multi-hop), où les « réponses » correspondent à des actions.

Architecture : Elle utilise le modèle BEiT3, un modèle de vision-langage de pointe.
Adaptation : Contrairement au VQA standard (une tâche de génération), WebShop est traité comme une tâche de classification. Le modèle encode l'observation (image, description du produit, instruction) et toutes les actions possibles séparément en utilisant BEiT3. Ces embeddings sont ensuite traités via une couche de bi-attention et une couche linéaire pour scorer les actions.
Entraînement : Le modèle est entraîné via l'Apprentissage par Imitation sur des trajectoires humaines pour imiter la sélection d'actions correctes.

3. Classeur Multimodal (Multimodal Ranker)

Ce composant vise à améliorer le comportement exploratoire en évaluant systématiquement toutes les options disponibles avant de prendre une décision, plutôt que de sélectionner le premier résultat initial.

Mécanisme : Il combine les scores BERT (mesurant la similarité textuelle entre les instructions et les titres de produits) et les scores CLIP (mesurant la congruence image-texte).
Entraînement : Un paramètre apprenable équilibre ces deux dimensions, et le classeur est entraîné à l'aide de la perte d'erreur quadratique moyenne (MSE) par rapport au score de complétion de WebShop utilisé comme étiquette.

Résultats Clés

Performance de MELLON

Amélioration de la Précision : L'entraînement de MELLON pendant seulement un époque a entraîné une augmentation de 9,26 % de la précision de complétion de tâche étape par étape par rapport à la base de référence d'inférence unimodale ViT+CodeLlama (passant de 5,11 % à 14,37 %).
Études d'Ablation :
- Le remplacement de la base ResNet par un ViT + QFormer entraînable a produit des scores comparables (39,92) mais des taux de réussite légèrement inférieurs (9,6 % contre 9,8 %) par rapport à ResNet, suggérant que des modèles plus simples peuvent suffire dans certains contextes ou que la tâche nécessite un contexte multimodal limité.
- L'utilisation de CodeLlama a été préférée à Vicuna-7B en raison de moins d'hallucinations et d'une meilleure adhérence aux formats de tâche, bien que CodeLlama produise encore occasionnellement des sorties vides ou invalides.
Analyse Qualitative : Dans des cas spécifiques (par exemple, la sélection d'une causeuse avec une "finition bois"), MELLOM a utilisé avec succès les indices visuels pour identifier le bon produit, là où la base de référence unimodale a échoué en raison d'un manque de compréhension visuelle.

Performance de VQAgent et du Classeur Multimodal

VQAgent : Ce modèle a sous-performé par rapport à la base de référence, obtenissant un score de 31,26 et un taux de réussite de 5,7 % (contre 39,92 pour la base et 9,8 %). Les auteurs attribuent cela à un décalage dans la densité d'information : dans WebShop, les descriptions textuelles contiennent souvent plus d'informations critiques que les images, contrairement aux tâches VQA standard où l'information visuelle est dominante.
Classeur Multimodal : L'intégration de l'algorithme de classement a diminué la performance (Score : 28,13 ; Taux de réussite : 8,6 %). Les auteurs suggèrent qu'une exploration exhaustive est inefficace dans l'espace de recherche vaste de WebShop et que les scores de similarité BERT/CLIP ne corrèlent pas de manière fiable avec les critères de récompense spécifiques de l'environnement WebShop.

Signification et Revendications

Le papier affirme être le premier à :

Développer un agent de navigation web multimodal qui incorpore des LLM malgré les défis d'ingénierie liés à la cartographie de la génération ouverte vers des espaces d'action web dynamiques.
Aligner les représentations visuelles et textuelles via une couche de projection dans un LLM, démontant une stratégie d'entraînement efficace (gel du LLM et du ViT).
Permettre un raisonnement et une planification forts dans un cadre multimodal en redéfinissant les prompts ReAct pour inclure des représentations visuelles.

Les auteurs soulignent que bien que MELLON montre une promesse significative avec un entraînement minimal (une époque), les résultats soulignent la nécessité d'une exploration plus approfondie des approches multimodales. Ils reconnaissent les limitations actuelles, notamment la nature gelée du LLM et du ViT, ainsi que les défis d'ingénierie posés par l'environnement WebShop. Le travail suggère qu'avec un entraînement plus étendu, des ressources de mémoire plus importantes et potentiellement un ajustement fin (fine-tuning) du LLM, les agents multimodaux pourraient atteindre une efficacité nettement supérieure dans les tâches de navigation web.