🤖 AI

Agentic Learner with Grow-and-Refine Multimodal Semantic Memory

Cet article présente ViLoMem, un cadre de mémoire à double flux qui utilise un principe de croissance et d'affinement pour encoder séparément les schémas de distraction visuelle et les erreurs de raisonnement logique, permettant ainsi aux grands modèles de langage multimodaux de surmonter les limites de la mémoire basée sur les trajectoires et d'atteindre une précision améliorée avec moins d'erreurs répétées sur divers benchmarks.

Auteurs originaux : Weihao Bo, Shan Zhang, Yanpeng Sun, Jingjing Wu, Qunyi Xie, Xiao Tan, Kunbin Chen, Wei He, Xiaofan Li, Na Zhao, Jingdong Wang, Zechao Li

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weihao Bo, Shan Zhang, Yanpeng Sun, Jingjing Wu, Qunyi Xie, Xiao Tan, Kunbin Chen, Wei He, Xiaofan Li, Na Zhao, Jingdong Wang, Zechao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot très intelligent, mais légèrement maladroit, à résoudre des énigmes qui impliquent à la fois des images et des problèmes mathématiques.

Actuellement, la plupart de ces robots (appelés Modèles de Langage Multimodaux de Grande Taille) ressemblent à des élèves qui passent un examen, se trompent sur une question, puis oublient immédiatement l'erreur. Lorsqu'ils rencontrent une question similaire lors du prochain examen, ils commettent exactement la même erreur. Ils résolvent chaque problème à partir de zéro, comme s'ils n'avaient jamais vu une énigme auparavant.

Certains chercheurs ont tenté de corriger cela en donnant au robot un « carnet de notes » pour y écrire les erreurs passées. Mais ces carnets étaient défectueux. Ils ne consignaient que la logique de l'erreur (par exemple, « J'ai utilisé la mauvaise formule ») et ignoraient la partie visuelle (par exemple, « J'ai lu le mauvais chiffre sur l'image »). C'est comme si un professeur disait à un élève : « Tu as mal fait les maths », sans jamais souligner que l'élève regardait la mauvaise ligne sur le graphique.

Voici ViLoMem : le système de mémoire « double cerveau » du robot

L'article présente ViLoMem, un nouveau système qui offre au robot une mémoire plus intelligente, en deux parties, inspirée du fonctionnement du cerveau humain. Au lieu d'un seul carnet de notes désordonné, ViLoMem utilise deux « flux » de mémoire distincts et spécialisés qui travaillent ensemble tout en restant séparés.

1. Les deux flux de mémoire

Imaginez le cerveau du robot comme possédant deux bibliothécaires différents :

Le Bibliothécaire Visuel (Mémoire Visuelle) : Ce bibliothécaire ne s'intéresse qu'à ce que le robot voit. Si le robot confond une sphère métallique brillante avec une balle en caoutchouc, ou lit mal un petit chiffre sur un graphique, ce bibliothécaire note une règle du type : « Quand tu vois un objet brillant, vérifie s'il réfléchit la lumière comme du métal, et non comme du caoutchouc. » Il dessine également une petite « carte thermique » (comme un projecteur) sur les images futures pour montrer au robot exactement où regarder afin qu'il ne manque pas les détails importants.
Le Bibliothécaire Logique (Mémoire Logique) : Ce bibliothécaire ne s'intéresse qu'à la pensée. Si le robot utilise la mauvaise formule mathématique ou additionne mal les nombres, ce bibliothécaire note une règle du type : « Souviens-toi, l'aire d'un triangle est ½ × base × hauteur, et non pas simplement additionner les côtés. »

2. Comment il apprend : le cycle « Croître et Affiner »

Le système fonctionne comme une boucle continue d'exercice et de correction :

La Tentative : Le robot tente de résoudre un problème en utilisant sa mémoire actuelle.
La Vérification : Un « Vérificateur » (comme un professeur strict) vérifie la réponse.
Le Diagnostic : Si le robot se trompe, le système demande : « S'agissait-il d'une erreur de vision ou d'une erreur de réflexion ? »
- S'il s'agissait d'une erreur de vision, le Bibliothécaire Visuel met à jour ses règles et dessine un nouveau projecteur pour la prochaine fois.
- S'il s'agissait d'une erreur de réflexion, le Bibliothécaire Logique met à jour ses règles.
Le Nettoyage : Le système est assez intelligent pour éviter l'encombrement. Si le robot fait la même erreur deux fois, il n'écrit pas deux nouvelles notes ; il affine la note existante pour la rendre plus claire. Cela empêche la mémoire de devenir trop grande et confuse (un problème appelé « oubli catastrophique »).

3. Pourquoi cela compte (Les résultats)

Les chercheurs ont testé ce système sur six types différents d'énigmes difficiles impliquant des mathématiques, des sciences et des images du monde réel.

Le Résultat : Les robots utilisant ViLoMem sont nettement meilleurs pour résoudre ces problèmes. Ils ont cessé de répéter les mêmes erreurs visuelles (comme lire mal un diagramme) et les mêmes erreurs logiques (comme utiliser la mauvaise formule).
L'Analogie : Imaginez un robot essayant de calculer l'aire d'un triangle.
- Sans ViLoMem : Il pourrait regarder le mauvais côté du triangle (erreur visuelle) puis utiliser la mauvaise formule (erreur logique). Il échoue, oublie, et échoue à nouveau.
- Avec ViLoMem : Après un échec, le Bibliothécaire Visuel dit : « La prochaine fois, regarde le côté étiqueté '12', pas '5'. » Le Bibliothécaire Logique dit : « La prochaine fois, souviens-toi de multiplier par ½. » Au prochain essai, le robot regarde au bon endroit et utilise les bons calculs, obtenant la réponse correcte.

4. Le bonus de la « formation croisée »

L'une des découvertes les plus intéressantes est que ce système de mémoire est portable. Les chercheurs ont montré qu'un robot plus petit et moins puissant pouvait apprendre à partir des « carnets de notes » d'un robot beaucoup plus grand et plus intelligent. C'est comme si un élève de niveau junior lisait les notes de révision d'un élève de premier rang et devenait instantanément plus intelligent, sans avoir à passer par tout le travail difficile consistant à commettre les erreurs lui-même.

En résumé :
ViLoMem est un système qui enseigne à l'IA à apprendre de ses erreurs en séparant « ce que j'ai vu » de « ce que j'ai pensé ». En gardant ces deux types d'apprentissage dans des fichiers séparés et organisés, l'IA cesse de faire les mêmes erreurs stupides encore et encore, devenant un résolveur de problèmes plus fiable et plus précis.

Résumé Technique : ViLoMem

Énoncé du Problème

Les modèles de langage multimodaux de grande taille (MLLM) présentent actuellement une limitation critique : ils résolvent les problèmes de novo, traitant chaque requête de manière indépendante sans conserver ni apprendre des expériences passées. Cela entraîne la répétition de erreurs identiques et un échec à accumuler des connaissances de domaine au fil du temps. Bien que des agents récents augmentés par la mémoire tentent de stocker des trajectoires passées, les approches existantes souffrent de trois déficiences principales :

Biais de brièveté : La réécriture itérative de la mémoire élimine les détails essentiels, provoquant une perte de connaissances spécifiques au domaine.
Focus unimodal : Les systèmes actuels enregistrent principalement des résumés logiques de haut niveau, rejetant l'ancrage visuel et les indices perceptuels essentiels au raisonnement multimodal.
Inadéquation avec la cognition humaine : La mémoire sémantique humaine est multimodale et intégrée, préservant les connaissances visuelles et abstraites via des flux distincts mais coordonnés. Les systèmes d'IA existants échouent à reproduire cette séparation, confondant souvent les erreurs d'attention visuelle avec les erreurs de raisonnement logique.

La recherche indique que les erreurs de perception visuelle (par exemple, la mauvaise interprétation de diagrammes) dépassent fréquemment les erreurs de raisonnement logique et agissent comme un goulot d'étranglement principal, provoquant des hallucinations logiques en aval. Par conséquent, un cadre de mémoire traitant les erreurs visuelles et logiques comme des entités distinctes et structurées est nécessaire pour un apprentissage progressif.

Méthodologie : ViLoMem

Les auteurs proposent ViLoMem, un cadre de mémoire à double flux conçu pour des apprenants autonomes. Il fonctionne selon un principe de « croissance et raffinement », construisant une mémoire compacte basée sur des schémas qui encode séparément les motifs de distraction visuelle et les erreurs de raisonnement logique.

Architecture Principale

Le système maintient deux banques de mémoire distinctes :

Mémoire Logique ( $M_L$ ) : Stocke les directives de raisonnement textuel, les applications de théorèmes et les sophismes logiques.
Mémoire Visuelle ( $M_V$ ) : Stocke des directives visuelles couplées à des images sources, se concentrant sur les pièges perceptuels, les attributs d'objets et les relations spatiales.

Le Cycle de Mémoire

Le cadre fonctionne via un cycle en boucle fermée impliquant quatre étapes :

Récupération : Étant donné une nouvelle entrée multimodale (image $I_i$ $I_{i}$ , question $q_i$ $q_{i}$ ), le système effectue une récupération parallèle depuis les deux banques de mémoire.
- Récupération Visuelle : Utilise un pipeline en deux étapes. D'abord, elle effectue une recherche de similarité par embedding d'image pour trouver des diagrammes visuellement similaires. Ensuite, elle applique un filtrage par embedding de texte en utilisant une requête enrichie (question originale + analyse du problème) pour garantir la pertinence sémantique. Crucialement, elle génère des cartes d'attention conscientes de la question pour mettre en évidence les régions historiquement sujettes aux erreurs dans l'image de la requête.
- Récupération Logique : Utilise l'analyse du problème pour extraire les domaines de sujet et les concepts clés, construisant une requête enrichie pour la correspondance de similarité par embedding de texte par rapport aux schémas logiques.
Utilisation : Le résolveur (MLLM) intègre les entrées originales avec les directives logiques et visuelles récupérées pour générer une réponse candidate.
Vérification : Un vérificateur compare la réponse candidate à la vérité terrain.
Génération (Mise à jour) : Lors de la détection d'une erreur, un processus de génération parallèle attribue l'échec soit au flux visuel, soit au flux logique (ou aux deux).
- Génération Visuelle : Un MLLM analyse l'image et la trace de raisonnement pour identifier les malentendus visuels (par exemple, confusion d'objets, symboles négligés) et génère une directive visuelle structurée.
- Génération Logique : Un LLM analyse la chaîne de raisonnement pour les erreurs non visuelles (par exemple, mauvaise application de formules, erreurs de calcul) et génère une directive logique.
- Fusion/Raffinement : Avant le stockage, le système effectue une vérification de similarité par rapport aux mémoires existantes. Si une nouvelle directive est suffisamment similaire à une existante, elles sont fusionnées pour éviter la redondance et l'érosion des détails. Sinon, une nouvelle entrée est créée.

Innovations Techniques Clés

Découplage à double flux : En séparant les motifs d'erreurs visuels et logiques, le système évite l'« érosion des détails » courante dans les mémoires à flux unique et permet une correction ciblée de modes d'échec spécifiques.
Attention visuelle consciente de la question : Contrairement à la récupération d'image standard, ViLoMem génère des cartes d'attention conditionnées à la question spécifique et aux motifs d'erreurs connus, guidant le modèle vers les régions pertinentes pour la tâche.
Mécanisme de croissance et de raffinement : Le système accumule progressivement des connaissances tout en filtrant les motifs d'erreurs similaires, assurant une évolutivité à long terme sans oubli catastrophique.

Contributions Clés

Cadre de mémoire à double flux : L'introduction de ViLoMem, qui modélise explicitement les motifs de distraction visuelle et les erreurs d'hallucination logique comme des schémas séparés et structurés, inspiré par l'architecture de la mémoire sémantique humaine.
Stratégies de récupération spécialisées : Le développement d'un pipeline de récupération visuelle en deux étapes (similarité d'image + filtrage textuel spécifique à la question) et d'un mécanisme de récupération logique basé sur l'analyse du problème, permettant une correspondance précise de la mémoire.
Apprentissage progressif sans oubli : Un mécanisme permettant aux MLLM d'apprendre à la fois des expériences réussies et échouées au fil du temps, réduisant les erreurs répétées grâce à une auto-correction itérative.
Transfert de connaissances inter-modèles : Démonstration que la mémoire distillée à partir de modèles plus puissants peut améliorer efficacement les performances de modèles plus petits et contraints en ressources, sans fine-tuning explicite.

Résultats Expérimentaux

ViLoMem a été évalué sur six benchmarks multimodaux : MMMU, MathVista, MathVision, HallusionBench, MMStar et RealWorldQA.

Gains de performance : Le cadre a systématiquement amélioré la précision pass@1 sur tous les modèles testés (GPT-4.1, Qwen3-VL-235B et Qwen3-VL-8B). Des améliorations notables ont été observées dans les tâches de raisonnement mathématique, où le couplage visuel-logique est critique (par exemple, GPT-4.1 a enregistré un gain de +6,48 points sur MathVision).
Études d'ablation : La suppression de l'un ou l'autre des flux visuel ou logique a entraîné une dégradation constante des performances, confirmant que les deux flux sont nécessaires et complémentaires. Le flux visuel s'est avéré être le facteur dominant dans la génération d'erreurs (59 % à 93 % des cas stockés), soulignant la perception visuelle comme le goulot d'étranglement principal.
Évolutivité : Les expériences sur le benchmark WeMath ont montré que la précision s'améliorait à mesure que le pool de mémoire passait de 15k à 150k tokens, démontrant une mise à l'échelle efficace à long terme sans oubli catastrophique. Le transfert de mémoire inter-domaine a montré que les mémoires alignées sur la tâche sont essentielles pour une performance optimale, tandis que le transfert inter-domaine n'apportait que des bénéfices partiels.
Efficacité : ViLoMem a atteint une précision plus élevée avec une latence de récupération et des coûts de stockage significativement inférieurs par rapport aux méthodes de mémoire existantes comme Dynamic-Cheatsheet, grâce à sa stratégie de mise à jour sélective (stockage uniquement des réponses incorrectes) et à sa récupération efficace en deux étapes.

Signification et Revendications

L'article affirme que ViLoMem représente un changement fondamental par rapport à la résolution de problèmes isolée vers un apprentissage progressif et à vie pour les agents multimodaux. En alignant les mécanismes de mémoire de l'IA sur les principes cognitifs humains — spécifiquement la séparation des flux de traitement visuel et logique — le système permet aux modèles de :

Réduire systématiquement les erreurs visuelles et logiques répétées.
Transférer des connaissances à travers les domaines et les échelles de modèles.
Maintenir des stratégies stables et généralisables tout en évitant le « biais de brièveté » de l'ingénierie de contexte itérative.

Les auteurs positionnent ViLoMem non pas simplement comme un outil d'augmentation de récupération, mais comme un mécanisme fondamental pour construire des apprenants autonomes capables d'une auto-amélioration continue dans des tâches complexes de raisonnement scientifique multimodal. Ce travail suggère que les avancées futures des MLLM dépendront de la capacité à découpler et coordonner des modalités de mémoire distinctes, plutôt que de les traiter comme un contexte monolithique.