From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents

Ce papier présente MM-Mem, une architecture de mémoire multimodale pyramidale inspirée de la théorie de la trace floue et optimisée par un goulot d'étranglement d'information sémantique, qui permet aux agents vidéo à long terme de distiller efficacement les traces perceptives détaillées en schémas sémantiques abstraits pour surmonter les limites des modèles actuels.

L'essentiel

Imaginez que vous essayez de regarder un film de 3 heures, puis qu'on vous pose des questions précises sur ce qui s'est passé il y a une heure. Si vous essayez de tout mémoriser mot pour mot et image par image, votre cerveau va exploser. C'est exactement le problème que les intelligences artificielles (IA) actuelles rencontrent avec les vidéos longues.

Les chercheurs de cette équipe (MM-Mem) ont créé une nouvelle façon de donner une "mémoire" à ces IA, inspirée directement de la façon dont le cerveau humain fonctionne.

Voici comment cela marche, en trois étapes clés :

1. Le Problème : Deux mauvaises options

Actuellement, les IA ont deux façons de gérer les vidéos, et les deux sont imparfaites :

• L'option "Caméra de surveillance" (Centrée sur l'image) : L'IA enregistre chaque seconde, chaque pixel. C'est très précis, mais c'est lourd, lent et ça consomme une énergie folle. C'est comme essayer de lire un livre en mémorisant chaque grain de papier.
• L'option "Résumé rapide" (Centrée sur le texte) : L'IA regarde la vidéo et écrit un résumé. C'est rapide, mais elle oublie les détails importants. C'est comme lire un résumé de 10 pages d'un film : vous savez l'histoire, mais vous ne vous souvenez pas de la couleur du manteau du méchant ou de l'expression de son visage.

2. La Solution : La Pyramide de la Mémoire (MM-Mem)

Les chercheurs ont créé une architecture en forme de pyramide qui imite la théorie de la "Trace Floue" (Fuzzy-Trace Theory) du cerveau humain. Au lieu de tout garder d'un coup, l'IA organise sa mémoire en trois étages, du plus précis au plus abstrait :

• Étage 1 : Le "Tampon Sensoriel" (Le Verbatim)
  • L'analogie : C'est comme une boîte à souvenirs pleine d'objets réels.
  • Ce que c'est : L'IA garde ici les images brutes et les détails précis (les "verbatim") juste au cas où elle en aurait besoin. Elle ne les regarde pas tout le temps, mais ils sont là.
• Étage 2 : Le "Flux Épisodique" (L'Histoire)
  • L'analogie : C'est comme un journal de bord ou un album photo avec des légendes.
  • Ce que c'est : L'IA regroupe les moments importants en "scènes". Elle ne garde pas chaque seconde, mais elle sait : "Il y a eu une dispute, puis un repas, puis une course". C'est le résumé des événements.
• Étage 3 : Le "Schéma Symbolique" (Le Gist)
  • L'analogie : C'est comme la morale de l'histoire ou le titre du film.
  • Ce que c'est : C'est la compréhension globale. L'IA sait que "c'est un film sur une romance tragique" ou "c'est une vidéo de cuisine". C'est le sens abstrait, sans les détails visuels.

3. La Magie : Comment l'IA utilise cette mémoire ?

C'est ici que le système devient intelligent. Au lieu de fouiller dans toute la boîte à souvenirs pour chaque question, l'IA utilise une stratégie intelligente basée sur le doute.

• Le principe : L'IA commence toujours par le haut de la pyramide (le Schéma Symbolique, le résumé).
• La question : "Est-ce que je suis sûr de la réponse ?"
  • Si oui (Peu de doute) : Elle répond tout de suite avec le résumé. C'est rapide et efficace.
  • Si non (Beaucoup de doute) : Elle descend d'un étage. Elle va chercher dans le "Flux Épisodique" pour voir les scènes clés.
  • Si elle est encore perdue : Elle descend tout en bas, dans le "Tampon Sensoriel", pour aller chercher l'image précise (le "verbatim") qui prouve sa réponse.

C'est comme si vous cherchiez un objet dans votre maison :

1. Vous d'abord vous demandez : "Je l'ai mis dans le salon ou la cuisine ?" (Schéma).
2. Si vous ne savez pas, vous allez voir la table basse (Épisodique).
3. Si vous ne le trouvez pas, vous ouvrez le tiroir spécifique (Sensoriel/Verbatim).

Pourquoi c'est génial ?

Cette méthode permet à l'IA de :

1. Être rapide : Elle ne perd pas de temps à regarder des images inutiles si le résumé suffit.
2. Être précise : Si la question est difficile, elle sait exactement où aller chercher le détail visuel pour ne pas inventer de fausses réponses (ce qu'on appelle les "hallucinations").
3. Comprendre long terme : Elle peut gérer des vidéos très longues sans se noyer dans l'information, car elle sait quoi oublier et quoi garder.

En résumé :
Les chercheurs ont appris à l'IA à ne pas être une caméra qui enregistre tout, ni un résumé qui oublie tout. Ils lui ont donné une mémoire humaine : capable de retenir l'essentiel pour aller vite, mais avec un accès rapide aux détails précis quand c'est nécessaire. C'est un pas de géant pour créer des agents intelligents capables de comprendre des films entiers ou des journées de vie en direct.

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels excellent dans le raisonnement à court terme mais échouent souvent à comprendre des vidéos de longue durée. Les limitations principales sont :

• Fenêtres de contexte limitées : Incapacité à ingérer de longs flux vidéo continus.
• Mécanismes de mémoire statiques : Ils ne reflètent pas l'efficacité cognitive humaine.
• Deux extrêmes existants :
  • Approches centrées sur la vision : Accumulent des données visuelles denses, entraînant une redondance massive, une latence élevée et une surcharge cognitive.
  • Approches centrées sur le texte : Convertissent la vidéo en légendes ou graphes de connaissances. Bien que efficaces, elles entraînent une perte d'informations visuelles fines, provoquant des hallucinations et des ambiguïtés.

L'objectif est de combler ce fossé en créant un système qui imite la mémoire humaine pour gérer efficacement les flux multimodaux illimités.

2. Méthodologie : MM-Mem

Les auteurs proposent MM-Mem, une architecture de mémoire multimodale pyramidale inspirée de la Théorie de la Trace Floue (Fuzzy-Trace Theory - FTT). Cette théorie postule que la mémoire humaine stocke deux traces parallèles : une trace verbatim (détails perceptifs fins) et une trace gist (signification sémantique abstraite).

A. Structure Pyramidale de la Mémoire

La mémoire est organisée hiérarchiquement en trois couches, allant de la perception à la cognition :

1. Tampon Sensoriel (Sensory Buffer) : Stocke les preuves visuelles fines (verbatim). Il contient des sous-clips clés extraits de manière adaptative, accompagnés de traces textuelles associées (sous-titres, légendes).
2. Flux Épisodique (Episodic Stream) : Une consolidation des entrées sensorielles en événements résumés. Les nœuds sensoriels sont fusionnés, ajoutés ou rejetés pour créer des résumés d'événements de niveau intermédiaire.
3. Schéma Symbolique (Symbolic Schema) : Une abstraction de haut niveau sous forme de graphe de connaissances. Il relie les entités et les relations entre les événements pour permettre un raisonnement temporel et sémantique global (gist).

B. Construction Ascendante (Bottom-Up) et SIB-GRPO

Pour transformer les données sensorielles brutes en mémoires épisodiques et symboliques sans explosion de la taille de la mémoire, les auteurs introduisent SIB-GRPO (Semantic Information Bottleneck - Group Relative Policy Optimization).

• Principe : Basé sur la théorie du Goulot d'Étranglement de l'Information (Information Bottleneck), l'objectif est de maximiser l'information sémantique pertinente pour la tâche tout en minimisant la redondance (compression).
• Optimisation : Un agent de mémoire (policy) est entraîné par apprentissage par renforcement (RL) pour décider dynamiquement d'ajouter, fusionner ou rejeter des informations.
• Récompense : La fonction de récompense équilibre la précision de la réponse (VQA), la longueur de la trace textuelle (pénalité de redondance) et la régularisation par rapport à une politique de référence.

C. Récupération Descendante (Top-Down) Pilotée par l'Entropie

Pour répondre à une requête, le système utilise une stratégie de récupération adaptative :

1. Début au sommet : L'agent commence par interroger le Schéma Symbolique (abstraction) pour obtenir le contexte global.
2. Critère d'arrêt : L'incertitude de la réponse est mesurée par l'entropie de la distribution des candidats.
3. Forage (Drill-down) : Si l'entropie est élevée (incertitude forte), le système descend progressivement vers le Flux Épisodique, puis vers le Tampon Sensoriel pour récupérer des détails visuels précis (verbatim) afin de vérifier les faits.
   Cette approche, inspirée de la Théorie de la Hiérarchie Inverse, optimise le compromis entre coût computationnel et précision.

3. Contributions Clés

1. Architecture MM-Mem : Une mémoire pyramidale qui découple structurellement les détails visuels verbatim des schémas sémantiques gist, comblant le fossé entre perception fine et cognition de haut niveau.
2. SIB-GRPO : Une méthode d'apprentissage par renforcement fondée sur le goulot d'étranglement de l'information pour optimiser la construction dynamique de la mémoire, éliminant la redondance tout en préservant les sémantiques essentielles.
3. Stratégie de Récupération Adaptative : Un mécanisme de recherche piloté par l'entropie qui ne consulte les détails visuels coûteux que lorsque le niveau d'abstraction est insuffisant pour trancher.
4. Validation Expérimentale : Des résultats state-of-the-art sur 4 benchmarks, démontrant une généralisation robuste tant en mode "hors ligne" (vidéos complètes) qu'en "streaming" (flux continu).

4. Résultats Expérimentaux

L'évaluation a été menée sur quatre benchmarks : Video-MME, MLVU, VStream-QA (streaming) et HD-EPIC++ (vidéos égocentriques de cuisine).

• Performance Globale : MM-Mem dépasse systématiquement les systèmes basés sur des agents existants (comme Vgent, VideoRAG) et rivalise avec des modèles propriétaires fermés (Gemini 1.5 Pro, GPT-4o).
  • Sur Video-MME, il obtient un score global de 78,1 (vs 74,3 pour le meilleur agent précédent).
  • Sur MLVU, il atteint 77,2 (vs 72,4 pour Vgent).
• Streaming et Vidéos Egocentriques :
  • Sur VStream-QA-Ego, MM-Mem améliore la précision de 5,9 % par rapport à l'état de l'art précédent (Flash-VStream).
  • Sur HD-EPIC++, il atteint 30,28 %, surpassant le modèle de base Qwen3-VL-8B de +4,4 points.
• Études d'Ablation :
  • La suppression de SIB-GRPO entraîne une baisse significative, surtout sur les vidéos longues, confirmant son rôle crucial dans la gestion de la redondance.
  • La suppression de la mémoire pyramidale (passage à une mémoire plate) dégrade également les performances, soulignant l'importance de la hiérarchie.
  • L'analyse t-SNE montre que la mémoire sensorielle préserve les détails spécifiques au domaine (cinéma vs egocentrique) tandis que le flux épisodique forme des clusters sémantiques cohérents.

5. Signification et Impact

Ce travail propose une avancée fondamentale pour les agents autonomes à long horizon. En s'éloignant des approches purement textuelles ou purement visuelles, MM-Mem introduit une infrastructure cognitive inspirée de la biologie humaine.

• Efficacité : Il résout le dilemme entre la fidélité visuelle et l'efficacité computationnelle grâce à la distillation progressive.
• Robustesse : La capacité à "forer" vers les détails uniquement en cas de besoin permet de maintenir une haute précision sans surcharger le modèle.
• Futur : Cette architecture ouvre la voie vers des agents capables d'apprentissage continu ("lifelong learning") et de gestion de mémoires complexes dans des environnements réels non structurés.

En résumé, MM-Mem démontre que l'organisation cognitive de la mémoire, couplée à une optimisation informationnelle rigoureuse, est la clé pour passer d'une observation passive à une compréhension active et durable de flux vidéo complexes.