EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

Each language version is independently generated for its own context, not a direct translation.

🎬 Le Problème : Le Caméraman qui a la mémoire courte

Imaginez que vous êtes un détective privé chargé de surveiller une caméra de sécurité qui tourne 24 heures sur 24, 7 jours sur 7. Cette caméra filme en continu, sans jamais s'arrêter.

Le problème, c'est que votre cerveau (ou l'intelligence artificielle que vous utilisez) a une limite : vous ne pouvez pas retenir tout ce qui s'est passé depuis le début du monde. Si vous essayez de tout regarder d'un coup, votre cerveau explose ou vous oubliez ce qui s'est passé il y a 5 minutes.

Les anciennes méthodes d'IA faisaient deux choses :

Oublier : Elles regardaient juste les 10 dernières secondes et jetaient le reste. (Résultat : elles ratent les détails importants).
Trop remplir : Elles essayaient de tout stocker, mais finissaient par être noyées sous l'information et ne comprenaient plus rien.

🚀 La Solution : EventMemAgent, le "Détective Organisé"

Les auteurs proposent EventMemAgent, un nouveau type d'IA qui ne subit pas passivement le flux vidéo, mais qui agit activement comme un détective très organisé.

Voici comment il fonctionne, grâce à trois astuces magiques :

1. La Mémoire en Deux Couches (Le Bloc-notes et l'Armoire)

Au lieu d'essayer de tout garder en tête, l'agent utilise deux types de mémoires, comme un bon étudiant :

La Mémoire à Court Terme (Le Bloc-notes) : C'est ce que l'agent regarde maintenant. Mais au lieu de noter chaque seconde, il note les événements.
- L'analogie : Imaginez que vous regardez un film. Au lieu de noter "une personne marche", "la personne lève le bras", "la personne parle", l'agent note : "Une scène où quelqu'un prépare un gâteau". Il regroupe tout ce qui a du sens ensemble.
- Si la scène dure trop longtemps, il utilise une technique intelligente (l'échantillonnage) pour ne garder que les moments clés, comme un résumé parfait, sans perdre le fil.
La Mémoire à Long Terme (L'Armoire à Archives) : Dès qu'une scène (un événement) est finie, l'agent la range proprement dans une armoire.
- Il ne range pas juste une vidéo brute. Il écrit une étiquette (un résumé en texte), prend une photo clé (l'ancrage visuel) et note ce qui a changé par rapport à la scène précédente.
- L'avantage : Si vous lui demandez "Qu'est-ce qui s'est passé il y a 2 heures ?", il n'a pas besoin de relire tout le film. Il va directement chercher l'étiquette dans son armoire.

2. La Boîte à Outils Intelligente (Le Kit de Détection)

L'agent n'est pas seulement un observateur passif. Il a une boîte à outils magique qu'il peut utiliser quand il en a besoin :

Louppe OCR : Pour lire les petits textes sur un panneau ou un écran.
Détecteur d'objets : Pour repérer un chat caché dans un coin ou compter combien de voitures passent.
Recherche dans les archives : Pour fouiller dans son "Armoire" si la réponse n'est pas sous ses yeux.

Le génie de l'agent, c'est qu'il ne sort pas ses outils au hasard. Il réfléchit : "Attends, je ne vois pas le texte, je dois utiliser ma loupe OCR" ou "Je ne me souviens pas de ce qui s'est passé avant, je dois fouiller mes archives".

3. L'Entraînement par la Récompense (Le Coach de Vie)

Comment l'agent apprend-il à être si bon ? Grâce à une méthode appelée Apprentissage par Renforcement Agentic.

L'analogie : Imaginez un chien qui apprend à rapporter une balle. Au début, il court partout et rate souvent. Mais à chaque fois qu'il rapporte la bonne balle, il reçoit une friandise.
Ici, l'IA essaie des milliers de fois de répondre à des questions sur des vidéos. Quand elle utilise le bon outil au bon moment et donne la bonne réponse, elle reçoit une "friandise" numérique (une récompense).
Avec le temps, elle intègre ces stratégies dans son instinct. Elle ne se contente plus de répondre, elle planifie sa réponse comme un humain le ferait.

🌟 Pourquoi c'est révolutionnaire ?

Avant, les IA regardaient la vidéo comme un spectateur assis sur un canapé, un peu distrait. EventMemAgent, lui, est un acteur.

Il ne subit pas le flux infini de la vidéo.
Il découpe le temps en histoires (événements) au lieu de simples secondes.
Il sait exactement quand utiliser ses outils pour voir les détails qu'un humain pourrait manquer.
Il se souvient de tout ce qui est important, même si la vidéo dure des heures, en utilisant très peu d'espace de stockage.

En résumé : C'est comme passer d'un enregistreur vocal qui sature après 10 minutes à un journaliste d'investigation qui prend des notes structurées, classe ses dossiers, et sait exactement où chercher la preuve pour résoudre un mystère, même dans une vidéo qui ne s'arrête jamais.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La compréhension vidéo en ligne (online video understanding) est une tâche cruciale pour des applications telles que la conduite autonome, la surveillance intelligente et les assistants robotiques. Elle impose aux modèles de réaliser une perception continue et un raisonnement à long terme au sein de flux visuels potentiellement infinis.

Le défi fondamental réside dans le conflit entre :

La nature illimitée des flux vidéo entrants.
La fenêtre de contexte finie des Modèles de Langage Multimodaux (MLLM).

Les méthodes actuelles reposent principalement sur un traitement passif :

Gestion de jetons visuels : Techniques de "pruning" (élagage) ou de fenêtres glissantes qui entraînent une perte inévitable d'informations historiques et une dégradation des détails fins.
Mémoire externe : Stockage de jetons passés pour une récupération manuelle basée sur la similarité. Cela impose une surcharge computationnelle et manque d'interprétabilité sémantique pour des raisonnements complexes.
Limites des agents actuels : Les agents vidéo existants utilisent souvent des modules de mémoire simplistes et dépendent d'un prompt engineering manuel, sans internaliser les stratégies de raisonnement et d'utilisation d'outils via un apprentissage end-to-end.

2. Méthodologie : EventMemAgent

Pour surmonter ces limitations, les auteurs proposent EventMemAgent, un cadre d'agent actif basé sur une mémoire hiérarchique centrée sur les événements. L'architecture repose sur trois composants clés :

A. Module de Mémoire Hiérarchique (Dual-Layer)

Au lieu de traiter les images de manière séquentielle et rigide, le système structure l'information autour d'événements sémantiques.

Mémoire à Court Terme (STM) :
- Fonctionne comme un tampon de taille fixe (ex: 32 images).
- Segmentation d'événements en ligne : Utilise la corrélation de Pearson entre les histogrammes de niveaux de gris pour détecter les frontières d'événements. Si la cohérence visuelle chute en dessous d'un seuil $\delta$ , un nouvel événement est déclenché.
- Échantillonnage par réservoir (Reservoir Sampling) : À l'intérieur d'un événement, pour éviter la redondance informationnelle (ex: une scène statique), le système applique un échantillonnage probabiliste. Cela garantit que le tampon reste représentatif de l'événement entier sans dépasser la limite de contexte, même si l'événement est long.
Mémoire à Long Terme (LTM) :
- Archive les événements évacués de la STM sous forme de tuples structurés :
  - Ancre visuelle : La première image de l'événement.
  - Légende (Caption) : Description textuelle générée par le MLLM.
  - Journal de changements (Change Log) : Enregistre les transitions d'état et les shifts logiques entre événements consécutifs pour maintenir la continuité narrative.
  - Embedding sémantique : Permet une recherche rapide.

B. Kit de Perception Multi-Granulaire

L'agent ne se contente pas de regarder passivement ; il utilise activement des outils pour extraire des preuves :

Recherche de mémoire : Récupération temporelle (par timestamp) ou sémantique (par similarité d'embedding) dans la LTM.
Outils spécialisés : OCR (pour le texte) et Détection d'objets (pour localiser des entités spécifiques).
L'agent décide dynamiquement d'appliquer ces outils soit sur les ancres visuelles de la LTM, soit sur des images spécifiques de la STM.

C. Apprentissage par Renforcement d'Agent (Agentic RL)

Pour internaliser les stratégies de raisonnement et d'utilisation d'outils, les auteurs utilisent l'algorithme GRPO (Group Relative Policy Optimization).

Paradigme ReAct : L'agent génère une séquence de (Pensée, Action, Observation).
Récompense : Basée uniquement sur la justesse de la réponse finale.
Objectif : Apprendre à l'agent à décomposer les tâches, à savoir quand et comment utiliser les outils de recherche ou de perception pour résoudre le problème, sans intervention humaine manuelle.

3. Contributions Clés

Changement de paradigme : Passage d'un traitement passif à un cadre d'agent actif capable de décomposer des tâches complexes et de récupérer itérativement les informations pertinentes.
Architecture de mémoire innovante : Conception d'une mémoire hiérarchique combinant une segmentation d'événements en ligne et un échantillonnage par réservoir. Cela permet de gérer des flux infinis tout en préservant la continuité sémantique et la compacité de l'information, évitant la fragmentation typique des fenêtres fixes.
Internalisation par RL : Utilisation de l'apprentissage par renforcement pour intégrer nativement les stratégies d'appel d'outils et de raisonnement dans les capacités intrinsèques de l'agent, éliminant la dépendance au prompt engineering manuel.

4. Résultats Expérimentaux

Le modèle a été évalué sur deux benchmarks majeurs : OVO-Bench et StreamingBench.

Performance Globale : EventMemAgent (basé sur Qwen3-VL-8B avec ≤32 images d'entrée) dépasse tous les modèles open-source existants et même le modèle propriétaire GPT-4o sur OVO-Bench (60,75% contre 59,54%).
Détails par tâche :
- Sur OVO-Bench, il surpasse les méthodes open-source de +4,27% en perception visuelle en temps réel et de +1,08% en traçage rétrospectif (Backward Tracing).
- Sur StreamingBench, il obtient 77,00% de précision moyenne, démontrant une efficacité supérieure dans la compréhension de flux en temps réel.
Études d'ablation :
- Le remplacement de la mémoire hiérarchique par une mémoire à longueur fixe entraîne une baisse de performance, confirmant l'importance de la segmentation par événements.
- La suppression des outils (OCR, Détection) réduit significativement les performances, prouvant la nécessité d'une perception multi-granulaire active.
- L'agent non entraîné par RL échoue à utiliser les outils de manière flexible, tandis que l'agent entraîné adapte dynamiquement sa stratégie (ex: recherche en mémoire pour les questions historiques, OCR pour les questions textuelles).

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de la compréhension vidéo en ligne :

Efficacité des ressources : Il démontre qu'il est possible de comprendre des flux vidéo infinis avec des contraintes matérielles strictes (fenêtre de contexte fixe) en utilisant une gestion intelligente de la mémoire plutôt qu'une accumulation brute de données.
Autonomie des agents : Il valide l'approche consistant à entraîner les agents à utiliser des outils de manière autonome via le RL, rendant les systèmes plus robustes et moins dépendants de l'intervention humaine pour la configuration.
Précision et Cohérence : En structurant la mémoire autour d'événements sémantiques plutôt que de tranches temporelles arbitraires, le modèle maintient une cohérence narrative à long terme tout en conservant la capacité de détecter des détails fins.

En résumé, EventMemAgent propose une solution élégante au dilemme "contexte infini vs fenêtre finie" en transformant l'agent vidéo en un observateur actif, organisé et capable de raisonnement stratégique.