💬 NLP

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

Le papier présente VideoARM, un nouveau paradigme de raisonnement agentique basé sur une mémoire hiérarchique qui améliore la compréhension des vidéos longues grâce à un processus adaptatif d'observation, de réflexion et d'action, surpassant les méthodes actuelles tout en réduisant considérablement la consommation de tokens.

Auteurs originaux : Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Regarder un film entier pour trouver une aiguille dans une botte de foin

Imaginez que vous devez répondre à une question précise sur un film de 2 heures (par exemple : "À quel moment exact le héros perd-il sa montre ?").

Les anciennes méthodes d'intelligence artificielle (IA) faisaient deux choses inefficaces :

L'approche "Tout voir" : Elles prenaient le film entier, le découpaient en milliers de petits morceaux, et décrivait chaque seconde avec des mots. C'est comme si un bibliothécaire lisait à voix haute tous les livres d'une bibliothèque juste pour trouver un mot précis. C'est lent, coûteux et épuise la mémoire de l'ordinateur.
L'approche "Carte fixe" : Elles créaient un index statique du film avant même de vous poser la question. Mais si la question est bizarre, l'index ne sert à rien.

🚀 La Solution : VideoARM, le Détective Intelligents

VideoARM change la donne. Au lieu de tout lire d'un coup, il agit comme un détective privé très efficace qui utilise une méthode appelée "raisonnement agentique".

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Cycle "Observer - Penser - Agir - Se souvenir"

Imaginez un détective dans une grande maison sombre (le film). Il ne fouille pas chaque tiroir au hasard. Il suit un cycle :

Observer : Il regarde autour de lui.
Penser : Il se demande : "Où est-ce que je devrais chercher ?"
Agir : Il ouvre une porte spécifique ou allume une lampe.
Se souvenir : Il note ce qu'il a trouvé dans son carnet pour ne pas oublier.

VideoARM fait exactement cela, mais en boucle. Il ne regarde pas tout le film d'un coup. Il pose des questions à l'IA, réfléchit, et décide de ne regarder qu'une petite scène précise.

2. La "Mémoire Hiérarchique" (Le Carnet de Notes Magique)

C'est le cœur du système. Au lieu d'avoir une seule grosse pile de notes, VideoARM a trois types de carnets :

La Mémoire Sensorielle (Les yeux) : C'est ce que le détective voit maintenant. Il garde une image récente de la scène en cours.
La Mémoire de Travail (Le cerveau) : C'est là où il garde ses hypothèses en cours. "Je pense que la montre a été perdue vers 40 minutes."
La Mémoire des Résultats (Le carnet d'enquête) : C'est l'historique de tout ce qu'il a déjà trouvé et vérifié.

Cette structure permet au détective de ne pas se perdre. Il sait où il en est, ce qu'il a déjà cherché, et ce qu'il doit faire ensuite.

3. Les Outils du Détective (La Boîte à Outils)

VideoARM ne fait pas tout lui-même ; il utilise des outils spécialisés pour aller du gros plan au détail fin :

Le Localisateur d'Intervalle (Le chercheur de zones) : "Je vais regarder les 10 premières minutes pour voir si le contexte correspond." Il réduit la zone de recherche.
L'Explorateur de Clips (Le zoom) : "Ok, je vois quelque chose d'intéressant entre 10:00 et 10:30. Je vais regarder ces images de plus près."
Le Transcriber Audio (L'oreille) : Parfois, l'image ne suffit pas. Il écoute la bande-son pour entendre des indices cachés.
L'Analyste de Scène (Le résumé) : Il résume une longue séquence en une phrase simple pour garder le contexte global.

🌟 Pourquoi c'est génial ? (L'Analogie du Chasseur de Trésor)

Imaginez que vous cherchez un trésor dans une île immense.

Les anciennes méthodes (comme DVD ou VideoTree) envoient une armée de 1000 soldats pour cartographier chaque mètre carré de l'île, même les zones où il n'y a rien. C'est lent et ça coûte une fortune en carburant (tokens).
VideoARM, lui, envoie un seul chasseur très intelligent.
1. Il regarde la carte (le début du film).
2. Il pense : "Le trésor est probablement dans la jungle, pas sur la plage."
3. Il court directement dans la jungle (il saute les scènes inutiles).
4. Il note ses découvertes dans son carnet (Mémoire Hiérarchique).
5. Il zoom sur un buisson suspect et fouille dedans (Outils de détail).

Le résultat ? VideoARM trouve la réponse plus vite, avec beaucoup plus de précision, et en utilisant 50 fois moins de ressources (d'argent et de temps de calcul) que les méthodes précédentes.

En résumé

VideoARM est un système qui apprend à ne pas tout regarder. Il utilise un cycle intelligent de réflexion et de mémoire pour se concentrer uniquement sur les moments importants d'une vidéo longue. C'est comme passer d'un aspirateur qui aspire tout le tapis (poussière incluse) à un aspirateur intelligent qui ne suce que les miettes de chocolat.

C'est plus rapide, moins cher, et surtout, beaucoup plus malin ! 🧠🎥✨

1. Problématique

La compréhension de vidéos de longue durée (long-form video understanding) reste un défi majeur pour l'intelligence artificielle multimodale. Ces vidéos, allant des films aux conférences, présentent une structure temporelle étendue et des indices multimodaux denses. Les approches existantes souffrent de deux limitations principales :

Prétraitement statique et coûteux : Des méthodes comme DVD (Deep Video Discovery) segmentent la vidéo en clips fixes (ex: 10 secondes) et génèrent une base de données exhaustive avant même de recevoir la requête. Cela consomme une quantité massive de "tokens" (coûts de calcul élevés) et introduit beaucoup de redondance par rapport à la question de l'utilisateur.
Pipelines de raisonnement rigides : D'autres méthodes, comme VideoTree, reposent sur des pipelines de raisonnement "manuellement conçus" (hand-crafted) qui limitent l'autonomie du modèle et ne tirent pas pleinement parti des capacités de raisonnement des grands modèles de langage multimodaux (MLLM).

L'objectif est donc de créer un système capable de raisonner de manière adaptative, économique en tokens et autonome sur des vidéos longues, sans prétraitement exhaustif.

2. Méthodologie : VideoARM

VideoARM introduit un paradigme de raisonnement agentique sur une mémoire hiérarchique (Agentic Reasoning-over-hierarchical-Memory). Au lieu d'un prétraitement statique, le système exécute une boucle continue et adaptative d'observation, de réflexion, d'action et de mémorisation.

A. Architecture Globale

Le système est composé de deux éléments centraux :

Un Agent de Raisonnement (Contrôleur) : Il orchestre le processus en décomposant la requête utilisateur, en planifiant les étapes et en appelant dynamiquement des outils.
Une Mémoire Multimodale Hiérarchique (HM3) : Une mémoire dynamique qui s'enrichit au fur et à mesure de l'exécution, servant de base de connaissances contextuelle.

B. La Mémoire Multimodale Hiérarchique (HM3)

La mémoire est structurée en trois niveaux pour gérer l'information du perceptuel au cognitif :

Mémoire Sensorielle (Sensory Memory) :
- Pool de perception à long terme ( $P_l$ ) : Stocke un aperçu global des segments temporels actuellement traités (frames échantillonnées).
- Pool de perception à court terme ( $P_s$ ) : Zone de travail temporaire pour les clips fins et l'audio, utilisée pour tester des hypothèses rapides avant d'être vidée.
Mémoire des Résultats (Result Memory) : Enregistre l'historique des résultats intermédiaires (intervals analysés, sorties des outils) pour éviter les actions redondantes et permettre une réflexion sur les étapes passées.
Mémoire de Travail (Working Memory) : Stocke les traces de raisonnement et les intentions du contrôleur avant chaque appel d'outil, allégeant le contexte du MLLM et réduisant les débordements.

C. Outils Multimodaux (Toolsets)

L'agent utilise deux ensembles d'outils complémentaires pour un raisonnement du grossier au fin (coarse-to-fine) :

Outils de Délimitation Temporelle (Temporal Scoping Tools) :
- Interval Localizer : Identifie les intervalles de frames pertinents par rapport à la requête et échantillonne des frames pour mettre à jour la mémoire à long terme.
- Clip Explorer : Effectue une exploration fine et temporaire autour des zones d'intérêt sans modifier la portée globale.
Outils de Compréhension Multimodale (Multimodal Understanding Tools) :
- Scene Snapper : Génère des légendes concises pour résumer de longs segments visuels (abstraction sémantique).
- Audio Transcriber : Utilise Whisper pour transcrire l'audio des segments pertinents, fournissant des preuves sémantiques complémentaires.
- Clip Analyzer : Analyse des frames spécifiques pour répondre à des sous-questions précises avec un score de confiance.

D. Boucle de Raisonnement

Le contrôleur suit une boucle itérative :

Observer : Lire l'état actuel de la mémoire HM3.
Réfléchir : Générer un plan (trace de raisonnement) pour identifier les informations manquantes.
Agir : Appeler un outil approprié avec des paramètres (ex: intervalle de frames, sous-question).
Mémoriser : Mettre à jour la mémoire avec les nouveaux résultats et les traces de raisonnement.
Ce cycle se répète jusqu'à ce que l'agent soit confiant pour répondre ou atteigne un budget d'étapes maximal.

3. Contributions Clés

Paradigme Adaptatif : Remplacement du prétraitement exhaustif et statique par un raisonnement "à la volée" (on-the-fly) guidé par la requête, réduisant drastiquement la consommation de tokens.
Mémoire Hiérarchique Dynamique (HM3) : Une architecture de mémoire qui sépare la perception brute, les résultats intermédiaires et les traces de raisonnement, permettant à l'agent de maintenir un contexte cohérent sur de longues vidéos sans saturer le contexte du modèle.
Stratégie Coarse-to-Fine : Capacité à passer d'une vue d'ensemble globale à une analyse micro-événementielle précise uniquement lorsque nécessaire, optimisant l'efficacité.
Approche sans entraînement (Training-Free) : Le système utilise des modèles de base existants (via API) et des outils externes, sans nécessiter de fine-tuning coûteux.

4. Résultats Expérimentaux

Les auteurs ont évalué VideoARM sur plusieurs benchmarks de référence pour la compréhension de vidéos longues : Video-MME, LongVideoBench, EgoSchema, MLVU et LVBench.

Performance : VideoARM dépasse l'état de l'art (SOTA), notamment la méthode précédente DVD, sur tous les benchmarks. Par exemple, sur Video-MME, il atteint 80,1% (avec GPT-4.1) contre 71,6% pour DVD.
Efficacité des Tokens : C'est le résultat le plus marquant.
- Pour une vidéo de 30 minutes, DVD consomme théoriquement environ 3,98 millions de tokens (prétraitement exhaustif).
- VideoARM consomme moins de 80 000 tokens (environ 1/50 de DVD).
- Sur des tests réels (10 vidéos, 30 requêtes), VideoARM utilise 1/34 des tokens de DVD.
Analyse d'ablation : Les expériences montrent que la combinaison des outils (résumé global, transcription audio, analyse fine) et la présence de la mémoire hiérarchique sont essentielles. La suppression de la mémoire à long terme fait chuter les performances de 9,5%, soulignant son rôle crucial pour la localisation temporelle.

5. Signification et Impact

VideoARM représente une avancée significative dans le domaine de l'IA multimodale pour plusieurs raisons :

Viabilité Économique : En réduisant la consommation de tokens d'un facteur 30 à 50, le système rend la compréhension de vidéos longues économiquement viable pour des applications réelles, là où les méthodes actuelles sont prohibitives.
Autonomie et Flexibilité : Il démontre que les agents peuvent raisonner de manière autonome sur des données temporelles complexes sans dépendre de structures de données rigides préconstruites.
Efficacité Cognitive : L'approche "observe-pense-agit-mémorise" imite mieux le processus cognitif humain pour l'analyse de vidéos, permettant de se concentrer sur les informations pertinentes et d'ignorer le bruit.

En conclusion, VideoARM propose une solution pratique et généralisable qui équilibre performance de raisonnement et efficacité computationnelle, ouvrant la voie à des applications de compréhension vidéo de longue durée plus accessibles et robustes.