💬 NLP

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

Le papier propose MERIT, un cadre simple mais efficace pour la compréhension de vidéos ultra-longues qui privilégie la construction d'une mémoire épisodique à haut rappel avec des représentations multi-clés et reporte le raisonnement sémantique complexe au moment de l'inférence grâce à une expansion temporelle à la demande, atteignant des performances de pointe sans la surcharge computationnelle d'une modélisation préalable des relations globales.

Auteurs originaux : Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

Publié 2026-08-11

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de vous souvenir d'une conversation spécifique lors d'un marathon de films qui a duré trois jours entiers. Si vous essayiez de tout regarder à nouveau juste pour trouver une seule réplique, votre cerveau fondrait probablement sous l'ampleur de la quantité d'informations. C'est exactement le problème auquel sont confrontés les « cerveaux d'IA » modernes, connus sous le nom de Modèles de Langage Multimodaux (MLLM). Ce sont des ordinateurs super intelligents qui peuvent voir, entendre et lire, mais ils ont une limite stricte sur la quantité de « vidéo » qu'ils peuvent contenir dans leur mémoire de travail à la fois. Lorsque les vidéos deviennent trop longues — s'étendant sur des heures ou même des jours — ces modèles d'IA sont submergés. Pour résoudre ce problème, les scientifiques tentent de construire des « mémoires externes » pour l'IA, comme une bibliothèque numérique où l'IA peut stocker la vidéo puis chercher rapidement la bonne page lorsqu'on lui pose une question. La grande question a été : devons-nous essayer d'organiser cette bibliothèque en une carte complexe et pré-établie avant même de savoir quelles questions les gens poseront ? Ou devrions-nous simplement stocker les faits bruts et établir les connexions plus tard, une fois que nous saurons ce que l'utilisateur recherche ?

Une équipe de chercheurs de l'Université Yonsei et d'Adobe Research suggère que les cartes complexes et pré-établies sont en fait une perte de temps et de puissance de calcul. Ils proposent un nouveau système appelé MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion). Voyez MERIT non pas comme un bibliothécaire qui passe des semaines à organiser des livres dans un système de classement hiérarchique complexe avant l'arrivée du premier client, mais comme un moteur de recherche super rapide et flexible qui garde les livres dans des piles simples et non triées. Au lieu d'essayer de deviner ce que le client veut et de pré-résumer toute l'histoire, MERIT note quatre « étiquettes » différentes pour chaque segment de vidéo de 30 secondes : ce qui s'est passé (événements), ce qui a été dit (dialogue), les objets impliqués, et un résumé rapide.

Lorsqu'un utilisateur pose une question, MERIT ne se contente pas de chercher une correspondance parfaite. Il utilise ces multiples étiquettes pour trouver les clips vidéo les plus pertinents, même si la question est formulée de manière étrange. Mais voici la partie astucieuse : une fois qu'il a trouvé un clip, il ne s'arrête pas là. Il saisit instantanément les clips immédiatement avant et après, élargissant le contexte juste assez pour donner du sens à l'histoire. Ce « filtrage de voisinage » ne se produit que lorsque la question est posée, économisant ainsi une quantité massive d'énergie. Les chercheurs ont testé cela sur des vidéos allant d'une heure à plus de 44 heures de long. Ils ont constaté que MERIT est non seulement beaucoup plus rapide et moins coûteux à exécuter que les méthodes précédentes qui construisaient des graphes et des hiérarchies complexes, mais qu'il répond également aux questions avec plus de précision. En attendant de faire le gros du travail de réflexion jusqu'à ce que la question soit réellement posée, MERIT prouve que parfois, l'approche la plus simple et la plus flexible est la plus intelligente.

Résumé Technique : MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion)

Énoncé du Problème

L'évolution rapide des modèles de langage de grande taille multimodaux (MLLM) a déplacé la compréhension vidéo de courts extraits vers des flux ultra-longs s'étendant sur des heures, voire des jours. Cependant, traiter directement de tels vidéos ultra-longues de bout en bout est informatiquement irréalisable en raison des limitations de la fenêtre de contexte. Bien que les cadres de génération augmentée par récupération (RAG) offrent une solution, les approches précédentes souffrent de deux inefficacités critiques dans le contexte ultra-long :

Surcharge Indépendante de la Requête (Query-Agnostic Overhead) : Les méthodes existantes (par exemple, la hiérarchisation par résumé ou la mémoire basée sur des graphes) investissent des ressources de calcul considérables pour modéliser à l'avance des relations et des structures sémantiques de haut niveau avant de connaître la requête en aval. Cela impose une « abstraction indépendante de la requête » qui peut ne pas correspondre aux informations spécifiques nécessaires.
Mauvaise Allocation de l'Intelligence : Utiliser des MLLM puissants pour la construction de mémoires statiques complexes (par exemple, fusionner des segments en résumés journaliers ou construire des graphes de connaissances) gaspille une capacité de raisonnement élevée pour des tâches qui pourraient être différées.

Les auteurs soutiennent que le goulot d'étranglement devrait passer de la construction d'une sémantique complexe et statique à l'avance vers une récupération à haut rappel capable de fournir systématiquement les preuves fines appropriées, en différant la composition sémantique au moment de l'inférence lorsque la requête est connue.

Méthodologie : MERIT

MERIT est un cadre agentique léger conçu pour la compréhension de vidéos ultra-longues. Il adopte un paradigme minimaliste en deux étapes : la Construction de la Mémoire Épisodique (indépendante de la requête) suivie de la Récupération et Réponse Agentique (dépendante de la requête).

1. Construction de la Mémoire Épisodique (Étape 1)

Au lieu de construire des graphes hiérarchiques complexes ou des résumés multi-échelles, MERIT partitionne la vidéo $V$ en clips non chevauchants de 30 secondes. Pour chaque clip, il génère une légende dense et extrait un ensemble de Clés Multiples ( $K_i$ ).

Représentation Multi-Clés : Chaque clip est indexé par quatre clés distinctes et complémentaires pour capturer diverses perspectives :
- Clé Événement/Action : Actions physiques observables et interactions.
- Clé Dialogue/Mention : Contenu parlé, commandes ou mots spécifiques.
- Clé Objet : Objets spécifiques manipulés, demandés ou déplacés, incluant les transitions d'état.
- Clé Résumé : Une abstraction compacte de type mots-clés du récit central.
Magasin de Mémoire : La mémoire $M$ est un simple magasin clé-valeur où les clés ( $K_i$ ) permettent la récupération et les valeurs ( $v_i, d_i$ ) fournissent la preuve brute.

2. Récupération et Réponse Agentique (Étape 2)

Au moment de l'inférence, le système opère dans une boucle itérative multi-tours :

Récupération Multi-Clés : Le solveur génère une requête de récupération $q^{(j)}$ et la compare aux clés stockées à l'aide d'un modèle d'embedding de phrases. La pertinence de la récupération est déterminée par la Similarité Maximale à travers toutes les clés pour un clip donné :
$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$
Cela permet à un clip d'être récupéré si n'importe laquelle de ses clés s'aligne avec la requête, améliorant ainsi considérablement le rappel.
Filtrage de Voisinage (Expansion Temporelle) : Reconnaissant que les preuves s'étendent souvent sur plusieurs moments adjacents, MERIT ne repose pas uniquement sur l'ancre de 30 secondes récupérée. Lors de la récupération d'un ensemble de clips, le système étend dynamiquement le contexte temporel en incluant les clips voisins (par exemple, $\pm \Delta$ clips).
Filtrage Sensible à la Requête : Le solveur agit comme un filtre sur ce contexte local étendu, distillant uniquement les informations pertinentes à la requête spécifique. Cela reconstruit un contexte cohérent sans structures globales pré-calculées.
Raisonnement Itératif : L'agent évalue si les preuves accumulées sont suffisantes. Si ce n'est pas le cas, il affine la requête et répète la récupération ; sinon, il intègre les preuves pour géner la réponse finale.

Principales Contributions

Changement de Paradigme dans l'Allocation de l'Intelligence : Le papier propose de différer la composition sémantique au moment de la requête plutôt que d'investir dans un prétraitement indépendant de la requête. Cela exploite toute la capacité de raisonnement du MLLM uniquement lorsque la tâche est spécifiée.
Indexation Multi-Clés Simple mais Efficace : En attachant quatre clés hétérogènes à des segments épisodiques minimaux, MERIT atteint une récupération à haut rappel sans la surcharge de calcul des constructions de mémoire hiérarchiques ou basées sur des graphes.
Expansion Temporelle à la Demande : Le mécanisme de « Filtrage de Voisinage » capture un contexte sémantique plus large en étendant la portée temporelle exclusivement autour des segments récupérés lors de l'inférence, évitant ainsi le coût massif de la construction d'une mémoire globale.
Architecture Minimaliste : MERIT élimine le besoin de consolidations de mémoire multi-étapes coûteuses, en s'appuyant plutôt sur un simple mécanisme de correspondance de clés et une expansion de contexte dynamique.

Résultats Expérimentaux

MERIT a été évalué sur trois benchmarks de vidéos longues : EgoLifeQA (ultra-long, égocentrique), LVBench (durée d'une heure) et Video-MME (Long).

Performances de l'État de l'Art (SOTA) : MERIT a atteint de nouveaux résultats SOTA sur tous les benchmarks.
- Sur EgoLifeQA, en utilisant GPT-5 comme solveur, MERIT a atteint une précision moyenne de 71,2 %, surpassant l'ancien SOTA (WorldMM avec GPT-5) de +5,6 %.
- Sur LVBench, MERIT (GPT-5) a atteint 71,8 %, dépassant l'ancien SOTA de +9,9 %.
- Sur Video-MME (Long), MERIT a atteint 77,7 %, surpassant WorldMM (76,6 %).
Efficacité : MERIT a démontré des gains d'efficacité significatifs dans la construction de la mémoire. Comparé à WorldMM, il a réduit les tokens d'entrée de 8,4× et les tokens de sortie de 8,6×, tout en réduisant les appels au LLM d'environ 23 700 à 6 200.
Qualité de Récupération : MERIT a obtenu un Taux de Succès (Hit Rate) plus élevé (0,56) que les bases hiérarchiques (EgoRAG : 0,15) et basées sur des graphes (WorldMM : 0,53), confirmant qu'une récupération précise et fine est critique pour la performance de QA.
Études d'Ablation :
- Filtrage de Voisinage : La suppression de ce composant a considérablement fait chuter les performances, particulièrement dans les catégories nécessitant un contexte plus large (ex: RelationMap, HabitInsight).
- Combinaisons Multi-Clés : L'utilisation des quatre clés simultanément a produit la précision la plus élevée, validant la nature complémentaire des clés.
- Dépendance du Solveur : Les performances ont évolué de manière significative avec des solveurs plus forts (ex: GPT-5 vs Qwen3-VL-8B), renforçant l'hypothèse selon laquelle la mémoire doit être légère tandis que le solveur gère le raisonnement complexe.

Signification et Revendications

Le papier affirme que différer la composition sémantique au moment de la requête est une approche plus fondamentale et efficace que d'investir dans un prétraitement indépendant de la requête. Les résultats suggèrent que :

La Simplicité est Efficace : Une mémoire épisodique multi-clés simple, combinée à une expansion temporelle à la demande, peut surpasser des architectures hiérarchiques ou basées sur des graphes complexes.
La Récupération est le Goulot d'Étranglement : Une récupération à haut rappel de preuves fines est plus critique que des structures sémantiques pré-calculées.
Scalabilité : Le cadre est hautement scalable pour des vidéos arbitrairement longues car il évite les coûts de calcul en cascade liés à la mise à jour de structures de mémoire globales complexes à mesure que la longueur de la vidéo augmente.

Les auteurs positionnent MERIT comme une fondation pratique et scalable pour la compréhension future de vidéos ultra-longues, en soulignant que l'« intelligence » requise pour le raisonnement complexe doit être allouée à l'étape d'inférence, là où la requête définit les abstractions nécessaires.