💻 computer science

Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding

Le document présente GenEvA, un cadre d'agrégation d'évidences latentes génératives qui organise les trames vidéo sélectionnées en preuves inter-trames pertinentes par rapport à la requête via une interface latente guidée par la distribution, améliorant considérablement les performances de compréhension de vidéos longues avec un surcoût computationnel minimal.

Auteurs originaux : Bowen Liu, Shuning Wang, Xinpeng Ding, Zhiheng Wu, Bodong Du, Xiaomeng Li

Publié 2026-07-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bowen Liu, Shuning Wang, Xinpeng Ding, Zhiheng Wu, Bodong Du, Xiaomeng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère, mais au lieu d'un indice unique, on vous remet cent heures de séquences de vidéos de surveillance. Votre cerveau ne peut pas évidemment regarder chaque seconde, vous avez donc besoin d'un moyen de sélectionner les moments les plus importants : le suspect qui entre, la fenêtre qui se brise, la voiture de fuite qui démarre en trombe. C'est le défi de la « compréhension de vidéos longues » pour l'intelligence artificielle. Actuellement, les modèles d'IA sont comme des détectives à qui l'on demande de choisir quelques images clés d'une vidéo, puis de deviner immédiatement la réponse. Le problème est que même si l'IA choisit les bonnes images, elle échoue souvent à relier les points entre elles. Elle peut voir le suspect et la fenêtre brisée dans des images distinctes, mais manquer l'histoire qui les lie, ce qui conduit à une mauvaise supposition. Les scientifiques se soucient de cela car, à mesure que nous nourrissons l'IA de de plus en plus de données vidéo, nous avons besoin qu'elle soit capable non seulement de « voir » les pièces, mais de véritablement « comprendre » l'ensemble du puzzle sans être submergée.

Voici GenEvA, une nouvelle méthode qui agit comme l'assistant d'un brillant détective qui organise les indices avant que la réponse finale ne soit donnée. La principale conclusion de l'article est que le simple fait de montrer les bonnes images à une IA ne suffit pas ; l'IA a besoin d'un « carnet de notes mental » spécial pour combiner ces images en une idée unique et claire avant de répondre. Les auteurs soutiennent l'idée que le simple fait d'avoir les preuves disponibles ne garantit pas que l'IA les utilisera correctement. Au lieu de cela, ils montrent qu'en créant un résumé compact et caché des images sélectionnées, l'IA peut obtenir de bien meilleurs résultats. Ils ont mesuré cela sur quatre quiz vidéo et ont constaté que leur méthode améliorait systématiquement la précision de l'IA, parfois par une marge énorme, tout en n'ajoutant qu'une infime quantité d'espace de « réflexion » supplémentaire.

Voici comment fonctionne GenEvA, expliqué à travers une analogie amusante.

Le Problème : Le dilemme des « Indices Éparpillés »

Imaginez que vous passiez un examen sur un film, mais que vous n'ayez le droit de regarder que 8 captures d'écran spécifiques. Vous choisissez les 8 scènes les plus importantes. Cependant, la question est : « Quelle était la couleur de la tenue du troisième chanteur apparaissant dans la deuxième chanson ? »

Si vous regardez simplement les 8 images une par une, votre cerveau pourrait s'embrouiller. Vous voyez un chanteur en tenue bleue sur l'image 3, et un chanteur en tenue dorée sur l'image 5. Mais la question exige que vous comptiez les chanteurs et que vous vous souveniez de l'ordre. Si votre cerveau se contente de jeter un coup d'œil aux images, il pourrait répondre « Bleu » parce que c'est la première chose qu'il a vue, manquant ainsi la partie sur le « troisième chanteur ». C'est ce qui arrive aux modèles d'IA actuels : ils ont les images (les preuves), mais ils échouent à les tisser ensemble pour en faire une histoire. Ils saisissent le « quoi », mais ratent le « quand » et le « combien ».

La Solution : Le « Carnet de Notes Mental »

Les auteurs de cet article, issus d'universités et de géants de la technologie comme Alibaba et Baidu, proposent une nouvelle étape appelée GenEvA (Generative Latent Evidence Aggregation). Considérez cela comme un « carnet de notes mental » ou un « tableau de bord des indices » que l'IA construit après avoir choisi les 8 images, mais avant de rédiger la réponse.

Sélection des images : D'abord, un outil d'IA standard choisit les 8 images les plus pertinentes, comme auparavant.
L'étape magique (Agrégation de l'évidence latente) : Au lieu de simplement transmettre ces 8 images au générateur de réponses, GenEvA crée un résumé compressé spécial. Il demande : « Quelle part de mon énergie mentale dois-je consacrer à chaque image ? »
- Si la réponse dépend d'une seule image (ex : « Quelle est la couleur de la voiture ? »), l'IA consacre presque toute son énergie mentale à cette image unique.
- Si la réponse dépend de la comparaison de plusieurs images (ex : « Qui est apparu en premier, le chat ou le chien ? »), l'IA répartit son énergie mentale sur toutes les images pertinentes pour les lier entre elles.
Les jetons du « Carnet de Notes » : Ce processus crée un petit groupe de « jetons latents » (imaginez des post-it sur lesquels les connexions les plus importantes sont écrites). Ces post-it sont ensuite remis à l'IA avec les images originales.
Invocation Adaptative : Voici la partie ingénieuse. L'IA vérifie à quel point son énergie mentale est dispersée. Si l'énergie est concentrée sur un seul point, elle ignore les post-it et répond simplement en se basant sur les images. Si l'énergie est répartie, elle sait qu'elle a besoin des post-it pour relier les points. Elle n'utilise l'espace de « carnet de notes » supplémentaire que lorsqu'elle en a réellement besoin, économisant ainsi du temps et de l'énergie.

Les Résultats : Des réponses plus intelligentes avec moins d'efforts

Les chercheurs ont testé cette méthode sur quatre quiz vidéo différents (MLVU, Video-MME, LongVideoBench et LVBench) en utilisant deux architectures d'IA différentes (LLaVA-Video et Qwen2.5-VL).

Gains importants : Lorsqu'ils n'utilisaient que 8 images, GenEvA a augmenté le score moyen du modèle LLaVA-Video de 5,2 points sur les quatre tests. Sur le test LVBench, il a amélioré la précision du modèle Qwen2.5-VL de 10,1 points, un gain massif.
Coût minime : Le plus beau dans tout cela est que ce « carnet de notes mental » est incroyablement efficace. Il n'ajoute que de 0,11 % à 0,40 % de coût en « jetons » supplémentaire (l'équivalent numérique de temps de réflexion supplémentaire). Pour donner une idée, l'IA obtient un énorme boost d'intelligence pour un coût presque nul.
Battre les géants : Même avec seulement 8 images, GenEvA a été plus performant que d'autres méthodes qui utilisaient 16, 32 ou même 1 024 images. Il a prouvé qu'avoir une meilleure façon d'utiliser les indices est préférable à avoir plus d'indices.

Pourquoi cela importe

L'article suggère que l'avenir de l'IA vidéo ne consiste pas seulement à nourrir l'ordinateur de plus de données ou à lui faire regarder plus d'images. Il s'agit d'apprendre à l'ordinateur comment organiser les données qu'il possède déjà. En ajoutant cette « interface d'évidence latente » — une étape intermédiaire où l'IA organise ses pensées avant de parler — nous pouvons rendre l'IA beaucoup plus intelligente pour comprendre des histoires longues et complexes sans avoir besoin de la ralentir ou de la faire travailler plus dur. C'est la différence entre un détective qui se contente de regarder des photos et un détective qui résout réellement l'affaire.

Résumé Technique : GenEvA pour la Compréhension de Vidéos Longues

1. Énoncé du Problème

La compréhension de vidéos longues avec les modèles de langage multimodaux vidéo (Video-MLLM) fait face à un goulot d'étranglement critique lors de l'étape de « post-sélection ». Les méthodes existantes se concentrent fortement sur la sélection de trames, compressant les vidéos longues en un petit ensemble de jetons visuels explicites (trames) pour s'insérer dans les fenêtres de contexte. Bien que ces méthodes garantissent que les indices visuels potentiellement pertinents soient disponibles pour le modèle, elles ne garantissent pas que le modèle les utilise efficacement.

Les auteurs identifient que le simple fait de conserver des trames pertinentes ne garantit pas que le Video-MLLM puisse intégrer des indices complémentaires provenant de moments temporellement distants pour répondre à une requête. Au lieu de cela, les modèles sels appuient souvent sur des priors linguistiques ou des indices fallacieux, ignorant le contexte visuel explicite fourni. Le défi central est : Comment un Video-MLLM peut-il construire une preuve latente pertinente à la requête à partir des trames sélectionnées pour compléter le contexte visuel explicite, en traitant spécifiquement l'écart entre la disponibilité de la preuve et l'utilisation de la preuve ?

2. Méthodologie : GenEvA

Le papier propose GenEvA (Generative Latent Evidence Aggregation), un cadre qui insère une « interface de preuve latente » entre la sélection de trames et la génération de la réponse. GenEvA opère sur des trames sélectionnées par un sélecteur temporel gelé et se compose de trois composantes principales :

A. Allocation du Budget de Preuve

Étant donné un ensemble fixe de $K$ trames sélectionnées et un budget de jetons latents $B$ , GenEvA alloue dynamiquement la capacité latente à chaque trame en fonction de sa pertinence par rapport à la requête.

Mécanisme : Un allocateur entraînable calcule un score de compatibilité entre l'embedding visuel de chaque trame et l'embedding de la question.
Sortie : Ces scores sont normalisés en une distribution $\alpha$ , qui est ensuite projetée en un budget de jetons entier $n_i$ pour chaque trame $i$ . Cela garantit que le total des emplacements latents est égal à $B$ , avec un minimum d'un jeton par trame pour garantir la couverture.

B. Agrégation de Preuves Latentes Sensibles à la Requête

Une fois le budget $n_i$ assigné, le cadre agrège l'information visuelle en une représentation latente compacte.

Formation du Contexte : Un « contexte visuel-requête » partagé est créé en agrégeant les jetons visuels non poolés avec l'embedding de la question via une attention croisée (cross-attention).
Construction de Groupes (Bundles) : Pour chaque trame, un groupe de longueur variable est formé en combinant une base latente entraînable (partagée entre les exemples) avec un vecteur de conditionnement dérivé de l'embedding de la trame locale et du contexte visuel-requête partagé.
Intégration : Ces groupes spécifiques à chaque trame sont concaténés et transmis à travers un adaptateur LoRA léger attaché au LLM gelé. Cette étape contextualise la preuve latente au sein de l'espace caché natif du modèle, permettant aux jetons latents d'absorber l'intégralité du contexte multimodal avant la génération.

C. Invocation de Preuve Adaptative

Plutôt que d'insérer systématiquement la preuve latente (ce qui augmente la surcharge de jetons), GenEvA utilise la dispersion de la distribution d'allocation comme un signal intrinsèque pour décider s'il faut invoquer la voie latente.

Logique : Si l'allocation résiduelle est fortement concentrée sur quelques trames (faible dispersion), le modèle repose probablement sur des indices localisés, et la Voie Explicite (uniquement les trames) est utilisée. Si l'allocation est distribuée sur de nombreuses trames (haute dispersion), indiquant un besoin d'intégration inter-trames, la Voie Latente (trames + preuve agrégée) est invoquée.
Avantage : Ce mécanisme adaptatif réduit la surcharge moyenne de jetons côté décodeur en n'insérant la preuve latente que lorsque la structure de la preuve exige une intégration inter-trames.

3. Contributions Clés

Identification d'un Goulot d'Étranglement de Post-Sélection : Les auteurs démontrent que la disponibilité de la preuve ne signifie pas une utilisation efficace de la preuve, exposant un écart où les trames sélectionnées ne parviennent pas à être intégrées dans le processus de génération de la réponse.
L'Interface de Preuve Latente : Ils formulent une nouvelle étape entre la sélection et la génération qui organise les trames sélectionnées en une preuve inter-trames pertinente à la requête.
Le Cadre GenEvA : Un cadre léger, guidé par la distribution, implémentant cette interface via :
- Allocation du Budget de Preuve : Distribution dynamique des jetons latents basée sur la pertinence de la requête.
- Agrégation Sensible à la Requête : Construction d'une preuve latente compacte combinant le contexte de la trame et le contexte global de la requête.
- Invocation de Preuve Adaptative : Un mécanisme sans routeur qui sélectionne le chemin de génération basé sur la géométrie de l'allocation.
Validation Empirique : Une évaluation complète montrant que GenEvA améliore les performances sans nécessiter de budgets de trames plus importants ou de réentraînement du Video-MLLM de base.

4. Résultats Expérimentaux

GenEvA a été évalué sur quatre benchmarks (Video-MME, MLVU, LongVideoBench, LVBench) en utilisant deux backbones de Video-MLLM (LLaVA-Video et Qwen2.5-VL).

Gains de Performance :
- À 8 trames, GenEvA a amélioré la moyenne de LLaVA-Video sur quatre benchmarks de +5,2 points.
- Sur LVBench, il a amélioré la précision de Qwen2.5-VL de +10,1 points.
- À 16 trames, GenEvA avec LLaVA-Video a surpassé des méthodes utilisant des budgets de trames nettement plus importants (par exemple, Vamba avec 1024 trames) et a égalé ou dépassé des modèles de raisonnement spécialisés.
Efficacité :
- Les gains ont été obtenus avec une surcharge minimale : 0,11 % – 0,40 % de surcharge moyenne de jetons vidéo sur le côté décodeur.
- La latence d'inférence n'a augmenté que d'environ ~2,0 % (environ 0,057s par exemple).
Études d'Ablation :
- Invocation Adaptative : A surpassé les stratégies d'invocation « Full » (toujours insérer le latent) et « Random » (aléatoire), confirmant que le signal de dispersion de l'allocation identifie efficacement quand une intégration inter-trames est nécessaire.
- Apprentissage de l'Allocation : Les modèles d'allocation appris étaient corrélés aux types de tâches (par exemple, une dispersion plus élevée pour les tâches de résumé par rapport à la reconnaissance d'entités), validant que le modèle s'adapte aux exigences de la requête.

5. Signification et Revendications

Le papier affirme que GenEvA établit l'interface de preuve latente comme une étape de post-sélection nécessaire et complémentaire. Sa signification réside dans :

Découplage de la Sélection et de l'Intégration : Il prouve qu'améliorer la façon dont un modèle utilise les trames sélectionnées est aussi crucial que de sélectionner les bonnes trames.
Rentabilité : Il atteint des résultats de pointe sur les benchmarks de vidéos longues en utilisant un budget de trames compact (8–16 trames) et un budget de jetons latents infime (32 jetons), évitant le coût computationnel du traitement de milliers de trames.
Adaptation Sensible aux Tâches : Le cadre démontre que les modèles peuvent apprendre à allouer la capacité latente et à sélectionner les routes d'inférence en fonction des besoins de preuve spécifiques d'une requête, allant au-delà des pipelines de compression statiques.

Les auteurs concluent que GenEvA offre une solution légère et efficace pour la compréhension de vidéos longues en transformant la sélection de trames statique en un processus d'agrégation de preuves dynamique et conditionné par la requête.