💬 NLP

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

Le papier propose AVOC, un cadre de compression de tokens inspiré par la recherche d'information qui améliore la compréhension audio-vidéo à l'échelle de l'heure dans les LLM omnimodaux en reformulant la sélection de tokens comme un problème de recherche top- $K$ basé sur la pertinence, l'importance et la diversité, atteignant ainsi des performances de pointe sur les benchmarks de longue durée tout en maintenant une robustesse dans des contextes d'une heure.

Auteurs originaux : Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante de films et d'enregistrements de réunions qui durent des heures. Vous voulez poser une question spécifique à un assistant IA super intelligent sur ce qui s'est passé dans l'une de ces vidéos très longues, du type : « Combien de personnes sont entrées dans le sous-sol après cette réplique précise ? »

Le problème est que le « cerveau » de l'IA (sa fenêtre de mémoire) est trop petit pour contenir la vidéo entière à la fois. Si vous essayez de lui injecter toute la vidéo, elle s'étouffe. Si vous essayez de la réduire en choisissant simplement des images au hasard, vous pourriez manquer le moment crucial. Si vous essayez de conserver chaque détail, vous manquerez d'espace.

Entrez en scène : AVOC, le Bibliothécaire Intelligent

Les auteurs de cet article ont créé un nouveau système appelé AVOC. Voyez AVOC comme un bibliothécaire hautement qualifié qui doit résumer un film d'une heure en une fiche de révision de 10 pages pour l'IA, mais avec un objectif très précis : la fiche doit contenir uniquement les informations nécessaires pour répondre à votre question.

Voici comment fonctionne AVOC, en utilisant trois règles simples empruntées à la façon dont les moteurs de recherche trouvent les meilleurs résultats :

1. Pertinence : « Est-ce que cela correspond à la question ? »

Imaginez que vous demandiez au bibliothécaire : « Qui est entré dans le sous-sol ? »

L'ancienne méthode : Le bibliothécaire pourrait vous montrer une page sur la cuisine ou la météo extérieure parce que ces scènes étaient bruyantes ou colorées.
La méthode d'AVOC : AVOC examine d'abord votre question. Il scanne la vidéo et l'audio et dit : « D'accord, je dois trouver le moment où les gens parlent du sous-sol. » Il met en évidence les moments spécifiques dans la vidéo et les mots spécifiques dans l'audio qui se rapportent directement à votre question. C'est ce qu'on appelle le Text-Guided Scoring (Score guidé par le texte).

2. Importance : « Est-ce intéressant même sans la question ? »

Parfois, votre question est vague, ou la réponse dépend de quelque chose que la vidéo montre mais dont elle ne parle pas explicitement.

L'analogie : Imaginez que vous cherchiez une personne spécifique dans une foule. Même si vous ne connaissez pas son nom, vous pourriez la repérer parce qu'elle porte un chapeau rouge vif (un indice visuel unique) ou parce qu'elle est la seule à danser (un indice sonore unique).
La méthode d'AVOC : AVOC vérifie si un moment est « important » par lui-même. Il regarde comment la vidéo et l'audio communiquent entre eux. Si le visage d'une personne (vidéo) correspond à un son spécifique (audio), ce moment reçoit un score d'« importance » élevé, même si votre question ne l'a pas mentionné. Cela garantit que l'IA ne manque pas les indices cachés.

3. Diversité : « Ne me montrez pas la même chose deux fois ! »

C'est la partie la plus délicate. Si vous avez une scène où un personnage entre dans une pièce, puis sort, puis rentre à nouveau, un système stupide pourrait choisir ces trois moments parce qu'ils se ressemblent tous. Cela gaspille de l'espace.

L'analogie : Imaginez que vous préparez votre valise pour un voyage. Vous n'avez pas besoin d'emporter trois paires de chaussettes rouges exactement identiques. Vous avez besoin d'une paire rouge, d'une bleue et d'une verte pour couvrir différents besoins.
La méthode d'AVOC : AVOC utilise une règle spéciale appelée Temporal-Aware Diversity (Diversité sensible au temps). Il dit : « Si j'ai déjà choisi un moment où quelqu'un entre dans une pièce, je ne choisirai pas la seconde suivante où il fait exactement la même chose. » Cependant, si la même chose se produit une heure plus tard dans le film, AVOC choisira quand même ce moment, car il s'agit d'un événement différent dans le temps. Cela permet de garder le résumé frais et de couvrir toute la chronologie sans se répéter.

Le Résultat : Un Résumé Super-Intelligent

En combinant ces trois règles, AVOC prend un flux vidéo et audio massif d'une heure et le compresse en une séquence de « tokens » minuscule et ultra-efficace. Il élimine les parties ennuyeuses, répétitives ou non pertinentes pour ne garder que les « pépites d'or » d'information.

Qu'ont-ils découvert ?

Cela fonctionne mieux que tout le reste : Lors de tests sur de longues vidéos (jusqu'à 90 minutes), AVOC a répondu aux questions avec beaucoup plus de précision que les autres modèles. Il a battu le deuxième meilleur modèle par une marge significative (environ 5 points de plus en moyenne).
Il trouve « l'aiguille dans la botte de foin » : Ils ont testé si l'IA pouvait trouver un numéro secret caché quelque part dans une vidéo d'une heure. AVOC a pu le trouver presque parfaitement, même dans des vidéos d'une heure, alors que les autres modèles commençaient à échouer à mesure que les vidéos s'allongeaient.
C'est rapide : Même s'il effectue ce tri complexe, cela ne ralentit pas beaucoup l'IA. En fait, parce qu'il élimine énormément de données inutiles, l'IA peut en réalité traiter la vidéo plus rapidement qu'avant.

En résumé, AVOC apprend à l'IA comment être un meilleur lecteur : elle ne se contente pas de lire chaque mot d'un livre de 500 pages ; elle apprend à survoler, à surligner les parties importantes et à ignorer le superflu, afin de répondre parfaitement à votre question.

Résumé Technique : AVOC – Améliorer la compréhension audio-vidéo à l'échelle de l'heure via une compression de jetons inspirée par la recherche d'information

1. Énoncé du problème

Les modèles de langage multimodaux (MLLM) ont connu un succès significatif dans les tâches audio-vidéo de courte durée. Cependant, étendre ces capacités à la compréhension audio-vidéo de longue durée (à l'échelle de l'heure) se heurte à deux goulots d'étranglement principaux :

Limites de la fenêtre de contexte : Les séquences massives de jetons (tokens) générées par des flux vidéo de longue durée et de l'audio à haute fréquence d'échantillonnage dépassent les fenêtres de contexte des MLLM actuels.
Redondance de l'information : Les flux audio-vidéo bruts contiennent une redondance substantielle. Les stratégies de réduction naïves (par exemple, l'échantillonnage parc spirituel uniforme) manquent souvent des événements brefs mais critiques, tandis que l'échantillonnage dense épuise le budget de contexte, entraînant une troncature de la séquence et une dilution des indices clés.

Les méthodes de compression existantes pour les modèles Omni-Modaux reposent souvent sur des conceptions asymétriques et unidirectionnelles (par exemple, utiliser l'audio pour élaguer la vidéo ou vice versa). Ces approches risquent de rejeter des informations critiques si la modalité "directrice" fournit des signaux faibles ou épars, échouant ainsi à capturer la nature complexe et interdépendante du contenu multimodal réel, comme les films ou les réunions.

2. Méthodologie : Le cadre AVOC

Les auteurs proposent AVOC, un cadre qui reformule la compression de jetons multimodaux comme un problème de recherche top-K (top-K retrieval). Étant donné un budget de contexte fixe $K$ et un grand ensemble de jetons candidats, l'objectif est de récupérer un sous-ensemble compact qui soutient au mieux la réponse à une requête utilisateur. AVOC intègre trois critères classiques de la recherche d'information (IR) dans un pipeline de compression unifié et apprenable, positionné entre les encodeurs de modalités et le squelette (backbone) du LLM.

2.1 Composants principaux

Le module de compression opère en trois étapes pour générer et sélectionner les jetons :

Pertinence (Score d'attention croisée guidé par le texte) :
- Mécanisme : Traite la requête textuelle de l'utilisateur comme la requête de recherche et les jetons multimodaux comme le corpus candidat.
- Implémentation : Calcule les scores d'attention croisée entre les plongements (embeddings) textuels et les plongements de jetons multimodaux. Le score de pertinence d'un jeton est la moyenne du logit d'attention reçu de tous les jetons textuels.
- Objectif : Prioriser les jetons pertinents pour la requête spécifique de l'utilisateur.
Importance (Score d'attention croisée vidéo-audio bidirectionnelle) :
- Mécanisme : Capture l'informativité intrinsèque indépendamment de la requête (indépendante de la requête), traitant les cas où la requête est faible par rapport à un contenu audio-visuel riche.
- Implémentation : Au sein de chaque bloc temporel, calcule l'attention croisée bidirectionnelle entre les jetons vidéo et audio. Les jetons qui interagissent fortement avec la modalité opposée reçoivent des scores plus élevés.
- Objectif : Garantir que les régions sémantiquement denses (par exemple, une scène comportant à la fois des dialogues et de l'action) sont conservées, même si elles ne sont pas explicitement interrogées.
Diversité (Recherche de pertinence maximale temporellement consciente - TA-MMR) :
- Mécanisme : Empêche la sélection de jetons adjacents redondants tout en préservant des événements temporellement distincts mais sémantiquement similaires.
- Implémentation : Une étape de re-classement utilisant un objectif MMR modifié. Contrairement au MMR standard, le TA-MMR contraint la pénalité de redondance à une fenêtre temporelle locale ( $W$ ). Il pénalise la similitude uniquement parmi les jetons situés dans l'intervalle $[\tau_i - W, \tau_i + W]$ .
- Objectif : Supprimer les jetons adjacents informationnellement répétitifs (par exemple, des scènes statiques) sans supprimer les événements récurrents qui se produisent à différents moments.

2.2 Sélection et Entraînement

Allocation du budget : Le budget total de jetons $K$ est divisé en budgets spécifiques aux modalités ( $K_{video}, K_{audio}$ ) pour assurer une représentation transmodale équilibrée. Le TA-MMR est appliqué indépendamment au sein de chaque modalité.
Entraînement différentiable : Pour permettre un entraînement de bout en bout, la sélection top-K discrète est approximée par un Gumbel-Softmax avec un estimateur "Straight-Through". Le re-classement par TA-MMR est désactivé pendant l'entraînement (en raison de sa nature gourmande et itérative) et activé uniquement lors de l'inférence.
Entraînement en deux étapes :
1. Étape 1 : Fine-tuner le squelette du LLM sur des données sans le module de compression pour établir un signal de gradient stable.
2. Étape 2 : Entraîner conjointement le module de compression initialisé aléatoirement et le LLM.

3. Principales contributions

Nouvelle perspective : Reformuler la compression de jetons multimodaux comme un problème de recherche top-K, permettant l'adaptation des principes classiques de l'IR (pertinence, importance, diversité) au domaine audio-vidéo.
Module de compression apprenable : La conception d'un module unifié qui instancie trois critères d'IR via des mécanismes sur mesure : attention croisée guidée par le texte, attention croisée bidirectionnelle et MMR temporellement conscient.
Capacité Omni-Modale : Développement d'un LLM Omni-Modal (AVOC) capable de traiter des flux audio-vidéo d'une durée d'une heure, atteignant à la fois une compréhension holistique et une recherche fine sous des budgets de contexte stricts.

4. Résultats expérimentaux

Les auteurs ont évalué AVOC sur plusieurs benchmarks audio-vidéo de longue durée et sur une tâche personnalisée de type "Aiguille dans une botte de foin" (Needle-in-a-Haystack - NIAH).

Performance des Benchmarks :
- OmniVideoBench : AVOC a atteint une précision moyenne de 39,8 % sur le sous-ensemble [10, 30] min et 42,3 % au total, surpassant le deuxième meilleur modèle de 4,9 et 5,5 points respectivement.
- LVOmniBench : AVOC a atteint 41,3 % sur le sous-ensemble Medium et 35,5 % sur le sous-ensemble High, avec une moyenne globale de 40,3 %, surpassant le second de 5,5 points.
- WorldSense : AVOC a atteint 52,6 % de précision, soit une amélioration de 1,7 point par rapport au second meilleur.
- Observation : Les gains de performance augmentent avec la durée de la vidéo, indiquant que la méthode est particulièrement efficace pour les contenus ultra-longs où la redondance est la plus élevée.
Audio-Vidéo Needle-in-a-Haystack (AV-NIAH) :
- AVOC a démontré des capacités de recherche robustes pour les "aiguilles" (mots-clés secrets) cachées dans des vidéos allant jusqu'à 3600 secondes (1 heure) de long.
- Contrairement aux modèles de référence (ex: OmniZip) qui montraient une dégradation significative de la précision au-delà de 2000–3000 secondes, AVOC a maintenu une précision élevée sur l'ensemble de la grille de durée-profondeur.
Études d'ablation :
- Le retrait de n'importe quel composant (Pertinence, Importance ou Diversité) a entraîné une dégradation des performances, confirmant leur nature complémentaire.
- Le ratio de budget de modalité optimal trouvé était de 2:1 (Vidéo:Audio), reflétant la densité d'information plus élevée des indices visuels dans les benchmarks testés.
- Les hyperparamètres du TA-MMR ( $\lambda=0,15, W=3$ ) étaient critiques ; fixer le rayon de la fenêtre à l'infini (dégradant le modèle en un MMR standard) causait des chutes de performance, validant la nécessité de la conscience temporelle.
Efficacité :
- Le module de compression ajoute un overhead minimal (environ 1,8s pour la rétention complète).
- Une compression agressive (ratio de rétention $\rho=0,1$ ) a réduit la latence de pré-remplissage de près de 9 fois (de 4,45s à 0,5s) par rapport au squelette non compressé.

5. Signification et affirmations

L'article affirme qu'AVOC représente une étape significative vers des LLM Omni-Modaux capables de raisonner sur du contenu multimodal riche d'une durée d'une heure. En allant au-delà des stratégies de compression rigides et asymétriques pour adopter une approche symétrique inspirée de la recherche d'information, AVOC répond au compromis fondamental entre les limites de la fenêtre de contexte et la redondance de l'information. Les auteurs postulent que leur cadre permet aux modèles de maintenir une compréhension robuste et des capacités de recherche fine dans des scénarios réels (ex: films, réunions, tutoriels) qui étaient auparavant inaccessibles en raison des contraintes de longueur de séquence.