Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

Le papier présente AutoGaze, un module léger qui améliore l'efficacité et l'évolutivité de la compréhension vidéo des modèles multimodaux en sélectionnant de manière autoregressive uniquement les patches visuels essentiels, réduisant ainsi considérablement le nombre de jetons et permettant l'analyse de vidéos longues et haute résolution.

L'essentiel

Imaginez que vous regardez un film en 4K de 5 minutes. Votre cerveau humain est incroyablement efficace : il ne regarde pas chaque pixel de l'écran en permanence. Il se concentre sur le personnage qui parle, ignore le fond statique de la pièce, et ne regarde les détails que lorsque quelqu'un fait un geste rapide. C'est ce qu'on appelle l'attention sélective.

Les ordinateurs, eux, sont très différents. Les modèles d'intelligence artificielle (IA) actuels pour comprendre les vidéos fonctionnent comme un étudiant très sérieux mais un peu naïf : ils regardent chaque pixel de chaque image du film, même les murs blancs qui ne bougent pas depuis 10 minutes. C'est comme essayer de lire un livre en comptant chaque grain de papier, ce qui est lent, épuisant et coûte cher en énergie.

Voici l'histoire de AutoGaze, le nouveau super-héros de la vidéo, qui change la donne.

🎬 Le Problème : L'IA qui regarde tout, tout le temps

Aujourd'hui, pour analyser une vidéo, les IA utilisent deux gros moteurs :

1. Le "Regard" (ViT) : Qui voit les images.
2. Le "Cerveau" (LLM) : Qui comprend ce qu'il voit et répond aux questions.

Le problème ? Le "Regard" est souvent le goulot d'étranglement. Il traite des millions de pixels inutiles (comme un ciel bleu fixe) avant même que le "Cerveau" ne puisse réfléchir. C'est comme envoyer un camion de déménagement pour transporter une seule lettre.

👁️ La Solution : AutoGaze, le "Guide de Regard" Intelligent

Les chercheurs ont créé AutoGaze. Imaginez que c'est un assistant personnel très rapide qui se tient devant l'écran de l'IA.

Au lieu de laisser l'IA regarder toute l'image, AutoGaze dit : "Attends, ne regarde pas ce mur ! Regarde juste ce chien qui court, et cette fois-ci, regarde-le de loin. Mais là, quand il saute, zoome un peu !"

Comment ça marche ? (L'analogie du photographe)
Imaginez que vous devez décrire une scène à quelqu'un qui ne la voit pas, mais vous avez un budget limité de "photos" à envoyer.

• L'ancienne méthode : Vous envoyez une photo ultra-détaillée de chaque centimètre carré de la scène, même si c'est juste un mur blanc.
• La méthode AutoGaze : Elle agit comme un photographe expert.
  • Si un objet bouge (une voiture, un visage), elle prend une photo très précise (haute résolution).
  • Si c'est un fond calme (un ciel, un mur), elle prend une photo floue et petite (basse résolution) ou ne prend même pas de photo car elle sait que ça ne change pas.
  • Elle décide en temps réel (pouce par pouce) de quoi elle a besoin pour reconstituer la scène sans perdre d'information importante.

🚀 Les Résultats Magiques

Grâce à ce système, AutoGaze réalise des prouesses incroyables :

1. Une économie folle : Il réduit le nombre d'images à traiter de 4 à 100 fois. Pour une vidéo en 4K, il ne garde que 1% des pixels ! C'est comme passer d'un camion de déménagement à une simple bicyclette pour livrer le même colis.
2. Vitesse éclair : L'IA devient 19 fois plus rapide. Elle peut maintenant regarder des vidéos de 5 minutes en 4K en temps réel, ce qui était impossible avant car l'ordinateur "crachait" (manquait de mémoire).
3. La précision : Même avec moins d'images, l'IA comprend mieux. Sur un nouveau test difficile (appelé HLVid) avec des vidéos longues et en très haute définition, l'IA équipée d'AutoGaze a battu tous les records précédents.

🌍 Pourquoi c'est important pour nous ?

Avant, les IA ne pouvaient pas vraiment "voir" des vidéos longues et détaillées (comme une caméra de sécurité de 4K pendant 5 minutes ou un film entier). Elles devaient soit regarder des vidéos courtes, soit flouter l'image pour aller plus vite.

Avec AutoGaze :

• Les docteurs pourront analyser des vidéos de chirurgie en ultra-haute définition sans attendre.
• Les policiers pourront scanner des heures de vidéos de surveillance pour trouver un détail précis (une plaque d'immatriculation, un vêtement) en quelques secondes.
• Les assistants personnels pourront regarder un film avec vous et répondre à des questions précises sur l'intrigue, même si le film dure 2 heures.

En résumé

AutoGaze, c'est comme donner à l'IA des yeux humains intelligents. Au lieu de fixer bêtement tout l'écran, elle apprend à regarder là où ça bouge, à zoomer sur les détails importants et à ignorer le reste. C'est une révolution qui rend les IA plus rapides, plus économes en énergie et capables de comprendre le monde réel, vidéo par vidéo.

Résumé technique

1. Le Problème : L'Inefficacité des MLLM sur les Vidéos Longues et Haute Résolution

Les modèles de langage multimodaux (MLLM) actuels excellent dans la compréhension vidéo générale, mais ils peinent à traiter des vidéos longues (milliers de trames) et haute résolution (4K).

• Redondance Spatio-temporelle : Les modèles existants traitent généralement chaque pixel de chaque trame de manière égale via des Transformers Vision (ViT), ignorant la forte redondance dans les fonds statiques ou les mouvements lents.
• Goulots d'étranglement : Les approches récentes tentent de réduire le nombre de tokens, mais souvent uniquement au niveau du LLM (le modèle de langage), laissant le ViT traiter l'intégralité des pixels. Cela crée un goulot d'étranglement computationnel majeur, empêchant l'évolutivité vers des vidéos de 4K ou de plusieurs minutes.
• Manque de Benchmarks : Il n'existait pas de benchmark capable d'évaluer simultanément la compréhension de vidéos longues et haute résolution, limitant le développement de modèles adaptés à ces scénarios réels.

2. Méthodologie : AutoGaze

AutoGaze est un module léger (3 millions de paramètres) conçu pour éliminer les patches redondants avant qu'ils n'atteignent le ViT ou le MLLM. Il s'inspire de la façon dont les humains regardent les scènes (en se focalisant sur les objets en mouvement et les détails, en ignorant les arrière-plans statiques).

Architecture et Fonctionnement

• Sélection Autogressive : AutoGaze fonctionne de manière séquentielle. Pour chaque trame, il encode les caractéristiques visuelles et prédit autogressivement un ensemble minimal de patches (indices) nécessaires pour reconstruire la trame courante, en tenant compte de l'historique des trames précédentes et des patches déjà sélectionnés.
• Regard Multi-échelle : Contrairement aux grilles fixes, AutoGaze sélectionne des patches à différentes résolutions (ex: 32x32, 64x64, 112x112, 224x224).
  • Il utilise des échelles plus grossières pour les régions statiques ou peu détaillées.
  • Il utilise des échelles plus fines pour les détails complexes ou les mouvements rapides.
• Arrêt Automatique : Le modèle prédit en temps réel la perte de reconstruction (reconstruction loss) à chaque étape de sélection. Dès que la perte estimée tombe en dessous d'un seuil défini par l'utilisateur (ex: 0.7), il arrête de sélectionner des patches pour cette trame et passe à la suivante.

Pipeline d'Entraînement

L'entraînement se fait en deux étapes :

1. Pré-entraînement (Next-Token Prediction - NTP) : Le modèle est entraîné sur des séquences de "regard" générées par une recherche gloutonne (greedy search) visant à minimiser la perte de reconstruction. Il apprend à prédire les indices de patches et la perte de reconstruction associée.
2. Post-entraînement par Renforcement (RL) : Utilisant un algorithme simplifié (GRPO), le modèle est affiné avec une récompense basée sur la réduction de la perte de reconstruction. Cela lui permet de découvrir des stratégies de sélection plus efficaces que celles de la recherche gloutonne, en trouvant le compromis optimal entre le nombre de patches et la qualité de reconstruction.

Intégration

AutoGaze est conçu pour être agnostique au modèle en aval. Il peut être intégré à n'importe quel ViT ou MLLM existant en modifiant légèrement l'entrée du ViT pour accepter des patches multi-échelles et en permettant au ViT de traiter les tokens de plusieurs trames dans une même séquence.

3. Contributions Clés

1. AutoGaze : Un module de réduction de tokens pré-ViT qui réduit le nombre de patches visuels de 4x à 100x (selon la résolution et le FPS), accélérant ainsi le ViT et le MLLM jusqu'à 19x.
2. Évolutivité (Scalability) : Grâce à cette efficacité, les auteurs ont pu mettre à l'échelle un MLLM (NVILA) pour traiter des vidéos de 1000 trames en 4K, ce qui était impossible auparavant sans explosion de la mémoire.
3. HLVid (Benchmark) : Introduction du premier benchmark de questions-réponses sur des vidéos longues (jusqu'à 5 minutes) et haute résolution (4K). Il contient 268 questions nécessitant une perception visuelle fine (1K-2K) pour être résolues, comblant un vide dans l'évaluation des modèles actuels.
4. Performance Supérieure : Démonstration qu'un modèle plus petit (NVILA-8B) équipé d'AutoGaze surpasser les modèles propriétaires (GPT-4o) et les plus grands modèles open-source sur le benchmark HLVid.

4. Résultats Expérimentaux

• Efficacité :
  • Réduction du nombre de tokens visuels : Jusqu'à 100x pour des vidéos 4K à 30 FPS (nécessitant seulement ~1% des patches).
  • Accélération : Jusqu'à 19x pour le ViT et 10x pour le LLM.
  • Latence : Permet le traitement en temps réel de vidéos 4K, là où les modèles de base échouent (OOM - Out Of Memory) ou sont trop lents.
• Performance sur les Benchmarks :
  • HLVid : L'ajout d'AutoGaze améliore les performances de NVILA de 10,1% (passant de 42,5% à 52,6%), surpassant le meilleur modèle précédent de 4,5%.
  • VideoMME : Atteint 67,0%, surpassant des modèles comme Qwen2.5-VL.
  • Généralisation : Le modèle fonctionne bien sur des vidéos hors distribution (OOD), y compris des vidéos de surveillance, de robots, et des styles artistiques variés, en suivant correctement les objets en mouvement et les changements de scène.
• Analyse du "Regard" :
  • AutoGaze sélectionne préférentiellement les zones à fort flux optique (mouvement).
  • Il adapte dynamiquement l'échelle de résolution : plus fine pour les détails textuels ou les mouvements complexes, plus grossière pour les arrière-plans.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la compréhension vidéo : au lieu de traiter tout le flux vidéo de manière uniforme, il adopte une approche "Attend Before Attention" (Assister avant l'Attention).

• Déverrouillage du 4K et du Long Format : Il rend économiquement et techniquement viable l'analyse de vidéos de surveillance, de films entiers ou de flux de données autonomes en haute définition.
• Efficacité Énergétique : En réduisant drastiquement le nombre de calculs nécessaires, il ouvre la voie à des déploiements plus écologiques et accessibles.
• Nouveau Standard d'Évaluation : La création de HLVid force la communauté à se concentrer sur les défis réels de la haute résolution et de la longue durée, plutôt que sur des clips courts et basse résolution.

En résumé, AutoGaze démontre qu'une sélection intelligente et adaptative des informations visuelles, effectuée avant l'encodage profond, est la clé pour passer à l'échelle des modèles multimodaux vers des vidéos complexes du monde réel.