Résumé Technique : Nemotron-Labs-Audio-Visual Flamingo (AV-Flamingo)

1. Énoncé du Problème

Malgré la dominance de la vidéo dans le trafic internet mondial et l'expérience humaine du monde comme une séquence audio-visuelle continue, les modèles de langage de grande taille (LLM) actuels peinent à comprendre et à raisonner sur des vidéos longues et complexes de manière similaire à l'humain. Les modèles audio-visuels de grande taille (AV-LLM) existants se concentrent principalement sur des clips courts et traitent souvent les modalités audio et visuelle séparément ou s'appuient sur un apprentissage cross-modal implicite. Les défis clés incluent :

• Rareté des Données : Un manque de données audio-visuelles appariées à grande échelle et de haute qualité conçues pour un raisonnement conjoint, particulièrement pour le contenu de longue durée. La plupart des ressources disponibles sont unimodales ou limitées à des tâches de reconnaissance de courte durée.
• Limitations Architecturales : Les modèles actuels présentent souvent un « biais visuel », où les couches plus profondes privilégient la vision et suppriment les représentations audio latentes, entraînant une mauvaise perception conjointe.
• Raisonnement Temporel : Les approches existantes ne parviennent pas à ancrer efficacement les étapes de raisonnement intermédiaire à des horodatages spécifiques dans des flux audio-visuels longs, ce qui entraîne une dégradation des performances à mesure que la durée de la vidéo augmente.
• Écosystèmes Fermés : Les modèles les plus performants sont souvent à code source fermé ou uniquement en poids ouverts, ce qui entrave la reproductibilité et le progrès ouvert.

2. Méthodologie

Les auteurs présentent Nemotron-Labs-Audio-Visual Flamingo (AV-Flamingo), un AV-LLM entièrement ouvert et à l'état de l'art, conçu pour la compréhension et le raisonnement conjoints sur des vidéos réelles longues et complexes. L'approche repose sur trois piliers techniques fondamentaux :

A. Architecture

AV-Flamingo est basé sur l'architecture OmniVinci, utilisant un LLM de base Qwen2.5-7B. Le système intègre cinq composants clés :

1. Encodeur de Vision SigLip : Extrait des caractéristiques spatiales denses des images et des images de vidéos, traitées via un module dynamique « Spatial-Scale-then-Compress » (S2) pour gérer les entrées à haute résolution sans consommation excessive de tokens.
2. Encodeur Audio AF-Whisper : Un encodeur basé sur Whisper utilisant un mécanisme de fenêtre glissante pour traiter l'audio de longueur arbitraire (segmenté en blocs de 30 secondes) sans troncature.
3. Alignement Cross-Modal : Les séquences de tokens visuels et audio sont entrelacées temporellement et alignées à l'aide de l'encodage temporel rotatif contraint (Constrained Rotary Time Embeddings - CRTE). Cela garantit que le LLM peut distinguer l'ordre et le minutage relatif des événements multimodaux.
4. Backbone LLM : Traite la séquence de tokens entrelacés de manière autorégressive.
5. TTS en Streaming : Un module transformeur de type décodeur seul permettant une interaction voix-à-voix en temps réel.

B. Curation de Données : Audio-Visual-Skills (AV-Skills)

Pour remédier au goulot d'étranglement des données, les auteurs introduisent AV-Skills, un ensemble de données à grande échelle comprenant environ 7 millions d'instances d'entraînement (légendes et paires QA) sur des vidéos courtes (jusqu'à 60s) et longues (60s – 15 min).

• Sources : Dérivées de jeux de données publics (ex. YouTube-8M, LSMDC, MovieClips) et de vidéos du web ouvert.
• Focus sur les Compétences : Contrairement aux jeux de données précédents axés sur la reconnaissance, AV-Skills cible des compétences de raisonnement complexes, notamment :
  • Format court : Raisonnement relationnel, changement d'émotion, raisonnement temporel, perception spatiale, raisonnement causal, détection d'hallucinations et comptage (audio/vidéo).
  • Format long : Raisonnement de type « aiguille dans une botte de foin » (needle-in-the-haystack), référencement/ordonnancement temporel, compréhension de sous-scènes, raisonnement holistique, raisonnement au niveau thématique et légendage détaillé.

C. Curriculum d'Entraînement

Le modèle suit un curriculum en trois étapes pour augmenter progressivement ses capacités :

1. Pré-entraînement (Contexte Court) : Initialisé à partir d'OmniVinci, il effectue un fine-tuning complet sur un mélange de données unimodales et de AV-Skills-Short (durée max 5 min, contexte 16K). Cela préserve les compétences fondamentales tout en introduisant le raisonnement cross-modal.
2. Mid-training (Contexte Long) : S'étend aux données AV-Skills-Long (durée max 15 min, contexte 32K). Cette étape se concentre sur le légendage de longue durée, l'ancrage temporel précis et le QA complexe, en conservant les compétences de contexte court via des données sous-échantillonnées. Le modèle résultant est AVF-Instruct.
3. Post-entraînement (Raisonnement) : Entraîné sur AV-Think, un jeu de données de triplets question-réponse-raisonnement. Cette étape utilise le Supervised Fine-Tuning (SFT) suivi de l'apprentissage par renforcement par optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO). L'objectif est de produire des rationales structurées, étape par étape, ancrées à des horodatages spécifiques. Le modèle final est AVF-Think.

D. Chaîne de Pensée Entrelacée Audio-Visuelle Temporelle (TAVIT)

Un nouveau cadre de raisonnement où les étapes de raisonnement intermédiaires sont explicitement ancrées à des horodatages dans les flux audio et visuels (ex. balises <t>...</t>). Cela améliore l'alignement temporel, l'interprétabilité et la capacité du modèle à naviguer dans des flux longs et complexes.

3. Contributions Clés

1. Modèle AV-Flamingo : Un AV-LLM de pointe entièrement ouvert, capable de compréhension et de raisonnement audio-visuels conjoints sur des vidéos réelles longues et complexes.
2. Recette Scalable : Un cadre complet pour les prochains AV-LLM, incluant la curation de données à l'échelle d'Internet (AV-Skills), l'expansion ciblée des capacités et le raisonnement temporellement ancré (TAVIT).
3. Libération Open Source : Les auteurs ouvrent les poids du modèle, le code d'entraînement, le code d'inférence et les techniques associées pour soutenir la recherche future.
4. Performance : AV-Flamingo surpasse les modèles ouverts de taille similaire par des marges claires et reste très compétitif, voire supérieur, à des modèles beaucoup plus grands aux poids ouverts ou fermés (ex. Gemini 2.5 Pro, GPT-4o) sur des tâches longues et complexes.

4. Résultats Expérimentaux

Le modèle a été évalué sur plus de 15 benchmarks couvrant l'audio, la vision, l'omni-modalité et la compréhension de la parole.

• Compréhension Omni-Modale : AVF-Think a atteint 51,6 % sur WorldSense et 73,9 % sur DailyOmni, surpassant Qwen2.5-Omni et OmniVinci. Sur MMOU (un benchmark pour le raisonnement vidéo long), AVF-Think a atteint 60,2 %, dépassant nettement la base open-source Minicpm-o 4.5 (46,8 %) et approchant le modèle propriétaire Gemini-2.5 Pro (64,2 %).
• Compréhension Vidéo : Sur Video-MME, AVF-Instruct a obtenu 70,7 % (sans sous-titres) et 71,2 % (avec sous-titres), surpassant NVILA et OmniVinci.
• Compréhension Audio : AVF-Instruct a obtenu le meilleur score moyen global (73,49) sur MMAU, dépassant Audio Flamingo 3 et OmniVinci. Il a également établi de nouveaux records de l'état de l'art sur plusieurs benchmarks ASR, dont 1,64 WER sur LibriSpeech test-clean.
• Robustesse : Le modèle a démontré une forte généralisation aux tâches non vues et une robustesse sur les vidéos de longue durée là où les performances déclinent généralement dans les autres modèles.

5. Signification et Revendications

L'article affirme qu'AV-Flamingo représente une étape significative vers le passage à l'échelle de l'intelligence audio-visuelle ouverte au-delà des benchmarks académiques. En exploitant des données à l'échelle d'Internet et un post-entraînement ciblé pour le raisonnement, il comble la lacune critique de la compréhension audio-visuelle de longue durée et temporellement ancrée.

Les auteurs soulignent que la publication du modèle, des données et du code abaisse la barrière pour les chercheurs n'ayant pas accès aux ressources propriétaires, favorisant un écosystème de recherche plus inclusif. Ils reconnaissent des limites, telles que le biais potentiel des sources dans les données du web ouvert et les défis liés aux preuves extrêmement denses ou éparses dans les vidéos très longues, mais positionnent AV-Flamingo comme une fondation robuste pour les futurs systèmes audio-visuels ouverts. Ce travail souligne que l'ancrage temporel explicite et le raisonnement cross-modal sont essentiels pour passer de la simple reconnaissance à une véritable compréhension du contenu vidéo complexe du monde réel.