Résumé Technique : UniMVU – Portes Conscientes des Instructions pour la Compréhension Vidéo Multimodale

1. Énoncé du Problème

Les modèles de langage vidéo pré-entraînés (Video LLM) ont démontré de solides capacités en raisonnement visuel utilisant des trames RGB et des instructions textuelles. Cependant, ils rencontrent des défis majeurs lors du traitement de vidéos accompagnées de flux auxiliaires tels que l'audio, les cartes de profondeur ou des preuves temporelles denses.

Le problème central identifié est l'interférence des modalités. Dans les approches actuelles, les flux auxiliaires sont souvent fusionnés uniformément ou ajoutés sous forme de tokens supplémentaires. Cette stratégie de fusion statique suppose une importance fixe pour chaque modalité, ne tenant pas compte du fait que la pertinence d'une modalité est dépendante de la requête. Par exemple, l'audio est crucial pour les questions portant sur la parole ou les instruments, mais agit comme du bruit pour la reconnaissance des couleurs ; les indices de profondeur sont essentiels pour la disposition spatiale mais redondants pour les requêtes centrées sur l'apparence. La fusion uniforme permet aux canaux non pertinents de distraire le modèle, conduisant à des performances sous-optimales. Les méthodes existantes reposent souvent sur une attention de décodeur implicite ou des modules d'interaction spécifiques à la tâche qui ne traitent pas explicitement les deux questions de quels tokens au sein d'un flux mettre en avant et quel flux prioriser en fonction de l'instruction spécifique.

2. Méthodologie : UniMVU

Les auteurs proposent UniMVU, un cadre unifié de compréhension vidéo multimodale conçu pour effectuer une fusion consciente des instructions à travers diverses modalités (vidéo, audio, profondeur/3D, temporelle dense) avant le décodage par le LLM. Le cadre emploie un mécanisme de porte dynamique à deux niveaux conditionné par l'instruction textuelle.

Aperçu de l'Architecture

UniMVU intègre des encodeurs et des projecteurs spécifiques aux modalités avec un bloc de Fusion Équilibrée des Modalités, suivi d'un LLM figé ou adapté via LoRA. Le bloc de fusion se compose de trois composants principaux :

1. Séquence de Tokens Unifiée et Auto-Attention Inter-Modalité :

   • Toutes les entrées (vidéo, audio, profondeur, etc.) sont projetées dans un espace d'embedding commun et concaténées avec les tokens d'instruction textuelle en une séquence unifiée.
   • Une couche d'Auto-Attention Inter-Modalité permet les interactions entre les tokens d'instruction et les tokens de modalité. Crucialement, les tokens d'instruction restent « intacts » (remplacés par les embeddings originaux après la couche) pour empêcher les caractéristiques bruyantes des modalités de perturber la représentation de l'instruction, assurant ainsi un flux d'information unidirectionnel où les modalités sont conditionnées par le texte.

2. Porte Interne aux Modalités Pilotée par l'Instruction (Niveau Caractéristique) :

   • Ce module affine la séquence de tokens au sein de chaque modalité.
   • Il exploite la carte d'attention de la couche inter-modale pour calculer la pertinence de chaque token par rapport à l'instruction.
   • La masse d'attention des tokens d'instruction vers les tokens de contenu est agrégée et normalisée au sein de chaque modalité pour produire des poids au niveau des tokens ($w_{m,t}$). Cela met en avant les régions saillantes au sein d'un flux tout en supprimant les éléments non pertinents.

3. Porte au Niveau des Modalités Pilotée par l'Instruction (Niveau Flux) :

   • Ce module attribue un poids global à chaque flux de modalité complet.
   • Un Token de Contrôle Apprenable ($t_c$) est introduit pour chaque modalité afin de résumer le contenu du flux.
   • L'attention entre les tokens d'instruction et ces tokens de contrôle génère un score d'importance scalaire ($\eta_m$) pour chaque modalité.
   • Ces scores sont normalisés pour produire des coefficients de porte au niveau des modalités ($\beta_m$).

Mécanisme de Fusion :
La représentation finale pour une modalité $m$ est calculée comme un raffinement résiduel :
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
Où $O_m$ est la sortie de la couche d'auto-attention. Cette conception garantit que la preuve originale est préservée (via le résidu $O_m$) tandis que les tokens et les flux pertinents pour l'instruction sont amplifiés. La porte agit comme un signal de ré-pondération doux plutôt que comme un interrupteur dur, réduisant le risque de rejeter des preuves potentiellement utiles.

Entraînement et Évolutivité :

• Les encodeurs de modalités restent figés ; seuls les projecteurs, le bloc de fusion et les adaptateurs LoRA dans le LLM sont entraînés.
• Le cadre prend en charge un Entraînement Multi-Tâches Unifié, où un seul point de contrôle est entraîné sur des ensembles de données divers (Audio-Visuel, 3D et QA Vidéo) sans connecteurs spécifiques à la tâche. Les modalités manquantes sont masquées, et les portes sont renormalisées sur les flux disponibles.

3. Contributions Clés

• Cadre Unifié : Un modèle unique capable de gérer des entrées à modalités mixtes (vidéo, audio, profondeur/3D, temporelle dense) et de généraliser à travers diverses configurations de modalités sans règles de fusion conçues à la main.
• Porte Dynamique à Deux Niveaux : Un mécanisme piloté par l'instruction opérant à la fois au niveau des tokens (interne aux modalités) et au niveau des flux (niveau modalité) pour équilibrer de manière adaptative l'importance des modalités en fonction de la requête.
• Interprétabilité : Le mécanisme de porte s'aligne sur la pertinence des modalités interprétable par l'humain (par exemple, sur-pondérer l'audio pour les questions acoustiques), offrant une surface de décision transparente.
• Évolutivité : L'approche s'adapte à différentes tailles de modèles (0,5B et 7B) et prend en charge un entraînement unifié à travers plusieurs familles de tâches, éliminant le besoin de connecteurs séparés pour les tâches Audio-Visuel, 3D ou vidéo dense.

4. Résultats Expérimentaux

Les auteurs ont évalué UniMVU sur six benchmarks : AVQA, AVSD, Music-AVQA (Audio-Visuel), ScanQA, SQA3D (3D) et MVBench (Vidéo).

• Gains de Performance : UniMVU surpasse constamment les bases de fusion statique (spécifiquement les variantes PAVE et LLaVA-OV).
  • Sur Music-AVQA, UniMVU a obtenu une amélioration de +4,6 % de la précision globale (0,5B) et de +1,8 % (7B) par rapport à PAVE.
  • Sur AVSD, il a réalisé un gain de +12,2 points en CIDEr (0,5B) et de +13,5 (7B).
  • Sur SQA3D, UniMVU a amélioré EM@1 de +6,7 (0,5B) et a montré des gains significatifs sur les questions « Quoi » et « Comment ».
  • Sur MVBench, le modèle unifié (UniMVU†) a obtenu le meilleur score moyen, avec des gains particulièrement importants sur les sous-tâches exigeantes temporellement comme la Prédiction d'Action (+21,0) et la Séquence d'Action (+16,5) à l'échelle 0,5B.
• Entraînement Unifié : Un seul point de contrôle entraîné conjointement sur toutes les tâches (UniMVU†) a maintenu de solides performances, démontrant que l'interface de porte transfère avec succès le comportement de sélection de modalités à travers différentes familles de tâches.
• Études d'Ablation :
  • Le retrait de la porte interne aux modalités ou de la porte au niveau des modalités a entraîné des baisses de performance, confirmant la nécessité des deux niveaux.
  • L'utilisation d'un seul token de contrôle unifié a surpassé les tokens spécifiques aux modalités.
  • La connexion résiduelle dans la formule de porte était critique ; son retrait dégradait les performances.
  • La porte sans paramètres (utilisant directement les scores d'attention) a surpassé les têtes de scoring MLP apprises ou par auto-attention croisée, suggérant que les scores dérivés de l'attention fournissent un fort biais inductif.

5. Signification et Revendications

L'article revendique qu'UniMVU fournit une recette simple et unifiée pour la compréhension vidéo multimodale consciente des instructions. Sa signification principale réside dans la résolution de l'interférence des modalités en acheminant explicitement les informations en fonction de l'instruction avant que le LLM ne génère une réponse.

• Atténuation de l'Interférence : En ré-pondérant dynamiquement les flux et les tokens, le modèle empêche les modalités non pertinentes de distraire le décodeur, une limitation de la fusion uniforme.
• Généralisation : Le cadre prouve qu'une interface de porte unique peut gérer des entrées hétérogènes (audio, 3D, vidéo dense) sans nécessiter d'architectures séparées et spécifiques à la tâche.
• Efficacité et Transparence : La méthode est légère (ajoutant un nombre minimal de paramètres) et offre de l'interprétabilité, car les poids de porte reflètent directement le focus du modèle sur les types de preuves spécifiques requis par la requête.

Les auteurs concluent qu'UniMVU permet aux Video LLM de mieux exploiter les flux auxiliaires synchronisés, atteignant des résultats state-of-the-art sur divers benchmarks tout en offrant une voie évolutive pour l'intégration multimodale future.