Résumé Technique : StreamOV

Énoncé du Problème

Le papier aborde le défi émergent de la compréhension de vidéos omni-flux, un contexte où les modèles doivent traiter des signaux audio-visuels synchronisés en temps réel à mesure qu'ils arrivent, plutôt que d'accéder à une vidéo complète hors ligne. Les modèles omni-modaux actuels les plus performants sont conçus pour une inférence hors ligne, créant deux incohérences fondamentales dans les scénarios de flux :

1. Gestion de la Mémoire : Les méthodes existantes manquent de mécanismes robustes pour gérer des contextes audio-visuels en croissance continue sur de longues périodes sans dépasser les budgets de calcul.
2. Interaction Proactive : Les modèles hors ligne ne peuvent pas déterminer de manière autonome quand répondre. Ils génèrent soit des réponses pour chaque requête (ignorant le besoin de silence), soit s'appuient sur des mécanismes inefficaces comme des tokens <silence> explicites (qui perturbent les distributions de génération pré-entraînées) ou des routeurs externes (qui manquent de capacités de raisonnement multimodal approfondi).

De plus, le domaine manque d'une référence complète capable d'évaluer des interactions audio-visuelles en continu, multi-tours et en ligne, incluant le déclenchement proactif de réponses et le silence intentionnel.

Méthodologie : Cadre StreamOV

Les auteurs proposent StreamOV, un cadre construit sur un Grand Modèle de Langage Omni-modal (MLLM) conçu pour un raisonnement en ligne efficace avec une mémoire bornée et un déclenchement proactif de réponses.

1. Mémoire Guidée par les Preuves Multimodales

Pour gérer le flux infini sous un budget de mémoire fixe, StreamOV introduit un mécanisme de mise à jour de Mémoire à Long et Court Terme piloté par une stratégie de construction de preuves à double perspective :

• Dynamiques Indépendantes de la Requête : Capture les dynamiques intrinsèques du flux en utilisant le changement visuel ($S_v$), la saillance audio ($S_a$) et les co-éruptions audio-visuelles ($S_{cob}$).
• Sémantique Consciente de la Requête : Mesure la pertinence entre la requête actuelle et le flux en utilisant des encodeurs pré-entraînés pour les scores sémantiques visuels ($S_{qv}$) et audio ($S_{qa}$). Un mécanisme de contrôle affine la pertinence audio pour privilégier les segments avec un audio physiquement saillant ou des événements synchronisés.
• Routage des Preuves : Le système construit trois types de preuves découplées : uniquement visuelle, uniquement audio, et alignée audio-visuelle.
• Mise à Jour de la Mémoire :
  • Mémoire à Court Terme ($M^S_t$) : Conserve les observations denses de la fenêtre temporelle actuelle.
  • Mémoire à Long Terme ($M^L_t$) : Maintient un ensemble fixe et à budget limité d'observations informatives sélectionnées sur l'ensemble de l'historique en fonction des scores de preuves.
  • L'état final de la mémoire est l'union de ces tampons, sérialisé chronologiquement et alimenté dans le MLLM figé.

2. Déclencheur de Réponse Piloté par l'État Caché

Au lieu de s'appuyer sur des routeurs externes ou de générer des tokens <silence> non sémantiques, StreamOV emploie un mécanisme de MLLM-comme-déclencheur :

• Mécanisme : Le modèle sonde les états cachés des premières étapes de décodage (spécifiquement l'état après pré-remplissage, $h_{t,0}$) pour prédire s'il faut Répondre ou Attendre.
• Implémentation : Un module de déclencheur par Attention Croisée léger agrège ces états cachés pour produire des logits de déclenchement binaires.
• Avantage : Cette approche exploite la préparation cognitive intrinsèque du MLLM encodée dans ses états cachés, évitant la perturbation des distributions pré-entraînées et les limitations de raisonnement des petits modèles auxiliaires.

Contributions Clés

1. SOVBench : La première référence complète pour l'évaluation omni-modale en ligne et multi-tours. Elle se compose de deux composants :
   • SOVBench-O : Évalue la compréhension audio-visuelle continue à travers les paradigmes Temps Réel, Rappel et Interaction Proactive (incluant la proactivité cognitive où le modèle doit inférer l'intention).
   • SOVBench-T : Une référence de classification binaire spécifiquement pour le Déclenchement de Réponse, testant la capacité d'un modèle à répondre lorsque des preuves sont présentes et à rester silencieux lorsqu'elles sont absentes.
2. Cadre StreamOV : Une architecture novatrice intégrant le routage de preuves multimodales, la mémoire à long et court terme, et un déclencheur piloté par l'état caché pour permettre un raisonnement de flux efficace.
3. Validation Empirique : Des expériences extensives démontrant que StreamOV atteint des performances de pointe sur les références de flux, hors ligne et uniquement visuelles.

Résultats Expérimentaux

Les auteurs ont évalué StreamOV (basé sur Qwen3-Omni-30B-A3B avec un backbone figé et un déclencheur de 18,9 millions de paramètres) contre diverses bases de référence, incluant des modèles Qwen hors ligne, des modèles de flux en ligne (par exemple, ROMA, Flash-VStream) et des modèles fermés (Gemini).

• Performance sur SOVBench : StreamOV a atteint une précision moyenne de 81,6 % sur SOVBench-O (Contexte Audio-Visuel) et 83,8 % sur SOVBench-O (Contexte Audio-Visuel & Contexte QA), surpassant la forte base de référence hors ligne Qwen3-Omni-30B (respectivement 73,7 % et 79,9 %).
• Déclenchement Proactif : Sur SOVBench-T, StreamOV a obtenu un score F1 de 90,5, surpassant significativement la base de référence Qwen3-Omni avec déclencheur (81,4) et d'autres modèles en ligne.
• StreamingBench : StreamOV a amélioré les performances de +7,6 % par rapport à Qwen3-Omni et de +22,5 % par rapport à ROMA sur le sous-ensemble de QA Audio-Visuel.
• Références Hors Ligne : StreamOV a démontré des performances compétitives ou supérieures sur des références hors ligne comme Video-Holmes et Daily-Omni, indiquant que son efficacité s'étend au-delà des scénarios purement de flux.
• Études d'Ablation : Les résultats ont confirmé que les composants Conscient de la Requête, Indépendant de la Requête et Mémoire Longue sont tous essentiels, le module Mémoire Longue fournissant l'augmentation de performance la plus significative.

Importance et Revendications

Le papier revendique que StreamOV comble le fossé entre la compréhension omni-modale hors ligne et les exigences des interactions de flux réelles. En introduisant un mécanisme de déclenchement proactif de réponse sans routeurs externes ni tokens de silence, et en établissant SOVBench comme norme pour évaluer le raisonnement audio-visuel continu et multi-tours, ce travail fournit une étape fondamentale vers des modèles capables d'"écouter et regarder" continuellement, décidant quand parler en fonction de la suffisance des preuves. Les auteurs soulignent que leur méthode atteint des résultats de pointe tout en maintenant une mémoire bornée et une efficacité de calcul, la rendant adaptée aux applications de flux à long horizon.