Résumé Technique : Response-G1

Énoncé du Problème

L'article aborde le défi de la Compréhension Proactive de Vidéos en Flux (SVU). Contrairement à l'interaction réactive, où les modèles répondent immédiatement aux requêtes de l'utilisateur, l'interaction proactive exige que les Modèles de Langage pour Vidéos (Video-LLMs) déterminent de manière autonome le moment optimal pour répondre au fur et à mesure que la vidéo se déroule. La difficulté principale réside dans la décision du moment où les preuves visuelles accumulées sont suffisantes pour satisfaire les conditions implicites d'une requête utilisateur, en particulier pour les questions prédictives ou anticipatrices où la réponse peut ne pas être disponible dans les images initiales.

Les approches existantes souffrent de deux limitations principales :

1. Méthodes basées sur le fine-tuning : Elles s'appuient sur des annotations au niveau des images pour entraîner des frontières de décision (par exemple, prédire des jetons de fin de séquence ou utiliser des classificateurs auxiliaires). Cependant, elles éprouvent souvent des difficultés avec des labels incohérents sur des images consécutives visuellement similaires, ce qui entrave l'apprentissage de frontières de décision fiables.
2. Méthodes sans fine-tuning : Les approches actuelles reposent souvent sur une modélisation implicite des preuves visuelles ou sur des seuils simples de différence inter-image. Ces méthodes échouent à aligner explicitement les preuves de flux accumulées avec les conditions sémantiques spécifiques de la requête, conduisant à un timing de réponse sous-optimal.

Méthodologie : Response-G1

Les auteurs proposent Response-G1, un cadre novateur sans fine-tuning qui établit un alignement explicite et structuré entre les preuves vidéo accumulées et les conditions de requête en utilisant des graphes de scène. Le cadre fonctionne à travers trois étapes intégrées :

1. Génération de Graphe de Scène Guidée par la Requête en Ligne

Au lieu de traiter des images brutes ou des caractéristiques implicites, le système abstrait les clips vidéo en flux en graphes de scène structurés.

• Mécanisme : Un Video-LLM est sollicité pour générer un graphe de scène $G_t$ pour un clip vidéo centré au temps $t$.
• Guidage par la Requête : La génération est conditionnée par la requête utilisateur $Q$. L'invite oriente le modèle à prioriser les triplets (objet-prédicat-objet) pertinents pour la requête, en supprimant les détails visuels non pertinents.
• Représentation : Le graphe se compose de nœuds (objets et attributs) et d'arêtes (relations spatio-temporelles), représentés comme une collection de triplets.

2. Récupération de Graphe de Scène Basée sur la Mémoire

Pour faciliter un alignement fin, le système maintient une banque de mémoire dynamique de graphes de scène historiques.

• Linéarisation et Encodage : Chaque graphe de scène est linéarisé en phrases en langage naturel (par exemple, "femme en rouge") et encodé en plongements de texte denses à l'aide de l'encodeur de texte du Video-LLM. De même, la requête utilisateur est analysée en un "Graphe de Condition de Requête" et linéarisée pour assurer la cohérence du format.
• Appariement de Similarité : Le système calcule la similarité cosinus entre l'encodage de la requête et les encodages de tous les graphes de scène historiques dans la banque de mémoire.
• Récupération : Les $K$ graphes de scène historiques les plus sémantiquement pertinents sont récupérés pour servir de contexte de preuve ($G^{ctx}_t$).

3. Pipeline de Flux Augmenté par la Récupération

Les graphes de scène récupérés sont intégrés dans le processus d'inférence du Video-LLM pour piloter la prise de décision.

• Phase de Déclenchement (Silence/Réponse) : À chaque pas de temps, le Video-LLM reçoit une séquence de jetons contenant les encodages de l'image actuelle, les graphes de scène récupérés (encodés avec des horodatages temporels) et une invite de déclenchement (par exemple, "Dois-je répondre maintenant ?"). Le modèle produit une décision binaire : Silence ou Réponse.
• Phase de Réponse : Si la décision est de répondre, le modèle génère la réponse finale en utilisant le contexte visuel accumulé jusqu'à ce moment, augmenté par les graphes de scène récupérés.
• Polyvalence : Le même pipeline peut être adapté pour des tâches réactives en définissant le temps de réponse au moment de l'arrivée de la requête, démontrant la capacité du cadre à améliorer l'ancrage spatio-temporel même sans délais proactifs.

Contributions Clés

1. Modélisation Explicite de Graphes de Scène : L'article introduit un changement de paradigme passant de la modélisation implicite des preuves à une représentation explicite et structurée utilisant des graphes de scène. Cela démêle les sémantiques sous-jacentes et soutient un raisonnement fondé sur l'alignement des preuves et des conditions de requête.
2. Cadre Response-G1 : Une architecture de bout en bout, sans fine-tuning, qui intègre de manière transparente la génération de graphes de scène guidée par la requête en ligne, la récupération de graphes basée sur la mémoire et la prise de décision de flux augmentée par la récupération.
3. Performances de Pointe : La méthode obtient des résultats supérieurs sur les tâches de compréhension de vidéos en flux proactives et réactives, sans nécessiter de fine-tuning spécifique à la tâche.

Résultats Expérimentaux

Les auteurs ont évalué Response-G1 sur deux benchmarks établis : OVO-Bench et StreamingBench.

• Tâches Proactives :
  • Sur la sous-tâche Réponse Active Vers l'Avant d'OVO-Bench (mesurant la précision du timing de réponse), Response-G1 a surpassé le deuxième meilleur Video-LLM en flux open-source de 12,8 % en moyenne.
  • Sur la sous-tâche Sortie Proactive (PO) de StreamingBench, il a dépassé le deuxième meilleur modèle open-source de 15,1 %.
  • Les performances étaient comparables à celles des MLLM propriétaires (par exemple, GPT-4o, Gemini 1.5 Pro).
• Tâches Réactives :
  • Le cadre a également amélioré les performances sur les sous-tâches réactives standard (Perception Visuelle en Temps Réel, Traçage Vers l'Arrière, Compréhension Visuelle en Temps Réel), avec des gains allant de 2,1 % à 12,3 % par rapport aux deuxièmes meilleures références open-source.
• Études d'Ablation :
  • La suppression de l'augmentation par récupération ou de l'encodage des horodatages a considérablement dégradé les performances, en particulier sur les tâches nécessitant un ancrage temporel (par exemple, Réponse aux Indices Révélés).
  • La génération guidée par la requête s'est avérée supérieure à la génération guidée par les objets, car cette dernière a conduit à des hallucinations et des réponses prématurées.
  • L'utilisation d'encodages graphe-texte pour la récupération a donné de meilleurs résultats que l'utilisation du texte brut de la requête, soulignant l'importance de la cohérence du format.

Signification et Affirmations

L'article affirme que Response-G1 démontre l'avantage de la modélisation structurelle explicite et de l'augmentation par récupération dans la compréhension de vidéos en flux. En ancrant à la fois les preuves visuelles et les conditions de requête dans une représentation de graphe partagée, le cadre permet aux Video-LLMs de prendre des décisions plus interprétables et précises concernant le timing de la réponse.

Les auteurs positionnent ce travail comme une étape vers une interaction multimodale plus capable et interprétable dans des applications de flux du monde réel, telles que les assistants d'IA conversationnelle et les agents incarnés autonomes. Ils reconnaissent des limitations, notant que si les graphes de scène améliorent l'alignement, ils ne peuvent pas entièrement résoudre le raisonnement complexe (par exemple, les questions "pourquoi") et que le compromis entre la pertinence de la requête et les hallucinations dans la génération en ensemble ouvert reste un défi. Des travaux futurs sont suggérés pour explorer des formulations structurelles plus riches et des mécanismes de génération adaptatifs.