Résumé Technique : Le raisonnement comme intersection : Alignement de l'alignement du consensus pour le focus visuel dans les Video-MLLM

1. Énoncé du problème

Bien que l'apprentissage par renforcement (RL), et particulièrement l'optimisation de la politique relative au groupe (GRPO), ait réussi à améliorer les capacités de raisonnement des grands modèles de langage (LLM), son application aux modèles multimodaux de langage vidéo (Video-MLLM) se heurte à une limitation spécifique. Les méthodes actuelles reposent principalement sur des récompenses basées uniquement sur le résultat (par exemple, l'exactitude de la réponse, la cohérence temporelle ou la localisation). Bien que ces signaux vérifient si une réponse est correcte, ils ne fournissent pas de guidage au niveau du processus concernant quelles images d'évidence visuelle soutiennent la réponse.

Dans les vidéos longues ou non découpées, les modèles peuvent ancrer leurs réponses sur des images qui sont visuellement plausibles mais non pertinentes pour la requête spécifique, ou ils peuvent s'appuyer sur un schéma diffus d'utilisation de trames qui échoue à isoler les preuves décisives. Les méthodes de supervision de processus existantes se concentrent souvent sur les étapes de raisonnement textuelles ou les traces conditionnées par l'image, manquant d'un mécanisme pour aligner la génération avec des preuves visuelles temporellement distribuées sans nécessiter d'annotations temporelles humaines coûteuses.

2. Méthodologie : Consensus Frame GRPO (CF-GRPO)

Les auteurs proposent le Consensus Frame GRPO (CF-GRPO), un cadre de RL au niveau du processus sans annotation temporelle. L'innovation centrale est la Récompense de Consensus de Trame (CFR), qui aligne l'utilisation interne des trames par le modèle avec un « a priori de consensus » construit à partir d'indices vidéo intrinsèques.

2.1 Construction de l'a priori de consensus

Au lieu d'utiliser une vérité terrain annotée par l'humain, la méthode construit un a priori doux, sans annotation temporelle, $P(i)$ en fusionnant trois indices intrinsèques complémentaires :

1. Couverture temporelle uniforme : Une base assurant la préservation de la séquence globale.
2. Indices de transition de scène : Identifiés via la distance de Bhattacharyya entre les histogrammes HSV de trames adjacentes pour capturer les changements visuels.
3. Pertinence visuelle conditionnée par la requête : Dérivée d'un encodeur langage-vision préentraîné mesurant la similitude image-texte entre les trames échantillonnées et la requête de l'utilisateur.

Ces signaux sont pondérés et normalisés pour créer une distribution probabiliste $P(i)$ représentant les trames susceptibles de contenir des preuves utiles.

2.2 Extraction du score d'utilisation de trame côté modèle

Pour aligner le comportement du modèle avec l'a priori, le cadre extrait un score d'utilisation de trame côté modèle ($\alpha(i)$) à partir des représentations internes du modèle :

• Agrégation parcellaire sensible à la saillance : Les jetons de patch visuels pour chaque trame sont agrégés en utilisant un pooling maximal par canal plutôt qu'un pooling moyen. Cela préserve les régions à haute réponse et évite la dilution par le bruit de fond.
• Alignement sémantique : Les vecteurs de trames agrégés sont comparés aux états cachés de la réponse via la similitude cosinus pour générer des poids bruts.
• Affinement de la distribution : Un softmax à basse température est appliqué aux scores bruts pour créer une distribution à haut contraste, réduisant les scores de trames trop diffus et renforçant le signal de gradient de politique.

2.3 Mécanisme de récompense et optimisation

La Récompense de Consensus de Trame ($R_{cf}$) est calculée comme le produit scalaire (recouvrement) entre l'a priori de consensus $P(i)$ et le score d'utilisation de trame côté modèle $\alpha(i)$.
La fonction de récompense totale combine la supervision classique du résultat avec ce signal de processus :
$$R_{total} = R_{acc} + R_{struct} + \lambda \cdot R_{cf} + R_{temp}$$
Où $R_{acc}$ est l'exactitude de la réponse, $R_{struct}$ impose des contraintes de format, $R_{temp}$ encourage la cohérence temporelle, et $R_{cf}$ est le nouveau terme d'alignement d'évidence. Le modèle est optimisé via GRPO, mettant à jour la politique basée sur des déploiements groupés pour maximiser cette récompense composite.

3. Contributions clés

1. Cadre CF-GRPO : Un nouveau cadre de RL pour le raisonnement vidéo qui introduit l'alignement de l'évidence au niveau de la trame sans nécessiter d'annotations temporelles humaines.
2. Récompense de Consensus de Trame (CFR) : Un mécanisme qui construit un a priori de consensus à partir d'indices vidéo intrinsèques (couverture, transitions, pertinence) et l'aligne avec l'utilisation de trames côté modèle via une agrégation parcellaire sensible à la saillance et un affinement de la distribution.
3. Performance et interprétabilité : Le modèle VideoCFR proposé atteint des performances compétitives sur des benchmarks de raisonnement vidéo complexes. L'a priori de consensus fournit une vue interprétable des trames d'évidence mises en évidence pendant l'entraînement, et les études d'ablation confirment la nécessité de l'a priori de consensus, de l'agrégation parcellaire et des composants d'affinement.

4. Résultats expérimentaux

Le modèle a été évalué sur une suite de benchmarks de raisonnement vidéo (VSI-Bench, VideoMMMU, MMVU) et de benchmarks de compréhension vidéo générale (MVBench, TempCompass, VideoMME).

• Résultats principaux : VideoCFR (configuration à 32 trames) a atteint 52,4 % sur VideoMMMU, surpassant Video-R1-7B (47,2 %) et VideoChat-R1 (48,7 %). Il a également montré des améliorations sur VSI-Bench et MMVU par rapport aux bases de comparaison RL représentatives.
• Mise à l'échelle (Scaling) : L'augmentation du budget de trames de 16 à 64 a amélioré les performances sur les benchmarks nécessitant un contexte temporel plus riche (par exemple, VideoMME : 55,1 % $\to$ 61,1 %), bien que certains benchmarks aient plafonné à un nombre de trames inférieur.
• Études d'ablation :
  • Le remplacement de l'a priori de consensus par une distribution uniforme a considérablement dégradé les performances sur les benchmarks de raisonnement (par exemple, -3,2 % sur VideoMMMU).
  • La suppression de l'agrégation parcellaire ou de l'affinement de la distribution a entraîné des baisses de performance sur plusieurs benchmarks, confirmant leur rôle dans la préservation des signaux pertinents pour la tâche et l'amélioration de la discriminabilité de la récompense.
  • L'inclusion de données de type Image QA pendant l'entraînement s'est avérée bénéfique pour préserver la reconnaissance visuelle fine.
• Analyse diagnostique :
  • Dynamique d'entraînement : Le score de consensus mis à l'échelle est passé de 0,47 à plus de 0,62 pendant l'entraînement, indiquant que le modèle a appris avec succès à s'aligner sur l'a priori.
  • Alignement de l'attention : Les trames de consensus ont reçu 19,5 % des événements d'attention de premier rang tout en n'occupant que 14,1 % des créneaux de trames (enrichissement de 1,48$\times$), tandis que les trames hors consensus sont restées en dessous de la ligne de base.
  • Cas qualitatifs : Les visualisations ont montré que VideoCFR se concentre avec succès sur les preuves décisives (par exemple, marquages chirurgicaux, mécanismes biologiques spécifiques) tout en ignorant les distracteurs visuellement saillants mais non pertinents (par exemple, les gencives dans une vidéo médicale), contrairement aux modèles de base.

5. Signification et limites

Signification :
L'article soutient que le raisonnement vidéo nécessite plus que la simple exactitude de la réponse ; le processus de génération doit être aligné avec l'évidence visuelle soutenant la réponse. En introduisant une récompense de processus qui opère sans étiquettes temporelles humaines, CF-GRPO comble le fossé entre la supervision par le résultat et l'évidence visuelle spécifique utilisée par le modèle. Cette approche offre un mécanisme interprétable pour guider les Video-MLLM vers un raisonnement plus robuste et fondé sur des preuves.

Limites :

• Fiabilité de l'a priori : L'a priori de consensus est une estimation basée sur des indices intrinsèques. Il peut être moins fiable lorsque l'évidence est implicite, visuellement subtile ou distribuée sur de nombreuses trames.
• Couverture de la modalité : L'a priori actuel repose uniquement sur les indices visuels et textuels de la requête, manquant de l'audio, des sous-titres ou du timing des événements inter-modaux.
• Coût computationnel : La méthode introduit un calcul supplémentaire pendant l'entraînement dû au calcul des a priori et des scores d'utilisation de trames sur les déploiements groupés.
• Sensibilité du budget de trames : L'augmentation du budget de trames n'est pas uniformément bénéfique pour toutes les tâches, suggérant un besoin d'adaptation spécifique à la tâche plutôt qu'une règle de mise à l'échelle universelle.
• Évaluation : Les analyses diagnostiques reposent sur des statistiques internes plutôt que sur des étiquettes d'évidence temporelle annotées par l'humain.

Les auteurs concluent que les travaux futurs pourraient explorer des architectures à contexte plus long, des modalités supplémentaires et des approximations en ligne pour élargir davantage l'applicabilité de CF-GRPO.