Résumé Technique : Apprentissage de la Sensibilité Spatio-Temporelle dans les LLM Vidéo via l'Apprentissage par Renforcement Contrefactuel

1. Énoncé du Problème

Les Modèles de Langage Vidéo (Video LLMs) ont atteint des performances solides sur les benchmarks standards, pourtant des études récentes indiquent que cette haute précision découle souvent de « raccourcis » plutôt que d'une véritable compréhension spatio-temporelle. Les modèles s'appuient fréquemment sur des indices statiques (par exemple, des caractéristiques d'une seule image) ou des priors linguistiques pour répondre aux questions, échouant à suivre l'évolution des événements dans le temps. Ce problème est exacerbé lors du post-entraînement par Apprentissage par Renforcement (RL). Les méthodes RL standards, telles que GRPO, emploient typiquement des récompenses basées uniquement sur la justesse. Si un modèle peut répondre correctement à une question en utilisant un raccourci statique, il reçoit une récompense élevée sans jamais apprendre à traiter le contenu vidéo dynamique. Par conséquent, le RL basé uniquement sur la justesse peut renforcer ces politiques de raccourcis, améliorant les scores aux benchmarks tout en affaiblissant potentiellement la sensibilité du modèle aux preuves dynamiques.

Les tentatives existantes pour résoudre ce problème, comme l'utilisation de vidéos perturbées (par exemple, des images mélangées ou des inversions temporelles) pour façonner les récompenses, traitent souvent la vidéo perturbée uniquement comme un signal diagnostique pour la branche originale. Elles n'entraînent pas activement la politique sur l'entrée contrefactuelle elle-même, limitant ainsi leur capacité à imposer un raisonnement spatio-temporel cohérent.

2. Méthodologie : Optimisation de Politique Relationnelle Contrefactuelle (CRPO)

Les auteurs proposent l'Optimisation de Politique Relationnelle Contrefactuelle (CRPO), un cadre RL à double branche conçu pour améliorer la sensibilité spatio-temporelle. L'idée centrale est qu'un modèle devrait répondre de manière prévisible à des mondes visuels contrefactuels contrôlés : si les preuves visuelles changent tandis que la question reste fixe, la réponse devrait changer pour les questions dynamiques (équivalence) et rester identique pour les questions statiques (invariance).

2.1 Architecture à Double Branche

CRPO étend le cadre GRPO standard en maintenant deux branches parallèles pour chaque prompt d'entraînement :

1. Branche Originale : Traite la vidéo originale $X$ et la question $Q$.
2. Branche Contrefactuelle : Traite une vidéo transformée $X_T$ et la même question $Q$.

Un Routeur de Tâches (implémenté comme un modèle de raisonnement uniquement textuel) classe la question en l'un des quatre types suivants — Spatial, Temporel, Spatio-Temporel, ou Statique — basé sur des tests de transformation hypothétiques (par exemple, « Si nous retournons le monde horizontalement, la réponse changerait-elle ? »). Sur la base de cette classification, une transformation spécifique $T$ est appliquée :

• Spatial/Temporel/Spatio-Temporel : Retournement horizontal ou inversion temporelle.
• Statique : Une transformation est toujours appliquée, mais le signal de récompense encourage l'invariance de la réponse.

2.2 Récompense Relationnelle Contrefactuelle (CRR)

L'innovation clé est la Récompense Relationnelle Contrefactuelle (CRR), qui relie les deux branches. Contrairement aux méthodes antérieures qui utilisent les perturbations uniquement pour le façonnage de la récompense sur la branche originale, CRPO met à jour la politique en utilisant les gradients des deux branches.

La fonction de récompense combine :

• Récompense de Justesse ($R_{correct}$) : Récompense standard de précision pour la branche originale.
• Récompense Comportementale ($R_{behave}$) : Appliquée à la branche contrefactuelle. Elle récompense le modèle si la réponse change pour les tâches dynamiques ($o^T \neq o^*$) et reste correcte pour les tâches statiques ($o^T = o^*$).
• Terme Relationnel Inter-Branche ($R_{CRR}$) :
  • Pour la branche originale, $R_{CRR}$ récompense la politique si les réponses de la branche contrefactuelle exhibent le comportement attendu (changement pour le dynamique, maintien pour le statique), conditionné par le fait que la réponse originale soit correcte.
  • Pour la branche contrefactuelle, $R_{CRR}$ récompense la politique si la branche originale est correcte, conditionné par le fait que la réponse contrefactuelle exhibe le comportement attendu.

Cela crée une structure de récompense mutuelle symétrique. La récompense la plus élevée n'est atteinte que lorsque le modèle répond correctement à la vidéo originale et démontre le comportement relationnel correct sur la vidéo contrefactuelle. Cela rend difficile pour les politiques de raccourcis (qui donneraient la même réponse quelle que soit la transformation vidéo) de maximiser constamment les récompenses sur les deux branches.

2.3 Optimisation et Option Nulle

CRPO utilise une stratégie d'normalisation hybride pour les avantages, calculant l'écart-type conjointement sur les deux branches (2G valeurs) pour assurer un entraînement stable. Pour gérer les cas où la réponse correcte pour une vidéo contrefactuelle n'est pas présente dans les options à choix multiples originales (par exemple, une vidéo inversée implique une direction différente), une option « Aucune de ces réponses » (Option Nulle) est ajoutée. Le choix de cette option pour une tâche dynamique compte comme un changement de réponse valide, déclenchant la récompense d'équivalence sans nécessiter d'étiquettes de vérité terrain contrefactuelles explicites.

3. Contributions Clés

1. Cadre CRPO : Une extension RL à double branche simple qui utilise des Récompenses Relationnelles Contrefactuelles pour imposer une sensibilité spatio-temporelle. Il entraîne à la fois sur les branches originale et contrefactuelle, décourageant la dépendance aux raccourcis sans nécessiter d'annotations spatio-temporelles coûteuses ou d'étiquettes contrefactuelles.
2. DyBench : Un nouveau benchmark apparié contrefactuel composé de 3 014 vidéos (1 507 paires) couvrant trois sous-tâches : Dynamiques Réversibles (par exemple, floraison vs fermeture), Direction du Mouvement, et Séquence d'Événements.
3. Métrique d'Évaluation Stricte : L'introduction de la Précision Appariée (P-Acc), qui compte une paire comme correcte uniquement si les deux vidéos originale et contrefactuelle sont répondues correctement. Cette métrique empêche les modèles d'gonfler les scores en utilisant des raccourcis à réponse fixe.

4. Résultats Expérimentaux

Des expériences ont été menées sur les architectures de base Qwen3-VL-4B et Qwen3-VL-8B, comparant CRPO aux méthodes GRPO standard, T-GRPO et ArrowRL.

• Sensibilité Spatio-Temporelle : CRPO surpasse nettement tous les modèles de référence sur les benchmarks sensibles à la dimension spatio-temporelle. Sur Qwen3-VL-8B, CRPO améliore la P-Acc de DyBench de +7,7 et l'I-Acc de TimeBlind de +8,2 par rapport au modèle de base. Les gains sur les métriques appariées (P-Acc) sont disproportionnellement plus grands que sur la précision standard, indiquant une réduction réelle de la dépendance aux raccourcis.
• Performance Générale : CRPO maintient une performance compétitive sur les benchmarks généraux de compréhension vidéo (VideoMME, MVBench), démontrant que l'imposition d'une sensibilité spatio-temporelle ne dégrade pas les capacités générales.
• Études d'Ablation :
  • La suppression de la récompense CRR inter-branche ou de la branche contrefactuelle elle-même provoque des baisses significatives de la P-Acc, confirmant que le signal relationnel et l'optimisation à double branche sont essentiels.
  • Les gains de CRPO ne peuvent pas être attribués simplement à une augmentation des données ou du calcul (doubles déroulements), car les contrôles avec des données/déroulements doublés n'ont pas réussi à égaler les performances de CRPO sur les métriques appariées.
• Dynamiques d'Entraînement : CRPO montre une convergence initiale plus lente sur les récompenses de justesse par rapport aux modèles de référence, suggérant qu'il supprime l'apprentissage précoce des raccourcis. Cependant, il converge vers une précision finale similaire tout en maintenant une fraction plus faible de groupes à avantage nul, indiquant des signaux d'apprentissage plus riches.

5. Signification et Revendications

L'article revendique que CRPO offre un signal d'entraînement direct pour la sensibilité spatio-temporelle qui est difficile à satisfaire pour les raccourcis statiques. En récompensant explicitement la relation entre les réponses aux vidéos factuelles et contrefactuelles, CRPO force le modèle à ancrer son raisonnement dans le contenu dynamique de la vidéo plutôt que dans des priors statiques.

Les auteurs positionnent DyBench et la métrique de Précision Appariée comme un outil de diagnostic nécessaire pour distinguer une véritable compréhension spatio-temporelle d'une réussite basée sur des raccourcis. Ils concluent que si CRPO améliore les performances sur les tâches dynamiques, il le fait sans sacrifier la compréhension vidéo générale, offrant une étape vers des LLM Vidéo plus sensibles à la façon dont les états visuels changent au fil du temps. Le travail reconnaît des limitations, telles que la restriction à des transformations géométriques/temporelles simples et le focus sur des vidéos courtes, laissant les contrefactuels sémantiques plus complexes pour des recherches futures.