Résumé Technique : Le Piège de la Basse Fréquence : Les Modèles Vidéo-Langage échouent à la Comptabilité Élémentaire d'Événements

Énoncé du Problème

Les benchmarks vidéo du monde réel pour les modèles vidéo-langage (VLM) entachent souvent plusieurs variables — nombre d'événements, taux, durée, complexité visuelle et sémantique — ce qui rend difficile l'isolement de modes de défaillance spécifiques. Bien que les benchmarks programmatiques existants offrent un meilleur contrôle, ils ne scorent généralement que la réponse finale, échouant ainsi à auditer si un modèle a manqué des événements, a confondu leur chronologie, a perdu la trace d'une séquence ou a erré uniquement lors de l'agrégation. Par conséquent, les métriques de précision de la réponse finale peuvent masquer une faible capacité de traitement temporel ou un raisonnement fragile, occultant le fait que les modèles peuvent échouer à une comptabilité élémentaire d'événements à mesure que la charge temporelle augmente.

Méthodologie

Les auteurs introduisent le profilage paramétrique fondé sur la trace (trace-grounded parametric profiling), un cadre d'évaluation contrôlé conçu pour isoler les capacités de raisonnement temporel de la complexité visuelle.

Espace de Tâches Contrôlé

L'étude utilise des vidéos générées par programme via le moteur d'animation Manim afin d'assurer un contrôle précis au niveau de la trame sur les trajectoires spatiales et la chronologie. Trois domaines distincts sont évalués :

1. Balle Bondissante (Bounce Ball) : Compter les contacts de la balle avec le mur.
2. Clignotement (Blinking) : Compter les impulsions d'un objet visuel (événements transitoires).
3. Machine à États (State Machine) : Compter les transitions d'état catégorielles (événements persistants).

Paramètres Expérimentaux

Le cadre fait varier systématiquement deux paramètres orthogonaux tout en maintenant fixes le rendu, la sémantique et les règles de la tâche :

• Nombre d'événements ($N$) : Allant de 0 à 12.
• Fréquence des événements ($F$) : Allant de 0,5 Hz à 4,0 Hz.
• Durée : Tous les clips sont fixés à 24 secondes. La séquence d'événements actifs couvre environ $N/F$ secondes, les images statiques remplissant le reste.

Vérité de Terrain et Métriques

Chaque vidéo est associée à une trace de vérité de terrain exécutable contenant les horodatages des événements, les changements d'état et les comptes cumulés. Cela permet une évaluation granulaire au-delà de la simple précision de la réponse finale. Les métriques clés incluent :

• Correspondance Exacte de la Réponse Finale (Acc) : Si le compte rapporté est égal à $N$.
• Précision ($P$) et Rappel ($R$) de la Trace : Alignement entre les horodatages rapportés par le modèle et la vérité de terrain dans une fenêtre relative au taux $\delta(F) = 1/(2F)$.
• Ratio d'Observation Visuelle (VOR) : Le ratio entre les événements rapportés et les événements réels ($M/N$), indiquant une sur-déclaration ou une sous-déclaration.
• Taux de Correction Accidentelle (ACR) : Cas où le compte final est correct malgré une trace de faible fidélité.
• Taux d'Échec de Raisonnement (RFR) : Cas où la trace est fidèle (F1 élevé) mais le compte final est incorrect.

Modèles Évalués

L'évaluation principale se concentre sur Gemini 3.6 Flash (recevant une entrée d'environ 1 FPS) et Qwen3-VL-235B (recevant 2 FPS). Des vérifications croisées supplémentaires incluent diverses échelles de Qwen3-VL et InternVL3.5.

Contributions Clés

1. Cadre d'Évaluation Contrôlé : Remplace les scores agrégés uniques par des surfaces de capacité cartographiées sur le nombre d'événements ($N$) et la fréquence ($F$).
2. Benchmark Fondé sur la Trace : Audite les événements rapportés par le modèle par rapport à la vérité de terrain exécutable, distinguant les comptes corrects non supportés de la récupération fidèle des événements.
3. Interventions Ciblées : Diagnostique les sources d'erreur via un échantillonnage plus dense, des images clés centrées sur les événements (preuve oracle) et diverses stratégies de prompting (ex: Chaîne de Pensée, trace structurée).
4. Transfert vers les Vidéos Naturelles : Valide si les schémas d'échec observés dans les contextes contrôlés persistent dans les vidéos d'événements répétés du monde réel (jeu de données TransRAC).

Résultats

Échec Temporel par Étapes

Les résultats révèlent un schéma d'échec "par étapes" dépendant de la représentation de l'événement (persistant vs transitoire) :

• Événements Persistants (Machine à États) : Gemini 3.6 Flash compte de manière fiable jusqu'à $N=12$ à 0,5 Hz et 1,0 Hz. Les performances se dégradent à mesure que la fréquence augmente, chutant à $N=2$ à 1,5 Hz.
• Événements Transitoires (Clignotement) : Aucune région de compte positif fiable n'existe ; le modèle ne parvient pas à accéder de manière cohérente aux événements transitoires, même à des nombres et fréquences faibles.
• Régime de Haute Charge : Dans les conditions de nombre et de fréquence élevés, seulement 0,2 % des comptes finaux sont corrects, et le modèle ne récupère que 18,1 % des événements réels.

Rôle de l'Accès Visuel vs Raisonnement

• Densité d'Échantillonnage : L'augmentation du taux d'échantillonnage de 1 FPS à 4 FPS a amélioré la précision de la Balle Bondissante de 19,6 % à 29,3 %. Cependant, la séquence rapportée concordait avec la vérité de terrain seulement 3,7 % du temps. Cela indique que des images supplémentaires peuvent gonfler les scores finaux (via la correction accidentelle) sans produire une récupération fidèle des événements.
• Images Clés Oracle : Fournir des images clés centrées sur les événements (supprimant la charge de recherche) a porté la précision à 68,6 % pour $N \le 5$, mais les performances se sont effondrées pour $N \ge 6$. Cela suggère que bien que l'accès visuel soit un goulot d'étranglement, la rétention et l'accumulation de la séquence restent des facteurs limitants même lorsque les événements sont parfaitement localisés.
• Stratégies de Prompting : Diverses techniques de prompting (Réponse Directe, Trace Structurée, Multi-Tour, CoT, Role Prompting) ont produit des gains similaires et limités, et n'ont pas étendu la zone de fonctionnement fiable.

Diagnostics au Niveau de la Trace

• Faible Charge : Les modèles présentent souvent une sur-déclaration (VOR > 1) et une correction accidentelle, où le compte final est juste malgré des horodatages manquants ou hallucinés.
• Haute Charge : Le mode de défaillance dominant passe à la sous-déclaration (VOR < 1) et à l'omission. Le modèle rapporte moins d'événements qu'il n'en existe, et les quelques événements rapportés sont souvent temporellement précis mais incomplets.
• Erreurs d'Agrégation : Un taux de défaillance de raisonnement (RFR) non nul indique que même lorsque le modèle récupère avec succès la séquence d'événements (F1 de trace élevé), il échoue parfois à les agréger correctement en un compte final.

Transfert vers les Vidéos Naturelles

L'évaluation sur le jeu de données TransRAC confirme que la concentration de succès à de faibles nombres d'événements ($N \le 4$) persiste dans les vidéos naturelles avec mouvement de caméra et encombrement, renforçant le fait que le schéma d'échec est robuste à travers les domaines.

Signification et Revendications

L'article soutient que la précision de la réponse finale seule caractérise mal le raisonnement temporel. Un modèle peut arriver au nombre correct en devinant ou en agrégeant des événements hallucinés, masquant une incapacité fondamentale à suivre des séquences temporelles.

Les auteurs affirment que :

1. La Représentation de l'Événement Importe : Que l'événement soit persistant ou transitoire dicte l'accès initial aux preuves.
2. L'Accès Visuel est Nécessaire mais Insuffisant : Augmenter la densité de trames ou fournir des images clés oracle améliore les performances mais n'élimine pas la limite imposée par la longueur de la séquence et la rétention.
3. Échec par Étapes : Le processus d'échec comporte des étapes distinctes : d'abord, accéder à l'événement ; ensuite, retenir la séquence ; et enfin, agréger le compte.
4. Changement d'Évaluation : Le profilage fondé sur la trace déplace l'évaluation vidéo des métriques agrégées vers un diagnostic détaillé de l'endroit où le raisonnement temporel échoue (accès vs rétention vs agrégation) et si les preuves rapportées soutiennent réellement la réponse finale.

L'étude conclut que les VLM actuels peinent avec la comptabilité élémentaire d'événements à mesure que la charge temporelle augmente, une limitation qui persiste malgré l'utilisation de prompting avancé ou l'augmentation de l'échantillonnage visuel.