💻 computer science

Your VLM Already Knows When: Training-Free Temporal Grounding by Asking Yes or No

Cet article présente FV-Action, une méthode de localisation temporelle sans entraînement qui surpasse considérablement les modèles existants en remplaçant la régression directe de l'horodatage par une stratégie de questionnement binaire du grossier au fin, révélant ainsi que les échecs des VLM proviennent de l'interface de la tâche plutôt que de limitations perceptuelles.

Auteurs originaux : Ji Huang, Barry Devereux, Hui Wang

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ji Huang, Barry Devereux, Hui Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui peut regarder une vidéo et vous dire exactement ce qui s'y passe. Si vous lui demandez : « Est-ce que le chien poursuit la balle ? », il répondra « Oui ! » avec une confiance parfaite. C'est le monde des Modèles de Langage Multimodaux (VLM) : des ordinateurs qui peuvent voir des images et lire du texte, combinant les deux pour comprendre le monde. Mais il y a une partie délicate de ce travail appelée Ancrage Temporel Vidéo (Temporal Video Grounding). Il ne s'agit pas seulement de savoir ce qui se passe ; il s'agit de savoir quand cela se passe. Vous devez pointer l'endroit exact du début et de la fin d'un événement dans une longue vidéo non découpée. Imaginez comme si vous deviez trouver une chanson spécifique dans une cassette de trois heures juste en fredonnant quelques notes. Les scientifiques ont essayé d'apprendre ces tâches aux robots en leur demandant de recracher des nombres comme « commence à 12,5 secondes, finit à 18,2 secondes ». Mais pendant longtemps, même les robots les plus intelligents ont été terribles à cela, donnant souvent des estimations sauvages ou se trompant complètement de chiffres tout en ayant l'air très sûrs d'eux.

Ce document, intitulé « Your VLM Already Knows When » (Votre VLM sait déjà quand), étudie pourquoi ces robots échouent à dire l'heure et découvre une solution étonnamment simple. Les auteurs ont découvert que le problème n'est pas que le robot est « aveugle » ou ne comprend pas la vidéo. Le problème est la question qu'on lui pose. Demander à un robot de « régresser » (calculer) un nombre décimal spécifique, c'est comme demander à un humain de deviner la température exacte d'une tasse de café sans thermomètre ; il pourrait donner un chiffre plausible, mais il ne fait que deviner. Au lieu de cela, les chercheurs ont constaté que si on posait au robot une simple question par « Oui ou Non » sur de petits clips de la vidéo (« Est-ce que ce clip montre le chien poursuivant la balle ? »), le robot devenait incroyablement précis pour repérer le bon moment. En scannant la vidéo avec ces questions de type oui/non et en choisissant le meilleur endroit, ils ont fait bondir la précision du robot d'un médiocre 3,8 % à un impressionnant 56,8 % sur un test majeur, et ce, sans rien apprendre de nouveau au robot.

Le mystère du robot sûre de lui mais de l'erreur

L'histoire commence par une observation frustrante. Lorsque des chercheurs ont demandé à de puissants modèles vidéo de leur dire quand un événement s'était produit, les modèles donna neient souvent des réponses complètement fausses. Mais voici la partie étrange : les modèles étaient sûrs d'eux tout en étant erronés. Dans le monde de l'IA, nous pensons généralement que si un modèle est incertain, il peut faire une erreur. Mais ces modèles avaient une « incertitude » très faible (une façon technique de dire qu'ils étaient très sûrs d'eux) même lorsqu'ils se trompaient. C'était comme si un élève passant un examen de mathématiques était sûr à 100 % que 2+2=5. Les chercheurs ont testé s'ils pouvaient utiliser la propre « confiance » du modèle pour détecter ces erreurs, mais cela n'a pas fonctionné. Les modèles étaient tellement certains de leurs mauvaises réponses qu'aucune « vérification de la confiance » ne pouvait séparer les bonnes réponses des mauvaises.

Cela a conduit les auteurs à une grande réalisation : le robot n'échouait pas parce qu'il ne pouvait pas voir l'événement. Il échouait à cause de la manière dont on lui demandait de répondre.

L'interrupteur magique : Passer de « deviner des nombres » à « jouer au Oui/Non »

Le document soutient que l'échec réside dans l'interface — la façon dont nous parlons au robot.

L'ancienne méthode (Régression) : Nous demandons au robot de générer des horodatages décimaux (ex : « 12,45 secondes »). Le problème est que ces nombres spécifiques n'apparaissent pas souvent dans les données sur lesquelles le robot a appris. Ainsi, lorsqu'on lui demande, le robot se rabat sur la génération de nombres plausibles basés sur des schémas linguistiques, et non sur des preuves visuelles. C'est comme demander à quelqu'un de deviner le poids exact d'une boîte mystère ; il pourrait dire « 5,2 livres » parce que cela semble être une estimation raisonnable, et non parce qu'il l'a pesée.
La nouvelle méthode (VQA Binaire) : Les chercheurs ont essayé une approche différente. Au lieu de demander un nombre, ils ont posé au robot une simple question de Oui ou Non sur de courts extraits de la vidéo : « Est-ce que ce clip montre l'événement ? »

Ils ont construit un système appelé FV-Action qui fonctionne comme un détective scannant une scène de crime.

Scan grossier : Le système jette un regard large sur la vidéo, la découpant en blocs et demandant au robot : « L'événement se produit-il dans ce bloc ? »
Scan fin : Une fois qu'il trouve un bloc qui reçoit un « Oui », il zoome sur cette zone et pose la même question, mais avec des blocs plus petits et plus précis.
Le vainqueur : Il ne se soucie pas du score exact du « Oui » (comme 0,85 contre 0,86) ; il se soucie simplement du classement. Quel bloc a obtenu le « Oui » le plus fort ? C'est là que se trouve l'événement.

Les résultats ont été choquants. Lorsqu'ils sont passés de la demande de nombres à la pose de questions Oui/Non, la précision a bondi massivement. Pour un modèle (InternVL2-8B), le score est passé de 3,8 % à 53,4 %. Pour un autre (Qwen2.5-VL-7B), il est passé de 28,4 % à 56,8 %. Cela s'est produit alors même que le « cerveau » du robot (les poids du modèle) n'avait pas changé du tout. Ils n'ont pas entraîné le robot sur de nouvelles données ; ils ont simplement changé le jeu auquel il jouait.

Deux raisons pour lesquelles ce n'est pas encore parfait

Même avec cette énorme amélioration, le système n'est pas parfait. Les auteurs ont divisé les erreurs restantes en deux catégories distinctes, comme deux engrenages différents dans une machine :

L'axe de la perception (Les « Yeux ») : Parfois, le robot ne voit tout simplement pas l'événement clairement. Si la vidéo est floue ou si l'action est très subtile, le robot peut ne pas être capable de distinguer le bon clip d'un mauvais. Cela dépend entièrement de la qualité de la « vision » du robot. Si vous remplacez le modèle par un robot plus intelligent, cette partie s'améliore automatiquement.
L'axe de la géométrie (La « Règle ») : C'est un problème mathématique, pas un problème de vision. Le système choisit un point et dessine une fenêtre de taille fixe autour de lui (comme une boîte de 20 secondes). Si l'événement que vous cherchez ne dure que 5 secondes, mais que votre boîte fait 20 secondes, la boîte sera trop grande, et les mathématiques diront que vous avez échoué, même si vous avez trouvé le bon endroit. Les auteurs ont montré que cet échec est prévisible. Si vous connaissez la taille de l'événement et la taille de votre boîte, vous pouvez calculer exactement à quelle fréquence vous échouerez, simplement en faisant une division simple.

La conclusion

Le document conclut que la « magie » n'était pas de rendre le robot plus intelligent ; c'était de poser la bonne question. En empêchant le robot d'essayer de deviner des nombres qu'il ne sait pas générer, et en le laissant plutôt utiliser sa capacité naturelle à juger par « Oui ou Non », les chercheurs ont débloqué un talent caché que le robot possédait déjà.

Ils ont également montré qu'il n'est pas nécessaire d'entraîner un robot pendant des années pour qu'il devienne bon à cela. Il suffit de lui demander de jouer à un jeu de « Chaud ou Froid » avec des questions Oui/Non. Bien que le système éprouve encore des difficultés avec les événements très courts dans de longues vidéos (à cause du problème de la « Géométrie »), il prouve que le principal obstacle à la compréhension par les robots de quand les choses se passent n'est pas un manque de connaissances — c'est juste une mauvaise interface. Et parfois, la meilleure façon de réparer un robot super intelligent est d'arrêter de lui demander de faire des mathématiques et de commencer à lui demander de jouer à un jeu simple.

Résumé Technique : Votre VLM sait déjà quand : Localisation Temporelle sans Entraînement en Posant des Questions par Oui ou par Non

1. Énoncé du Problème

La localisation temporelle vidéo (TVG - Temporal Video Grounding) nécessite de localiser les horodatages précis de début et de fin $[s, e]$ d'un événement décrit par une requête en langage naturel au sein d'une vidéo non découpée. Bien que les Grands Modèles de Langage Multimodaux (MLLM) excellent dans le raisonnement visuel, ils échouent systématiquement lorsqu'ils sont chargés de la régression directe d'horodatages décimaux.

Le document identifie un mode de défaillance critique :

Hallucination Confiante : Les VLMs puissants (ex. InternVL2-8B) atteignent une précision extrêmement faible (ex. 3,8 % R@0,5 sur Charades-STA) lorsqu'on leur demande des horodatages. Crucialement, 77 à 80 % de ces erreurs sont « confiantes », caractérisées par une faible entropie de sortie.
Détection d'Incertitude Inefficace : Parce que les modèles sont de manière confiante erronés, les mécanismes de détection d'erreur basés sur l'entropie performent moins bien qu'un classificateur aléatoire (F1 < 0,36).
Le Goulot d'Étranglement : La défaillance n'est pas un manque de capacité perceptuelle (les modèles peuvent « voir » l'événement) mais un conflit de format. Les corpus de pré-entraînement manquent de la distribution spécifique des horodatages décimaux conditionnés par le langage, ce qui pousse les modèles à revenir à des priors linguistiques et à générer des valeurs plausibles mais non ancrées.

2. Méthodologie : FV-Action

Les auteurs proposent FV-Action, un cadre sans entraînement qui contourne entièrement la régression d'horodatage. Au lieu de demander au modèle de générer des nombres, il lui demande de juger des questions binaires, exploitant ainsi ses capacités discriminatives existantes.

Mécanisme Central

Le cadre traite le VLM gelé comme un instrument de mesure répondant à la question binaire : « Ce clip montre-t-il {requête} ? »

Le pipeline opère en trois étapes :

Balayage Grossier (Coarse Scanning) :
- La vidéo est divisée en $K_c$ clips avec des centres espacés uniformément.
- Chaque clip est représenté par $F=5$ images (extraites de manière symétrique).
- Le backbone gelé répond au VQA binaire pour chaque clip.
- Le système lit la probabilité $P(\text{Oui})$ à partir des logits du premier jeton généré (formes de surface Oui/Non).
- Insight Clé : Le système repose sur le classement (ranking) de ces probabilités entre les clips au sein d'une vidéo, plutôt que sur leurs valeurs absolues calibrées. Cela permet aux modèles mal calibrés de fonctionner efficacement comme des scanners.
Localisation de Pic (Peak Localization) :
- La suppression des non-maximums (NMS) sélectionne les $N_p$ pics candidats les plus élevés de la courbe de probabilité grossière.
- Un balayage fin réexamine le voisinage de chaque candidat avec $K_f$ clips supplémentaires.
- Un score conjoint (moyenne géométrique des scores grossiers et fins) sélectionne le pic final $t^*$ .
Génération de Fenêtre (Window Generation) :
- La sortie finale est une fenêtre de largeur fixe $W$ centrée sur $t^*$ .
- $W$ est un prior du domaine (ex. 8s pour Charades-STA, 80s pour ActivityNet) dérivé des statistiques de l'ensemble d'entraînement, et non appris.

Justification de la Conception

Sans Entraînement : Le backbone reste gelé ; aucune supervision temporelle ou ajustement fin (fine-tuning) n'est utilisé.
Classement plutôt que Calibration : La méthode exploite la capacité du modèle à ordonner correctement les clips (discriminabilité) plutôt que d'exiger qu'il produise des probabilités précises.
Échantillonnage Uniforme : Les sondes sont placées uniformément plutôt qu'adaptativement, car la saillance visuelle ne corrèle pas de manière fiable avec le début de l'action.

3. Contributions Clés

A. Étude Diagnostique sur les Hallucinations Temporelles

Le papier établit que les échecs temporels des MLLM sont des hallucinations de format systématiques, et non une incertitude épistémique.

Constat : 77–80 % des prédictions erronées présentent une faible entropie.
Implication : Les seuils de confiance ne peuvent pas séparer les prédictions correctes des incorrectes ; l'échec est inhérent à l'interface générative.

B. Le Goulot d'Étranglement de l'Interface

À travers des expériences contrôlées avec des backbones et des entrées identiques, les auteurs prouvent que l'interface est le facteur limitant.

Résultat : Remplacer la régression d'horodatage par un balayage VQA binaire améliore le R@0,5 de 28 à 50 points de pourcentage sur quatre backbones (InternVL2, Qwen2.5-VL, LLaVA-NeXT, mPLUG-Owl3).
Exemple : InternVL2-8B passe de 3,76 % à 53,39 % de R@0,5 sur Charades-STA uniquement en changeant le format de sortie.

C. Décomposition des Échecs sur Deux Axes

Les erreurs résiduelles sont décomposées en deux axes séparables :

Axe de Perception : Régi par la discriminabilité par clip du backbone. Cela peut être mesuré avant déploiement via un « écart oracle » (différence de $P(\text{Oui})$ entre les clips de vérité terrain et les clips négatifs). Des backbones plus forts produisent un meilleur ancrage.
Axe Géométrique : Régi par l'ajustement entre la fenêtre de sortie fixe $W$ $W$ et la largeur de l'événement $g$ $g$ .
- Prédictibilité Analytique : La précision est analytiquement prédictible par le ratio $\min(W, g) / \max(W, g)$ . Si l'événement tombe en dehors de la bande faisable $[W/2, 2W]$ , le R@0,5 est théoriquement nul, quelle que soit la qualité de la localisation du pic.
- Implication : Le post-traitement (lissage, correction contrastive) ne peut pas corriger les erreurs de géométrie ; seul l'ajustement de la taille de la fenêtre ou du backbone peut le faire.

D. Performance de FV-Action

Charades-STA : Atteint 56,8 % R@0,5, surpassant le pipeline temporel natif du même backbone (53,6 %) et toutes les méthodes antérieures sans entraînement.
Généralisation Zero-Shot : Surpasse les modèles entraînés sur TACoS et améliore les performances sur ActivityNet Captions et QVHighlights sans aucune supervision temporelle.

4. Résultats Expérimentaux

Dataset	Métrique	FV-Action (Qwen2.5-VL)	Meilleur Antérieur Sans Entraînement	Meilleur Supervisé (pour contexte)
Charades-STA	R@0.5	56,8 %	40,0 % (BTDP)	63,2 % (OmniVTG)
ActivityNet	R@0.5	26,7 %	34,0 % (GranAlign)*	50,7 % (TimeMarker)
TACoS	R@0.5	13,0 %	N/A (Zero-shot)	35,0 % (UniVTG)
QVHighlights	R1@0.5	43,0 %	61,9 % (GranAlign)*	53,9 % (Moment-DETR)

*Note : GranAlign et BTDP utilisent des pipelines multi-modèles (légendage + alignement LLM), tandis que FV-Action utilise un seul VLM.

Observations Clés :

Indépendance du Backbone : Le gain d'interface (+28 à +50 pp) se vérifie sur toutes les architectures testées.
Limite Géométrique : Sur ActivityNet, où les durées d'événements varient énormement, la fenêtre fixe cause des échements structurels sur les événements courts. Une variante à fenêtre adaptative aide pour les événements courts mais nuit aux longs, résultant en un gain net neutre, confirmant que l'axe géométrique est une contrainte stricte pour les méthodes à fenêtre fixe.
Coût : La méthode échange l'entraînement contre le coût d'inférence (36–120 passages forward par échantillon contre 1 pour la régression), mais ne nécessite ni étiquettes ni mises à jour de gradient.

5. Signification et Revendications

Le papier affirme que la « capacité d'ancrage » existe déjà au sein des VLMs gelés, mais qu'elle est enfouie par l'interface générative.

Changement de Paradigme : Il démontre que la TVG ne nécessite pas que le modèle agisse comme un régresseur numérique. En recadrant la tâche comme un problème de discrimination binaire, la compréhension temporelle latente du modèle est débloquée.
Utilité Diagnostique : L'analyse des deux axes fournit un outil prescriptif pour les praticiens. Avant le déploiement, on peut mesurer l'« axe de perception » (écart oracle) pour déterminer si un backbone plus fort est nécessaire, ou analyser l'« axe géométrique » (distribution de la largeur d'événement) pour déterminer si la règle de la fenêtre de sortie doit être ajustée.
Portée Modeste : Les auteurs reconnaissent des limites : la méthode dépend du calcul au moment du test, peine avec les requêtes composées (événements multiples) et ne peut pas pleinement résoudre le décalage géométrique dans les jeux de données aux durées d'événements très hétérogènes sans fenêtrage adaptatif (ce qu'ils montrent avoir des compromis).

En résumé, le papier soutient que l'interface, et non la perception, est le goulot d'étranglement pour l'ancrage temporel dans les VLMs, et qu'une simple stratégie de balayage binaire sans entraînement peut récupérer la majeure partie de l'écart de performance entre les VLMs généralistes et les systèmes supervisés spécialisés.