Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

L'article présente SemVID, un cadre d'élagage de tokens sans entraînement pour l'ancrage temporel vidéo qui préserve la chaîne de preuves sémantiques en allouant dynamiquement des budgets de tokens et en sélectionnant des tokens d'objets, de mouvement et de contexte, permettant ainsi d'accélérer considérablement le traitement tout en maintenant une précision élevée.

L'essentiel

Imaginez que vous essayez de trouver un moment précis dans un film de deux heures, par exemple : « À quel moment le personnage ouvre-t-il la fenêtre ? ».

Pour un ordinateur, regarder une vidéo, c'est comme regarder des milliers de petites images (des « tokens ») une par une. Plus la vidéo est longue, plus il y a d'images. Si l'ordinateur essaie de tout analyser en détail, cela prend énormément de temps et d'énergie, un peu comme si vous deviez lire chaque mot d'un livre entier pour trouver un seul mot précis.

Les chercheurs de cet article ont créé une solution intelligente appelée SemVID. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : La « Tronçonneuse » trop brutale

Avant, pour accélérer le processus, on utilisait des méthodes qui coupaient simplement les images inutiles, un peu comme une tronçonneuse qui coupe tout ce qui ne semble pas important.

• Le souci : Pour répondre à une question simple (« Quel objet est sur la table ? »), couper des images marche bien. Mais pour trouver un moment dans le temps (« Quand l'objet est-il pris ? »), il faut voir le début, le milieu et la fin de l'action.
• L'analogie : Si vous coupez trop de pages d'un livre pour trouver une phrase, vous risquez de couper les pages qui expliquent comment le personnage est arrivé à cette phrase. Vous avez la réponse, mais vous avez perdu le contexte.

2. La Solution : Le « Gardien de la Chaîne » (SemVID)

Au lieu de couper au hasard, SemVID agit comme un monteur de film expert qui sait exactement quelles scènes garder pour raconter l'histoire sans perdre le fil. Il ne garde pas tout, mais il garde les pièces essentielles du puzzle.

Il utilise une stratégie en trois étapes, comme un chef d'orchestre qui sélectionne ses musiciens :

A. Le Budget par Scène (Ne pas vider les couloirs)

Imaginez que vous avez un budget de 100 pièces d'or pour acheter des images dans une vidéo de 100 secondes.

• L'erreur classique : Dépenser 90 pièces sur une seule seconde où il y a beaucoup d'action, et laisser 0 pièce pour les 99 autres secondes. Résultat : vous avez un trou noir dans l'histoire.
• La méthode SemVID : Elle répartit intelligemment les pièces. Elle donne plus de pièces aux moments où l'action change (quand le personnage se lève, quand il court) et s'assure qu'il reste toujours quelques pièces pour les moments calmes, afin de ne jamais perdre le fil de l'histoire.

B. Les Trois Types de Gardiens (Les Tokens)

SemVID ne garde pas n'importe quelle image. Il choisit trois types de « gardiens » :

1. Les Gardiens de la Preuve (Objets) : Ce sont les images qui montrent directement ce que vous cherchez (la fenêtre, le sac, le visage). SemVID s'assure de garder des images variées de ces objets pour ne pas se tromper.
2. Les Gardiens du Mouvement (Transitions) : C'est le secret de SemVID ! Pour savoir quand une action commence et finit, il faut voir le mouvement. Ces gardiens capturent les changements (le bras qui bouge, la porte qui s'ouvre). Ils servent de ponts entre les images, reliant le début de l'action à la fin. Sans eux, l'histoire est hachée.
3. Les Gardiens du Contexte (Le décor) : Ce sont quelques images du décor (le mur, le sol) qui aident l'ordinateur à ne pas se perdre et à comprendre où il se trouve dans la vidéo.

3. Le Résultat : Rapide et Précis

Grâce à cette méthode, SemVID réussit à :

• Réduire la charge de travail : Il ne garde que 12,5 % des images originales (comme si vous lisiez seulement 1 page sur 8 d'un livre).
• Garder la précision : Il trouve le moment exact presque aussi bien que s'il avait lu tout le livre (il garde 95 % de la précision).
• Gagner du temps : Le processus est 5,8 fois plus rapide.

En résumé

Imaginez que vous devez résumer un long voyage en voiture pour quelqu'un.

• Les anciennes méthodes vous diraient : « Regarde juste la destination finale ! » (Mais vous ne savez pas comment on y est arrivé).
• SemVID vous dit : « Regarde le départ, regarde les virages importants, et regarde l'arrivée. » Il vous donne un résumé court, mais qui garde toute la logique du trajet.

C'est ainsi que SemVID permet aux ordinateurs de comprendre les vidéos longues et complexes sans avoir besoin de tout regarder, en gardant la « chaîne de preuves » intacte.

Résumé technique

1. Problématique et Contexte

Le Grounding Temporel Vidéo (VTG) vise à localiser les limites temporelles (début et fin) d'un moment spécifique dans une vidéo non découpée, en réponse à une requête textuelle. Bien que les modèles Vision-Language (VLM) aient amélioré les performances, leur déploiement sur de longues vidéos est prohibitif en termes de coût computationnel.

• Le défi : Les vidéos sont tokenisées en milliers de patches visuels. La complexité de l'attention dans les Transformers croît quadratiquement avec la longueur de la séquence.
• La limite des approches existantes : Les méthodes de "pruning" (élagage) de tokens sans entraînement, conçues pour la VQA (Video Question Answering), échouent souvent en VTG. Ces méthodes (basées sur la redondance visuelle, la saillance ou la pertinence à la requête) tendent à supprimer des informations temporelles critiques, notamment les frontières d'événements et les chaînes de raisonnement inter-cadres, essentielles pour localiser précisément un moment.

2. Méthodologie : SemVID

Les auteurs proposent SemVID, un cadre d'élagage de tokens sans entraînement, spécifiquement conçu pour le VTG. L'idée centrale est de maintenir une "chaîne de preuve" (Evidence Chain) cohérente à travers le temps.

A. Deux Principes Fondamentaux

Les auteurs identifient deux objectifs spécifiques au VTG que tout algorithme d'élagage doit respecter :

1. Rétention de la Preuve (Evidence Retention - ER) : Préserver les patches visuels critiques pour la requête, en particulier ceux situés autour des frontières temporelles des événements.
2. Force de Connectivité (Connectivity Strength - CS) : Maintenir une connectivité forte entre les tokens d'un cadre à l'autre pour permettre l'agrégation de preuves sur le long terme et le raisonnement multi-sauts.

B. Architecture de SemVID

SemVID fonctionne en deux étapes principales :

1. Allocation de Budget au Niveau du Cadre (Frame-Level Budget Allocation) :

   • Au lieu d'une sélection uniforme, SemVID attribue un budget de tokens différent pour chaque cadre.
   • Ce budget est calculé en équilibrant deux facteurs : la pertinence de la requête (pour localiser l'évidence) et la variation inter-cadres (pour capturer les transitions d'état).
   • Cela évite les segments "vides" de tokens et assure une couverture temporelle continue, même dans les vidéos longues.

2. Sélection de Tokens par Rôle Sémantique :
   Une fois le budget par cadre défini, SemVID sélectionne trois types de tokens complémentaires :

   • Tokens Objet (Object Tokens) : Ils capturent les preuves critiques liées à la requête. Pour éviter la redondance (ex: plusieurs patches du même objet), ils utilisent le Maximal Marginal Relevance (MMR) pour maximiser la pertinence tout en assurant la diversité sémantique.
   • Tokens de Mouvement (Motion Tokens) : Ils agissent comme des relais inter-cadres. Ils sont sélectionnés dans les zones de forte variation temporelle (transitions d'état) et filtrés par la pertinence à la requête. Ils sont cruciaux pour maintenir la connectivité (CS) entre les preuves avant et après la frontière de l'événement.
   • Tokens de Contexte (Context Tokens) : Un petit nombre de tokens stables (ancres) sont conservés pour maintenir la continuité de la scène et éviter que le raisonnement ne devienne fragmenté.

3. Contributions Clés

• Identification des besoins spécifiques au VTG : Démonstration que les objectifs de pruning pour la VQA (souvent basés sur la saillance ou la redondance) sont inadaptés au VTG car ils brisent les chaînes de raisonnement temporel.
• Définition de métriques d'évaluation graphiques : Introduction de deux métriques mesurables sur le graphe d'attention : la Rétention de Preuve (ER) et la Force de Connectivité (CS), permettant de diagnostiquer pourquoi un pruning échoue.
• Proposition de SemVID : Un cadre plug-and-play, sans entraînement, qui optimise explicitement l'ER et le CS via une allocation de budget intelligente et une sélection de tokens par rôle.
• Efficacité et Performance : Démonstration qu'il est possible de réduire drastiquement le nombre de tokens visuels tout en préservant la précision de localisation temporelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (Charades-STA et ActivityNet-Grounding) avec des modèles VLM de pointe (Qwen3-VL, Qwen2.5-VL, LLaVA-OneVision).

• Performance Précision/Efficacité :
  • Avec un budget extrêmement agressif de 12,5 % des tokens visuels, SemVID conserve jusqu'à 95,4 % de la mIoU (mean Intersection over Union) originale.
  • Il offre un accélération de 5,8x du temps de préremplissage (prefill) par rapport à l'inférence complète.
• Comparaison avec l'État de l'Art :
  • SemVID surpasse systématiquement les méthodes de référence (FastVID, VisionZip, ToME, etc.) sous le même budget de tokens.
  • Les méthodes concurrentes souffrent souvent d'une chute de performance drastique car elles ne préservent pas la connectivité inter-cadres (CS) ou la densité de preuves aux frontières (ER).
• Analyse des Métriques : Les résultats montrent une forte corrélation entre les performances de VTG et les scores élevés d'ER et de CS. SemVID maintient des scores CS bien supérieurs aux autres méthodes, prouvant qu'il préserve mieux la chaîne de raisonnement temporel.

5. Signification et Impact

Ce travail est significatif car il redéfinit la manière d'aborder l'optimisation des VLM pour les tâches de localisation temporelle.

• Changement de paradigme : Il passe d'une logique de "compression de redondance" (utile pour la classification ou la VQA) à une logique de "préservation de la chaîne de preuve".
• Faisabilité pratique : En rendant le VTG sur de longues vidéos beaucoup moins coûteux en calcul (réduction de 87,5 % des tokens), SemVID rend viable le déploiement de ces modèles dans des applications réelles nécessitant une interaction rapide avec des vidéos longues.
• Robustesse : La méthode s'avère robuste face aux mouvements subtils et aux transitions de caméra, grâce à la sélection intelligente des tokens de mouvement et de contexte.

En résumé, SemVID fournit une recette simple mais efficace pour rendre le grounding temporel vidéo pratique et performant en maintenant l'intégrité des preuves visuelles et de leur connectivité temporelle.