💻 computer science

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

PercepCap est un nouveau cadre de légendage vidéo qui améliore la compréhension spatio-temporelle en générant explicitement une trace de perception des trajectoires d'objets et des événements avant de produire la légende finale, soutenu par une stratégie d'entraînement en deux étapes et un pipeline de construction de données ancré sur la légende pour assurer l'alignement entre les preuves perceptuelles et la sortie descriptive.

Auteurs originaux : Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Publié 2026-07-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à regarder un film et à en écrire une critique. Dans le monde de l'intelligence artificielle, cette tâche est appelée « légende de vidéo » (video captioning). Pendant longtemps, les robots les plus intelligents (connus sous le nom de Modèles de Langage de Grande Taille Multimodaux, ou MLLM) se sont améliorés, mais ils ont une faiblesse secrète : ils sont comme des magiciens qui sortent un lapin d'un chapeau sans vous montrer comment ils ont fait. Ils regardent la vidéo et recrachent immédiatement une phrase comme : « Un chien court à travers le champ. » Mais ils ne montrent pas leur travail. Ils ne vous disent pas quel chien, où exactement il courait, ni quand il a commencé et terminé. Si le robot fait une erreur — par exemple, s'il pense que le chien courait en arrière — l'erreur est cachée à l'intérieur de la phrase finale, ce qui la rend difficile à corriger. Les scientifiques s'en préoccupent parce que si nous voulons que les robots comprennent véritablement le monde, nous devons savoir comment ils le voient, et pas seulement ce qu'ils disent à son sujet.

Entrez en scène PercepCap, un nouveau cadre qui agit comme un détective pour les robots vidéo. Au lieu de laisser le robot passer directement à la critique finale, PercepCap le force à écrire d'abord ses « notes de détective ». Avant d'écrire la légende finale, il doit explicitement lister les indices qu'il a trouvés : « Je vois un chien (ID : 123) se déplaçant du côté gauche de l'écran vers le côté droit entre la 2ème et la 5ème seconde. » Cette chaîne « percevoir puis décrire » rend la pensée du robot visible. Les chercheurs ont découvert qu'en forçant le robot à montrer ses preuves spatio-temporelles (où les choses se trouvent et quand elles se produisent) avant d'écrire l'histoire, la description finale devient beaucoup plus précise et détaillée. Ils n'ont pas seulement deviné que cela fonctionnerait ; ils ont entraîné un modèle en utilisant un processus spécial en deux étapes et l'ont testé sur plusieurs tests de référence (benchmarks) exigeants, montrant que cette approche consistant à « montrer son travail » bat systématiquement les anciennes méthodes de type « deviner la réponse ».

Le carnet de notes du détective : Comment fonctionne PercepCap

Considérez l'ancienne façon de faire du légende de vidéo comme un étudiant passant un examen qui n'est autorisé à écrire que la réponse finale sur une feuille de réponses à bulles. Si l'étudiant se trompe, l'enseignant n'a aucune idée s'il a mal lu la question, s'il a oublié un fait ou s'il a simplement deviné. La nouvelle méthode, PercepCap, est comme si l'on donnait à cet étudiant un brouillon.

L'étape « Percevoir » (Le brouillon)
D'abord, le robot regarde la vidéo et remplit un « carnet de détective » structuré. Ce n'est pas une simple liste aléatoire ; c'est un journal strict et organisé de deux choses :

Trajectoires d'objets : Il suit des objets spécifiques (comme une personne ou une voiture) et note exactement où ils se trouvent sur l'écran à différents moments.
Événements temporels : Il note quand des actions spécifiques se produisent, en marquant le début et la fin exacts.

L'étape « Décrire » (Le rapport final)
Ce n'est qu'après avoir rempli le carnet que le robot écrit la légende finale. Il utilise les notes du brouillon comme guide. Parce que le robot a déjà fait le travail difficile d'identifier et de chronométrer les événements, l'histoire finale est beaucoup moins susceptible de contenir des hallucinations ou des détails manquants.

La recette secrète : Comment ils ont enseigné au robot

Vous vous demandez peut-être : « Où le robot a-t-il appris à remplir ce carnet si personne ne lui a donné de carnets auparavant ? » Les chercheurs ont dû inventer une manière ingénieuse de créer des données d'entraînement, qu'ils appellent Construction de données de perception ancrées sur la légende (Caption-Anchored Perception Data Construction).

Imaginez que vous ayez une critique de film parfaite écrite par un expert humain, mais qu'elle ne contienne aucun horodatage ni aucune balise de localisation. Les chercheurs ont pris cette critique et ont demandé à une IA super intelligente de retourner regarder le film, cette fois-ci en cherchant spécifiquement les éléments mentionnés dans la critique.

Ancre : Ils ont commencé par la légende finale (l'« ancre »).
Extraction : Ils ont extrait les noms des objets et des événements mentionnés.
Ancrage (Grounding) : Ils ont fait en sorte que l'IA regarde à nouveau la vidéo pour trouver précisément où et quand ces éléments spécifiques se sont produits, en dessinant des boîtes autour d'eux et en ajoutant des horodatages.

Cela a créé un ensemble d'entraînement parfait où la légende finale et les « notes de détective » correspondent parfaitement.

Le camp d'entraînement en deux étapes

Pour enseigner au robot cette nouvelle façon de penser, les chercheurs ont utilisé une stratégie d'entraînement en deux étapes :

Étape 1 : Ajustement fin supervisé (La phase « Apprendre les règles »)
Ils ont montré au robot des milliers de ces exemples parfaits (légende + notes correspondantes) et lui ont appris à imiter le processus. Le robot a appris : « D'abord, je dois lister les indices. Ensuite, j'écris l'histoire. » C'est ce qu'on appelle le Ajustement fin supervisé de type Percevoir-puis-Décrire (PD-SFT).
Étape 2 : Apprentissage par renforcement (La phase « Obtenir une étoile d'or »)
Copier ne suffit pas ; le robot doit s'améliorer. Ici, ils ont utilisé une méthode appelée Apprentissage par renforcement fondé sur la perception (PG-RL). Imaginez un professeur notant le travail du robot dans deux catégories distinctes :

Les Notes : Avez-vous suivi les objets correctement ? Avez-vous trouvé les bons débuts et fins de temps ?
L'Histoire : La légende finale est-elle précise et complète ?

Le robot reçoit un « score » basé sur les deux. S'il écrit une excellente histoire mais qu'il manque un objet clé dans ses notes, il reçoit un score inférieur. Cela force le robot à se soucier de la qualité de sa perception, et pas seulement de la fluidité de ses phrases.

Les résultats : Est-ce que cela fonctionne vraiment ?

Les chercheurs ont testé PercepCap sur plusieurs défis de compréhension vidéo difficiles, notamment DREAM-1K, CaReBench, ShortVidBench et MotionBench. Ils ont comparé leur nouveau modèle au modèle de base Qwen3-VL (un modèle puissant existant qui écrit directement des légendes).

Les résultats étaient clairs : PercepCap surpasse systématiquement la ligne de base.

Sur DREAM-1K, il a obtenu un score F1 de 33,9 (contre 29,1 pour la ligne de base), ce qui signifie qu'il est meilleur pour capturer les bons détails sans inventer de fausses informations.
Sur CaReBench, il a considérablement amélioré la précision de l'identification des actions et des objets.
Même sur ShortVidBench et MotionBench, qui testent la capacité d'une légende à répondre à des questions sur une vidéo, PercepCap a obtenu un score plus élevé (par exemple, 76,1 % de précision contre 72,8 % pour la ligne de base).

Pourquoi cela importe (Et ce que cela ne peut pas encore faire)

L'idée principale est que faire en sorte qu'un robot « montre son travail » avant de parler le rend plus intelligent et plus fiable. En séparant l'acte de voir (perception) de l'acte de parler (légende), les chercheurs ont créé un système plus facile à déboguer et plus difficile à tromper.

Cependant, l'article est honnête quant à ses limites. Comme les données d'entraînement ont été créées par une IA (la méthode « ancrée sur la légende »), si l'IA initiale a commis une erreur dans les notes, cette erreur pourrait être transmise au robot. De plus, cette méthode prend plus de temps et de puissance de calcul car le robot doit écrire une longue liste de notes avant de pouvoir écrire la phrase finale. Mais, pour quiconque souhaite une IA vidéo qui ne se contente pas de deviner mais qui comprend réellement la chronologie et la localisation des événements, PercepCap suggère une nouvelle direction très prometteuse.

Résumé Technique : PercepCap

Énoncé du Problème

Le légendage vidéo nécessite une compréhension spatio-temporelle fine, englobant la localisation spatiale des objets et le séquençage temporel des événements. Les modèles de langage multimodaux (MLLM) existants emploient généralement un paradigme de génération de légende uniquement, mappant les entrées vidéo directement vers des descriptions textuelles finales. Cette approche rend l'étape de perception implicite, ce qui signifie que le modèle identifie les objets, les actions et les relations temporelles au sein d'un processus autoregressif unique sans exposer les preuves sous-jacentes. Par conséquent, les erreurs d'identité d'objets, de reconnaissance d'actions ou d'ordonnancement temporel ne sont visibles que dans la sortie finale, ce qui rend difficile l'identification, la supervision ou la correction de défaillances perceptuelles spécifiques. De plus, les signaux de supervision standards appliqués uniquement à la légende finale ne fournissent aucun retour direct sur la véracité de la perception sous-jacente du modèle.

Méthodologie

Pour remédier à ces limitations, les auteurs proposent PercepCap, un cadre de perception consciente qui sépare explicitement la perception spatio-temporelle de la génération de légendes. L'innovation centrale est une chaîne de génération percevoir-décrire, où le modèle produit d'abord une trace de perception structurée, puis génère la légende finale conditionnée par cette preuve.

1. Perception Spatio-Temporelle Structurée

Le cadre reformule la séquence de sortie en $Y = [Y_{perc}, Y_{cap}]$ , où $Y_{perc}$ est une trace structurée contenant :

Preuve d'Objet : Identités temporellement cohérentes, étiquettes sémantiques et séquences de localisation (boîtes englobantes 2D avec horodatages).
Preuve d'Événement : Segments temporels (temps de début/fin) avec des descriptions textuelles concises, liés aux objets suivis.

2. Stratégie d'Entraînement en Deux Étapes

PercepCap utilise un pipeline de Fine-Tuning par Renforcement (RFT) en deux étapes :

Fine-Tuning Supervisé Percevoir-puis-Décrire (PD-SFT) : Cette étape adapte le modèle de la génération directe de légendes vers la chaîne percevoir–décrire. Elle utilise une perte d'entropie croisée sur le prochain jeton (next-token cross-entropy loss) sur des séquences cibles sérialisées pour apprendre au modèle à générer des trajectoires d'objets et des événements ancrés temporellement avant de produire la légende finale.
Apprentissage par Renforcement Ancré sur la Perception (PG-RL) : Pour surmonter les limites de la supervision par jeton unique (qui ne peut distinguer les erreurs de perception des erreurs de légendage), le PG-RL emploie l'Optimisation de Politique Relative de Groupe (GRPO). Il utilise une fonction de récompense composite qui décompose le feedback en :
- Récompenses de niveau Perception : IoU spatiale ( $R_{iou}$ ) pour la localisation d'objets, IoU Temporelle ( $R_{tiou}$ ) et Chevauchement Sémantique ( $R_{sodam}$ ) pour le minutage et la description des événements.
- Récompenses de niveau Légende : $R_{cap}$ évalue la couverture des objets et des événements dans le texte final par rapport à la vérité terrain.
- Récompenses de Format : $R_{format}$ garantit que la sortie respecte une structure JSON stricte.

3. Construction de Données Ancrées sur la Légende

Puisque les jeux de données standards manquent d'annotations de perception intermédiaires, les auteurs introduisent un pipeline pour construire des données d'entraînement alignées sur les légendes :

Génération d'Ancre de Légende : Un modèle vidéo puissant génère une description de type légende seule ( $Y^*_{cap}$ ).
Extraction de Contenu : Le modèle extrait les étiquettes d'objets et les descriptions d'événements de cette légende.
Complétion Ancrée sur la Vidéo : Le modèle revisite la vidéo pour assigner des identités, prédire des boîtes englobantes horodatées pour les objets, et prédire les temps de début/fin pour les événements.
Assemblage : Les données spatiales/temporelles ancrées sont combinées avec la légende originale pour former la paire d'entraînement structurée $Y^* = [Y^*_{perc}, Y^*_{cap}]$ .

Contributions Clés

Cadre de Perception Consciente : Le papier introduit un paradigme qui transforme le légendage vidéo en un processus de génération fondé sur des preuves en extrayant explicitement une trace de perception spatio-temporelle structurée (trajectoires d'objets et limites d'événements) avant la légende finale.
PD-SFT et PG-RL : Une stratégie d'entraînement en deux étapes qui adapte d'abord le modèle à la chaîne percevoir–décrire, puis l'optimise en utilisant des récompenses décomposées qui évaluent séparément l'ancrage perceptuel et la qualité de la légende.
Construction de Données Ancrées sur la Légende : Un nouveau pipeline de données qui génère des données de perception structurées alignées avec les légendes finales, permettant l'entraînement de modèles nécessitant une supervision perceptive intermédiaire.

Résultats

PercepCap a été évalué sur plusieurs benchmarks, notamment DREAM-1K, CaReBench, ShortVidBench, MotionBench et VidCapBench-AE.

Performance : Le modèle surpasse systématiquement la ligne de base Qwen3-VL (un modèle open-source de 8B) sur tous les benchmarks. Par exemple, sur DREAM-1K, PercepCap a atteint un score F1 de 33.9 contre 29.1 pour la ligne de base. Sur CaReBench, il a amélioré l'Action F1 à 39.4 et l'Object F1 à 34.7.
Études d'Ablation : Les expériences ont confirmé que les gains ne sont pas simplement dus à un fine-tuning supplémentaire ou à une supervision de légende plus forte. Les variantes utilisant uniquement des récompenses de niveau légende ou des paradigmes de génération de légende uniquement ont obtenu des performances nettement inférieures à l'ensemble du pipeline PercepCap, démontrant la nécessité de la trace de perception explicite et de l'approche d'entraînement par étapes.
Analyse Qualitative : Les comparaisons visuelles montrent que PercepCap distingue mieux les entités clés et suit plus fidèlement les chaînes d'actions (par exemple, les transferts d'objets) que les lignes de base de légendage direct.

Signification

Le papier soutient que le légendage vidéo détaillé bénéficie de l'exposition du processus de "raisonnement" du modèle. En rendant la preuve perceptive explicite, PercepCap permet :

Supervision Ciblée : Les erreurs peuvent être attribuées à des étapes spécifiques (perception vs verbalisation), permettant des signaux d'entraînement plus précis.
Auditabilité : La trace structurée rend la compréhension de la vidéo par le modèle inspectable, comblant le fossé entre l'entrée vidéo brute et la sortie en langage naturel.
Meilleur Ancrage : Le cadre garantit que la légende finale est strictement conditionnée par des trajectoires d'objets et des limites d'événements vérifiées, menant à une couverture et une précision accrues dans la description de contenus vidéo complexes.

Les auteurs concluent que les traces de perception structurées servent d'interface intermédiaire pratique, rendant le légendage vidéo plus ancré, auditable et efficace pour les tâches de compréhension fine.