💻 computer science

E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching

E.M.Ground est un nouveau modèle de grand langage vidéo pour l'ancrage temporel de vidéos qui améliore la précision de la localisation d'événements en introduisant un jeton spécial pour la continuité sémantique holistique, un lissage de Savitzky-Golay pour la réduction du bruit, et une agrégation de caractéristiques de trames multi-granulaires afin de surmonter les limitations des méthodes existantes dépendantes des horodatages.

Auteurs originaux : Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant vidéo très intelligent (un « Modèle de Langage de Grande Taille Vidéo ») capable de regarder un film et de répondre à des questions sur celui-ci. Cependant, lorsque vous lui demandez : « Montre-moi le moment où le chat reçoit une piqûre », l'assistant a souvent du mal à trouver le début et la fin exacts. Il peut deviner le moment où le chat apparaît, mais rater l'instant précis où l'aiguille touche la peau, ou s'arrêter trop tôt.

Ce document présente un nouveau système appelé E.M.Ground pour résoudre ce problème. Considérez cela comme une mise à niveau de l'assistant, passant d'un « chronomètre » à un « conteur d'histoires ».

Voici comment fonctionne E.M.Ground, expliqué à travers des analogies simples :

1. L'ancienne méthode : Deux chronomètres séparés

Les méthodes précédentes (comme un système appelé E.T.Chat) essayaient de trouver la réponse en utilisant deux jetons (tokens) distincts (comme deux chronomètres différents).

Chronomètre A essaie de deviner exactement quand l'événement commence.
Chronomètre B essaie de deviner exactement quand l'événement se termine.

Le Problème : C'est comme essayer de trouver une scène spécifique dans un film en ne regardant que la toute première image et la toute dernière image. On passe à côté de tout ce qui se passe au milieu. Si le film est long, l'assistant s'embrouille car il ignore le « cœur » de l'histoire. Il choisit souvent le mauvais début ou la mauvaise fin car il ne comprend pas l'événement entier comme une histoire continue.

2. La nouvelle méthode : Un seul « Jeton d'Histoire »

E.M.Ground change de stratégie. Au lieu de deux chronomètres, il utilise un seul jeton spécial appelé <evt> (abréviation de « event », ou événement).

L'Analogie : Imaginez que vous cherchez un chapitre spécifique dans un livre. Au lieu de demander : « Où commence le chapitre ? » et « Où finit-il ? » séparément, vous tenez un marque-page qui indique « Le Chapitre Entier ».
Comment ça marche : Ce jeton unique <evt> examine chaque image de la vidéo à la fois. Il se demande : « Cette image appartient-elle à l'histoire de 'le chat qui reçoit une piqûre' ? ». Il maintient l'histoire cohérente, garantissant que l'assistant comprenne le début, le milieu et la fin comme un événement continu et cohérent. Cela aide à mieux gérer les vidéos longues car il ne perd pas le fil de l'histoire au milieu.

3. Lisser les « Tremblements »

Même avec le nouveau « Jeton d'Histoire », la confiance de l'ordinateur peut être un peu « agitée ». Une seconde, il est sûr à 90 % qu'une image fait partie de l'événement, et la seconde suivante, ce taux tombe à 40 % à cause d'un minuscule défaut visuel, puis remonte brusquement.

L'Analogie : Imaginez une main tremblante traçant une ligne sur un graphique. La ligne monte et descend trop, ce qui rend difficile la lecture de la forme réelle.
La Solution : E.M.Ground utilise une technique mathématique appelée lissage de Savitzky-Golay. Considérez cela comme le passage d'un fer à repasser chaud sur une chemise froissée. Cela lisse les petits plis bruyants (les tremblements) sans changer la forme générale de la chemise (l'événement réel). Cela aide le système à choisir les temps de début et de fin plus précisément en ignorant le bruit.

4. Reconstruire les détails perdus

Pour rendre les vidéos plus faciles à traiter par les ordinateurs, les systèmes les « compressent » souvent, jetant ainsi certains détails visuels (comme réduire une photo haute résolution en une vignette). Cela fait généralement manquer des indices importants à l'ordinateur.

L'Analogie : C'est comme essayer de reconnaître un visage à partir d'une photo floue et de mauvaise qualité.
La Solution : E.M.Ground utilise des caractéristiques multi-grains. Au lieu de simplement regarder la vignette floue, il examine la photo à différents niveaux de détail (contours nets, couleurs, textures) et les combine. C'est comme utiliser simultanément une loupe, un objectif grand angle et un filtre de couleur pour reconstruire les détails manquants, garantissant que l'ordinateur ne manque rien d'important.

Les Résultats

Le papier a testé E.M.Ground sur de nombreux jeux de données vidéo.

Une meilleure précision : Il a systématiquement battu les meilleures méthodes précédentes (comme E.T.Chat) par une marge importante.
Vidéos longues : Alors que les anciens systèmes devenaient moins performants à mesure que les vidéos s'allongeaient, E.M.Ground est resté solide car il comprenait l'histoire entière, et non seulement le début et la fin.
Moins d'erreurs : Il a commis beaucoup moins d'erreurs où le temps prédit n'avait aucun chevauchement avec l'événement réel, ou bien où il ne trouvait que le milieu de l'événement en manquant le début ou la fin.

En résumé : E.M.Ground cesse d'essayer de deviner les temps de début et de fin séparément. Au lieu de cela, il traite l'événement comme une histoire unique et continue, lisse la confusion de l'ordinateur et utilise tous les détails visuels disponibles pour trouver le moment exact où l'événement se produit.

Résumé Technique : E.M.Ground

Énoncé du Problème

Le repérage temporel vidéo (Temporal Video Grounding - TVG) reste un défi majeur pour les modèles de langage de grande taille pour la vidéo (Vid-LLMs). La tâche nécessite la localisation précise des segments temporels correspondant à un événement de requête au sein d'une vidéo. Bien que les méthodes récentes de pointe comme E.T.Chat aient amélioré les approches précédentes en utilisant une correspondance de similitude jeton-image plutôt qu'une génération numérique directe, elles présentent des limitations critiques :

Manque de perception holistique : Les méthodes existantes emploient généralement deux jetons distincts pour faire correspondre les limites de début et de fin d'un événement. Cette approche force le modèle à trop se reposer sur les images de bordure tout en négligeant les images intermédiaires, échouant ainsi à capturer la continuité sémantique et l'intégrité de l'événement.
Bruit et instabilité : La sélection directe des images présentant les scores de similitude les plus élevés est sensible au bruit et aux changements brusques de similitude entre les horodatages adjacents, ce qui conduit à un repérage inexact.
Perte d'information : La compression visuelle agressive, souvent utilisée pour respecter les contraintes de calcul, entraîne une perte d'information qui dégrade les performances, particulièrement sur les vidéos longues où l'information des images intermédiaires est cruciale.

Méthodologie

Les auteurs proposent E.M.Ground, un Vid-LLM de repérage temporel conçu pour répondre à ces limitations grâce à une perspective de perception d'événement holistique et cohérente. L'architecture intègre trois conceptions novatrices :

1. Correspondance d'Événement Holistique et Cohérente

Au lieu d'utiliser des jetons séparés pour les horodatages de début et de fin, E.M.Ground introduit un jeton spécial unifié, <evt>, pour représenter l'intégralité de l'événement de requête.

Mécanisme : Le jeton <evt> est entraîné pour agréger les informations de toutes les images comprises dans l'intervalle de l'événement de vérité terrain. Lors de l'inférence, le modèle calcule la similitude cosinus entre les caractéristiques du jeton <evt> et les caractéristiques de chaque image de la vidéo.
Étiquetage : Une stratégie d'étiquetage binaire lissée est employée pour la construction de la vérité terrain. Les images à l'intérieur de l'événement sont étiquetées comme 1, tandis que les images proches des limites reçoivent des valeurs décroissantes pour assurer une continuité numérique et réduire les transitions abruptes.
Prédiction : Le segment cible est identifié en trouvant une plage continue d'images où le score de similitude dépasse un seuil $\sigma$ .

2. Agrégation de Caractéristiques Visuelles Multi-Échelles

Pour compenser la perte d'information causée par la compression visuelle, le modèle agrège les caractéristiques de plusieurs couches du grand modèle de langage (LLM).

Mise en œuvre : Les caractéristiques des images sont extraites de diverses couches ( $l=1$ à $L$ ) du LLM. Ces caractéristiques sont agrégées (via une moyenne) pour créer une représentation riche et multi-échelle ( $f_{vt}$ ) pour chaque image.
Avantage : Cette approche tire parti des différents schémas d'attention observés à travers les différentes couches du LLM, fournissant des indices plus riches pour le repérage temporel.

3. Lissage de Savitzky–Golay

Pour atténuer le bruit et les fluctuations brusques des scores de similitude entre les images adjacentes, les auteurs appliquent un lissage de Savitzky–Golay à la séquence de similitude avant de déterminer les limites finales.

Fonction : Cette technique de traitement du signal filtre le bruit à haute fréquence tout en préservant la forme des pics (crucial pour les événements de courte durée) et les tendances locales.
Résultat : Les scores de similitude raffinés conduisent à des prédictions de limites plus stables et précises.

Détails de l'Architecture

Backbone : Le modèle utilise Phi-3-Mini-3.8B comme backbone LLM, EVA-CLIP (ViT-G/14) comme encodeur de vision, et un Q-Former pour la fusion transmodale et la compression de jetons.
Entraînement : L'entraînement suit une stratégie en trois étapes : (1) Alignement vidéo-texte avec des données grossières à grande échelle ; (2) Suivi d'instructions avec le Q-Former et le LLM non gelés ; (3) Ajustement fin de la correspondance d'événements avec des données de repérage spécifiques.
Fonctions de Perte : Le modèle est optimisé à l'aide d'une perte de log-vraisemblance négative (NLL) standard pour la génération de texte et d'une perte de correspondance auxiliaire pour superviser les scores de similitude par rapport aux étiquettes lissées de la vérité terrain.

Contributions Clés

Jeton d'Événement Unifié : La proposition d'un jeton unique <evt> pour modéliser l'événement de requête de manière holistique, préservant la continuité et l'intégrité sémantique, ce qui surpasse les méthodes reposant sur des jetons de début/fin séparés.
Suppression du Bruit : L'introduction du lissage de Savitzky–Golay pour affiner la correspondance jeton-image, atténuant efficacement le bruit et les changements brusques des scores de similitude.
Robustesse à la Longueur : La méthode traite le goulot d'étranglement de la perte d'information dans les vidéos longues en agrégeant des caractéristiques multi-échelles, garantissant des performances constantes sur des vidéos de durées variées.

Résultats Expérimentaux

Des évaluations zero-shot approfondies ont été menées sur plusieurs benchmarks, notamment Charades-STA, E.T.Bench (couvrant les sous-tâches TVG, EPM, TAL et EVS), YouCook2, QVHighlights et MVBench.

Performance TVG : E.M.Ground atteint des résultats de pointe. Sur Charades-STA, il surpasse le précédent meilleur (TRACE) de 4,5 % en R@0.5. Sur E.T.Bench, il dépasse E.T.Chat de 13,4 % sur la sous-tâche TVG et de 7,4 % sur la sous-tâche de résumé vidéo extractif (EVS), malgré l'utilisation d'un modèle de langage plus petit (3,8B contre 7B/13B).
Gestion de la Longueur Variable : Contrairement à E.T.Chat, qui montre une dégradation des performances sur les vidéos plus longues, E.M.Ground maintient des performances stables sur toutes les durées d'événements, validant sa capacité à capturer l'information sémantique intermédiaire.
Réduction des Erreurs : L'analyse qualitative montre une réduction significative des types d'erreurs "Aucun chevauchement" (No Overlap) et "Complètement contenu" (Completely Contained) par rapport à E.T.Chat, indiquant un meilleur alignement avec l'étendue sémantique complète des événements.
Généralisation : Le modèle démontre de fortes capacités dans des tâches connexes telles que le légendage vidéo dense (DVC), la détection de points forts de la vidéo (VHD) et la compréhension vidéo générale (MVBench), suggérant que l'approche holistique bénéficie à une compréhension temporelle plus large.

Signification et Revendications

L'article affirme qu'E.M.Ground représente un passage d'une correspondance centrée sur les bordures à une perception d'événement holistique. En reformulant la prédiction de l'horodatage comme une tâche de correspondance d'événement utilisant un jeton unifié, la méthode surmonte les limitations inhérentes aux approches conventionnelles pour capturer la continuité et l'intégrité sémantique des requêtes.

Les auteurs soulignent que leur approche ne nécessite pas de paramètres apprenables supplémentaires pour le mécanisme de correspondance et maintient une complexité de calcul linéaire ( $O(T)$ ) par rapport au nombre d'images. Les résultats suggèrent qu'une représentation unifiée et sémantiquement cohérente est supérieure pour le repérage temporel précis dans les Vid-LLMs, offrant une nouvelle perspective pour la recherche future en compréhension vidéo.