💬 NLP

DemaFormer: Damped Exponential Moving Average Transformer with Energy-Based Modeling for Temporal Language Grounding

L'article présente DemaFormer, une nouvelle architecture basée sur les Transformers qui combine un cadre de modélisation énergétique avec un mécanisme de moyenne mobile exponentielle amortie pour apprendre efficacement les distributions requêtes-moments et surpasser les méthodes de l'état de l'art dans les tâches d'ancrage temporel du langage.

Auteurs originaux : Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une vidéo géante d'une heure sur des vacances en famille, et que quelqu'un vous demande de trouver le clip exact de 10 secondes où « la femme en lunettes de soleil traverse un petit pont coloré ». C'est le travail de l'Ancrage Temporel du Langage : trouver le moment précis dans une vidéo qui correspond à une phrase.

Les auteurs de cet article, Thong Nguyen et son équipe, soutiennent que les meilleurs outils actuels pour faire cela sont un peu comme un bibliothécaire confus. Ils regardent la vidéo et la phrase, mais ils se trompent souvent sur l'« ambiance », mélangeant la scène du pont avec un plan aléatoire d'un arbre à proximité.

Pour résoudre ce problème, ils ont construit un nouveau système appelé DemaFormer. Voici comment il fonctionne, expliqué par de simples analogies :

1. Le Problème : La Recherche « Floue »

Imaginez la vidéo comme une longue file de personnes attendant dans une queue. La « cible » est la personne que vous cherchez.

Anciennes Méthodes : Les modèles d'IA précédents utilisaient un mécanisme d'« attention » standard. Imaginez l'IA essayant de choisir la bonne personne en regardant tout le monde à la fois. Le problème est qu'elle se laisse souvent distraire. La personne que vous voulez (la femme sur le pont) finit par ressembler beaucoup aux personnes qui se tiennent juste à côté d'elle (les « moments restants »). Dans les données de l'article, ces différentes scènes se « mélangent », rendant difficile la séparation de la cible du bruit de fond.

2. La Solution : Les Deux Superpouvoirs de DemaFormer

Les auteurs ont donné à leur nouveau modèle deux astuces spéciales pour résoudre ce chaos.

Astuce A : La Mémoire « Amortie » (DEMA)

Imaginez que vous marchez dans un couloir en essayant de vous souvenir de ce que vous avez vu.

IA Standard : Elle regarde la pièce actuelle, puis la suivante, les traitant comme des instantanés complètement séparés. Elle ne réalise pas que le couloir les relie.
DemaFormer : Il utilise quelque chose appelé Moyenne Mobile Exponentielle Amortie (DEMA). Imaginez cela comme une « mémoire intelligente » qui se souvient de la pièce actuelle, mais qui transporte aussi doucement un peu d'information de la pièce précédente et de la pièce suivante.
Le Facteur « Amortissement » : C'est le secret. C'est comme un bouton de volume. Le modèle apprend exactement quelle quantité d'« information du voisinage » emprunter. S'il emprunte trop, les scènes se floutent ensemble ; s'il emprunte trop peu, il manque le contexte. Le bouton « amortissement » permet au modèle d'ajuster parfaitement cet équilibre afin qu'il sache : « D'accord, cette scène du pont est connectée à la scène de la rivière, mais elle reste distincte. »

Astuce B : Le Filtre « Énergie » (Modélisation Basée sur l'Énergie)

Maintenant, imaginez que l'IA doit décider quels clips vidéo sont de « bons correspondants » et lesquels sont de « mauvais correspondants ».

L'Ancienne Façon : Elle essaie simplement de deviner la bonne réponse en se basant sur des modèles qu'elle a vus auparavant.
La Nouvelle Façon (EBM) : Les auteurs traitent cela comme une expérience de physique avec l'Énergie.
- Basse Énergie = Bon Correspondant : Imaginez une bille roulant dans une vallée profonde. Plus la vallée est profonde, plus la bille est stable. Le modèle veut que les moments vidéo corrects se trouvent dans une « vallée profonde » (basse énergie).
- Haute Énergie = Mauvais Correspondant : Imaginez une bille perchée sur un sommet de montagne instable. Elle est instable. Le modèle veut que les mauvais moments se trouvent sur des « sommets élevés » (haute énergie).
L'Entraînement : Pour enseigner au modèle, ils utilisent un processus mathématique appelé Dynamique de Langevin. Imaginez secouer une boîte de billes. Au début, les billes (les clips vidéo) sont toutes mélangées. Alors que le modèle « secoue » (s'entraîne), il pousse les mauvaises billes (mauvais correspondants) vers les sommets hauts et instables, et laisse les bonnes billes (bons correspondants) rouler vers les vallées profondes et sûres. Cela force le modèle à séparer clairement la scène du « pont » de tout le reste.

3. Les Résultats : Un Focus Plus Aigu

L'équipe a testé DemaFormer sur quatre ensembles de données vidéo différents (comme des vlogs quotidiens, des extraits d'actualités et des meilleurs moments sportifs).

La Preuve Visuelle : Dans les diagrammes de l'article (Figure 1), ils montrent une carte de la façon dont l'IA « voit » la vidéo.
- Anciens Modèles (UMT) : Les points représentant la scène du « pont » et la scène de l'« arbre » sont tous mélangés dans un grand nuage désordonné.
- DemaFormer : Les points du « pont » forment un groupe serré et net, complètement séparé des points de l'« arbre ». C'est comme si l'IA avait enfin mis des lunettes et pouvait clairement voir la différence.
Le Score : DemaFormer a battu les meilleurs modèles précédents (comme UMT et Moment-DETR) de manière significative. Il était meilleur pour trouver les heures de début et de fin exactes du clip vidéo et meilleur pour classer le clip correct comme choix n°1.

Résumé

En bref, DemaFormer est un moteur de recherche vidéo qui :

Mémorise mieux le contexte en mélangeant doucement les informations des moments voisins (DEMA).
Apprend à séparer le signal du bruit en repoussant les mauvaises réponses vers des zones « haute énergie » (instables) et en attirant les bonnes réponses vers des zones « basse énergie » (stables) (Modélisation Basée sur l'Énergie).

Le résultat est un système capable de trouver « la femme traversant le pont » beaucoup plus précisément qu'auparavant, sans se laisser confondre par le décor qui l'entoure.

Résumé Technique : DemaFormer

Énoncé du Problème

L'ancrage temporel du langage (TLG) est la tâche de localiser des moments vidéo spécifiques qui correspondent sémantiquement à une requête en langage naturel. Bien que les approches récentes utilisent des mécanismes d'attention basés sur les Transformers pour apprendre les relations entre les moments vidéo et les requêtes textuelles, l'article soutient qu'une attention « naïve » est souvent insuffisante. Plus précisément, les mécanismes d'attention standards manquent de connaissances a priori concernant les éléments d'entrée, ne parvenant pas à exploiter le fait que les moments vidéo dans les voisinages temporels présentent souvent des caractéristiques étroitement liées. Cette limitation conduit à une modélisation conjointe moment-requête inefficace, où les localisations cibles et les moments non cibles deviennent indistinguables dans l'espace de représentation (comme en témoignent les visualisations t-SNE montrant des distributions mélangées).

Méthodologie

Les auteurs proposent DemaFormer, une architecture novatrice basée sur les Transformers intégrant deux innovations principales : un mécanisme d'attention Moyenne Mobile Exponentielle Amortie (DEMA) et un cadre de Modèle Basé sur l'Énergie (EBM).

1. Attention Moyenne Mobile Exponentielle Amortie (DEMA)

Pour capturer les dépendances locales entre les entrées moment-requête, les auteurs introduisent le calcul DEMA dans l'architecture Transformer.

Mécanisme : Le modèle mappe les entrées vers un espace intermédiaire et calcule l'état caché courant comme une somme pondérée de l'état caché précédent et de l'entrée actuelle.
Amortissement : Contrairement aux Moyennes Mobiles Exponentielles (EMA) standards, le DEMA emploie des coefficients d'amortissement apprenables ( $\delta$ ) parallèlement aux coefficients de pondération ( $\alpha$ ). Ces coefficients permettent au modèle d'absorber suffisamment d'informations adjacentes tout en assurant la distinction entre les entrées.
Intégration : La sortie DEMA est traitée via une couche non linéaire (SiLU) et utilisée comme tenseur de valeurs dans le mécanisme d'attention. La sortie finale est une agrégation adaptative de l'entrée originale et de la sortie de l'attention.

2. Cadre de Modélisation Basée sur l'Énergie (EBM)

Pour apprendre explicitement la distribution des représentations moment-requête et séparer les localisations cibles des non-cibles, les auteurs emploient un cadre EBM.

Objectif : Le modèle vise à minimiser l'énergie des localisations pertinentes tout en maximisant l'énergie de celles qui s'en écartent. Cela est formulé comme un objectif de divergence contrastive.
Échantillonnage Négatif : Puisque l'EBM nécessite des échantillons négatifs pour représenter les régions à haute énergie, les auteurs adaptent l'équation de la dynamique de Langevin pour échantillonner directement des entrées négatives à partir de la distribution EBM.
- Initialement, les échantillons générés sont assurés d'être négatifs car la distribution ne correspond pas encore à la vraie distribution.
- À mesure que l'entraînement progresse, l'équation de Langevin produit des échantillons « négatifs durs ».
Fonction d'Énergie : La fonction d'énergie est définie comme l'opposé du score de saillance prédit ( $E_\theta = -\hat{s}_i$ ). Cela crée une relation saillance-énergie négative où la maximisation de la saillance correspond à la minimisation de l'énergie.
Perte d'Entraînement : La perte totale combine une perte d'appariement standard (pour la saillance, le centre, la largeur et le décalage) avec la perte de Vraisemblance Négative Logarithmique (NLL) dérivée du cadre EBM. Le poids des échantillons négatifs dans la perte NLL décroît au fil des époques.

3. Architecture Globale

Entrée : Le modèle traite les moments visuels, les requêtes textuelles et les signaux audio. L'audio est fusionné dans la séquence visuelle via un mécanisme d'attention à couche unique en raison de son caractère bruyant.
Encodeur-Décodeur : L'architecture se compose d'un encodeur et d'un décodeur, utilisant tous deux des couches d'attention DEMA, de la normalisation, des activations non linéaires et des connexions résiduelles.
Prédiction : Les sorties du décodeur sont transmises à travers des couches linéaires pour prédire les scores de saillance, les centres, les décalages et les largeurs de moments.

Contributions Clés

Architecture DemaFormer : Une variante novatrice de Transformer qui intègre la moyenne mobile exponentielle avec des coefficients d'amortissement apprenables dans le mécanisme d'attention pour capturer efficacement les motifs de dépendance dans les entrées vidéo-langage.
Cadre d'Apprentissage Basé sur l'Énergie : Une nouvelle approche pour le TLG qui modélise les distributions moment-requête en utilisant l'EBM. L'objectif est formulé comme une divergence contrastive pour assister les pertes d'ancrage classiques, en utilisant la dynamique de Langevin pour l'échantillonnage négatif.
Supériorité Empirique : Des expériences extensives démontrent que la méthode proposée surpasse les bases de l'état de l'art sur quatre jeux de données publics.

Résultats Expérimentaux

Les auteurs ont évalué DemaFormer sur quatre jeux de données de référence : QVHighlights, Charades-STA, YouTube Highlights et TVSum.

QVHighlights : DemaFormer a réalisé des améliorations significatives par rapport à la meilleure base précédente (UMT), avec des gains absolus de 4,54 % en Rang 1@0,5 et de 2,01 % en Rang 1@0,7. Avec un pré-entraînement sur des sous-titres ASR, il a amélioré davantage le mAP de 2,59 % et le Hit@1 de 2,64 points.
Charades-STA : Le modèle a amélioré le Rang 1@0,5 de 3,28 % et le Rang 5@0,5 de 2,53 % par rapport à UMT. Sous des seuils plus stricts ( $\mu=0,7$ ), les améliorations ont atteint 5,99 % pour le Rang 1.
YouTube Highlights & TVSum : DemaFormer a obtenu les scores mAP les plus élevés dans toutes les catégories et globalement, surpassant les deuxièmes meilleurs modèles (par exemple UMT) d'jusqu'à 19,34 % dans des catégories spécifiques de TVSum.
Études d'Ablation :
- Le retrait du facteur d'amortissement ou de l'ensemble du calcul DEMA a entraîné des baisses de performance, confirmant la nécessité de modéliser les dépendances locales.
- Le retrait de l'objectif EBM a causé des diminutions significatives (par exemple, une baisse d'environ 3,16 % du Rang 1@0,5 sur QVHighlights), validant l'importance de modéliser explicitement la distribution des représentations.
- L'utilisation du score de saillance comme fonction d'énergie s'est avérée supérieure aux fonctions d'énergie basées sur la similarité cosinus.
- La performance a convergé lorsque le nombre d'étapes d'échantillonnage de Langevin ( $K$ ) dépassait 100.

Importance et Revendications

L'article revendique que DemaFormer adresse la limitation fondamentale des méthodes précédentes basées sur l'attention : l'incapacité à séparer efficacement les moments vidéo cibles du reste de la vidéo dans l'espace de représentation. En combinant DEMA pour capturer les dépendances temporelles locales et EBM pour modéliser explicitement la distribution des paires moment-requête, le cadre atteint un ancrage plus précis.

Les auteurs notent que leur approche est particulièrement efficace dans des contextes divers (vlogs quotidiens, actualités, résumés sportifs) et que les visualisations t-SNE confirment que leur modèle maintient les localisations cibles distinctes des non-cibles, contrairement aux bases précédentes où elles se mélangent.

Limites : Les auteurs reconnaissent que le cadre engendre des coûts computationnels supplémentaires dus à l'échantillonnage par dynamique de Langevin requis pour les entrées négatives. De plus, ils n'ont pas encore étudié la performance du modèle dans des scénarios inter-domaines (par exemple, entraînement sur des vidéos de ski et test sur des vidéos de patinage), identifiant cela comme un écart pour les travaux futurs.