Résumé Technique : EVIDENT - Adaptation du Routage des MLLM par Preuve Visuelle Ancrée sur les Entités

1. Énoncé du Problème

L'article aborde l'échec de la généralisation inter-domaines des Modèles de Langage et Multimodaux à Grande Échelle (MLLM) dans l'Ancrage Temporel Vidéo (VTG). Bien que les MLLM pré-entraînés possèdent des capacités d'attention aux entités inhérentes et agnostiques du domaine (la capacité d'associer des requêtes linguistiques à des entités visuelles pertinentes à travers des distributions diverses), un fine-tuning naïf pour les tâches VTG détruit souvent cette capacité.

Les auteurs identifient un phénomène qu'ils nomment « découplage attention-localisation ». Lorsqu'ils sont fine-tunés sur un domaine source spécifique (In-Domain, ID), les MLLM apprennent à localiser des événements en s'appuyant sur des raccourcis spécifiques au jeu de données (par exemple, un biais de localisation temporelle, un contexte de scène ou un biais d'apparence) plutôt que sur la preuve visuelle sous-jacente. Par conséquent, bien que les performances en ID s'améliorent, les performances Out-of-Domain (OOD) se dégradent brutalement.

Grâce à une analyse empirique, l'article diagnostique que cette dégradation est principalement pilotée par un décalage de domaine visuel (différences dans la distribution visuelle entre les vidéos source et cible) plutôt que par la présence de concepts de requête inédits. Le fine-tuning standard amène le modèle à surajuster aux contextes de scène du domaine source, échouant à coupler ses connaissances apprises de localisation temporelle avec son attention aux entités pré-entraînée.

2. Méthodologie : EVIDENT

Pour résoudre ce problème, les auteurs proposent EVIDENT (Adaptation attentive aux entités ancrée sur la preuve), un cadre efficace en paramètres conçu pour ancrer l'ancrage temporel dans l'attention aux entités inhérente des MLLM pré-entraînés. Le cadre se compose de trois composants principaux :

A. Adaptateur de Goulot d'Entité (EB Adapter)

Au lieu de fine-tuner l'ensemble du MLLM ou de relancer un entraînement par instruction, EVIDENT insère un adaptateur léger dans les premières couches du décodeur du MLLM.

• Mécanisme : Il transforme les tokens visuels denses en un ensemble compact de slots de niveau entité apprenables en utilisant un mécanisme d'attention par slots (Slot Attention).
• Fonction : Cela force le modèle à décomposer la scène visuelle en entités discrètes et sémantiquement cohérentes (par exemple, personne, objet) plutôt que de traiter des tokens visuels bruts et entrelacés.
• Reconstruction : L'adaptateur reconstruit la séquence de tokens originale à partir de ces slots de manière sans paramètres, garantissant que le décodeur LLM ne consomme que des représentations désenchevêtrées et centrées sur les entités.

B. Distillation de Liaison d'Entité (EB Distillation)

Les auteurs observent que l'espace visuel du MLLM pré-entraîné est « entrelacé », ce qui signifie que les slots dans le goulot d'étranglement s'effondreraient naturellement vers une attention uniforme sans guidance.

• Mécanisme : Une perte de distillation est introduite pour guider la formation des slots. Elle utilise DINOv2 (un modèle de vision auto-supervisé) pour générer des cartes de clusters pseudo-vérités de patches visuels.
• Fonction : Grâce à l'appariement hongrois et à une perte d'entropie croisée binaire (BCE), le modèle est entraîné à lier chaque slot à un cluster d'entité spécifique et sémantiquement cohérent. Cela installe des « priors d'objectité » dans l'espace visuel du MLLM, garantissant que les slots représentent des entités distinctes même en cas de décalage de domaine.

C. Commutation Entité-vers-eVidence (E2V)

Pour exploiter ces entités apprises pour la localisation temporelle, le cadre introduit un mécanisme de commutation (gating).

• Mécanisme : Pour une requête en langage naturel donnée, le système extrait les concepts de sujet et d'objet. Il calcule ensuite un score de co-occurrence par image basé sur la similarité cosinus entre les caractéristiques visuelles de l'image et les tokens de sujet/objet de la requête.
• Fonction : Ce score agit comme une porte, modulant la contribution de la sortie de l'EB Adapter. Les images où les entités pertinentes pour la requête co-occurrent reçoivent des poids plus élevés. Cela injecte un biais inductif selon lequel le moment temporel cible est celui où les entités pertinentes sont visuellement présentes, orientant le modèle loin des raccourcis du jeu de données.

Objectif d'Entraînement : Le cadre est entraîné de bout en bout avec l'encodeur de vision figé. Les paramètres de l'EB Adapter et de LoRA sont mis à jour conjointement en utilisant une perte combinée : $L_{total} = L_{CE} + \lambda L_{EBD}$, où $L_{CE}$ est la perte d'entropie croisée standard pour la génération de timestamps et $L_{EBD}$ est la perte de distillation de liaison d'entité.

3. Contributions Clés

1. Diagnostic de l'Échec OOD : L'article démontre systématiquement que le fine-tuning naïf provoque un « découplage attention-localisation » et identifie le décalage de domaine visuel comme la cause principale de la dégradation OOD, plutôt que des écarts de concepts.
2. Cadre EVIDENT : Une méthode d'adaptation efficace en paramètres qui achemine l'apprentissage VTG à travers des représentations de niveau entité sans relancer un entraînement par instruction complet. Il combine un Adaptateur de Goulot d'Entité, une Distillation de Liaison d'Entité et un mécanisme de commutation Entité-vers-eVidence.
3. Validation Empirique : Des expériences extensives montrent que EVIDENT améliore constamment la robustesse OOD à travers divers benchmarks inter-domaines (Charades-STA, QVHighlights, DiDeMo) tout en maintenant des performances In-Domain compétitives avec une surcharge de paramètres modeste (~2,36 % du backbone 7B).

4. Résultats Expérimentaux

Les auteurs ont évalué EVIDENT dans des configurations inter-domaines (entraînement sur un jeu de données, test sur un autre).

• Performance : EVIDENT surpasse nettement les MLLM fine-tunés naïvement (par exemple, Qwen2.5-VL) dans les scénarios OOD. Par exemple, sur la tâche Charades-STA $\to$ QVHighlights, la baseline naïve a subi une chute de plus de 23,9 points en R1@0,5, tandis que EVIDENT a comblé cet écart, réalisant un gain de +5,5 points par rapport à la baseline.
• Comparaison : EVIDENT surpasse les MLLM en zero-shot (qui manquent de localisation temporelle précise) et les modèles spécialisés basés sur DETR (qui échouent souvent à généraliser à travers les domaines).
• Études d'Ablation :
  • Le retrait de la Distillation EB entraîne un échec des slots à se spécialiser, confirmant la nécessité de la perte de distillation pour la liaison d'entité.
  • Le retrait de la commutation E2V réduit les performances OOD, confirmant la valeur de l'utilisation des entités comme preuve visuelle explicite.
  • L'insertion de l'adaptateur dans les premières couches du décodeur (0–10) s'est révélée optimale, préservant l'alignement pré-entraîné tout en permettant la décomposition en entités.

5. Signification et Revendications

L'article revendique que pour un VTG robuste basé sur MLLM sous décalage de domaine visuel, la solution est une adaptation ancrée sur la preuve qui exploite pleinement l'attention aux entités pré-entraînée, plutôt qu'un ajustement direct au contexte du domaine source.

Les auteurs positionnent EVIDENT comme une étape vers l'atténuation des décalages de distribution dans la compréhension vidéo en imposant un biais structurel vers le raisonnement de niveau entité. Ils soutiennent qu'en régularisant le fine-tuning pour ancrer les prédictions dans la preuve visuelle (entités) plutôt que dans des motifs mémorisés, les modèles peuvent atteindre une transférabilité qu'un fine-tuning naïf ne peut pas obtenir. Le travail suggère que l'ancrage de niveau entité sert de biais inductif efficace pour une localisation temporelle généralisable.

L'article reste modeste concernant son périmètre, notant qu'il se concentre sur les décalages de distribution visuelle et n'aborde pas encore d'autres défis tels que les vidéos longues, les perspectives égocentriques ou l'ancrage à vocabulaire ouvert, qui sont laissés pour un travail futur.