Résumé Technique : VISCOP (Visual Contextualized Probing) pour l'Adaptation de Domaine Vidéo

1. Énoncé du Problème

Les grands modèles de vision-langage (VLM) font preuve de performances robustes sur des tâches de raisonnement visuel général, mais souffrent d'une dégradation significative lorsqu'ils sont déployés dans de nouveaux domaines caractérisés par des changements substantiels de distribution (par exemple, des changements de point de vue, de modalité de détection ou de structure de tâche). Les stratégies actuelles d'adaptation de domaine sont confrontées à un compromis critique :

• Geler l'encodeur de vision et ne mettre à jour que des connecteurs légers préserve les connaissances pré-entraînées mais limite la capacité du modèle à apprendre des caractéristiques visuelles spécifiques au domaine.
• Le fine-tuning complet ou partiel de l'encodeur de vision permet une compréhension visuelle spécialisée mais entraîne souvent un oubli catastrophique des capacités larges acquises lors du pré-entraînement.

De plus, les approches existantes reposent généralement sur les représentations de la dernière couche d'un encodeur de vision gelé, délaissant les caractéristiques intermédiaires qui encodent une structure visuelle multi-niveaux. L'article postule que les représentations abstraites de la dernière couche sont insuffisantes pour les changements de domaine visuellement saillants et pose la question suivante : comment un VLM peut-il exploiter des signaux spécifiques au domaine à travers la profondeur d'un encodeur gelé sans provoquer d'oubli catastrophique ?

2. Méthodologie : VISCOP

Les auteurs proposent VISCOP (Visual Contextualized Probing), un mécanisme d'adaptation léger conçu pour spécialiser les VLM pour des domaines cibles tout en préservant les connaissances générales.

Architecture Centrale

VISCOP augmente un encodeur de vision gelé avec un ensemble compact de sondes visuelles apprenables ($P \in \mathbb{R}^{M \times d_v}$) et un module d'interaction. Contrairement aux méthodes qui réinterprètent des caractéristiques fixes ou les compressent à la couche finale, VISCOP crée une voie paramétrée parallèle :

1. Sondage par couche (Layer-wise Probing) : La méthode extrait des signaux pertinents au domaine à partir des couches intermédiaires ($\ell = 1, \dots, L$) de l'encodeur de vision gelé.
2. Module d'Interaction ($\Phi^\ell$) : À chaque couche, un module d'interaction apprenable conditionne les sondes sur les représentations visuelles hiérarchiques ($X^\ell$) via une attention croisée vision-sonde (vision-probe cross-attention).
   • Les sondes sont mises à jour comme suit : $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • Cela permet aux sondes d'être attentives à tous les cadres d'une vidéo, apprenant des relations spatio-temporelles complexes spécifiques au domaine cible, même lorsque l'encodeur de base est gelé.
3. Projection vers l'LLM : Après la couche finale, les sondes mises à jour ($P^L$) sont projetées dans l'espace d'embedding du langage via un connecteur dédié ($C_{probe}$).
4. Objectif d'Entraînement : Le VLM est entraîné avec une perte standard de prédiction du prochain jeton (next-token prediction) auto-régressive, conditionnée à la fois par les embeddings visuels originaux ($E$) et les embeddings de sonde ($Z$).

Stratégie d'Entraînement

• Composants Gelés : Les paramètres de l'encodeur de vision pré-entraîné restent gelés.
• Composants Entraînables : Seuls les sondes visuelles, les modules d'interaction, le connecteur vision-langage et, optionnellement, les paramètres LoRA dans l'LLM sont mis à jour.
• Mécanisme : En confinant les mises à jour à un sous-espace visuel défini par des sondes de faible rang, VISCOP oriente l'apprentissage vers des structures pertinentes au domaine tout en évitant le "crash" (oubli catastrophique) associé au flux de gradient direct à travers l'encodeur de vision.

3. Contributions Clés

1. Nouvelle Stratégie d'Adaptation : Introduction de VISCOP, qui apprend des représentations visuelles spécifiques au domaine via le sondage par couche d'un encodeur gelé, permettant un transfert efficace sans perturber les représentations pré-entraînées.
2. Évaluation Complète : Établissement d'un cadre d'évaluation rigoureux couvrant trois scénarios d'adaptation difficiles :
   • Cross-view (Changement de vue) : Exocentrique $\to$ Egocentrique.
   • Cross-modal (Changement de modalité) : RGB $\to$ Profondeur.
   • Cross-task (Changement de tâche) : Compréhension humaine $\to$ Contrôle robotique.
3. Supériorité Empirique : Démonstration que VISCOP surpasse systématiquement les stratégies existantes (y compris le fine-tuning complet et partiel) en termes de performance sur le domaine cible tout en conservant de meilleures capacités sur le domaine source.

4. Résultats Expérimentaux

Les auteurs ont évalué VISCOP par rapport aux bases (Base VLM, Full Fine-tuning, Partial Fine-tuning, style Q-Former, Prompt Tuning) à travers trois domaines :

• Compréhension de Vidéo Egocentrique (Exocentrique $\to$ Egocentrique) :

  • VISCOP a obtenu l'amélioration la plus élevée sur le domaine cible ($\Delta_{target} = +3,53$) tout en améliorant simultanément la rétention sur le domaine source ($\Delta_{source} = +1,77$).
  • En revanche, le fine-tuning complet a légèrement amélioré la cible ($\Delta_{target} = +0,57$) mais a causé un oubli sur la source ($\Delta_{source} = -0,50$).

• Compréhension de Vidéo de Profondeur (RGB $\to$ Profondeur) :

  • L'écart visuel entre RGB et Profondeur a provoqué un oubli sévère dans les approches de fine-tuning standard ($\Delta_{source} = -3,87$).
  • VISCOP a réalisé les gains les plus importants sur la cible ($\Delta_{target} = +19,27$) tout en préservant la performance de la source ($\Delta_{source} = +1,84$).

• Contrôle Robotique (Compréhension Humaine $\to$ Contrôle Robotique) :

  • Étant donné l'écart extrême de domaine (visuel et linguistique), le Base VLM avait une précision de 0 %.
  • VISCOP a obtenu la meilleure performance cible ($\Delta_{target} = +67,82$) et a conservé le plus de connaissances sources ($\Delta_{source} = -4,58$) par rapport aux autres experts, qui ont subi un ouboiement significatif ($\Delta_{source} \approx -8,87$).

• Généralisation : VISCOP a également été testé sur la compréhension audio (entrée par spectrogramme), montrant une performance cible comparable aux bases mais avec un oubli de la source nettement réduit, indiquant que la méthode n'est pas limitée aux décalages visuels.

Efficacité

VISCOP n'introduit qu'un surcoût de calcul modeste (augmentation de 2 % des paramètres, environ 3,4 Go de VRAM supplémentaire) et, notamment, a démontré une latence d'inférence inférieure au VLM de base grâce à une génération de jetons plus focalisée.

5. Signification et Revendications

L'article affirme que VISCOP répond au compromis fondamental de l'adaptation de domaine des VLM : l'incapacité d'apprendre de nouvelles caractéristiques visuelles sans effacer les connaissances pré-entraînées. En agissant comme un "agent de circulation" qui dirige les flux de gradients loin de l'encodeur gelé vers une voie alternative, VISCOP permet :

• Un Transfert de Domaine Efficace : Apprendre des indices spécifiques au domaine (ex: mouvement égocentrique, structure de profondeur, manipulation robotique) qui sont absents de la représentation pré-entraînée.
• La Préservation des Capacités Générales : Maintenir la compétence sur le domaine source, ce qui est crucial pour le déploiement en conditions réelles où les modèles doivent gérer des entrées diverses.
• L'Utilisation des Caractéristiques Intermédiaires : Démontrer que les couches intermédiaires d'un encodeur gelé contiennent des signaux précieux et spécifiques au domaine qui sont perdus si seules les représentations de la dernière couche sont utilisées.

Les auteurs concluent que VISCOP fournit une approche simple mais efficace pour l'adaptation de domaine vidéo sous des écarts visuels importants sans modifier les paramètres de l'encodeur de vision pré-entraîné, une capacité qui n'est pas offerte par les approches existantes.