Résumé Technique : Sondage et Exploitation des Caractéristiques des Transformeurs de Diffusion Vidéo pour un Suivi de Points Robuste

1. Énoncé du Problème

Les méthodes actuelles de suivi de points, bien qu'efficaces sur les benchmarks standards, reposent souvent sur des dorsales de caractéristiques (ex. : ResNet) qui manquent de cohérence temporelle intrinsèque, ce qui entraîne des performances médiocres dans des scénarios réels impliquant du flou de mouvement, des mouvements rapides et des occlusions fréquentes. Bien que des travaux récents aient commencé à intégrer des Modèles de Fondation Visuelle (VFM) comme DINOv2, aucune analyse systématique n'a déterminé quelle architecture de VFM ou quel objectif d'entraînement produit les représentations les plus robustes pour le suivi temporel dense. De plus, les approches existantes nécessitent généralement une supervision étendue sur de grands ensembles de données vidéo réelles pour atteindre des performances élevées.

2. Méthodologie

2.1. Analyse Systématique des VFM

Les auteurs ont mené une évaluation zero-shot de divers VFM afin d'identifier la dorsale la plus robuste pour le suivi de points. L'étude a comparé les modèles selon :

• Modalités de pré-entraînement : Image seule vs Vidéo.
• Architectures : UNet vs Transformer.
• Objectifs d'apprentissage : Auto-supervisé (MAE, DINO) vs Diffusion.
• Benchmarks : Standard (TAP-Vid-DAVIS), corrompu par flou de mouvement (TAP-Vid-DAVIS + ImageNet-C), et Réel Difficile (ITTO-MOSE).

Principaux résultats de l'analyse :

• Les Transformeurs de Diffusion Vidéo (DiTs) ont systématiquement surpassé tous les autres VFM, y compris les modèles entraînés sur l'image (DINOv2, SD3) et les modèles vidéo avec attention décomposée (SVD) ou objectifs MAE (V-JEPA).
• CogVideoX-5B a obtenu la performance la plus élevée, dépassant même les dorsales ResNet explicitement supervisées sur des données de suivi.
• Facteurs attribués : La supériorité des DiTs Vidéo est attribuée à trois caractéristiques :
  1. Pré-entraînement vidéo réel à grande échelle : Exposition à diverses variations de mouvement et d'apparence.
  2. Attention spatio-temporelle 3D complète : Permet une interaction globale à travers l'espace et le temps, contrairement aux mécanismes d'attention décomposée.
  3. Objectif d'entraînement par diffusion : Reconstruit tous les tokens à travers différents niveaux de bruit, produisant des représentations de correspondance plus riches par rapport aux objectifs purement spatiaux comme MAE.
• Loi d'échelle (Scaling Law) : Au sein d'une même famille de modèles, les modèles plus grands (ex. : WAN-14B vs WAN-1.3B) ont systématiquement produit de meilleures performances de suivi, particulièrement dans des conditions difficiles.

2.2. Cadre DiTracker

Motivés par l'analyse, les auteurs proposent DiTracker, un cadre qui intègre les caractéristiques des DiTs Vidéo dans les pipelines de suivi existants (utilisant spécifiquement la tête CoTracker3) via trois composantes centrales :

1. Calcul du coût de correspondance Requête-Clé (Query-Key Matching Cost) : Au lieu d'utiliser les états cachés, DiTracker extrait les projections de requête ($Q$) et de clé ($K$) directement des couches d'attention 3D complètes du DiT Vidéo. Ces projections encodent intrinsèquement les correspondances inter-images. Un coût de correspondance est calculé via l'attention par produit scalaire pondéré :
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. Fusion au niveau du coût : Puisque les DiTs Vidéo opèrent dans un espace latent spatialement compressé (ex. : $H/16 \times W/16$), ils manquent de détails spatiaux fins requis par les têtes de suivi standards. DiTracker fusionne le coût de correspondance du DiT avec une branche ResNet légère qui fournit des caractéristiques à plus haute résolution. Les coûts sont aplatis, concaténés et projetés dans une empreinte de coût via un MLP :
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   Cela préserve la distribution de correspondance pré-entraînée du DiT tout en récupérant les détails spatiaux.
3. Adaptation LoRA : Pour transférer efficacement les caractéristiques génératives vers la tâche de suivi, les auteurs utilisent l'Adaptation de Bas Rang (LoRA). Des matrices de bas rang entraînables sont insérées dans les couches d'attention de la dorsale DiT Vidéo gelée. Le modèle est entraîné avec un objectif combiné de régression de trajectoire, de classification de visibilité et de pertes de confiance.

3. Contributions Clés

1. Première Analyse Systématique : Le papier présente la première étude complète des représentations VFM pour un suivi de points robuste, identifiant les DiTs Vidéo comme la dorsale la plus robuste, surpassant même les dorsales ResNet supervisées.
2. Cadre DiTracker : Introduction d'une méthode pour exploiter les caractéristiques des DiTs Vidéo pour le suivi supervisé via la correspondance requête-clé, la fusion de coût avec une branche ResNet et l'adaptation LoRA.
3. Efficacité des Données et Robustesse : Démonstration que DiTracker, entraîné uniquement sur des données synthétiques (Kubric) avec nettement moins d'itérations, surpasse CoTracker3 (qui est entraîné sur des vidéos réelles supplémentaires) sous la même tête de suivi. Il montre les gains de performance les plus importants dans les scénarios corrompus et difficiles.
4. Généralisation et Évolutivité : Validation que les bénéfices des caractéristiques des DiTs Vidéo se généralisent à différentes têtes de suivi (ex. : AllTracker) et augmentent avec la taille de la dorsale, confirmant les DiTs Vidéo comme une dorsale robuste, efficace en données et agnostique à la tête.

4. Résultats Expérimentaux

• Benchmarks Standards : Sur TAP-Vid-DAVIS et ITTO-MOSE, DiTracker (entraîné uniquement sur des données synthétiques) a surpassé CoTracker3 entraîné avec 15k vidéos réelles. Par exemple, sur ITTO-MOSE, DiTracker a amélioré $\delta^x_{avg}$ de 2,7 % par rapport à CoTracker3.
• Benchmarks de Robustesse : Sous les corruptions ImageNet-C (bruit, flou, météo), DiTracker a obtenu le meilleur score moyen (71,1 %), surpassant CoTracker3 (69,2 %) malgré l'entraînement de ce dernier sur des données réelles.
• Études d'Ablation :
  • Sélection de Caractéristiques : Les projections requête-clé (52,6 % AJ) ont nettement mieux performé que les états cachés (45,7 % AJ).
  • Stratégie de Fusion : La concaténation des coûts DiT et ResNet (72,2 % $\delta^x_{avg}$) a surpassé le simple suréchantillonnage ou la concaténation de caractéristiques.
  • LoRA : L'adaptation était essentielle ; les caractéristiques du DiT gelé produisaient de faibles résultats (41,0 % AJ). Un LoRA à pleine couche avec des rangs plus élevés (128) a fourni les meilleures performances.
• Évolutivité (Scaling) : Les dorsales plus grandes (WAN-14B) ont systématiquement surpassé les variantes plus petites (WAN-1.3B) sur tous les indicateurs.

5. Signification et Revendications

Le papier affirme que le pré-entraînement vidéo génératif fournit des priors réels forts pour la correspondance, réduisant ainsi la dépendance à une supervision sur de grandes échelles de données réelles pour le suivi de points. En exploitant les DiTs Vidéo, les auteurs démontrent que :

• La cohérence temporelle requise pour un suivi robuste est inhérente aux modèles vidéo génératifs entraînés avec des objectifs de diffusion et une attention 3D complète.
• Il est possible d'atteindre une robustesse de pointe en utilisant uniquement des données synthétiques et moins d'itérations d'entraînement par rapport aux méthodes dépendant de la supervision vidéo réelle.
• Les progrès futurs de la génération vidéo peuvent directement bénéficier aux tâches de suivi de points, suggérant une convergence entre la compréhension vidéo générative et discriminative.