SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

Résumé Technique : SciFlow

Énoncé du Problème
L'estimation du flux optique est fondamentale pour la compréhension vidéo, sous-tendant des tâches telles que le suivi d'objets, l'interpolation d'images et la compression vidéo. Bien que l'apprentissage profond ait fait progresser le domaine, l'acquisition d'une vérité terrain dense, au niveau du pixel, pour des scènes du monde réel reste extrêmement difficile et coûteuse. Par conséquent, les modèles sont généralement entraînés sur des jeux de données synthétiques (ex. : FlyingChairs, FlyingThings3D, Sintel) et déployés dans des environnements réels. Cela crée un défi significatif de généralisation de domaine « synthétique-vers-réel », où les modèles peinent à s'adapter à la diversité de l'éclairage, de la dynamique de mouvement et de la qualité d'image rencontrées dans les scénarios du monde ouvert. Les méthodes semi-supervisées et auto-supervisées existantes reposent souvent sur des augmentations de données complexes, du rendu neuronal ou de la cohérence de transformation, mais échouent fréquemment à se généraliser à des domaines non vus ou nécessitent des pipelines coûteux en termes de calcul.

Méthodologie
Le papier propose SciFlow (Semantic Cross Interference), une approche basée sur l'entraînement et indépendante de l'architecture, conçue pour généraliser l'estimation du mouvement entre les domaines synthétiques et le monde ouvert via l'apprentissage auto-supervisé. L'innovation centrale réside dans l'« interférence sémantique inter-domaines », une technique qui mélange les caractéristiques d'images du monde ouvert dans des scènes synthétiques lors de l'entraînement.

La procédure d'entraînement se compose de deux phases :

1. Apprentissage Curriculaire Supervisé : Le modèle est initialement entraîné sur des jeux de données synthétiques ($D_{GT}$) avec une vérité terrain, en progressant de mouvements et d'exemples de scènes simples vers plus complexes.
2. Affinage Auto-supervisé : Le modèle est adapté à des données réelles non étiquetées ($D_{NGT}$) en utilisant un cadre enseignant-étudiant (teacher-student) :
   • Enseignant ($f_T$) : Initialisé avec les poids de l'étudiant et mis à jour via une Moyenne Mobile Exponentielle (EMA). Il traite des paires d'images originales « propres » issues du domaine synthétique.
   • Étudiant ($f_S$) : Entraîné sur des paires augmentées où une troisième image ($I_d$) provenant du domaine du monde ouvert interfère sémantiquement avec la seconde image de la paire synthétique. Ceci est réalisé via une fonction de mélange $D_\lambda(I_2, I_d) = \lambda \cdot I_2 + (1-\lambda) \cdot I_d$, où $\lambda$ est échantillonné à partir d'une distribution bêta.
   • Fonction de Perte : L'étudiant est optimisé pour correspondre aux prédictions de l'enseignant sur la paire originale. La perte auto-supervisée est définie par la différence L1 entre la prédiction de l'étudiant sur la paire interférée et la prédiction de l'enseignant sur la paire propre, masquée par un score de confiance ($M_{conf}$) dérivé de la cohérence avant-arrière (forward-backward).

Cette approche permet au réseau d'apprendre les statistiques du monde réel et de s'adapter aux décalages de domaine sans nécessiter de vérité terrain dans le domaine cible, ni de pipelines de reconstruction complexes.

Contributions Clés

• Cadre SciFlow : Introduction d'une méthode simple et efficace qui exploite l'interférence sémantique inter-domaine pour améliorer la généralisation de domaine du flux optique.
• Adaptation Sans Étiquette : La méthode atteint de hautes performances de transfert de domaine sans nécessiter de vérité terrain réelle, répondant à la fois au décalage de domaine et à la rareté des étiquettes dans les scénarios du monde ouvert.
• Indépendance de l'Architecture : L'approche est conçue pour être compatible avec diverses architectures de réseaux, comme démontré ici sur des modèles à pleine capacité (RAFT) et légers (MobileFlow).

Résultats Expérimentaux
Les auteurs ont évalué SciFlow sur des benchmarks standards, spécifiquement le jeu de données KITTI, en utilisant les architectures RAFT et MobileFlow.

• Performance Quantitative : Sur le benchmark KITTI, SciFlow surpasse significativement les bases supervisées et les autres méthodes auto-supervisées (ex. : DistractFlow). Pour le modèle léger MobileFlow, SciFlow réduit l'erreur Fl-all de 22,6 (baseline supervisée) à 8,95 lorsqu'il est entraîné avec la combinaison de l'EMA, du masquage de confiance et de l'interférence sémantique sur le grand jeu de données non étiquetées Web Stereo Video Dataset (WSVD).
• Performance Qualitative : Les évaluations visuelles sur divers jeux de données du monde ouvert (DAVIS, SlowFlow) ont démontré que SciFlow permet une estimation du flux robuste et précise dans des conditions difficiles telles que la faible luminosité, le flou de mouvement et le bruit élevé, là où les modèles de base échouent souvent.
• Stabilité : L'intégration de l'EMA et du masquage de confiance s'est révélée cruciale pour la stabilité de l'entraînement, empêchant la divergence durant la phase auto-supervisée.

Signification et Revendications
Le papier affirme que SciFlow offre une solution pratique au problème de la généralisation de domaine synthétique-vers-réel dans l'estimation du mouvement. En introduisant l'interférence sémantique inter-domaine, il permet aux modèles de s'adapter efficacement aux scénarios réels sans avoir besoin de vérité terrain pour le domaine cible. Les auteurs soulignent la simplicité et la nature agnostique à l'architecture de la méthode, la positionnant comme une voie largement applicable vers une estimation du mouvement plus robuste et précise pour la compréhension vidéo dans des environnements complexes et dynamiques. Ce travail suggère que l'exploitation des données du monde ouvert via l'interférence sémantique est une alternative viable aux pipelines de rendu ou de reconstruction complexes pour améliorer la robustesse des modèles.