Résumé technique : Alignement latent équivariant via le Flow Matching sous symétries de groupe

Énoncé du problème

Le papier traite d'une limitation critique de l'apprentissage de représentations équivariantes (Equivariant Representation Learning - ERL) pour les modèles génératifs géométriques et la synthèse de vues nouvelles (NVS). Alors que l'ERL vise à construire des espaces latents où les actions de groupe (par exemple, les rotations dans $SO(2)$ ou $SO(3)$) agissent de manière analytique et prévisible, les auteurs identifient un phénomène nommé désalignement latent.

En pratique, même lorsqu'un encodeur $\Phi$ est entraîné avec des objectifs d'équivariance, la représentation latente transformée analytiquement $\rho(g)\Phi(x)$ (où $\rho(g)$ est la représentation de groupe connue) diverge souvent de la représentation latente encodée empiriquement de l'image transformée $\Phi(g \circ x)$. Cette divergence provient de :

1. Optimisation imparfaite : L'encodeur ne parvient pas à apprendre une application parfaitement équivariante en raison de la complexité de la compression conjointe du contenu de l'objet et des structures de symétrie.
2. Aliasing (Repliement de spectre) : Les architectures standards (CNN, Transformers) introduisent de l'aliasing via l'échantillonnage discret et des filtres non limités en bande, causant des erreurs d'équivariance persistantes.
3. Cibles multimodales : Des encodeurs imparfaits peuvent mapper des entrées distinctes vers le même latent, créant une distribution cible multimodale que les applications déterministes point à point ne peuvent résoudre.

Ce désalignement s'accumule sous les transformations, dégradant la cohérence géométrique et la fidélité visuelle des vues synthétisées.

Méthodologie : Flux Latent Résiduel (Residual Latent Flow - RLF)

Pour corriger ce désalignement sans abandonner les priors de théorie des groupes précieux, les auteurs proposent le Residual Latent Flow (RLF), un cadre basé sur le Flow Matching.

Concept central

Au lieu de traiter la représentation latente transformée analytiquement $\rho(g)\Phi(x)$ comme la vérité terrain finale, les auteurs la traitent comme une approximation du premier ordre. Ils apprennent un flux continu (une diffeomorphism dépendante du temps) qui transporte ce latent approximatif vers le latent cible empiriquement correct $\Phi(g \circ x)$.

Formulation du problème

La tâche est formulée comme un problème de transport de distribution conditionnelle :

• Source ($z_0$) : Le latent transformé analytiquement, $z_0 = \rho(g)\Phi(x)$.
• Cible ($z_1$) : Le vrai latent encodé de l'image transformée, $z_1 = \Phi(g \circ x)$.
• Contrainte : Contrairement au flow matching standard qui transporte des distributions indépendantes, le RLF doit transporter $z_0$ vers son $z_1$ spécifique apparié, dérivé du même objet $(x, g)$. Cela nécessite de modéliser la distribution jointe conditionnelle $\pi_{0,1}(z_0, z_1 | x, g)$ plutôt que des marginales indépendantes.

Procédure d'entraînement

La méthode suit un pipeline d'entraînement en trois étapes :

1. Entraînement de l'auto-encodeur de base : Un encodeur $\Phi$ et un décodeur $\Psi$ sont entraînés en utilisant une perte ERL standard (Équation 2) pour minimiser les erreurs d'équivariance et de reconstruction.
2. Entraînement du RLF : L'encodeur est gelé. Un modèle de flux est entraîné pour apprendre le champ de vitesse $v_\theta$ qui transporte $z_0$ vers $z_1$. L'objectif minimise la différence entre la vitesse apprise et le champ de vitesse conditionnel (interpolation linéaire entre $z_0$ et $z_1$) :
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   Cela permet au modèle de gérer la nature multimodale de la distribution cible découlant des encodeurs imparfaits.
3. Fine-tuning du décodeur : Le décodeur $\Psi$ est affiné sur les latents corrigés par le flux pour s'adapter à la distribution latente décalée, garantissant une reconstruction de haute qualité.

L'architecture du modèle de flux varie selon le groupe : basée sur les Transformers pour $SO(2)$ et sur des U-Nets pour $SO(3)$ (exploitant la structure de grille carrée des blocs de matrices D de Wigner).

Contributions clés

1. Identification du désalignement latent : Le papier définit et analyse formellement la divergence entre les latents rotés analytiquement et les latents encodés empiriquement dans l'ERL, démontrant comment cela compromet la cohérence géométrique.
2. Cadre de Flux Latent Résiduel : Les auteurs proposent un nouveau mécanisme de correction latente utilisant le flow matching. Contra à les applications standards qui transportent du bruit vers des données, le RLF transporte des approximations de théorie des groupes vers des cibles empiriques, préservant la structure de groupe tout en corrigeant les imperfections de l'encodeur.
3. Validation empirique : La méthode est validée sur plusieurs jeux de données avec des symétries $SO(2)$ et $SO(3)$, montrant des réductions significatives de l'erreur latente et des améliorations de la qualité de la synthèse de vues nouvelles.

Résultats expérimentaux

Les auteurs ont évalué le RLF sur six jeux de données, incluant des benchmarks synthétiques (ABO-Material, ModelNet10-SO(3), ComplexBRDFs) et d'images réelles (RotatedMNIST, SmallNORB).

• Synthèse de vues nouvelles (NVS) : Le RLF a systématiquement surpassé les bases de référence (incluant NFT, Spatial-VAE et LGA) tant dans les contextes in-distribution qu'out-of-distribution (OOD).
• Métriques :
  • Erreur latente : Réduction significative de la distance $L_2$ entre les latents prédits et la vérité terrain.
  • Erreur d'angle : Diminution substantielle de la déviation des angles de rotation prédits par rapport à la vérité terrain, particulièrement pour les tâches $SO(3)$.
  • Fidélité visuelle : Améliorations du PSNR et de l'LPIPS, avec des résultats qualitatifs montrant une meilleure préservation de l'arrière-plan et des détails fins lors de la rotation par rapport aux bases de référence, qui présentent souvent des corruptions ou des artefacts.
• Généralisation : La méthode a démontré une robustesse à travers divers angles de rotation et objets non vus, validant que la correction par flux généralise efficacement la relation d'équivariance.

Signification et affirmations

Le papier affirme que le Residual Latent Flow fournit une solution pratique au problème de "désalignement latent" qui affecte les modèles équivariants existants. En traitant l'action de groupe comme une approximation du premier ordre et en apprenant une correction résiduelle, la méthode :

• Restaure la cohérence : Elle impose que l'espace latent adhère plus fidèlement à la symétrie de groupe sous-jacente que l'entraînement ERL standard seul.
• Améliore la fidélité : Elle améliore directement la qualité de la synthèse de vues nouvelles, particulièrement dans les scénarios de rotation hors plan difficiles où l'occlusion et le raisonnement géométrique sont requis.
• Préserve la structure : Elle conserve l'interprétabilité et les garanties théoriques des symétries de groupe (ex: matrices D de Wigner) tout en corrigeant les limitations pratiques des architectures de réseaux de neurones.

Les auteurs notent que bien que la méthode améliore significativement l'alignement, la qualité finale de l'image reste limitée par la capacité du décodeur. Ils identifient l'extension du cadre à des transformations plus générales (ex: $SE(3)$, mouvement articulé) et le développement de stratégies d'entraînement de bout en bout stables comme des directions futures importantes.