Direct Product Flow Matching: Decoupling Radial and Angular Dynamics for Few-Shot Adaptation

Résumé Technique : Appariement de Flux de Produit Direct (DP-FM)

Énoncé du Problème
Les méthodes récentes d'Appariement de Flux (FM) ont amélioré l'adaptation à partir de quelques exemples pour les Modèles Vision-Langage (VLM) en modélisant l'alignement intermodal comme un flux de probabilité continu et multi-étapes. Cependant, les auteurs soutiennent que les méthodes existantes (par exemple, FMA, HFM) sont contraintes par des priors géométriques incompatibles appliqués aux caractéristiques intermodales pré-entraînées, conduisant à des performances sous-optimales. À travers une perspective de décomposition polaire (séparant les caractéristiques en composantes radiales et angulaires), l'article identifie trois limitations critiques dans les approches actuelles :

1. Distorsion de la Dynamique Angulaire : Les méthodes existantes opèrent souvent sur des variétés plates ou des espaces hyperboliques où les dynamiques radiales et angulaires sont couplées. Ce couplage induit une vitesse angulaire non uniforme (accélération) au cours de la trajectoire d'interpolation. Cette distorsion augmente la courbure du champ de vitesse cible, rendant l'entraînement par régression difficile et introduisant des erreurs de troncature lors de l'alignement multi-étapes.
2. Négligence de la Dynamique Radiale : Les approches FM standard normalisent généralement les caractéristiques à une longueur unitaire, éliminant la composante radiale. Les auteurs postulent que la magnitude radiale reflète intrinsèquement la « confiance modale », servant de signal crucial pour distinguer les données intra-distribution (ID) des données extra-distribution (OOD). Éliminer cette information entrave la capacité du modèle à appliquer des corrections ciblées aux échantillons incertains.
3. Flux Inconditionnel Agnostique au Contexte : Les caractéristiques des VLM pré-entraînés sont hautement généralisées et manquent de détails spécifiques au jeu de données. Les méthodes FM existantes modélisent l'alignement comme un flux inconditionnel, aveugle au contexte spécifique du domaine cible. Ce manque de guidage conditionnel empêche la récupération d'informations fines et spécifiques au domaine, nécessaires pour une adaptation efficace à partir de quelques exemples.

Méthodologie
Pour résoudre ces problèmes, les auteurs proposent un cadre unifié d'Appariement de Flux de Produit Déformé (WP-FM), qui reformule l'alignement intermodal sur une variété riemannienne définie comme un produit déformé $M = M_r \times_{g_\phi} M_\theta$. Ici, $M_r$ représente la sous-variété radiale (confiance modale) et $M_\theta$ représente la sous-variété angulaire (direction sémantique). La géométrie est contrôlée par une fonction de déformation $\phi(r)$.

• Dérivation du DP-FM : Les auteurs analysent les équations géodésiques dans ce cadre et constatent que les fonctions de déformation non constantes (utilisées dans les FM Euclidiens ou Hyperboliques) couplent intrinsèquement les dynamiques radiales et angulaires. Pour les découpler, ils dérivent une métrique à déformation constante ($\phi(r) = \text{CONSTANTE}$). Cela aboutit à une approche d'Appariement de Flux de Produit Direct (DP-FM) sur une variété cylindrique découplée ($\mathbb{R}_{>0} \times S^{d-1}$).
  • Évolution Radiale : La trajectoire radiale $\gamma_r(t)$ évolue indépendamment, préservant la confiance modale sans éliminer d'informations.
  • Transport Angulaire : La trajectoire angulaire $\gamma_\theta(t)$ suit une géodésique à vitesse constante (Interpolation Linéaire Sphérique, ou SLERP), éliminant l'accélération et la distorsion angulaires.
• Guidage Sans Classificateur (CFG) : Pour résoudre la limitation de l'agnosticisme contextuel, le DP-FM intègre le CFG. Le flux est conditionné par les états cachés du VLM pré-entraîné. Lors de l'inférence, un champ de vitesse guidé sémantiquement est construit en interpolant entre les prédictions inconditionnelles et conditionnelles, injectant les informations spécifiques au jeu de données manquantes dans le processus d'alignement.
• Détails d'Implémentation : La méthode utilise une fonction de perte consciente de la métrique qui respecte la structure riemannienne et emploie une application exponentielle pour l'intégration sur la variété lors de l'inférence. Un calendrier de décalage temporel est également appliqué pour prioriser l'estimation de la vitesse aux premiers stades.

Contributions Clés

1. Insight Théorique : L'article identifie et analyse des limitations géométriques fondamentales dans les méthodes FM continues existantes, spécifiquement la distorsion de la dynamique angulaire et la négligence de la dynamique radiale, en les encadrant à travers la décomposition polaire.
2. Cadre Unifié : La proposition du cadre d'Appariement de Flux de Produit Déformé (WP-FM), qui généralise les méthodes FM précédentes (Euclidiennes et Hyperboliques) sous une seule métrique riemannienne avec une fonction de déformation radiale.
3. Algorithme DP-FM : La dérivation de l'Appariement de Flux de Produit Direct (DP-FM) utilisant une métrique à déformation constante pour découpler strictement les dynamiques radiales et angulaires. Cela assure un transport angulaire à vitesse constante et préserve la confiance radiale.
4. Intégration du Guidage : L'intégration du guidage sans classificateur pour récupérer le contexte spécifique au jeu de données, abordant les limitations des flux inconditionnels dans les scénarios à few-shot.

Résultats Expérimentaux
Les auteurs ont évalué le DP-FM sur 11 benchmarks diversifiés à few-shot (incluant Aircraft, EuroSAT, DTD, SUN397, StanfordCars, OxfordPets, UCF101, Flowers102, Caltech101, Food101 et ImageNet).

• Performance : Le DP-FM a atteint de nouveaux résultats de l'état de l'art dans l'adaptation multi-étapes à few-shot. Dans des configurations à 16 exemples, il a surpassé les méthodes FM précédentes (FMA, HFM) et de solides baselines PEFT à étape unique (par exemple, CLIP-LoRA, PLOT++).
• Gains Spécifiques : Lorsqu'il est construit sur CLIP-Adapter, le DP-FM a montré une amélioration moyenne de +9,9 % sur les jeux de données difficiles par rapport à la baseline, dépassant significativement les gains de FMA (+5,5 %) et HFM (+7,8 %).
• Analyse : Les expériences ont démontré que le DP-FM présente une vitesse angulaire plus uniforme à travers les étapes temporelles par rapport à FMA et HFM, confirmant l'élimination de la distorsion de la dynamique angulaire. Des études d'ablation ont validé la nécessité du calendrier de décalage temporel, de la composante radiale et du guidage sans classificateur pour des performances optimales.

Signification
L'article affirme qu'en reformulant l'alignement intermodal sur une variété cylindrique découplée, le DP-FM fournit une fondation géométrique robuste pour l'adaptation multi-étapes. Il résout efficacement les conflits géométriques inhérents aux méthodes précédentes, permettant une évolution indépendante de la confiance modale et de la direction sémantique. De plus, en intégrant un guidage conditionnel, la méthode comble avec succès le fossé entre les caractéristiques pré-entraînées généralisées et les exigences spécifiques du domaine cible, établissant une nouvelle référence pour l'adaptation des VLM à few-shot.