Résumé Technique : Projection de Fonction pour l'Appariement de Flux (FP-FM)

Énoncé du Problème

La modélisation générative, en particulier via la diffusion et l'appariement de flux, a démontré son succès dans la création de données synthétiques de haute fidélité. Cependant, un défi majeur subsiste dans l'adaptation à plusieurs exemples : la capacité d'adapter efficacement un modèle génératif à une nouvelle distribution cible, jamais vue, en utilisant uniquement un ensemble de points d'échantillonnage issus de cette distribution, sans nécessiter d'entraînement supplémentaire ni de réglage fin.

La génération conditionnelle traditionnelle repose souvent sur des variables de conditionnement explicites (par exemple, des invites en langage naturel ou des étiquettes de classe). Bien qu'efficaces pour des classes connues, ces variables sont insuffisantes lorsque la distribution cible est définie par des exemples visuels spécifiques (par exemple, générer des images d'une personne précise) ou des mélanges complexes qui ne peuvent être facilement décrits par un vocabulaire fixe. De plus, les approches standards de réglage fin sont coûteuses en calcul, nécessitant des étapes de gradient pour chaque nouvelle distribution, ce qui entrave les applications à faible latence.

Les auteurs proposent un cadre où le modèle doit apprendre une famille de distributions $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ durant l'entraînement et, une fois reçu des échantillons d'une nouvelle distribution $p^\iota_X$ (où $\iota$ n'avait pas été vu durant l'entraînement), doit générer efficacement des échantillons à partir de celle-ci.

Méthodologie : Projection de Fonction pour l'Appariement de Flux (FP-FM)

L'idée centrale de FP-FM est de reformuler le problème d'adaptation dans le cadre de l'Appariement de Flux en adoptant une perspective d'Encodeur de Fonction. Au lieu d'apprendre un seul champ de vitesse ou de conditionner sur une variable discrète, FP-FM apprend un ensemble de fonctions de base qui engendrent l'espace des champs de vitesse induits par les distributions d'entraînement.

Fondement Théorique

1. Appariement de Flux : Le modèle apprend un champ de vitesse $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ qui transporte une distribution de bruit $X_0 \sim \mathcal{N}(0, I)$ vers une distribution cible $X_1 \sim p_X$.
2. Espace de Fonctions : L'ensemble des champs de vitesse $\mathcal{V}$ est traité comme un espace de Hilbert. La fonction de perte dans l'appariement de flux (Erreur Quadratique Moyenne) correspond au carré de la norme dans cet espace.
3. Apprentissage de Base : FP-FM apprend $k$ fonctions de base $\{g_i\}_{i=1}^k$ (paramétrées comme des réseaux de neurones) pour engendrer les champs de vitesse des distributions d'entraînement.
4. Adaptation par Projection : Pour s'adapter à une nouvelle distribution cible donnée des échantillons, l'algorithme calcule des coefficients $c_\iota$ via une projection par moindres carrés du champ de vitesse cible sur la base apprise. Les produits scalaires requis pour cette projection sont approximés en utilisant les échantillons fournis de la distribution cible, évitant ainsi la nécessité de connaître le champ de vitesse réel de manière analytique.

Trois Variantes

L'article présente trois variantes de FP-FM, offrant un compromis entre expressivité et coût computationnel :

1. FP-FM Statique :

   • Mécanisme : Les coefficients $c_\iota$ sont constants pour une distribution donnée. Le champ de vitesse est approximé comme $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$.
   • Limite : Suppose une relation linéaire entre la distribution et son champ de vitesse. Puisque l'équation de continuité est non linéaire, cette variante peine avec des distributions non vues (mélanges ou nouveaux supports) qui se situent en dehors de l'enveloppe linéaire des champs de vitesse d'entraînement.

2. FP-FM Temporel :

   • Mécanisme : Les coefficients deviennent dépendants du temps, $c_\iota(t)$. L'approximation est $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$.
   • Amélioration : En permettant aux coefficients de varier dans le temps, le modèle peut mieux capturer la dynamique non linéaire de l'équation de continuité, améliorant considérablement la généralisation aux distributions non vues.

3. FP-FM Dynamique :

   • Mécanisme : Les coefficients sont dépendants de l'état et du temps, $c_\iota(x, t)$. L'approximation est $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$.
   • Implémentation : Cela nécessite de résoudre un problème de moindres carrés localisé à chaque état $x$ et chaque temps $t$. Les auteurs dérivent un théorème (Théorème 1) pour calculer efficacement l'espérance conditionnelle $\mathbb{E}[X_1 - X_0 | X_t = x]$ en utilisant l'échantillonnage par importance, contournant ainsi la nécessité d'un accès direct au champ de vitesse réel.
   • Performance : Offre la plus haute expressivité, capable de modéliser des supports et des mélanges complexes, non vus, avec une haute fidélité.

Contributions Clés

• Innovation Algorithmique : Propose FP-FM, une méthode qui conditionne la génération directement sur des échantillons de la distribution cible plutôt que sur des variables de conditionnement explicites, permettant une adaptation zero-shot à des distributions non vues sans réglage fin.
• Intégration Théorique : Intègre avec succès les Encodeurs de Fonction avec l'Appariement de Flux, utilisant des produits scalaires pondérés par la distribution pour projeter les champs de vitesse sur une base apprise.
• Spectre Expressivité-Calcul : Introduit les variantes Statique, Temporelle et Dynamique, offrant aux praticiens un compromis ajustable entre l'expressivité du modèle et la latence d'inférence.
• Estimation Efficace : Dérive un estimateur basé sur la méthode de Monte Carlo (Théorème 1) pour les espérances conditionnelles requises dans la variante Dynamique, rendant le calcul de coefficients dépendants de l'état réalisable.

Résultats Expérimentaux

Les auteurs évaluent FP-FM sur trois jeux de données : Arcs 2D (visualisation de faible dimension), MNIST (images structurées) et ImageNet (à grande échelle, haute dimension). Ils comparent les résultats avec l'appariement de flux inconditionnel, l'appariement de flux conditionnel, la guidance par classifieur, la guidance par distribution et le réglage fin standard.

• Généralisation : Les variantes FP-FM surpassent systématiquement les lignes de base sur les Distributions Non Vues (UD) (mélanges de classes d'entraînement) et les Supports Non Vus (US) (classes ou formes entièrement nouvelles).
  • Sur les Arcs 2D, FP-FM Dynamique atteint la précision la plus élevée (0,976 sur UD, 0,734 sur US), surpassant nettement le réglage fin et les lignes de base conditionnelles qui échouent à généraliser aux mélanges ou aux nouveaux supports.
  • Sur MNIST, FP-FM Dynamique obtient les meilleures Précision, Rappel et FID sur tous les splits, y compris pour le chiffre non vu '9'.
  • Sur ImageNet, FP-FM Dynamique produit les images de la plus haute qualité pour les classes non vues, tandis que les variantes Statique et Temporelle montrent des limitations dues aux contraintes de mémoire et à une expressivité inférieure.
• Efficacité :
  • FP-FM est significativement plus rapide que le réglage fin (qui nécessite une descente de gradient pour chaque nouvelle distribution).
  • FP-FM Dynamique est plus coûteux en calcul que les variantes Statique/Temporelle et les modèles conditionnels en raison du calcul de coefficients par échantillon, mais reste plus rapide qu'un réglage fin complet.
• Métriques : Les résultats mettent en évidence une tendance claire : à mesure que l'expressivité du calcul des coefficients augmente (Statique $\to$ Temporel $\to$ Dynamique), la capacité à capturer des distributions non vues s'améliore, en particulier en Précision (évitant la sur-approximation de la variété des données).

Importance et Revendications

L'article revendique que FP-FM représente une alternative pratique et efficace aux approches existantes pour la génération conditionnelle. Son importance principale réside dans :

1. Élimination du besoin de variables de conditionnement : Il permet aux modèles de s'adapter à des distributions définies uniquement par des échantillons, ce qui est plus intuitif pour des tâches comme la génération pilotée par le sujet.
2. Efficacité Computationnelle : Il permet une adaptation rapide à de nouvelles distributions sans les étapes de gradient coûteuses requises par le réglage fin.
3. Gestion des Supports Non Vus : Contrairement aux modèles conditionnels standards qui reposent sur des vocabulaires fixes ou des étiquettes de classe, FP-FM peut généraliser à des supports entièrement nouveaux (par exemple, une distribution en spirale ou une nouvelle classe de chiffres) en exploitant la structure de l'espace de fonctions.

Les auteurs concluent que conditionner explicitement sur des échantillons en utilisant une perspective d'espace de fonctions est une première étape viable vers l'adaptation des modèles génératifs à des distributions non vues, offrant un spectre de solutions qui équilibrent fidélité et coût computationnel. Ils reconnaissent des limitations, notant que la performance dépend du nombre et de la qualité des échantillons fournis et que la méthode est légèrement plus coûteuse que les modèles conditionnels simples.