Résumé Technique : Ponts de Diffusion Structurés : Biais Inductif pour les Ponts de Diffusion Débruiteurs

1. Énoncé du Problème

La traduction de modalité — la tâche consistant à mapper des informations entre des domaines hétérogènes (par exemple, images vers 3D, basse résolution vers haute résolution) — est intrinsèquement sous-contrainte. Bien que plusieurs mappings inter-modaux puissent produire les mêmes distributions marginales, les modèles de ponts de diffusion débruiteurs (DDBM) et les modèles de ponts de diffusion débruiteurs dans l'espace latent (LDDBM) existants reposent principalement sur des jeux de données entièrement appariés pour définir des traductions efficaces.

Cette dépendance exclusive à une supervision appariée impose une unique contrainte pilotée par les données, imposant implicitement la correspondance sémantique, la validité distributionnelle et la cohérence géométrique simultanément. Les auteurs soutiennent que cette stratégie peut être sous-optimale, car le modèle pourrait minimiser l'erreur de reconstruction sans adhérer à la structure sous-jacente de la variété. De plus, cette approche échoue dans les régimes non appariés ou semi-appariés où les correspondances de vérité terrain sont indisponibles ou rares, limitant ainsi l'applicabilité des ponts de diffusion dans des scénarios réels où un appariement dense est souvent irréalisable.

2. Méthodologie : Ponts de Diffusion Structurés (SDB)

L'article propose les Ponts de Diffusion Structurés (SDB), un cadre qui enrichit les LDDBM avec des contraintes structurelles explicites et composables. Plutôt que de traiter la supervision appariée comme une condition préalable, SDB la considère comme une heuristique optionnelle au sein d'un objectif plus large caractérisant l'espace des solutions admissibles.

La méthodologie centrale consiste à apprendre un pont de diffusion stochastique dans un espace latent partagé entre la marge source $p_X$ et la marge cible $p_Y$. Pour résoudre l'ambiguïté de la distribution conjointe $p(x, y)$, SDB introduit trois composants clés :

2.1. Appariement des Marges (MM)

Cette contrainte garantit que le pont de diffusion termine à la distribution marginale cible $p_Y$.

• Mécanisme : Pendant l'entraînement, les échantillons cibles sont encodés et corrompus. La fonction de score du pont est entraînée via l'appariement de scores de débruitage (DSM).
• Heuristique : Pour réduire l'ambiguïté du couplage, une affectation Gagnant-Tout-Prend (WTA) est utilisée. Pour chaque échantillon cible, plusieurs candidats de conditionnement sont tirés, et les gradients ne sont propagés que via le candidat minimisant la perte. Une contrainte de capacité empêche quelques échantillons à faible information de dominer l'entraînement.

2.2. Cohérence Cyclique (CC) comme Réversibilité du Pont

Pour imposer une cohérence géométrique et une inversibilité sans données appariées, SDB introduit des contraintes de cohérence cyclique à deux niveaux :

• Cohérence Cyclique aux Extrémités : Impose que la représentation latente reconstruite $\hat{z}_0$ (obtenue en traduisant $z_0 \to z_T \to \hat{z}_0$) soit statistiquement cohérente avec l'originale $z_0$. Cela se formalise par la minimisation de $\| \hat{z}_0 - z_0 \|^2$.
• Cohérence Cyclique au Niveau de la Trajectoire : Étend la réversibilité aux états intermédiaires de diffusion. Elle exige que le chemin latent avant $z_{t}^{X \to Y}$ et le chemin latent arrière $z_{T-t}^{Y \to X}$ restent cohérents aux temps de diffusion correspondants $t$. Cela régularise le flux stochastique tout au long de la trajectoire, empêchant des dynamiques incohérentes qui pourraient satisfaire les contraintes aux extrémités mais échouer aux étapes intermédiaires.

2.3. Objectif Unifié

L'objectif final d'entraînement combine ces heuristiques avec une supervision appariée optionnelle :
$$\mathcal{L}_{total} = \mathcal{L}_{DSM} + \lambda_{end}\mathcal{L}_{end}^{cycle} + \lambda_{traj}\mathcal{L}_{traj}^{cycle} + \lambda_{pair}\mathbb{1}_{(x,y) \in D_{pair}}\mathcal{L}_{pair}$$
Où $\mathcal{L}_{pair}$ récupère l'heuristique standard pilotée par les données des DDBM lorsque des données appariées sont disponibles. Le cadre permet une opération transparente à travers les régimes non appariés ($\rho=0$), semi-appariés ($0 < \rho < 1$) et entièrement appariés ($\rho=1$).

3. Contributions Clés

Les auteurs résument leurs contributions comme suit :

1. Formulation d'un Objectif Composite : Ils formulent l'entraînement du pont de diffusion comme un objectif composite, traitant la supervision appariée comme l'une des plusieurs contraintes plutôt que comme le seul moteur.
2. Régularisation Structurelle Explicite : Ils introduisent l'appariement des marges et la cohérence cyclique multi-niveaux (extrémités et trajectoire), démontrant que l'imposition géométrique améliore la qualité de la traduction même dans des contextes entièrement appariés.
3. Robustesse dans les Contextes à Faibles Ressources : Ils démontrent que SDB conserve son efficacité à mesure que les données appariées diminuent, atteignant une qualité proche de celle des cas entièrement appariés avec un relâchement substantiel des exigences d'appariement, tout en restant applicable dans le régime entièrement non apparié.
4. Analyse d'Ablation : Ils fournissent une analyse complète isolant les contributions de chaque contrainte, mettant en évidence leurs rôles dans la façonnage de la trajectoire de diffusion et la résolution de l'ambiguïté du couplage.

4. Résultats Expérimentaux

La méthode a été validée sur des benchmarks synthétiques et des tâches réelles (Super-Résolution d'Images et Génération de Voxels 3D à partir de Vues Multiples) à travers divers niveaux de supervision appariée ($\rho$).

• Benchmarks Synthétiques : Dans des contextes contrôlés avec des structures de contenu-style connues, SDB a montré que l'appariement des marges seul produit une faible précision de contenu et une erreur cyclique élevée. L'ajout de la cohérence cyclique aux extrémités et au niveau de la trajectoire a considérablement amélioré la qualité du couplage et la réversibilité. SDB a constamment surpassé les baselines uniquement appariées dans les contextes semi-appariés et a maintenu de solides performances dans les contextes non appariés.
• Super-Résolution d'Images (FFHQ $\to$ CelebA-HQ) :
  • Entièrement Apparié ($\rho=1$) : SDB a atteint un PSNR de 25,9, surpassant la baseline LDDBM (25,6).
  • Semi-Apparié ($\rho=0,5$) : SDB a maintenu des performances compétitives (PSNR 25,2) par rapport aux baselines entièrement supervisées.
  • Non Apparié ($\rho=0$) : SDB a atteint un PSNR de 19,0, démontrant une capacité de traduction significative là où des baselines comme DiWa et LDDBM sont inapplicables.
• Vues Multiples vers 3D (ShapeNet) :
  • SDB a surpassé les baselines basées sur la diffusion (EDM, LDDBM) dans les régimes appariés et semi-appariés.
  • Crucialement, alors que les baselines échouaient ou étaient inapplicables dans le régime non apparié ($\rho=0$), SDB est resté applicable, atteignant un IoU de 0,549 et un 1-NNA de 0,657, montrant une robustesse face à un appariement limité.

5. Signification et Revendications

L'article revendique que les ponts de diffusion offrent une base flexible pour la traduction de modalité au-delà des données entièrement appariées. En intégrant une imposition géométrique raisonnée (via la cohérence cyclique) avec des méthodes basées sur des exemples, SDB adresse la nature sous-contrainte de la traduction de modalité.

Les auteurs soulignent que :

• Un appariement dense n'est pas toujours nécessaire pour l'alignement sémantique ; les contraintes géométriques capturent efficacement les mécanismes essentiels de la traduction.
• Le cadre permet une dégradation gracieuse à mesure que l'appariement diminue, plutôt qu'un échec catastrophique.
• Des contraintes structurelles explicites peuvent améliorer les performances même lorsque les données appariées sont abondantes, suggérant que les approches pilotées par les données actuelles n'exploitent pas pleinement la structure inhérente du problème.

Ce travail positionne SDB non pas comme un remplacement des méthodes appariées, mais comme un cadre plus général qui renforce la traduction basée sur les ponts via des contraintes structurelles explicites, le rendant viable pour des scénarios où les données appariées sont rares ou inexistantes.