LADB: Latent Aligned Diffusion Bridges for Semi-Supervised Domain Translation

L'article propose LADB, un cadre semi-supervisé qui aligne les distributions de source et de cible dans un espace latent partagé pour permettre une traduction de domaine efficace et contrôlable avec des données partiellement appariées, surpassant les méthodes non appariées et évitant le besoin de jeux de données entièrement annotés.

L'essentiel

Imaginez que vous êtes un chef cuisinier talentueux (le modèle de diffusion) qui sait parfaitement préparer des plats dans votre propre cuisine (le domaine source, par exemple, des photos de chambres réelles). Mais soudain, on vous demande de cuisiner dans une cuisine complètement différente, avec des ingrédients que vous ne connaissez pas (le domaine cible, par exemple, des dessins de chambres ou des cartes de profondeur).

Le problème ? Vous n'avez pas assez de recettes complètes (données appariées) pour apprendre à faire le lien entre vos ingrédients habituels et les nouveaux. Si vous essayez d'apprendre sans aide, le résultat sera un chaos. Si vous attendez d'avoir des milliers de recettes parfaites, cela prendra des années et coûtera une fortune.

C'est ici qu'intervient LADB (Latent Aligned Diffusion Bridges), la solution proposée par les chercheurs. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le Mur de la Langue

Les modèles d'IA actuels sont comme des polyglottes qui parlent très bien une langue (générer de belles images), mais qui sont perdus quand ils doivent traduire vers une autre langue sans dictionnaire complet.

• Méthode sans supervision (Unpaired) : C'est comme essayer de traduire un livre en devinant le sens des mots sans dictionnaire. Le résultat est souvent incohérent ou bizarre.
• Méthode avec supervision totale (Fully Paired) : C'est comme avoir un traducteur humain pour chaque phrase. C'est parfait, mais c'est trop cher et trop long à produire.

2. La Solution LADB : Le Pont Secret et le Traducteur Interne

LADB propose une astuce géniale : ne pas traduire directement, mais passer par un "langage secret" commun.

Imaginez que vous avez un traducteur interne (un modèle pré-entraîné) qui sait transformer n'importe quelle photo de votre cuisine en une "carte mentale" abstraite (l'espace latent).

• L'astuce : Au lieu d'essayer de relier directement la photo réelle à la photo cible, LADB relie d'abord la photo réelle à sa "carte mentale", puis essaie de relier cette carte mentale à la photo cible.

3. Comment ça marche en pratique ? (L'Analogie du Pont)

Imaginons que vous avez seulement 10% de recettes où vous savez exactement quelle photo réelle correspond à quel dessin (données appariées partielles). Le reste des dessins est en vrac.

1. Le Pont de Latence (Latent Bridge) :
   Le modèle prend vos 10% de recettes connues. Il utilise son "traducteur interne" pour transformer la photo réelle en une "carte mentale" (un point dans un espace abstrait).

   • Analogie : C'est comme si vous preniez une photo d'un chat, et que vous la transformiez en un dessin schématique simple (des oreilles pointues, une queue).

2. L'Alignement Semi-Supervisé :
   Le modèle apprend à relier ces "cartes mentales" (issues des 10% de recettes) aux dessins cibles. Pour le reste des dessins (les 90% sans recette), il apprend à les placer dans le même espace de "cartes mentales" de manière aléatoire mais cohérente.

   • Analogie : Vous apprenez que "tous les chats, qu'ils soient réels ou dessinés, partagent la même structure de base dans votre cerveau". Vous créez un pont entre les deux mondes en utilisant ce langage commun.

3. Le Résultat (Le Pont LADB) :
   Quand vous voulez traduire une nouvelle photo (même sans recette), le modèle :

   • La transforme en "carte mentale".
   • Traverse le pont vers le monde cible.
   • Transforme cette carte mentale en une image finale magnifique.

4. Pourquoi c'est génial ? (Les Super-Pouvoirs)

• Économie de données : Vous n'avez pas besoin de milliers de paires parfaites. Un peu de supervision suffit pour "calibrer" le pont. C'est comme apprendre une nouvelle langue avec un petit dictionnaire de poche plutôt qu'une bibliothèque entière.
• Flexibilité (Multi-Sources) : Le modèle peut accepter plusieurs types d'entrées en même temps.
  • Analogie : Imaginez que vous pouvez mélanger un dessin de profondeur (3D) et un masque de segmentation (couleurs) pour créer une image. LADB permet de faire un "smoothie" entre ces deux sources. Vous pouvez dire : "Je veux 50% de profondeur et 50% de couleur", et le modèle crée une image parfaitement cohérente. Les autres modèles, eux, sont rigides et ne savent pas faire ce mélange.
• Qualité et Contrôle : Contrairement aux méthodes anciennes qui produisaient des images floues ou déformées, LADB garde les détails fins (comme les rideaux ou les draps dans une chambre) tout en respectant le style cible.

En Résumé

LADB est comme un pont intelligent qui permet de voyager entre deux mondes (par exemple, des photos réelles et des dessins) même si vous n'avez pas de carte routière complète. Il utilise un langage secret (l'espace latent) pour relier ce que vous connaissez à ce que vous voulez créer, en apprenant efficacement avec très peu d'exemples.

C'est une solution idéale pour le monde réel, où annoter des données coûte cher et où les informations sont souvent incomplètes.

Résumé technique

1. Problématique

Les modèles de diffusion ont démontré une capacité exceptionnelle à générer des données de haute qualité, mais leur application dans des domaines où les données sont rares (data-scarce) se heurte à des obstacles majeurs :

• Coût des données appariées : L'entraînement de modèles de traduction d'image (domain-to-domain) nécessite souvent des paires de données source-cible exhaustives, dont la collecte et l'annotation manuelle sont coûteuses et laborieuses (ex: génération 3D, traduction profondeur-image).
• Limites des approches existantes :
  • Les méthodes non appariées (unpaired) manquent de contrôlabilité et de cohérence structurelle.
  • Les méthodes totalement appariées (fully paired) souffrent de surapprentissage (overfitting) lorsque les données sont limitées et ne généralisent pas bien.
  • Les modèles conditionnels nécessitent des changements d'architecture pour chaque nouvelle condition et peinent à gérer des combinaisons hétérogènes.
• Objectif : Développer un cadre capable de réaliser une traduction "échantillon-à-échantillon" (sample-to-sample) efficace en utilisant uniquement des données partiellement appariées, tout en maintenant la fidélité structurelle et la diversité des générations.

2. Méthodologie : LADB (Latent Aligned Diffusion Bridges)

LADB propose un cadre d'apprentissage semi-supervisé qui aligne les distributions source et cible dans un espace latent partagé. L'approche repose sur la construction d'un "pont de diffusion" (Diffusion Bridge) combinant un modèle source pré-entraîné et un modèle cible entraîné semi-supervisé.

Architecture et Flux de Travail

1. Alignement Latent (Source vers Espace Commun) :
   • Un modèle de diffusion latent (LDM) pré-entraîné sur le domaine source est utilisé pour encoder les échantillons source (appariés ou non) dans un espace latent commun.
   • Grâce à l'équation différentielle ordinaire (PF-ODE), les correspondances source-cible limitées sont transformées en correspondances latent-cible.
2. Apprentissage Semi-Supervisé (Cible) :
   • Un nouveau modèle, le Latent Aligned Diffusion Model (LADM), est entraîné sur le domaine cible.
   • La distribution d'entraînement est un mélange de :
     • Paires (latent, cible) déduites des données appariées.
     • Paires (latent aléatoire, cible) déduites des données cibles non appariées.
   • L'entraînement utilise une fonction de perte de score matching sur ce mélange, permettant au modèle d'apprendre à la fois la structure des données appariées et la distribution globale des données non appariées.
3. Inférence (Le Pont LADB) :
   • Pour traduire un échantillon source vers la cible, le processus concatène deux étapes d'ODE :
     1. Source $\to$ Latent : Utilisation du LDM source pré-entraîné.
     2. Latent $\to$ Cible : Utilisation du LADM cible entraîné.
   • Cette concaténation garantit une cohérence cyclique (cycle-consistency) au niveau latent.

Extensions

• Traduction Multi-Sources : Le cadre permet d'ingérer plusieurs sources (ex: cartes de profondeur et masques de segmentation) en projetant chacune dans le même espace latent. L'inférence permet une interpolation pondérée (moyenne de Fréchet) entre les latents de différentes sources, générant des résultats hybrides cohérents sans réentraînement.
• Conditionnement : Le modèle supporte des conditions (classes, textes) via des mécanismes d'attention croisée, permettant des tâches de transfert de style conditionnel.

3. Contributions Clés

• Cadre Semi-Supervisé Innovant : Première approche utilisant des ponts de diffusion pour exploiter efficacement des données partiellement appariées, comblant le fossé entre les méthodes non appariées (peu contrôlables) et totalement appariées (coûteuses).
• Alignement dans l'Espace Latent : En travaillant dans un espace latent commun plutôt qu'au niveau des pixels, LADB préserve mieux les détails fins et assure une meilleure généralisation.
• Flexibilité et Interpolation : Capacité unique à interpoler de manière fluide entre plusieurs modalités sources (ex: profondeur + segmentation) pour générer des résultats cohérents, une fonctionnalité absente des modèles conditionnels rigides.
• Efficacité des Données : Démonstration que la qualité de traduction reste élevée même avec seulement 10% à 25% de données appariées.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets LSUN-Bedroom et LSUN-Churches pour des tâches de traduction Profondeur $\to$ Image et Multi-Sources $\to$ Image.

• Traduction Profondeur $\to$ Image (Partiellement Appariée) :
  • LADB surpasse les méthodes de référence (DDIB, DDBM, ControlNet, CondLDM) en termes de qualité de génération (FID et IS), en particulier lorsque le pourcentage de données appariées est faible (10-25%).
  • Contrairement à DDBM qui souffre d'un surapprentissage avec plus de données appariées, LADB maintient une fidélité (LPIPS, MSE) stable et élevée.
  • LADB préserve les détails fins (rideaux, draps) mieux que les autres méthodes, évitant les artefacts visuels.
• Traduction Multi-Sources (Profondeur + Segmentation) :
  • LADB excelle dans la génération à partir de sources multiples et dans l'interpolation entre elles.
  • Les baselines comme UniControlNet échouent à interpoler correctement ou produisent des artefacts, tandis que DDBM génère des structures incohérentes lors de l'interpolation.
  • LADB produit des mélanges cohérents de styles (éclairage, colorisation) et de contenu (disposition, textures).

5. Signification et Impact

Ce travail présente une solution évolutive et polyvalente pour la traduction de domaines dans des scénarios réels où l'annotation est incomplète ou coûteuse.

• Réduction de la dépendance aux données : Il permet de réutiliser des modèles pré-entraînés sur des domaines riches en données pour des domaines cibles pauvres en données, sans nécessiter de réentraînement complet.
• Versatilité : La capacité à gérer des sources multiples et hétérogènes ouvre la voie à de nouvelles applications en synthèse d'images, en génération 3D et en transfert de style conditionnel.
• Équilibre Performance/Coût : LADB offre le meilleur compromis entre la fidélité de la traduction (préservation de la structure) et la diversité des générations, surpassant les approches actuelles dans des régimes de données semi-supervisées.

En résumé, LADB transforme la traduction de domaine en un processus plus robuste et accessible, en tirant parti de la puissance des modèles de diffusion latents tout en minimisant le besoin de données étiquetées exhaustives.