LADB: Latent Aligned Diffusion Bridges for Semi-Supervised Domain Translation

Each language version is independently generated for its own context, not a direct translation.

¡Claro que sí! Imagina que quieres enseñarle a un artista a pintar paisajes de la vida real (el "dominio objetivo"), pero solo tienes un puñado de fotos de referencia con sus descripciones exactas (datos "emparejados"). El resto de las fotos que tienes no tienen descripción, o son de dibujos animados (datos "no emparejados").

Normalmente, entrenar a un artista para que pinte perfectamente con tan poca información es casi imposible. O bien necesita miles de ejemplos perfectos (lo cual es caro y lento), o pinta cosas que no se parecen a nada (si no tiene guía).

Aquí es donde entra LADB (Latent Aligned Diffusion Bridges), la solución que proponen los autores. Vamos a explicarlo con una analogía sencilla: El Traductor de Sueños.

1. El Problema: Dos idiomas que no se entienden

Imagina que tienes dos mundos:

Mundo A (Fuente): Un mundo de mapas de profundidad (dibujos en blanco y negro que muestran qué tan lejos están las cosas) o máscaras de segmentación (dibujos de colores planos que dicen "esto es un sofá, esto es una pared").
Mundo B (Objetivo): El mundo de las fotografías reales, coloridas y detalladas.

Querer pasar de A a B es como querer traducir un libro de un idioma antiguo a uno moderno, pero solo tienes 10 páginas traducidas y 1000 páginas sin traducir. Si intentas traducir todo basándote solo en las 10 páginas, el resultado será confuso. Si intentas traducir sin ninguna página de referencia, el resultado será un desastre.

2. La Solución: El "Espacio de los Sueños" (Latente)

LADB tiene una idea genial: No intentes traducir directamente de "Mapa" a "Foto". Traduce primero a un "Sueño".

Los autores proponen un Espacio Latente (el "Sueño"). Es como un idioma universal o un lenguaje de sueños donde tanto los mapas de profundidad como las fotos reales pueden existir juntos.

Paso 1: El Traductor Maestro (Modelo Pre-entrenado).
Ya tenemos un artista experto (un modelo de difusión) que sabe perfectamente cómo convertir cualquier cosa del Mundo A (mapas) en un "Sueño" (un código abstracto). Este artista ya existe y no necesitamos entrenarlo de nuevo.
Paso 2: El Puente Mágico (LADB).
Aquí viene la magia. LADB toma esas 10 páginas que sí tenemos traducidas (los datos emparejados) y las convierte en "Sueños". Luego, toma las 1000 páginas que no tienen traducción y las mezcla con los sueños de las 10 páginas.

Imagina que tienes 10 recetas perfectas de pastel (datos emparejados) y 1000 ingredientes sueltos (datos no emparejados). LADB toma los ingredientes sueltos y los mezcla con las recetas perfectas para crear una nueva mezcla de entrenamiento.

3. Cómo funciona el entrenamiento (La Mezcla)

En lugar de obligar al modelo a aprender solo con las 10 recetas perfectas (lo cual lo haría rígido y aburrido) o solo con los ingredientes sueltos (lo cual lo haría caótico), LADB hace una mezcla inteligente:

Usa las 10 recetas para enseñarle la estructura básica (qué es un pastel).
Usa los 1000 ingredientes sueltos para enseñarle la creatividad y la variedad (cuántos colores, texturas, etc.).

Así, el modelo aprende a ser preciso (porque tiene las recetas) pero también creativo y diverso (porque tiene los ingredientes sueltos).

4. El Resultado: Un Puente Sólido

Cuando quieres usar el sistema para crear una foto nueva a partir de un mapa:

Tomas el mapa.
Lo conviertes en un "Sueño" usando al artista experto (Paso 1).
Usas al nuevo "Puente" (LADB) para convertir ese "Sueño" en una foto real.

Lo increíble es que, como el puente fue entrenado con esa mezcla inteligente, puede hacer esto incluso si solo tienes un 10% de datos perfectos. ¡Funciona casi tan bien como si tuvieras el 100%!

¿Por qué es especial? (Las ventajas)

No necesita mil ejemplos: A diferencia de otros métodos que gritan "¡Necesito más datos!" o "¡No puedo hacerlo sin pares perfectos!", LADB dice: "Con un poco de ayuda y mucha creatividad, puedo hacerlo".
Puede mezclar mundos: Imagina que quieres crear una foto usando tanto un mapa de profundidad como un dibujo de colores al mismo tiempo. LADB puede mezclar estos dos "Sueños" suavemente. Es como si pudieras pedirle al artista: "Haz una foto que sea mitad iluminada por el sol (mapa) y mitad con colores de atardecer (máscara)". Otros métodos se rompen si intentas mezclar dos cosas, pero LADB fluye como agua.
Consistencia: Si le das un mapa de una habitación, la foto resultante tendrá las paredes y muebles en el lugar correcto, no se inventará cosas raras.

En resumen

LADB es como un traductor bilingüe que aprende a hablar dos idiomas a la vez:

Aprende del "idioma de los expertos" (los datos perfectos que tienes).
Aprende del "idioma de la calle" (los datos desordenados que tienes).

Al unir ambos en un lenguaje de sueños compartido, puede traducir cualquier cosa de un mundo a otro, incluso si no tienes un diccionario completo. Es una herramienta perfecta para cuando quieres crear cosas increíbles pero no tienes el presupuesto ni el tiempo para recolectar millones de datos perfectos.

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "LADB: Latent Aligned Diffusion Bridges for Semi-Supervised Domain Translation" en español:

1. El Problema

Los modelos de difusión han demostrado un rendimiento excepcional en la generación de imágenes de alta calidad y en tareas de traducción de dominio. Sin embargo, enfrentan desafíos significativos en escenarios con escasez de datos o donde la anotación de datos es costosa:

Dependencia de datos emparejados: Los métodos de traducción totalmente supervisados (como los modelos de puente o bridge models) requieren grandes conjuntos de datos emparejados (pares fuente-objetivo), lo cual es difícil de obtener en dominios específicos (ej. generación 3D, mapas de profundidad a imagen).
Falta de control en métodos no emparejados: Los métodos no supervisados (como DDIB) no requieren datos emparejados, pero a menudo carecen de controlabilidad y no garantizan una consistencia estructural fina entre el origen y el destino.
Generalización limitada: Los modelos condicionales requieren cambios arquitectónicos para nuevas condiciones y no aprovechan eficientemente los datos parcialmente emparejados para equilibrar fidelidad y diversidad.

El objetivo es lograr una traducción de dominio de muestra a muestra que sea robusta, controlable y capaz de funcionar con datos parcialmente emparejados (semi-supervisados).

2. Metodología: LADB (Latent Aligned Diffusion Bridges)

Los autores proponen LADB, un marco de aprendizaje semi-supervisado que alinea las distribuciones de origen y destino en un espacio latente compartido. La metodología se divide en dos fases principales:

A. Alineación Latente (Transferencia de Correspondencias)

En lugar de entrenar directamente sobre pares de imágenes, LADB utiliza un Modelo de Difusión Latente (LDM) preentrenado en el dominio fuente para mapear las correspondencias limitadas (pares fuente-objetivo) al espacio latente.

Se toman los pares emparejados $(x^{(s)}_0, x^{(t)}_0)$ .
El LDM del dominio fuente codifica la imagen de origen $x^{(s)}_0$ a su representación latente y luego la "traduce" determinísticamente a un latente objetivo $x^{(t)}_1$ mediante la resolución de una Ecuación Diferencial Ordinaria de Flujo de Probabilidad (PF-ODE).
Esto crea pares latente-objetivo $(x^{(t)}_1, x^{(t)}_0)$ que sirven como supervisión para el siguiente paso.

B. Aprendizaje Semi-Supervisado del Puente (LADM)

Se entrena un Modelo de Difusión Latente Alineado (LADM) en el dominio objetivo utilizando una mezcla de datos:

Pares: Las correspondencias latente-objetivo derivadas del paso anterior.
No emparejados: Muestras del dominio objetivo sin correspondencia de origen.
El modelo aprende a minimizar la pérdida de score matching sobre esta distribución mixta, aprendiendo así a generar imágenes objetivo que respeten tanto la estructura de los pares limitados como la distribución general de los datos no emparejados.

C. Inferencia (El Puente)

Durante la inferencia, se forma un "Puente de Difusión Alineado Latente" (LADB):

Fuente a Latente: Una imagen de origen se codifica y se traduce al espacio latente objetivo usando el LDM preentrenado de la fuente.
Latente a Objetivo: El modelo LADM entrenado genera la imagen final en el dominio objetivo a partir del latente.
Este proceso garantiza la consistencia cíclica y permite la interpolación suave entre múltiples fuentes.

3. Contribuciones Clave

Marco Semi-Supervisado Eficiente: LADB es la primera arquitectura que utiliza explícitamente datos parcialmente emparejados para la traducción de difusión, logrando un equilibrio óptimo entre fidelidad (consistencia estructural) y diversidad.
Alineación en Espacio Latente: Al realizar la alineación en el espacio latente en lugar del espacio de píxeles, el método captura características invariantes al dominio y reduce el ruido, mejorando la calidad de la traducción.
Extensibilidad Multi-Fuente y Multi-Objetivo: El marco soporta nativamente la traducción desde múltiples fuentes (ej. mapas de profundidad y máscaras de segmentación simultáneamente) mediante interpolación en el espacio latente compartido, sin necesidad de reentrenar el modelo para nuevas combinaciones.
Controlabilidad Determinista: A diferencia de los métodos no emparejados, LADB ofrece un mapeo determinista y controlable gracias a la alineación de los flujos de difusión.

4. Resultados Experimentales

Los autores evaluaron LADB en tareas de traducción de profundidad a imagen y traducción multi-fuente (profundidad + segmentación) utilizando los conjuntos de datos LSUN-Bedroom y LSUN-Churches.

Rendimiento en Traducción Profundidad-Imagen:
- LADB superó a los métodos de referencia (DDIB, DDBM, ControlNet, CondLDM) en métricas de calidad de generación (FID e IS) bajo configuraciones de supervisión parcial (10%, 25%, 50%).
- Mantuvo una alta fidelidad (LPIPS, MSE) comparable a los métodos totalmente supervisados, incluso con solo el 10% de datos emparejados, donde otros métodos sufrieron degradaciones severas.
- Preservó mejor los detalles finos (ej. texturas de sábanas, cortinas) en comparación con DDBM y CondLDM.
Traducción Multi-Fuente:
- En la tarea de traducir desde profundidad y segmentación simultáneamente, LADB logró el mejor FID (34.72) en comparación con UniControlNet y DDBM.
- Demostró una interpolación suave entre fuentes: al combinar latentes de profundidad y segmentación, LADB generó resultados coherentes que mezclaban estilos (iluminación) y contenidos (diseño), algo que los métodos basados en adaptadores fijos (UniControlNet) no lograron sin artefactos.

5. Significado e Impacto

LADB representa un avance significativo para la aplicación de modelos generativos en el mundo real, donde los datos anotados son escasos o costosos.

Viabilidad Práctica: Elimina la necesidad de grandes conjuntos de datos emparejados, haciendo viable la traducción de dominio en escenarios como la síntesis de vistas nuevas, generación 3D y transferencia de estilo.
Flexibilidad: Su capacidad para manejar múltiples fuentes de entrada y realizar interpolaciones sin reentrenamiento lo convierte en una solución escalable para sistemas de visión por computadora heterogéneos.
Eficiencia de Datos: Demuestra que la alineación latente semi-supervisada es una estrategia superior para aprovechar tanto los datos emparejados (para estructura) como los no emparejados (para diversidad), superando las limitaciones de los enfoques puramente emparejados o no emparejados.

En resumen, LADB ofrece una solución robusta y versátil para la traducción de dominios, equilibrando la fidelidad estructural con la capacidad de generación creativa en condiciones de datos limitados.