HarmoniDiff-RS: Training-Free Diffusion Harmonization for Satellite Image Composition

1. Problema: Composición de Imágenes Satelitales

La composición de imágenes satelitales es una tarea fundamental para aplicaciones de teledetección como la augmentación de datos, la simulación de desastres y la planificación urbana. Sin embargo, presenta desafíos únicos que la diferencian de la composición de imágenes naturales:

• Rigidez Geométrica: A diferencia de los objetos naturales (como animales o personas) que pueden deformarse no rígidamente para adaptarse al fondo, las imágenes satelitales contienen estructuras rígidas (edificios, carreteras, puertos). Preservar la integridad geométrica es crítico; deformar un edificio para que "encaje" haría que la imagen resultante fuera irreal.
• Consistencia Radiométrica y de Borde: El principal desafío no es la alineación semántica (como en imágenes naturales), sino lograr una suavidad en los bordes y una consistencia radiométrica (iluminación, color, espectro) entre la fuente y la escena objetivo sin distorsionar la estructura original.
• Limitaciones de los Métodos Actuales:
  • Los métodos tradicionales (mezcla de Poisson) dependen de cues de bajo nivel y no manejan bien las costuras o inconsistencias semánticas.
  • Los métodos de aprendizaje profundo existentes a menudo requieren máscaras de segmentación precisas y asumen que el primer plano es deformable, lo cual no es aplicable a la teledetección.
  • Los enfoques basados en difusión actuales suelen generar nuevas escenas desde cero o requieren fine-tuning, en lugar de armonizar parches reales existentes.

2. Metodología: HarmoniDiff-RS

Los autores proponen HarmoniDiff-RS, un marco de trabajo sin entrenamiento (training-free) basado en modelos de difusión latente. El método opera completamente en el espacio latente para aprovechar los priores generativos sin necesidad de reentrenar el modelo.

El proceso se divide en tres componentes principales:

A. Desplazamiento de la Media Latente (Latent Mean Shift - LMS)

Para alinear las características radiométricas y estilísticas entre la fuente y el objetivo:

• Se invierten las imágenes de origen y destino al espacio latente utilizando el modelo DDIM (Denoising Diffusion Implicit Models).
• Se calculan las medias por canal de los latentes de la imagen objetivo.
• Se aplica un desplazamiento a los latentes de la fuente para que sus estadísticas de canal coincidan con las del objetivo. Esto asegura una consistencia de iluminación y equilibrio de color/espectral sin modificar la geometría.

B. Fusión de Latentes por Paso de Tiempo (Timestep-wise Latent Fusion)

Los autores observan una compensación (trade-off) en los latentes invertidos de DDIM:

• Pasos tempranos (cerca del ruido): Producen resultados muy armoniosos pero pierden la identidad y estructura de la imagen original.
• Pasos tardíos: Preservan la estructura y semántica original, pero dejan bordes duros y visibles.

Estrategia de Fusión:

1. Se generan candidatos de composición en varios pasos de tiempo.
2. Se crea una máscara de borde ($M_{edge}$) alrededor de la región de inserción.
3. Durante el proceso de denoising (desde un paso de preservación $t_p$ hasta $t_0$), se fusionan dos flujos:
   • Latentes de armonización (de pasos tempranos) en la zona de borde.
   • Latentes de preservación de identidad (de pasos tardíos) en el interior.
4. La fusión se realiza mediante una combinación ponderada usando la máscara de borde, logrando bordes suaves sin sacrificar la estructura interna.

C. Clasificador de Armonía (Harmony Classifier)

Dado que diferentes pasos de tiempo producen diferentes equilibrios entre armonía y fidelidad, el sistema genera múltiples candidatos.

• Se entrena un clasificador ligero (ResNet-18) para evaluar visualmente qué composición es más armoniosa en la región insertada.
• El clasificador toma como entrada la imagen RGB concatenada con la máscara binaria.
• Se selecciona automáticamente el resultado con la puntuación de armonía (Harmony Score) más alta como salida final.

3. Contribuciones Clave

1. Definición de una Nueva Tarea: Formalizan la composición de imágenes satelitales como un problema de armonización de regiones rígidas, priorizando la preservación geométrica sobre la deformación semántica.
2. Marco sin Entrenamiento (Training-Free): Introducen un mecanismo de armonización en el espacio latente que combina alineación radiométrica y fusión de latentes, evitando el costoso fine-tuning de modelos de difusión.
3. Estrategia de Fusión Temporal: Proponen una técnica novedosa que aprovecha las propiedades complementarias de los latentes tempranos (armonía) y tardíos (fidelidad) mediante una máscara de borde.
4. Benchmarks y Métricas (RSIC-H):
   • Crean RSIC-H, un nuevo conjunto de datos con 500 pares de composición fuente-objetivo derivados de fMoW, cubriendo variaciones de estación, iluminación y sensores.
   • Introducen dos métricas cuantitativas: Harmony Score (HS) y Diferencia de Gradiente de Borde (BGD) para evaluar la suavidad y realismo.

4. Resultados Experimentales

• Comparación Cualitativa: El método supera a técnicas tradicionales (mezcla de Poisson), modelos de inpainting basados en SD2 y métodos de composición para imágenes naturales (FreeCompose). En casos difíciles donde hay desajuste semántico, HarmoniDiff-RS logra adaptar la región insertada al contexto geográfico circundante de manera realista.
• Resultados Cuantitativos:
  • Mejor Puntuación de Armonía (HS): 0.225 (vs 0.184 del siguiente mejor).
  • Menor Diferencia de Gradiente de Borde (BGD): 4.88 (vs 7.04 del siguiente mejor), indicando bordes más suaves.
  • FID (Fréchet Inception Distance): 92.38. Aunque es ligeramente inferior a la mezcla de Poisson (debido a la compresión del VAE que suaviza texturas de alta frecuencia), el método ofrece un equilibrio superior entre realismo perceptual y fidelidad semántica.
• Estudio de Ablación: Confirma que la combinación de Desplazamiento de Media Latente (LMS) y Fusión de Pasos Tardíos (LTF) es esencial para lograr tanto la fidelidad como la armonía.

5. Significado e Impacto

El trabajo de HarmoniDiff-RS es significativo porque:

• Cierra la brecha entre la composición de imágenes naturales y la de teledetección, abordando la rigidez estructural específica de las imágenes satelitales.
• Elimina la barrera de datos: Al ser un método sin entrenamiento, no requiere grandes conjuntos de datos etiquetados para composiciones específicas, lo que facilita su aplicación en dominios donde los datos son escasos.
• Habilita la Simulación Escalable: Proporciona una herramienta robusta para la generación de datos sintéticos realistas, crucial para entrenar modelos de IA en tareas de teledetección (detección de objetos, planificación urbana) donde la variabilidad de condiciones (estacionalidad, sensores) es alta.
• Limitaciones Futuras: Los autores reconocen que las texturas de alta frecuencia pueden perderse debido al cuello de botella del VAE y que el control sobre sombras proyectadas es limitado, sugiriendo direcciones para futuras mejoras con modelos latentes de mayor fidelidad.

En resumen, HarmoniDiff-RS establece un nuevo estado del arte en la composición de imágenes satelitales, ofreciendo una solución práctica, eficiente y de alta calidad para la integración de parches de imágenes en escenas remotas sin alterar su geometría crítica.