Multi-Conditioned Diffusion Synthesis of Sand Boils for Low-Resource Earthen-Levee Inspection

Resumen Técnico: Síntesis de Difusión Multicondicionada de Sifones de Arena para la Inspección de Diques de Tierra con Escasos Recursos

Planteamiento del Problema
Los diques de tierra son infraestructuras críticas, pero su estado es difícil de monitorear a escala. Un defecto de seguridad crítica es el "sifón de arena" (sand boil), una etapa visible temprana de erosión interna (piping) donde el agua presurizada transporta arena hacia la superficie. La detección y segmentación de estos defectos en imágenes de campo se ve obstaculizada por una severa escasez de datos anotados. Los defectos aparecen solo durante eventos de altos niveles de agua, se distribuyen a través de vastas redes lineales y requieren conocimientos hidrológicos para una anotación precisa a nivel de píxel. La aumentación de datos convencional (rotaciones, giros, fluctuación de color) no logra sintetizar nuevas distribuciones de escenas (por ejemplo, diferentes tipos de suelo, regímenes hidráulicos o iluminación) que no estén ya presentes en los pequeños conjuntos de referencia curados.

Metodología
El artículo propone un flujo de síntesis basado en difusión diseñado para generar imágenes sintéticas de sifones de arena preservando la geometría del defecto y asegurando la procedencia de la etiqueta. El flujo consta de tres etapas acopladas:

1. Columna Vertebral y Adaptación:

   • El sistema utiliza Stable Diffusion XL (SDXL) como columna vertebral. Los autores eligieron deliberadamente SDXL sobre modelos de flujo rectificado más nuevos (p. ej., SD 3.5) debido a la madurez de sus checkpoints de ControlNet e IP-Adapter disponibles públicamente y a su menor tendencia a memorizar fotogramas individuales de entrenamiento en el rango de adaptador y presupuesto de datos utilizado.
   • Se utiliza DreamBooth con Adaptación de Bajo Rango (LoRA) para ajustar el modelo sobre un pequeño conjunto de referencia curado (39 imágenes). Un token disparador raro (sbx) ancla el adaptador, permitiendo al modelo renderizar sifones de arena sin modificar los pesos base congelados.

2. Generación Multicondicionada:

   • Para restringir la escena generada a una referencia de campo real permitiendo la variedad textural, el flujo emplea una pila de cuatro ramas de ControlNet: bordes Canny (contorno), profundidad monocular (disposición 3D), normales de superficie (relieve de domo-borde) y bordes suaves de detección de bordes de detección holística anidada (HED) (textura de borde).
   • Inpainting de Máscara Suave de Preservación de Defectos: En lugar de la estandarizada transferencia de imagen-a-imagen o el clonado suave de Poisson (que causa costuras duras y sangrado de color), el flujo utiliza un protocolo de mezcla de latencia de máscara suave. La máscara de verdad de campo se invierte, se erosiona y se aplica un desenfoque gaussiano para crear un gradiente suave. Durante el bucle de difusión, el denoiser predice solo dentro de la región del gradiente, lo que permite que el límite negocie una transición coherente con el fondo re-renderizado mientras preserva el núcleo del defecto píxel por píxel.
   • Geometría Adaptativa: El radio de erosión y el ancho del kernel de desenfoque se derivan adaptativamente del tamaño de la caja delimitadora del defecto, asegurando que el margen de preservación escale con la extensión del defecto.

3. Curación de Prompts y Control de Calidad:

   • Atlas de Prompts: Un sistema basado en taxonomía reemplaza las listas de prompts escritas a mano. Una especificación JSON única define el concepto de dominio, el token disparador y los ejes (p. ej., tipo de suelo, clima, iluminación). Un constructor expande esto en un banco de prompts estratificado, filtrado por longitud, desduplicado mediante TF-IDF, cribado para conceptos negativos y validado contra el conjunto de referencia mediante la similitud imagen-texto de CLIP.
   • Anotador de Envoltura Convexa (CHA): Un flujo completamente automatizado y sensible a la forma convierte mapas de probabilidad en máscaras binarias y anotaciones de polígonos. Dirige los componentes según su factor de forma (compacto, alargado o delgado) para aplicar la limpieza apropiada (envoltura convexa, cierre morfológico o esqueleto), asegurando una política de producción de máscaras única y reproducible en todas las salidas sintéticas.
   • Filtro de Admisibilidad CLIP: Un filtro de admisibilidad CLIP utiliza estadísticas de "dejar uno fuera" del conjunto de referencia para definir una banda de aceptación. Rechaza automáticamente el drift fuera de la distribución (OOD) y las muestras memorizadas (duplicados cercanos de fotogramas de entrenamiento) sin revisión humana.

Contribuciones Clave
El artículo introduce un flujo de generación con las siguientes contribuciones técnicas específicas:

• Mezcla de Latencia de Máscara Suave de Preservación de Defectos: Una regla de composición por paso que fija la apariencia del defecto de forma literal mientras permite al denoiser negociar una transición coherente con el fondo, eliminando costuras duras y cambios de color asociados con el inpainting binario y el clonado de Poisson.
• Geometría de Máscara Suave Adaptada al Tamaño del Defecto: Una regla automatizada que escala los parámetros de erosión y desenfoque de la máscara suave basándose en la extensión espacial del defecto, eliminando la necesidad de ajustes manuales por imagen.
• Anotador de Envoltura Convexa (CHA): Un flujo sensible a la forma y ajeno a la clase que produce etiquetas de entrenamiento uniformes y sirve como puerta de control de deriva para la generación condicionada por máscara.
• Generación Condicionada por Máscara (MaskCN): Una ruta complementaria donde una máscara binaria es la entrada de condicionamiento, haciendo que la máscara sea la etiqueta de verdad por construcción. Esto actúa como un motor de diversidad de anotación cero, generando variaciones en formas y ubicaciones de defectos independientes de las geometrías reales de origen.
• Atlas de Prompts Basado en Taxonomía: Un sistema de curación de prompts reproducible basado en JSON que expande una única especificación de dominio en un banco de prompts validado, portable a nuevas clases de defectos sin cambios en el código.
• Filtrado de Similitud de Conjunto de Referencia Automatizado: Un filtro post-generación que elimina el drift OOD y la memorización utilizando umbrales auto-ajustados derivados de las estadísticas de dejar uno fuera de CLIP del conjunto de referencia.

Resultados
El flujo fue evaluado con un conjunto de datos de 199 imágenes de entrenamiento reales y un conjunto de referencia curado de 39 imágenes.

• Generación de Datos: El flujo produjo 1,020 candidatos sintéticos; 815 pasaron el filtro de admisibilidad CLIP para formar el conjunto de datos aumentado.
• Calidad de Imagen: La evaluación utilizó Fréchet Inception Distance (FID), Kernel Inception Distance (KID), similitud imagen-texto de CLIP y diversidad LPIPS.
  • Ningún preset único dominó todas las métricas. El preset V4 (inpainting de máscara suave con HED, normales de superficie e IP-Adapter) fue seleccionado como el predeterminado para el conjunto de datos aumentado. Aunque tenía un FID más alto que otras alternativas (indicando que se alejaba más del manifold real ajustado), ofrecía una fiabilidad de etiqueta y diversidad de escena superiores.
  • MaskCN logró la mayor similitud CLIP y la mayor diversidad dentro del conjunto, pero falló en la puerta de verificación de etiquetas (drift de IoU mediana de 0.15), lo que significa que sus etiquetas "exactas" aún no podían ser certificadas por el checkpoint del segmentador disponible.
  • Línea Base de Poisson: Un baseline de clonado suave de Poisson logró puntuaciones FID más bajas pero no proporcionó una verdadera diversidad de escena ni fronteras sin costuras, confirmando que un FID bajo por sí solo es insuficiente para la calidad de los datos de entrenamiento.
• Fidelidad vs. Diversidad: Una descomposición de precisión/recuerdo reveló que, mientras algunos presets (como V1) tenían alta fidelidad (cercanía al manifold real), el preset V4 seleccionado intercambió algo de fidelidad por una mayor diversidad y, crucialmente, una procedencia de etiqueta de política única.
• Auditoría de Memorización: Una auditoría de cercanía a la referencia confirmó que ningún muestreo sintético era un duplicado en el espacio CLIP del conjunto de entrenamiento (similitud máxima 0.925 frente a identidad 1.0).

Significancia y Reivindicaciones
El artículo limita modestamente sus afirmaciones a la calidad de la imagen, la procedencia de la etiqueta y la diversidad. Establece explícitamente que el rendimiento de la segmentación downstream queda para trabajos futuros.

• La contribución principal es una metodología para generar datos sintéticos etiquetados de alta calidad en un entorno de bajos recursos donde los ejemplos anotados son escasos.
• El flujo demuestra que los modelos de difusión pueden adaptarse a clases científicas de nicho (defectos de diques de tierra) sin un reentrenamiento completo, siempre que se empleen condicionamiento estructural (ControlNet) y protocolos de preservación de defectos (inpainting de máscara suave).
• Los autores enfatizan la reproducibilidad del sistema, liberando el flujo completo, los adaptadores entrenados, los atlas de prompts y las cascadas de semillas.
• El trabajo establece un marco para la "etiqueta por construcción" (vía MaskCN) y la "etiqueta por reconstrucción" (vía máscara suave + CHA), ofreciendo un camino hacia motores de diversidad de anotación cero, aunque la verificación de estas etiquetas a escala sigue siendo un cuello de botella.

El artículo concluye que, si bien ninguna configuración única es óptima para todas las métricas, una mezcla curada de presets complementarios (que equilibra la cobertura del manifold, la diversidad y la fiabilidad de la etiqueta) constituye la estrategia de aumentación natural para entrenar segmentadores posteriores.