Resumen Técnico: Optimización Multiobjetivo para la Transferencia de Estilo de Sintético a Real

Declaración del Problema

Las redes de segmentación semántica requieren datos anotados a nivel de píxel de forma extensiva, lo cual es prohibitivamente costoso de obtener para imágenes del mundo real (por ejemplo, ~90 minutos por imagen de Cityscapes). Si bien los datos sintéticos de motores de juego como GTA5 ofrecen anotaciones automáticas, los modelos entrenados con dichos datos sufren un "gap de dominio" al aplicarse a escenarios del mundo real. Las técnicas de adaptación de dominio existentes, particularmente aquellas que utilizan modelos de difusión para la transferencia de estilo, involucran procesos complejos con numerosos pasos. Actualmente, la selección y el orden de estas operaciones (por ejemplo, oscurecimiento, nitidez, AdaIN, ControlNet) se determinan manualmente. El espacio de búsqueda combinatorio para transformaciones de estilo efectivas es vasto, lo que dificulta la identificación de pipelines de transferencia de estilo óptimos. Además, evaluar los pipelines candidatos utilizando métricas distribucionales estándar (por ejemplo, FID, CMMD) o entrenando modelos de segmentación es computacionalmente prohibitivo para la optimización iterativa.

Metodología

Los autores formulan la construcción de pipelines de transferencia de estilo como un problema de Optimización Multiobjetivo (MOO). El objetivo es encontrar una secuencia de transformaciones que minimice simultáneamente el gap de dominio (similitud de estilo) mientras maximiza la coherencia estructural (preservación de contenido).

1. Formulación del Problema (Variante del TSP)

La selección del pipeline se modela como una variante modificada del Problema del Viajante (TSP).

• Nodos: Cada operador de datos disponible (por ejemplo, Normalize, Brighten, AdaIN, CACTI, ControlNet) representa una "ciudad".
• Nodo Terminal: Se introduce un nodo especial STOP para permitir soluciones de longitud variable. El algoritmo selecciona un subconjunto de operadores y un ordenamiento, terminando cuando se encuentra el nodo STOP. Esta formulación es análoga al Probleza del Orientación (Orienteering Problem) pero sin una restricción estricta de presupuesto en el número de pasos.
• Espacio de Búsqueda: El espacio de soluciones consiste en permutaciones de operadores, adecuadas para la búsqueda evolutiva.

2. Algoritmo Evolutivo Multiobjetivo

Los autores emplean NSGA-II (Algoritmo Genético de Clasificación No Dominada II) para evolucionar los pipelines.

• Población: Inicializada mediante muestreo de permutación aleatoria.
• Operadores: Se utilizan el cruce de recombinación de bordes y la mutación de inversión para generar descendencia.
• Objetivos:
  1. Minimizar DISTS: Mide la similitud estructural entre la imagen fuente y la imagen transformada para asegurar que las anotaciones de la verdad de campo (ground-truth) sigan siendo válidas.
  2. Minimizar DreamSim: Mide la similitud de estilo perceptual entre la imagen transformada y las muestras del dominio objetivo (por ejemplo, Cityscapes, ACDC).
• Estrategia de Evaluación: En lugar de generar conjuntos de datos completos o entrenar modelos para cada candidato, el algoritmo evalúa los pipelines en un pequeño conjunto de imágenes emparejadas (5 imágenes fuente). Esto reduce drásticamente el costo computacional manteniendo la correlación con la calidad de la distribución.

3. Operadores y Datasets

• Fuente: Dataset GTA5.
• Objetivo: Cityscapes (día despejado) y ACDC (clima adverso: noche, nieve, niebla, lluvia).
• Conjunto de Transformación: Incluye 6 operaciones tradicionales de procesamiento de imágenes (Blur, Brighten, Darken, Contrast, Sharpen, Normalize) y 3 operaciones de transferencia de estilo basadas en aprendizaje profundo (AdaIN, CACTI, ControlNet).

Contribuciones Clave

1. Formulación: El artículo propone formular la selección de pipelines de transferencia de estilo como un problema de secuenciación combinatoria adecuado para la optimización evolutiva, tratándolo como una variante del TSP de longitud variable.
2. Métricas Eficientes: Identifica y valida el uso de métricas de imágenes emparejadas (DISTS y DreamSim) como sustitutos (surrogates) viables para la optimización. Estas métricas permiten una evaluación rápida en tamaños de muestra pequeños, evitando el alto costo de las métricas distribucionales o el reentrenamiento de modelos durante el proceso de búsqueda.
3. Soluciones Diversas: El enfoque genera un frente de Pareto de soluciones no dominadas, ofreciendo a los profesionales un rango de compromisos entre la preservación de contenido y la adaptación de estilo, en lugar de un único pipeline "mejor".

Resultados

• Convergencia de la Optimización: El algoritmo evolutivo convergió exitosamente a un frente de Pareto dentro de 20 generaciones. Se encontró que el espacio de búsqueda era lo suficientemente pequeño como para ser explorado exhaustivamente con un presupuesto computacional modesto (13 horas de tiempo de optimización total).
• Características de los Pipelines:
  • Los pipelines con mayor fidelidad de estilo (menor DreamSim) tendieron a ser más complejos, involucrando múltiples transformaciones y operadores de aprendizaje profundo (por ejemplo, ControlNet, CACTI).
  • Los pipelines simples (por ejemplo, una sola operación de Sharpen) preservaron bien el contenido pero fallaron en adaptar el estilo.
  • Los pipelines seleccionados demostraron una progresión clara desde la apariencia sintética hacia un estilo realista a través de condiciones climáticas adversas.
• Correlación de Métricas: Los valores de DISTS y DreamSim calculados en el pequeño conjunto de evaluación se mantuvieron altamente consistentes cuando se aplicaron a los datasets generados completos (1250 imágenes), validando la eficiencia de la estrategia de evaluación de imágenes emparejadas.
• Desempeño de la Tarea Inferior (Segmentación):
  • Al ser entrenados en los datasets generados, los pipelines evolucionados alcanzaron diversos puntajes de mIoU en ACDC y Cityscapes.
  • Hallazgo Sorprendente: Un pipeline de referencia que utilizaba únicamente ControlNet superó a la mayoría de los pipelines multiobjetivo evolucionados en términos de mIoU de segmentación para la tarea inferior.
  • Los autores señalan que, si bien los pipelines evolucionados lograron un mejor emparejamiento de estilo perceptual (menor DreamSim), esto no se correlacionó linealmente con la mejora en el desempeño de la segmentación. La capacidad de ControlNet para mantener una fuerte coherencia semántica pareció ser más crítica para la tarea inferior que el realismo perceptual capturado por DreamSim.

Significado y Limitaciones

El artículo demuestra que los algoritmos evolutivos pueden automatizar eficazmente el diseño de pipelines de transferencia de estilo, proporcionando diversas opciones para la adaptación de dominio. La principal significancia radica en la eficiencia computacional del enfoque; optimizar un conjunto de pipelines tomó aproximadamente el mismo tiempo que evaluar un solo pipeline mediante la generación de datos completos, permitiendo una exploración rápida del espacio de diseño.

Sin embargo, los autores reconocen modestamente una limitación en su formulación de objetivos. Si bien la combinación de DISTS/DreamSim evaluó eficazmente la calidad de la transferencia de estilo, no sirvió como un sustituto confiable para el desempeño de la segmentación de la tarea inferior. Los pipelines evolucionados no igualaron el mIoU de un baseline simple de ControlNet. El artículo concluye que el trabajo futuro debería centrarse en identificar métricas que puedan estimar de forma económica el desempeño de la tarea inferior, conduciendo potencialmente a una formulación de tres objetivos (Estilo, Sustituto de Segmentación y Tiempo de Cómputo) para una adaptación de dominio más efectiva.