SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

Resumen Técnico: SADGE – Estimación de la Brecha de Dominio en Estructura y Apariencia

Enunciado del Problema
La generación de datos sintéticos es una estrategia crítica para escalar sistemas de visión por computadora, especialmente cuando las anotaciones del mundo real son costosas o indisponibles para casos extremos. Sin embargo, persiste un cuello de botella fundamental: predecir si un conjunto de datos sintético específico transferirá con éxito al rendimiento en el mundo real antes de incurrir en el costo del entrenamiento del modelo aguas abajo. Las prácticas de evaluación actuales dependen en gran medida del método de prueba y error, donde los profesionales generan conjuntos de datos, entrenan modelos y miden el rendimiento en el mundo real para validar tuberías de renderizado o estrategias de aleatorización de dominio.

Las métricas existentes para evaluar la calidad de los datos sintéticos se centran principalmente en la Similitud de Apariencia (por ejemplo, PSNR, FID, CLIP, LPIPS) para medir la alineación semántica o a nivel de píxel entre imágenes reales y sintéticas. Aunque algunos enfoques consideran la Similitud Geométrica (alineación estructural), no existe evidencia establecida sobre qué métrica de similitud predice mejor el rendimiento de la tarea aguas abajo en diversos conjuntos de datos sintéticos. Además, no está claro si la apariencia o la geometría por sí solas son suficientes, o si su interacción es el factor determinante para la utilidad de los datos sintéticos.

Metodología: SADGE
Los autores proponen SADGE (Estimador de la Brecha de Dominio en Estructura y Apariencia), una métrica de cero disparos y sin entrenamiento diseñada para estimar la utilidad de conjuntos de datos de imágenes sintéticas para tareas de reconocimiento visual aguas abajo. SADGE opera modelando conjuntamente dos señales complementarias:

1. Similitud de Apariencia ($A$): Calculada utilizando codificadores visuales preentrenados (por ejemplo, DINOv3, CLIP, SigLIP, SAM) para medir la alineación semántica y textural de alto nivel. La puntuación se define como la similitud del coseno entre las incrustaciones de imágenes normalizadas.
2. Consistencia Geométrica ($G$): Calculada utilizando emparejadores conscientes de la geometría (por ejemplo, MASt3R, LoFTR, SuperPoint+LightGlue) para medir la fidelidad estructural. Esto implica estimar correspondencias densas o semi-densas entre imágenes reales y sintéticas y contar el número de inliers geométricamente válidos (verificados mediante geometría epipolar o consistencia 3D).

Mecanismo de Fusión
SADGE no promedia simplemente estas puntuaciones. En su lugar, las fusiona utilizando un modelo de interacción bilineal restringido:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
Donde $\hat{A}$ y $\hat{G}$ son las puntuaciones de apariencia y geometría normalizadas mediante puntuación z, respectivamente. Los coeficientes $a, b, c \geq 0$ se aprenden para maximizar la correlación con el rendimiento aguas abajo. Esta formulación impone monotonía (mejorar cualquiera de las puntuaciones no debe disminuir el total) y complementariedad (el término de interacción $c\hat{G}\hat{A}$ asegura que la puntuación sea máxima cuando tanto la apariencia como la geometría son fuertes). El modelo asume que los datos sintéticos son más útiles cuando son visualmente realistas y estructuralmente fieles.

Protocolo Experimental
La evaluación abarca cinco familias de referencia públicas de sintético a real y 15 variantes a nivel de conjunto de datos, sumando aproximadamente 79.000 pares de imágenes. Las referencias cubren diversos dominios y tareas:

• DIMO: Objetos metálicos industriales (estimación de pose 6D).
• Virtual KITTI 2: Escenas de conducción (segmentación semántica).
• TUD-L / BOP: Objetos sin textura (estimación de pose 6D).
• RarePlanes: Imágenes aéreas (detección de objetos).
• ASD (Conjunto de Datos Sintético Agrícola): Segmentación de cultivos/malezas.

Los autores comparan SADGE con una amplia gama de líneas base, incluidas métricas puras de apariencia (FID, LPIPS, PSNR, CLIP, variantes de DINO) y métricas puras de geometría (SSIM, LoFTR, SuperPoint+LightGlue).

Resultados Clave

• Correlación Superior: SADGE logra la asociación más fuerte con el rendimiento de transferencia aguas abajo entre todas las métricas probadas. Alcanza una correlación de Pearson de $r = 0.879$ y una correlación de rango de Spearman de $\rho = 0.768$ a través de las 15 variantes de conjuntos de datos.
• Comparación con Líneas Base: SADGE supera significativamente a la línea base más fuerte solo de geometría (MASt3R, $r = 0.677$) y a la línea base más fuerte solo de apariencia (LPIPS, $r = 0.649$).
• Robustez: En evaluaciones de dejar un conjunto de datos fuera, SADGE se clasifica consistentemente en primer lugar. La caída de rendimiento es más significativa cuando se excluye el conjunto de datos DIMO (que enfatiza la variación estructural), lo que sugiere que la geometría es un predictor crítico en escenarios estructuralmente exigentes, mientras que la apariencia domina en escenarios con alta variación de iluminación o textura.
• Configuración Óptima: La configuración de mejor rendimiento fusiona DINOv3 (apariencia) con MASt3R (geometría).
• Sensibilidad: Los coeficientes de fusión son robustos; la alta correlación se mantiene en una amplia meseta de valores de coeficientes, lo que indica que el resultado no es un artefacto de sobreajuste a un espacio de parámetros estrecho.

Significado y Afirmaciones
El artículo afirma que la utilidad de los datos sintéticos no está gobernada por un solo factor (apariencia o geometría), sino por su interacción no lineal. SADGE proporciona un método principiado y sin entrenamiento para clasificar conjuntos de datos sintéticos candidatos, permitiendo a los profesionales:

• Comparar configuraciones de renderizado, calendarios de aleatorización de dominio y tuberías generativas antes del entrenamiento costoso.
• Identificar qué variantes sintéticas es probable que transfieran bien a tareas del mundo real.
• Evitar el ciclo de "prueba y error" de entrenar modelos únicamente para evaluar la calidad del conjunto de datos.

Los autores enfatizan que SADGE es una métrica de clasificación proxy, no un sustituto de la validación final en el dominio real, particularmente en aplicaciones críticas para la seguridad. El estudio está limitado por la disponibilidad de referencias públicas con protocolos de evaluación aguas abajo comparables, pero el análisis de sensibilidad sugiere que el modelo de interacción de la métrica se generaliza más allá de los conjuntos de datos específicos probados.