Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

Resumen Técnico: Evaluación comparativa de la alineación entre las métricas de calidad de datos, el juicio humano y el rendimiento de la segmentación de cobertura terrestre para la observación de la Tierra

Planteamiento del problema
El entrenamiento de modelos de aprendizaje profundo para la observación de la Tierra (EO, por sus siglas en inglés) se ve a menudo limitado por el volumen y la calidad de los conjuntos de datos disponibles. Si bien el aumento de datos sintéticos mediante modelos generativos profundos (por ejemplo, GAN o modelos de difusión) ofrece una solución, evaluar la utilidad real de estos datos sintéticos sigue siendo un desafío. Las prácticas de evaluación estándar dependen de métricas de distancia a nivel de distribución (por ejemplo, FID, KID, IS) calculadas en el espacio latente de redes preentrenadas en conjuntos de datos genéricos como ImageNet.

El problema central identificado es que estas métricas, optimizadas para imágenes naturales con composiciones centradas en objetos, pueden no transferirse eficazmente al dominio especializado de la EO. La imaginería de EO se caracteriza por puntos de vista cenitales, orientaciones arbitrarias e información semántica distribuida. En consecuencia, las métricas estándar pueden no reflejar la utilidad en tareas posteriores, divergir de la percepción humana ante perturbaciones imperceptibles o ser engañadas por la memorización estructural que suprime detalles de alta frecuencia cruciales para las tareas de segmentación. Existe una falta de investigación sistemática sobre cómo se alinean las métricas automáticas, la percepción humana y el rendimiento en tareas posteriores en este dominio específico.

Metodología
Los autores llevaron a cabo un estudio de alineación tripartito exhaustivo utilizando conjuntos de datos reales y sintéticos de teledetección que cubren diversas regiones geográficas (Turquía, Europa, Corea del Sur y California-Nevada). El estudio integró tres pilares de evaluación distintos:

1. Experimentos de perturbación: Se evaluaron siete métricas cuantitativas (FID, KID, IS, LPIPS, SSIM, PSNR) frente a seis transformaciones de imagen específicas: ruido gaussiano, deformación de perspectiva, rotación, volteo (flipping), recorte de redimensionamiento y una transformación combinada. Esto puso a prueba la robustez de las métricas contra cambios que preservan la semántica y cambios que la alteran.
2. Estudio de percepción humana: Un cuestionario de cuatro etapas involucró a 88 participantes para evaluar:
   • Alineación de aumentación: Capacidad para identificar escenas idénticas bajo transformaciones geométricas.
   • Utilidad en tareas posteriores: Capacidad para emparejar imágenes de observación de la Tierra con sus correspondientes máscaras de segmentación de cobertura terrestre (probando la interpretabilidad de pares reales vs. sintéticos).
   • Preferencia de generación condicional: Preferencia entre salidas de diferentes arquitecturas generativas (Stable Diffusion, U-Net GAN, StyleGAN3) dada una máscara de condicionamiento.
   • Evaluación de realismo: Calificación en escala Likert (1–5) del realismo de las imágenes en los conjuntos de datos reales y sintéticos.
3. Benchmark de tareas posteriores: Modelos de segmentación semántica (incluyendo UNet, DeepLabV3+, SegFormer, etc.) fueron entrenados con mezclas variables de datos reales y sintéticos. El rendimiento se midió mediante puntuaciones F1 para determinar si los datos sintéticos mejoraban las líneas base a pesar de poseer puntuaciones de fidelidad potencialmente bajas.

Contribuciones clave

• Vulnerabilidad de las métricas generativas: El estudio demuestra que las métricas de distribución en el espacio latente ampliamente utilizadas son altamente sensibles a perturbaciones menores que preservan la semántica (como la rotación), lo que altera drásticamente las puntuaciones sin afectar el reconocimiento humano.
• Línea base de la percepción humana: Un estudio de cuatro etapas que cuantifica la precisión del reconocimiento humano, la preferencia visual y la carga cognitiva, proporcionando una referencia humana para evaluar la validez de las métricas de calidad automatizadas.
• Análisis de alineación tripartito: Un análisis cuantitativo que revela discrepancias significativas entre la percepción humana, las métricas automatizadas y el rendimiento de los modelos en tareas posteriores, exponiendo modos de fallo en la evaluación automatizada estándar.
• Benchmark de segmentación de cobertura terrestre: Evidencia de que la fidelidad visual (medida por FID) no predice de manera fiable el rendimiento en tareas posteriores. Los datos sintéticos con puntuaciones automáticas deficientes pueden mejorar las líneas base de datos reales cuando se combinan, mientras que las métricas de alta fidelidad no garantizan la utilidad.

Resultados

• Inestabilidad de las métricas: Las métricas automáticas mostraron una alta volatilidad bajo perturbaciones. Por ejemplo, la rotación aumentó el FID del conjunto de datos ARAS-Test de 2.09 a 36.51, mientras que la precisión humana solo cayó de 97.13% a 94.05%. Por el contrario, el ruido y las perturbaciones combinadas causaron la degradación más significativa en la percepción de escenas humanas, pero también fueron las más perjudiciales para las puntuaciones de las métricas.
• Percepción vs. Métricas: Los conjuntos de datos sintéticos a menudo recibieron puntuaciones FID más bajas que los conjuntos de datos reales, pero fueron percibidos como igualmente o más realistas por los humanos. Por ejemplo, el conjunto de datos sintético ARAS-SGAN3 (FID ~16.85) fue calificado como más realista (µ=3.43) que los conjuntos de datos reales como BELDE (µ=3.32) y BELDE-CA-NV (µ=3.09), a pesar de que estos últimos tenían puntuaciones FID significativamente mejores en algunas comparaciones.
• Desacoplamiento de la utilidad: Se encontró una marcada desalineación entre las puntuaciones FID y la utilidad en tareas posteriores. Aumentar los datos reales con datos sintéticos generados por CUGAN degradó la puntuación FID de 2.09 a 21.27, pero mejoró la puntuación F1 de segmentación de la tarea posterior del 76.5% al 77.6%. Del mismo modo, la preferencia humana por el realismo (por ejemplo, BELDE-K vs. BELDE-CA-NV) no se correlacionó con el rendimiento del modelo de segmentación en esos conjuntos de datos.
• Preferencias de los modelos: En tareas de generación condicional, los modelos Stable Diffusion entrenados en ARAS400k fueron los más preferidos por los humanos (39%), pero recibieron las puntuaciones de realismo independientes más bajas (2.51), lo que indica que la fidelidad a una máscara de condicionamiento y el realismo percibido son propiedades distintas.

Significancia y afirmaciones
El artículo argumenta que la evaluación de calidad automática de los conjuntos de datos sintéticos para la observación de la Tierra no puede depender únicamente de métricas basadas en espacios de características preentrenados en ImageNet. Los autores afirman que:

1. Las métricas son indicadores poco fiables: Las métricas estándar como FID son indicadores poco fiables para los datos geoespaciales porque son hipersensibles a cambios estructurales de bajo nivel (como la rotación) que son irrelevantes para los observadores humanos y las tareas posteriores.
2. La utilidad está desacoplada de la fidelidad: Una alta fidelidad visual (FID bajo) no garantiza una alta utilidad en tareas posteriores, y los datos sintéticos con puntuaciones de fidelidad deficientes aún pueden mejorar el rendimiento de los modelos cuando se mezclan con datos reales.
3. Necesidad de una evaluación holística: Un marco de evaluación fiable debe considerar conjuntamente las métricas cuantitativas, la percepción humana y el rendimiento de las tareas posteriores. Ningún eje por sí solo es suficiente, particularmente dado el cambio de dominio entre las imágenes naturales y la imaginería de observación de la Tierra.

Los autores concluyen que optimizar los modelos generativos puramente para la minimización de las métricas automáticas conlleva el riesgo de priorizar la "limpieza visual" sobre la utilidad genuina de los datos, y que el trabajo futuro debería orientarse al desarrollo de métricas que sean robustas a las perturbaciones, estén alineadas con la percepción humana y sean predictivas del rendimiento en las tareas posteriores.