Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

Resumen Técnico: Fidelidad de Máscara Contrastiva (CMF)

Planteamiento del Problema: La Paradoja de la Evaluación
La segmentación semántica en teledetección enfrenta una "paradoja de la evaluación" fundamental. Los modelos se entrenan y evalúan frente a máscaras trazadas por humanos, las cuales se tratan convencionalmente como verdades fundamentales infalibles. Sin embargo, las anotaciones de teledetección son frecuentemente gruesas, incompletas, desalineadas o excesivamente suavizadas debido a la complejidad de las imágenes aéreas y satelitales (por ejemplo, objetos pequeños, cobertura terrestre heterogénea). En consecuencia, las métricas de superposición estándar como el mIoU cuantifican el acuerdo con etiquetas potencialmente defectuosas en lugar de la fidelidad a la evidencia visual. Una máscara visualmente superior puede recibir una puntuación más baja si se desvía de una anotación imperfecta. Los métodos existentes de calidad de etiquetas suelen depender de modelos entrenados sobre la misma distribución de etiquetas ruidosas, heredando los mismos sesgos que pretenden detectar. Existe una falta de un adjudicador libre de referencia capaz de comparar máscaras competidoras (humano vs. modelo) directamente contra la evidencia de la imagen sin designar a ninguna como la verdad absoluta.

Metodología: El Pipeline GeoVeritas
Los autores proponen GeoVeritas, un sistema de auditoría de tres etapas y libre de entrenamiento centrado en la Fidelidad de Máscara Contrastiva (CMF).

1. Generación de Candidatos (Etapa I):
   El sistema utiliza Seg-Probe, una sonda de segmentación de vocabulario abierto libre de entrenamiento construida sobre la base congelada SegEarth-OV3 (que utiliza un codificador SAM 3 congelado). Seg-Probe no es la contribución principal, sino que sirve como una fuente robusta de máscaras candidatas para desafiar las anotaciones humanas. Emplea tres componentes libres de entrenamiento para generar candidatos de alta calidad:

   • Agrupación de Evidencia de Sinónimos (SEP): Agrega evidencia de múltiples prompts sinónimos utilizando un log-sum-exp soft-OR para reducir la dependencia de nombres de clases específicos.
   • Evidencia Multi-Escala (MSE): Extrae y alinea evidencia de múltiples escalas de imagen.
   • Aumentación en Tiempo de Prueba (TTA): Promedia la evidencia de la vista original y de la vista con volteo horizontal.

2. Puntuación de Fidelidad de Máscara Contrastiva (Etapa II):
   CMF evalúa la fidelidad de una máscara binaria $M_c$ para una clase $c$ contra una imagen $x$ utilizando un juez de visión-lenguaje externo y congelado (RemoteCLIP). El proceso implica la creación de dos vistas contrafácticas de la imagen:

   • Vista de Conservación (Keep View, $x^k$): Revela únicamente la región definida por la máscara $M_c$, mientras desenfoca el resto.
   • Vista de Erradicación (Erase View, $x^e$): Oculta la región $M_c$ (desenfocándola) mientras revela el resto de la imagen.

   El juez calcula la probabilidad $P(c|r)$ para cada vista utilizando un softmax escalado por temperatura sobre textos de clase. La Puntuación de Fidelidad $F(M_c)$ se define como la diferencia:
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   Este diseño contrastivo asegura que la puntuación refleje tanto la pureza (la región conservada contiene la clase) como la completitud (no queda evidencia de la clase fuera de la máscara). Crucialmente, la normalización softmax y la naturaleza opuesta de los dos términos reducen la sensibilidad a la inflación trivial del área de la máscara.

3. Arbitraje y Corrección de Etiquetas (Etapa III):
   Para cada par imagen-clase, el sistema compara la puntuación de fidelidad de la máscara candidata ($M^p_c$) contra la anotación humana ($M^a_c$). Si la diferencia $\Delta F > 0$, la candidata se considera más fiel. Una regla de arbitraje conservadora reemplaza la etiqueta humana con la máscara candidata solo si el margen $\Delta F$ excede un umbral (por defecto $\delta=0$), de lo contrario, retiene la etiqueta humana para evitar la sobrecorrección.

Contribuciones Clave

• Métrica CMF: Una métrica libre de referencia y libre de entrenamiento que transforma el desacuerdo de la máscara en un contraste de conservación-erradicación condicionado por la imagen, utilizando un juez de visión-lenguaje externo congelado para evaluar la fidelidad de la máscara semántica.
• Auditoría a Gran Escala: Una auditoría de 10,731 pares imagen-clase a través de diez benchmarks de teledetección (incluyendo LoveDA, Potsdam, Vaihingen, etc.). El estudio revela distorsiones de anotación sistemáticas y dependientes de la clase: las clases artificiales (edificios, carreteras, coches) favorecen a los candidatos del modelo en el 62–85% de los casos, mientras que la cobertura terrestre ambigua suele favorecer las anotaciones humanas.
• Validación por Expertos: En un conjunto de consenso de tres anotadores a ciegas, CMF coincide con el juicio experto en el 81% de los pares, superando la puntuación de solo conservación (keep-only), la confianza del modelo y una línea base de calidad de etiqueta entrenada.
• Supervisión Accionable: Entrenar un segmentador ligero con etiquetas arbitradas por CMF produce un rendimiento de transferencia de dominio cruzado mejorado en comparación con modelos entrenados con anotaciones puras o pseudo-etiquetas puras, aislando el beneficio del proceso de arbitraje.

Resultados

• Rendimiento de Seg-Probe: Seg-Probe supera a las líneas base previas libres de entrenamiento en 9 de 10 conjuntos de datos, logrando un mIoU promedio de 56.3% (frente al 55.4% de SegEarth-OV3), validando su rol como un fuerte generador de candidatos.
• Sensibilidad a la Corrupción: CMF fue calibrado mediante corrupciones de máscara controladas y demostró responder correctamente a errores conocidos manteniendo la estabilidad frente a variaciones en el área de la máscara.
• Transferencia de Dominio Cruzado: Los modelos entrenados con etiquetas arbitradas por CMF demostraron una transferibilidad superior a dominios objetivo no vistos en comparación con aquellos entrenados con anotaciones puras o controles de reemplazo emparejados, confirmando que las ganancias provienen de la selección de etiquetas de mayor fidelidad y no de una simple destilación de pseudo-etiquetas.

Significancia
El artículo posiciona a CMF no como un método para reemplazar la anotación humana por completo, sino como una herramienta escalable para auditar la verdad fundamental. Al tratar la máscara de referencia como una hipótesis en lugar de una verdad infalible, CMF proporciona un mecanismo para identificar y corregir errores de anotación sistemáticos, particularmente para objetos artificiales bien delineados. Este enfoque aborda la paradoja de la evaluación al desplazar el enfoque desde el acuerdo con una etiqueta hacia la fidelidad a la evidencia de la imagen, ofreciando una vía hacia una supervisión más confiable en la segmentación semántica de teledetección.