Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift

Resumen Técnico: Right Regions, Wrong Labels

1. El Problema: Aprendizaje de Atajos y Fallos Específicos en Segmentación

Los modelos de visión por computadora modernos a menudo sufren de aprendizaje de atajos (shortcut learning), donde dependen de correlaciones espurias (no causales) entre características de entrada y etiquetas objetivo. Si bien este fenómeno está bien estudiado en clasificación, en segmentación semántica sus modos de fallo específicos no están claros.

La métrica estándar para evaluar segmentación es la superposición geométrica (como mIoU o Dice). Sin embargo, el artículo identifica un modo de fallo crítico que estas métricas pasan por alto: el cambio de etiqueta semántica (semantic label flip).

• Definición: Ocurre cuando el modelo predice correctamente la extensión geométrica del objeto (el "foreground" está bien delimitado), pero asigna la identidad semántica incorrecta dentro de esa región (ej. predecir un "gato" donde hay un "perro", o un "pájaro de agua" donde hay un "pájaro de tierra").
• Causa: Esto sucede bajo un desplazamiento de correlación (correlation shift), donde durante el entrenamiento la identidad del objeto está fuertemente correlacionada con el contexto de la escena (ej. gatos siempre en interiores, perros siempre en exteriores). Al probar en condiciones contrafactuales (gatos en exteriores), el modelo mantiene la localización pero falla en la identidad.

2. Metodología y Configuración Experimental

A. Protocolo de Desplazamiento de Correlación Adaptado:
Los autores adaptan el protocolo estándar de desplazamiento de correlación (usado en clasificación) a la predicción densa (segmentación):

1. Se entrena con una asociación fuerte ($\rho$) entre la etiqueta de identidad ($Y$) y un atributo de contexto espurio ($A$).
2. Se evalúa en particiones balanceadas que incluyen todas las combinaciones $(Y, A)$, tanto alineadas (comunes en entrenamiento) como contrafactuales (raras).

B. Conjuntos de Datos:
Se utilizaron dos benchmarks para validar el fenómeno:

1. WATERBIRDS-SEG: Una adaptación de Waterbirds a segmentación usando máscaras de pájaros (CUB).
   • $Y$: Tipo de pájaro (Tierra vs. Agua).
   • $A$: Contexto de la escena (Tierra vs. Agua).
2. COCO-CD: Un entorno con máscaras reales de COCO.
   • $Y$: Identidad del objeto (Gato vs. Perro).
   • $A$: Contexto de la escena (Interior vs. Exterior).

C. Modelos y Entrenamiento:

• Se entrenaron modelos U-Net con dos arquitecturas de codificador: ResNet-50 (convolucional) y MiT-B2 (Transformer).
• Se varió la fuerza de correlación en el entrenamiento: $\rho=0.5$ (balanceado) y $\rho=0.95$ (fuertemente sesgado).
• Se compararon cuatro variantes de pérdida: Entropía Cruzada (CE), Dice + CE, Group DRO (para robustez de grupo) y una variante con CutMix restringido al fondo.

D. Métricas y Diagnósticos Propuestos:
Para ir más allá del mIoU, se introdujeron nuevas métricas:

1. Flip Rate (Flip): Mide la tasa de intercambio de identidad dentro de los píxeles que son realmente foreground y que el modelo también predice como foreground.
   $$\text{Flip} = \frac{\sum \mathbb{I}[y_i \in \text{FG}] \cdot \mathbb{I}[\hat{y}_i \in \text{FG}] \cdot \mathbb{I}[\hat{y}_i \neq y_i]}{\sum \mathbb{I}[y_i \in \text{FG}]}$$
2. Descomposición de Errores Condicionada al Foreground: Divide los píxeles de foreground verdadero en tres categorías:
   • FG-Corr: Identidad correcta.
   • FG-Flip: Identidad cambiada (pero sigue siendo foreground).
   • FG-Miss: Predicho como fondo (borrado).
3. Puntuación de Riesgo de Flip (Flip-Risk Score): Una métrica sin etiquetas de verdad (ground-truth free) basada en la entropía de la distribución de probabilidad entre las dos clases de foreground. Permite monitorear la incertidumbre semántica en tiempo de inferencia.

3. Resultados Clave

• Ampliación de la Brecha de Desempeño: Al aumentar la correlación de entrenamiento ($\rho=0.95$), la brecha de rendimiento entre grupos alineados y contrafactuales se amplía significativamente, incluso cuando el mIoU general parece estable.
• Dominio del "Flip" sobre el "Miss": En condiciones de alta correlación, el aumento de errores se debe principalmente a FG-Flip (cambio de identidad) y no tanto a FG-Miss (pérdida del objeto). Esto demuestra que el modelo localiza bien el objeto pero se confunde sobre qué es.
• Ineficacia de las Soluciones Estándar:
  • Optimizadores como Dice+CE o Group DRO mejoran el mIoU o el rendimiento del grupo peor, pero no eliminan los flips. El modelo sigue siendo inestable semánticamente bajo desplazamiento de distribución.
  • La superposición geométrica (localización) y la estabilidad semántica son objetivos relacionados pero no equivalentes.
• Eficacia del Flip-Risk Score: La puntuación de riesgo basada en entropía logra estratificar exitosamente las imágenes. Las imágenes con mayor riesgo de entropía contienen una proporción mucho mayor de flips. Esto permite identificar casos problemáticos en tiempo de inferencia sin necesidad de etiquetas reales.

4. Contribuciones Principales

1. Identificación de un nuevo modo de fallo: Se demuestra que bajo desplazamiento de correlación, los modelos de segmentación pueden mantener una geometría plausible mientras intercambian identidades semánticas entre clases confusables.
2. Protocolo y Benchmarks: Se adapta el protocolo de desplazamiento de correlación a la predicción densa y se instaura en dos datasets (WATERBIRDS-SEG y COCO-CD) con máscaras reales.
3. Nuevos Diagnósticos:
   • Introducción de la métrica Flip y la descomposición FG-Corr/Flip/Miss para separar errores geométricos de errores semánticos.
   • Propuesta de un Flip-Risk Score basado en entropía para el monitoreo en producción, capaz de detectar predicciones propensas a fallos semánticos sin etiquetas de verdad.

5. Significado e Impacto

Este trabajo es fundamental para la evaluación de robustez en segmentación semántica porque:

• Cuestiona las métricas actuales: Muestra que el mIoU puede ocultar fallos semánticos graves que son críticos en aplicaciones de alto riesgo (como diagnóstico médico o conducción autónoma), donde saber qué es un objeto es tan importante como saber dónde está.
• Revela limitaciones de la robustez: Sugiere que las técnicas actuales de mitigación de sesgos (como Group DRO) no garantizan la desconexión entre identidad y contexto, y que la mejora en la superposición no implica necesariamente una identidad robusta.
• Herramienta práctica: Ofrece un mecanismo ligero (Flip-Risk) para la vigilancia de modelos en despliegue, permitiendo priorizar la revisión humana de casos donde la identidad semántica es incierta.

En conclusión, el artículo aboga por evaluar la robustez de los predictores densos no solo por su superposición geométrica, sino también por su estabilidad semántica dentro de las regiones correctamente localizadas.