Integrating Semi-Supervised and Active Learning for Semantic Segmentation

Título: Integración de Aprendizaje Semi-Supervisado y Aprendizaje Activo para Segmentación Semántica

1. Planteamiento del Problema

La segmentación de imágenes a nivel de píxel es fundamental en aplicaciones de observación terrestre (clasificación de uso del suelo, monitoreo urbano, etc.). Sin embargo, el entrenamiento de redes profundas requiere grandes cantidades de datos anotados manualmente, lo cual es extremadamente costoso y laborioso, especialmente en el ámbito de la teledetección (imágenes satelitales y aéreas).

• Desafíos específicos: La teledetección presenta variabilidad espectral, grandes escalas espaciales y requiere conocimiento experto para la anotación.
• Limitaciones de enfoques existentes:
  • El Aprendizaje Semi-Supervisado (SSL) suele depender excesivamente de un modelo "maestro" (en arquitecturas Teacher-Student) o sufre colapso en métodos de doble red (Cross Pseudo Supervision) cuando los pesos convergen.
  • El Aprendizaje Activo (AL) tradicional selecciona muestras para anotación manual pero suele descartar las muestras no seleccionadas, desaprovechando su estructura potencial.
  • Ambos enfoques se utilizan a menudo de forma independiente, sin aprovechar sinergias para maximizar el uso de datos no etiquetados.

2. Metodología Propuesta

Los autores proponen un marco híbrido novedoso que integra un SSL mejorado con una estrategia de AL diseñada para refinar etiquetas pseudo-generadas. El método se compone de tres pilares principales:

A. Marco Híbrido Teacher-Student-Friend (TSF):

• Se introduce un tercer modelo, el "Amigo" (Friend), en el bucle de aprendizaje tradicional de Maestro-Alumno.
• Arquitectura:
  • Maestro: Sus pesos son una media móvil exponencial (EMA) del modelo Alumno.
  • Alumno y Amigo: Se entrenan simultáneamente utilizando la estrategia de Supervisión Cruzada (CPS). El Alumno y el Amigo generan etiquetas pseudo para supervisarse mutuamente, pero el Amigo no es supervisado por el Maestro.
• Objetivo: Reducir la dependencia excesiva del Maestro y evitar la similitud de modelos que limita el aprendizaje paralelo, aumentando la resiliencia durante el entrenamiento.

B. Decodificador de Máscara de Error (EMD - Error Mask Decoder):

• Para identificar regiones inciertas en las etiquetas pseudo, se utiliza un módulo EMD entrenado específicamente para predecir mapas de error.
• Funcionamiento: Combina mapas de probabilidad del modelo maestro con representaciones de características multiescala (extraídas del codificador temprano y tardío).
• Salida: Genera un mapa de probabilidad de error que identifica píxeles donde la etiqueta pseudo es probable que sea incorrecta.

C. Refinamiento Automático de Etiquetas Pseudo (PLAR - Pseudo-Label Auto-Refinement):

• Este es el núcleo de la estrategia de AL. En lugar de solicitar anotación manual para todos los errores, el sistema intenta corregirlos automáticamente basándose en la hipótesis de agrupamiento (cluster assumption): píxeles con características similares en el espacio de características pertenecen a la misma clase.
• Mecanismo:
  1. Se extraen características de las regiones etiquetadas y de las regiones erróneas (no etiquetadas) dentro de la misma imagen.
  2. Se calculan distancias Euclídea y Mahalanobis entre los píxeles erróneos y los centroides de las clases conocidas.
  3. Se utiliza un mecanismo de votación: si ambas métricas coinciden en la clase, la etiqueta se corrige automáticamente. Si no coinciden, se marca para anotación manual.
• Ventaja: Reduce drásticamente el presupuesto de anotación al corregir automáticamente los errores menos ambiguos, reservando la intervención humana solo para los casos más difíciles.

3. Contribuciones Clave

1. Integración Híbrida: Propone un marco unificado que combina SSL y AL para la segmentación semántica, validado tanto en imágenes naturales como de teledetección.
2. Arquitectura TSF: Desarrollo de un marco robusto que supera las limitaciones de los enfoques Teacher-Student y CPS puros mediante la adición de un modelo "Amigo".
3. Estrategia PLAR: Introducción de un mecanismo de auto-refinamiento que utiliza la similitud de características intra-imagen para corregir etiquetas pseudo ruidosas sin coste de anotación.
4. Selección de Muestras: Un módulo dedicado que identifica muestras de alto valor utilizando tanto la incertidumbre de predicción como representaciones de características de múltiples niveles.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos: CityScapes (imágenes naturales), ISPRS Vaihingen y RoadNet (teledetección).

• Rendimiento en SSL (CityScapes): El marco TSF superó consistentemente a los métodos de última generación (como AEL, U2PL, UniMatch) en diferentes proporciones de datos etiquetados (1/16 a 1/2). Por ejemplo, con solo 1/16 de los datos, logró un mIoU de 75.59%, superando a AEL en un 1.14%.
• Rendimiento en Aprendizaje Activo (Teledetección):
  • Vaihingen: Con un 33% de datos etiquetados (usados progresivamente), el método alcanzó un mIoU de 63.09%, superando significativamente a métodos como DEAL, Core-Set y VAAL que usaban un 40% de datos.
  • RoadNet: Logró un mIoU de 88.75% con un 33% de datos, superando al mejor baseline (DEAL) en casi 4 puntos porcentuales, a pesar de que los baselines usaban más datos.
• Eficiencia: El estudio de ablación demostró que el módulo PLAR aporta la mayor mejora de rendimiento (+5.82% de mIoU en Vaihingen al añadirlo al TSF+AL), confirmando que la corrección automática de etiquetas es más efectiva que solo aumentar el presupuesto de anotación manual.
• Coste Computacional: Aunque el entrenamiento requiere más memoria (7.69 GB vs 4.14 GB en la base) y tiempo debido al modelo "Amigo", el coste de inferencia es idéntico al modelo base, ya que solo se usa un modelo de segmentación en producción.

5. Significado e Impacto

• Reducción de Costes: La metodología demuestra que es posible lograr un rendimiento de segmentación semántica de vanguardia con una fracción significativa de datos etiquetados (hasta un 30-40% menos que los métodos tradicionales), lo cual es crucial para aplicaciones de teledetección donde la anotación experta es un cuello de botella.
• Generalización: La capacidad del modelo para funcionar bien tanto en entornos urbanos naturales como en imágenes satelitales complejas valida su robustez y generalización.
• Nueva Paradigma de Aprendizaje: El enfoque cambia la dinámica del aprendizaje activo: en lugar de simplemente "seleccionar para etiquetar", el sistema "corrige automáticamente lo que puede y etiqueta solo lo esencial", maximizando el valor de cada píxel no etiquetado.
• Aplicabilidad Práctica: Ofrece una solución viable para la automatización de la interpretación de datos de observación terrestre, permitiendo escalar proyectos de monitoreo ambiental y urbano sin depender de presupuestos de anotación masivos.