Resumen Técnico: FARCLUSS

Declaración del Problema

La segmentación semántica semi-supervisada (SSSS) busca lograr un rendimiento comparable al de los modelos totalmente supervisados aprovechando un pequeño conjunto de imágenes etiquetadas junto con abundantes datos no etiquetados. Sin embargo, los enfoques actuales enfrentan tres limitaciones persistentes:

1. Utilización Ineficaz de las Pseudo-etiquetas: Los métodos actuales suelen depender de umbrales de confianza estrictos para generar pseudo-etiquetas duras (hard pseudo-labels). Esto descarta regiones "inciertas" (por ejemplo, límites de objetos o áreas ocluidas) donde las probabilidades de predicción son ambiguas, perdiendo así valiosas señales de supervisión y reforzando el sesgo de confirmación.
2. Desequilibrio de Clases: En conjuntos de datos de cola larga (long-tailed), las pseudo-etiquetas tienden a estar sesgadas hacia las clases dominantes (por ejemplo, carretera, cielo), lo que provoca que las clases minoritarias (por ejemplo, señales de tráfico, postes) estén subrepresentadas y mal optimizadas.
3. Ineficiencia Computacional: Los métodos que emplean el aprendizaje contrastivo para mejorar la discriminabilidad de las características incurren a menudo en altos costos computacionales debido a las extensas comparaciones de pares de píxeles o arquitecturas de doble red, lo que limita su escalabilidad.

Metodología

Los autores proponen FARCLUSS (Aprendizaje de Incertidumbre Contrastiva y Reequilibrio Adaptativo Difuso), un marco unificado construido sobre una arquitectura estándar de profesor-estudiante (teacher-student). El método integra cuatro componentes principales para abordar los desafíos mencionados anteriormente:

1. Etiquetado Difuso de Pseudo-etiquetas

En lugar de descartar los píxeles que no cumplen con un alto umbral de confianza, FARCLUSS retiene las $K$ probabilidades de clase más altas para cada píxel.

• Mecanismo: Para un mapa de probabilidad generado por el profesor, se seleccionan las $K$ clases superiores. Se calcula una distribución de etiquetas difusas suaves mediante la normalización de estas probabilidades.
• Beneficio: Esto preserva las distribuciones de clases suaves y las relaciones interclase en regiones ambiguas (por ejemplo, los límites entre "acera" y "carretera"), transformando la incertidumbre en una señal de aprendizaje constructiva en lugar de una desventaja.

2. Ponderación Dinámica Consciente de la Incertidumbre

Para mitigar el ruido introducido por las predicciones inciertas, el marco modula la influencia de cada píxel durante el entrenamiento.

• Mecanismo: Se asignan pesos por píxel basados en la entropía ($H$) normalizada de la predicción del profesor. El peso se define como $W = 1 - H$.
• Beneficio: Los píxeles con alta incertidumbre (alta entropía) reciben pesos más bajos, mientras que las predicciones confiables son amplificadas. Esto actúa como un currículo suave, reduciendo el peso de las regiones ruidosas sin descartarlas por completo.

3. Reequilibrio de Clases Adaptativo

Para contrarrestar el sesgo hacia las clases mayoritarias en las pseudo-etiquetas, la función de pérdida se ajusta dinámicamente por lote (batch).

• Mecanismo: Los pesos de clase ($w_c$) se calculan basándose en la frecuencia de los píxeles con pseudo-etiquetas en el lote actual. Los autores utilizan un normalizador basado en la mediana: $w_c = \text{mediana}(F) / (F_c + \epsilon)$, donde $F_c$ es la frecuencia de la clase $c$.
• Beneficio: Este enfoque estadístico robusto asegura que las clases minoritarias reciban un enfoque de optimización adecuado sin la inestabilidad causada por el ponderado de frecuencia inversa o la inflación causada por el ponderado de media.

gebra 4. Regularización Contrastiva Ligera

Para mejorar la discriminabilidad de las características sin la carga de las comparaciones por pares, el método emplea una pérdida contrastiva basada en prototipos.

• Mecanismo: Los prototipos de clase (centroides) se computan como la media de las incrustaciones (embeddings) de los píxeles con pseudo-etiquetas difusas confiables. La pérdida penaliza la distancia de coseno entre las incrustaciones de los píxeles y sus correspondientes prototipos de clase.
• Beneficio: Esto promueve la compacidad intra-clase y la separación inter-clase con una complejidad de $O(N \cdot d)$, evitando el costo de $O(N^2 \cdot d)$ de los métodos por pares como ReCo.

Principales Contribuciones

El artículo resume sus contribuciones de la siguiente manera:

• Etiquetado de Pseudo-etiquetas Difusas: Construye distribuciones de etiquetas suaves a partir de las $K$ probabilidades superiores, preservando la ambigüedad como una señal de aprendizaje.
• Ponderación Dinámica Consciente de la Incertidumbre: Utiliza la entropía normalizada para modular el impacto de las pseudo-etiquetas por píxel, reduciendo el ruido de las regiones ambiguas.
• Reequilibrio Adaptativo: Escala dinámicamente las pérdidas basadas en las frecuencias de las pseudo-etiquetas por lote para mejorar el aprendizaje de las clases minoritarias sin heurísticas manuales.
• Regularización Contrastiva Ligera: Utiliza el aprendizaje contrastivo basado en prototipos para evitar operaciones por pares costosas mientras promueve la compacidad de las características.

Resultados Experimentales

Se realizaron experimentos extensos en los conjuntos de datos Pascal VOC (Clásico y Mezclado) y Cityscapes utilizando arquitecturas base ResNet-50 y ResNet-101.

• Rendimiento: FARCLUSS supera consistentemente a los métodos de vanguardia (incluyendo UniMatch, CorrMatch y PS-MT) en diversas proporciones de datos etiquetados (de 1/16 a 1/2).
  • En Pascal VOC Classic, logra puntuaciones de mIoU superiores, superando a UniMatch por 0.4–1.2 mIoU en la mayoría de las divisiones.
  • En Cityscapes, alcanza resultados de primer nivel (por ejemplo, 81.0 mIoU con ResNet-101 en la proporción 1/2), mostrando particularmente ganancias pronunciadas en clases subrepresentadas y regiones de límites.
• Eficiencia: El método logra estos resultados con un diseño de red única, evitando la sobrecarga de correspondencia de CorrMatch o la complejidad de doble red de CPS. Igualar la eficiencia de datos de métodos recientes como UniMatch y CW-BASS.
• Estudios de Ablación:
  • Eliminar el etiquetado difuso causó la mayor caída de rendimiento (-6.2 mIoU en Pascal), confirmando su papel en la retención de supervisión informativa.
  • El reequilibrio de clases basado en la mediana superó a las estrategias de media, inversa y media armónica.
  • El etiquetado difuso Top-$K$ ($K=2$) resultó superior al filtrado de umbral fijo, ya que retiene el 100% de los píxeles mientras restringe la distribución de etiquetas a clases plausibles.
  • La pérdida contrastiva basada en prototipos logró una precisión comparable a los métodos por pares (ReCo, U2PL) con un uso significativamente menor de memoria y tiempo de entrenamiento.

Significado y Reivindicaciones

El artículo afirma que FARCLUSS representa una solución integral que transforma la incertidumbre de una desventaja en un activo de aprendizaje. Al abordar sistemáticamente el ruido de las pseudo-etiquetas, el desequilibrio de clases y la sobrecarga computacional dentro de un marco unificado, el método permite un aprendizaje más informativo y equilibrado.

Los autores enfatizan que su enfoque es particularmente significativo para:

1. Regiones Ambiguas: El etiquetado difuso y la ponderación de entropía permiten al modelo aprender de las regiones de los límites que típicamente son descartadas por los métodos de umbralización.
2. Clases Minoritarias: El mecanismo de reequilibrio adaptativo se dirige específicamente a los problemas de distribución de cola larga inherentes a los conjuntos de datos de segmentación semántica.
3. Escalabilidad: La regularización contrastiva ligera y el diseño de red única aseguran que el método escale eficientemente a grandes conjuntos de datos sin sacrificar la precisión.

El trabajo concluye que FARCLUSS establece una nueva dirección para el aprendizaje guiado por la incertidumbre y eficiente en recursos en escenarios de segmentación semántica semi-supervisada.