Resumo Técnico: FARCLUSS

Declaração do Problema

A segmentação semântica semi-supervisionada (SSSS) visa alcançar um desempenho comparável ao de modelos totalmente supervisionados, aproveitando um pequeno conjunto de imagens rotuladas junto com dados abundantes não rotulados. No entanto, as abordagens existentes enfrentam três limitações persistentes:

1. Utilização Ineficaz de Pseudo-Rótulos: Os métodos atuais frequentemente dependem de limiares de confiança rigorosos para gerar pseudo-rótulos rígidos (hard pseudo-labels). Isso descarta regiões "incertas" (ex: bordas de objetos ou áreas ocluídas) onde as probabilidades de predição são ambíguas, perdendo assim sinais de supervisão valiosos e reforçando o viés de confirmação.
2. Desequilíbrio de Classes: Em conjuntos de dados de cauda longa (long-tailed), os pseudo-rótulos tendem a ser enviesados para classes dominantes (ex: estrada, céu), fazendo com que classes minoritárias (ex: placas de trânsito, postes) sejam sub-representadas e mal otimizadas.
3. Ineficiência Computacional: Métodos que empregam aprendizado contrastivo para melhorar a discriminabilidade de características frequentemente incorrem em altos custos computacionais devido a extensas comparações de pares de pixels ou arquiteturas de redes duplas, limitando a escalabilidade.

Metodologia

Os autores propõem o FARCLUSS (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning), um framework unificado construído sobre uma arquitetura padrão professor-aluno (teacher-student). O método integra quatro componentes principais para abordar os desafios mencionados:

1. Pseudo-Rotulagem Difusa (Fuzzy Pseudo-Labeling)

Em vez de descartar pixels que não atendem a um alto limiar de confiança, o FARCLUSS retém as top-$K$ probabilidades de classe para cada pixel.

• Mecanismo: Para um mapa de probabilidade gerado pelo professor, as top-$K$ classes são selecionadas. Uma distribuição de rótulo difusa suave é computada normalizando essas probabilidades.
• Benefício: Isso preserva distribuições de classes suaves e relações interclasses em regiões ambíguas (ex: bordas entre "calçada" e "estrada"), transformando a incerteza em um sinal de aprendizado construtivo em vez de um passivo.

2. Ponderação Dinâmica Consciente de Incerteza

Para mitigar o ruído introduzido por predições incertas, o framework modula a influência de cada pixel durante o treinamento.

• Mecanismo: Pesos por pixel são atribuídos com base na entropia ($H$) normalizada da predição do professor. O peso é definido como $W = 1 - H$.
• Benefício: Pixels com alta incerteza (alta entropia) recebem pesos menores, enquanto predições confiantes são amplificadas. Isso atua como um currículo suave, reduzindo o peso de regiões ruidosas sem descartá-las completamente.

3. Rebalanceamento de Classe Adaptativo

Para neutralizar o viés em direção às classes majoritárias nos pseudo-rótulos, a função de perda é ajustada dinamicamente por lote (batch).

• Mecanismo: Pesos de classe ($w_c$) são computados com base na frequência de pixels pseudo-rotulados no lote atual. Os autores utilizam um normalizador baseado na mediana: $w_c = \text{mediana}(F) / (F_c + \epsilon)$, onde $F_c$ é a frequência da classe $c$.
• Benefício: Esta abordagem estatística robusta garante que as classes minoritárias recebam foco de otimização adequado sem a instabilidade causada pela ponderação de frequência inversa ou a inflação causada pela ponderação baseada na média.

4. Regularização Contrastiva Leve

Para aumentar a discriminabilidade das características sem o custo de comparações de pares, o método emprega uma perda contrastiva baseada em protótipos.

• Mecanismo: Protótipos específicos de classe (centroides) são computados como a média do embedding de pixels com pseudo-rótulos difusos confiantes. A perda penaliza a distância de cosseno entre os embeddings dos pixels e seus respectivos protótipos de classe.
• Benefício: Isso promove a compacidade intra-classe e a separação inter-classe com complexidade $O(N \cdot d)$, evitando o custo $O(N^2 \cdot d)$ de métodos de pares como o ReCo.

Principais Contribuições

O artigo resume suas contribuições da seguinte forma:

• Pseudo-Rotulagem Difusa: Constrói distribuições de rótulos suaves a partir das top-$K$ probabilidades, preservando a ambiguidade como um sinal de aprendizado.
• Ponderação Dinâmica Consciente de Incerteza: Usa a entropia normalizada para modular o impacto do pseudo-rótulo por pixel, reduzindo o ruído de regiões ambíguas.
• Rebalanceamento Adaptativo: Escala dinamicamente as perdas com base nas frequências de pseudo-rótulos por lote para melhorar o aprendizado de classes minoritárias sem heurísticas manuais.
• Regularização Contrastiva Leve: Utiliza aprendizado contrastivo baseado em protótipos para evitar operações de pares dispendiosas, enquanto promove a compacidade das características.

Resultados Experimentais

Experimentos extensivos foram conduzidos nos conjuntos de dados Pascal VOC (Classic e Blended) e Cityscapes usando backbones ResNet-50 e ResNet-101.

• Desempenho: O FARCLUSS supera consistentemente os métodos de estado da arte (incluindo UniMatch, CorrMatch e PS-MT) em várias proporções de dados rotulados (1/16 a 1/2).
  • No Pascal VOC Classic, ele alcança pontuações de mIoU superiores, excedendo o UniMatch em 0,4–1,2 mIoU na maioria das divisões.
  • No Cityscapes, ele alcança resultados de topo (ex: 81,0 mIoU com ResNet-101 na proporção de 1/2), mostrando ganhos pronunciados particularmente em classes sub-representadas e regiões de borda.
• Eficiência: O método alcança esses resultados com um design de rede única, evitando o overhead de correspondência de correlação do CorrMatch ou a complexidade de rede dupla do CPS. Ele iguala a eficiência de dados de métodos recentes como UniMatch e CW-BASS.
• Estudos de Ablação:
  • A remoção da rotulagem difusa causou a maior queda de desempenho (-6,2 mIoU no Pascal), confirmando seu papel na retenção de supervisão informativa.
  • O rebalanceamento de classe baseado na mediana superou as estratégias de média inversa, média e média harmônica.
  • A rotulagem difusa top-$K$ ($K=2$) provou ser superior à filtragem por limiar fixo, pois retém 100% dos pixels enquanto restringe a distribuição de rótulos a classes plausíveis.
  • A perda contrastiva baseada em protótipos alcançou precisão comparável aos métodos de pares (ReCo, U2PL) com uso significativamente menor de memória e tempo de treinamento.

Significância e Alegações

O artigo afirma que o FARCLUSS representa uma solução holística que transforma a incerteza de um passivo em um ativo de aprendizado. Ao abordar sistematicamente o ruído de pseudo-rótulos, o desequilíbrio de classes e o overhead computacional dentro de um framework unificado, o método permite um aprendizado mais informativo e equilibrado.

Os autores enfatizam que sua abordagem é particularmente significativa para:

1. Regiões Ambíguas: A rotulagem difusa e a ponderação de entropia permitem que o modelo aprenda com regiões de borda que são tipicamente descartadas por métodos de limiarização.
2. Classes Minoritárias: O mecanismo de rebalanceamento adaptativo visa especificamente os problemas de distribuição de cauda longa inerentes aos conjuntos de dados de segmentação semântica.
3. Escalabilidade: A regularização contrastiva leve e o design de rede única garantem que o método escale eficientemente para grandes conjuntos de dados sem sacrificar a precisão.

O trabalho conclui que o FARCLUSS estabelece um novo direcionamento para o aprendizado guiado por incerteza e eficiente em recursos em cenários de segmentação semântica semi-supervisionada.