Resumo Técnico: Estrutura de Dupla Orientação para Segmentação Semântica Semissupervisionada via Incerteza e Protótipos

1. Declaração do Problema

A segmentação semântica semissupervisionada (SSSS) visa reduzir a dependência de anotações densas ao nível de pixel, aproveitando dados não rotulados abundantes. As abordagens atuais de estado da arte utilizam predominantemente um framework de consistência "fraco-para-forte", onde pseudo-rótulos gerados a partir de visões fracamente aumentadas guiam o aprendizado de visões fortemente aumentadas.

No entanto, os métodos existentes enfrentam duas limitações críticas:

1. Pseudo-Rótulos Ruidosos e Viés de Confirmação: A dependência de limiares estáticos de alta confiança (baseados em probabilidades softmax) frequentemente falha em considerar a superconfiança inerente às redes neurais profundas. Isso leva à inclusão de previsões errôneas e ao descarte de pixels informativos próximos às bordas dos objetos.
2. Representação de Características Pobre: Os métodos tradicionais são "voltados para dentro", operando primariamente no espaço de logits de saída. Eles carecem de uma regularização explícita do espaço de características latentes, resultando em representações semânticas mal separadas, especialmente para classes morfologicamente semelhantes. Isso faz com que as fronteiras de decisão se tornem borradas e os clusters de características se sobreponham.

2. Metodologia

Os autores propõem uma Estrutura de Dupla Orientação (Dual-Guidance Framework) que refina conjuntamente o espaço de predição e regulariza o espaço de representação. A estrutura é construída sobre o paradigma UniMatch (usando DeepLabv3+ com um backbone ResNet-101) e introduz dois módulos sinérgicos:

A. Refinamento de Pseudo-Rótulo Dinâmico Consciente de Incerteza (UADPR)

Este módulo aborda a confiabilidade dos pseudo-rótulos no espaço de predição.

• Mecanismo: Em vez de usar limiares estáticos, o UADPR emprega Dropout de Monte Carlo (MC Dropout) para realizar $T$ passagens estocásticas em imagens fracamente aumentadas.
• Estimativa de Incerteza: A incerteza ao nível do pixel é quantificada usando a entropia da distribuição de predição média.
• Limiarização Dinâmica: Um limiar de confiança global $\tau(k)$ é ajustado dinamicamente com base na incerteza normalizada por lote e na época de treinamento. Isso permite que o modelo seja menos conservador durante o início do treinamento (quando a incerteza é alta) e mais rigoroso conforme o modelo se estabiliza.
• Ponderação de Confiabilidade: Um peso contínuo $w_i$ é atribuído a cada pixel de pseudo-rótulo válido, combinando o escore de confiança com o inverso da incerteza. Isso garante que o modelo foque em regiões confiáveis enquanto avalia cautelosamente bordas ambíguas.
• Funções de Perda: O módulo otimiza uma combinação de perda de pseudo-rótulo (ponderada pela incerteza), regularização de consistência entre visões fracas e fortes, e minimização de entropia.

B. Orientação Contrastiva de Protótipo de Classe (CPCG)

Este módulo aborda a confusão de características no espaço de representação.

• Protótipos Dinâmicos: A estrutura mantém um banco global de protótipos de classe, atualizado via Média Móvel Exponencial (EMA) de características de pixels rotulados e confiantes.
• Aprendizado Contrastivo Consciente de Variância: Reconhecendo que a variância intra-classe difere entre categorias semânticas, o CPCG introduz um parâmetro de temperatura adaptativa de classe. Ele escala a perda contrastiva com base na variância das características dentro de cada classe.
• Mineração de Negativos Difíceis (Hard Negative Mining): Para aguçar as bordas entre classes confusas, o módulo minera os top-$K$ protótipos negativos mais confusos (negativos difíceis) e foca a perda contrastiva em repelir as características dessas classes específicas.
• Fusão de Rótulos: A similaridade guiada por protótipo é fundida com as predições médias de MC para gerar um "pseudo-rótulo de orientação rígida". Essa atribção de rótulos utiliza tanto a confiança de predição quanto a afinidade semântica ao nível de característica.
• Funções de Perda: O módulo otimiza uma perda de protótipo contrastiva, um termo de consistência de protótipo entre amostras (para evitar deriva) e uma perda de negativo difícil.

C. Interação Sinérgica

Os dois módulos operam em um ciclo fechado:

1. O UADPR filtra alvos ruidosos, fornecendo supervisão ponderada por incerteza que estabiliza as atualizações de protótipos no CPCG.
2. O CPCG organiza o espaço de características, criando clusters semânticos estruturados que geram mapas de similaridade mais precisos. Esses mapas são fundidos de volta na geração de pseudo-rótulos, melhorando a qualidade dos rótulos para o UADPR.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Módulo UADPR: Um mecanismo inovador que estima a incerteza ao nível do pixel via MC Dropout para estabelecer um sistema de limiarização de confiança adaptativo e ponderação de confiabilidade, mitigando efetivamente o viés de confirmação no espaço de predição.
2. Módulo CPCG: Uma abordagem de regularização de características utilizando protótipos dinâmicos atualizados por EMA, escalonamento de temperatura adaptativo consciente de variância e mineração de negativos difíceis para garantir compacidade intra-classe e separabilidade inter-classe.
3. Estrutura Integrada: Experimentos extensos demonstram que a abordagem de dupla orientação alcança um desempenho competitivo sob protocolos padrão, mostrando robustez particular em cenários de escassez de dados, onde os dados rotulados são extremamente limitados.

4. Resultados Experimentais

A estrutura foi avaliada nos conjuntos de dados PASCAL VOC 2012 e Cityscapes, seguindo o protocolo UniMatch com DeepLabv3+ e ResNet-101.

• PASCAL VOC 2012:
  • No cenário de escassez extrema de dados (92 imagens rotuladas), o método proposto alcançou 78,16% de mIoU, superando a linha de base do UniMatch (75,18%) por +2,98% e ultrapassando competidores fortes recentes como CSL (76,80%) e AllSpark (76,07%).
  • Com 732 imagens rotuladas, o método atingiu 82,94% de mIoU, um aumento de +3,02% sobre a linha de base.
• Cityscapes:
  • Na divisão de 1/16 rotulados (186 imagens), o método alcançou 79,08% de mIoU, excedendo a linha de base do UniMatch em +2,46%.
  • O desempenho escalou efetivamente para a divisão de 1/2, atingindo 82,12% de mIoU.
• Estudos de Ablação:
  • A integração do UADPR sozinho melhorou o mIoU do VOC 92-split em +2,44%.
  • A integração do CPCG sozinho melhorou o mesmo em +2,28%.
  • A estrutura combinada rendeu os maiores ganhos (+2,98%), confirmando o efeito sinérgico dos dois módulos.
• Análise Qualitativa: Visualizações (t-SNE, mapas de incerteza e máscaras de segmentação) confirmaram que a estrutura produz clusters intra-classe mais compactos, margens inter-classe mais claras e pseudo-rótulos espacialmente mais coerentes, particularmente em regiões de borda ambíguas e estruturas finas.

5. Significância e Alegações

O artigo afirma que a proposta estrutura de Dupla Orientação consegue preencher a lacuna entre o refinamento de pseudo-rótulo e a regularização de nível de característica. Ao modelar explicitamente a incerteza de predição e impor estrutura semântica no espaço latente, o método aborda as fraquezas centrais das abordagens atuais de SSSS baseadas em consistência: o viés de confirmação e a confusão de características.

Os autores asseveram que sua abordagem é particularmente eficaz em cenários de escassez de dados, onde a capacidade de filtrar ruídos dinamicamente e organizar características é crítica. Eles concluem que estender o auto-treinamento tradicional do espaço de saída para incluir o alinhamento explícito de representação oferece uma direção promissora para melhorar tarefas de visão com eficiência de rótulos.

Limitações Reconhecidas:
Os autores observam que a dependência de Dropout de Monte Carlo aumenta o uso de memória e o tempo de treinamento devido às múltiplas passagens estocásticas. Além disso, reconhecem que o banco de protótipos pode ser menos estável para classes raras em mini-batches e que pseudo-rótulos incorretos, porém altamente confiantes, ainda podem afetar temporariamente as atualizações de protótipos.