Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift

Resumo Técnico: Flips de Rótulo Semântico em Segmentação sob Deslocamento de Correlação

1. O Problema

A robustez de modelos de aprendizado de máquina é frequentemente comprometida por correlações espúrias entre características não causais nos dados de entrada e os rótulos-alvo. Embora esse fenômeno seja bem estudado em tarefas de classificação (onde o modelo aprende "atalhos" baseados em contexto), a literatura sobre segmentação semântica ainda não compreende totalmente os modos de falha específicos sob deslocamento de distribuição.

O artigo identifica um modo de falha específico e negligenciado: o Flip de Rótulo Semântico. Diferente de falhas geométricas (onde a máscara colapsa, fragmenta ou se desloca), o modelo pode:

1. Manter uma extensão de primeiro plano (foreground) geometricamente correta e plausível.
2. No entanto, atribuir a identidade semântica errada dentro dessa região (ex: classificar um "gato" como "cão" ou um "pássaro de terra" como "pássaro de água"), baseando-se em pistas de contexto espúrias em vez de evidências do objeto em si.

Métricas tradicionais de sobreposição, como mIoU (Intersection over Union) ou Dice, podem mascarar esse problema, pois penalizam apenas a falta de sobreposição geométrica, não distinguindo entre um objeto perdido e um objeto identificado incorretamente.

2. Metodologia

Protocolo Experimental:
Os autores adaptam o protocolo padrão de "deslocamento de correlação" (correlation shift) para predição densa (segmentação).

• Mecanismo: Durante o treinamento, a associação entre o rótulo da classe ($Y$) e um atributo de contexto espúrio ($A$) é controlada por um parâmetro de correlação $\rho$.
  • $\rho = 0.5$: Treinamento balanceado (sem correlação espúria).
  • $\rho = 0.95$: Treinamento fortemente enviesado (o contexto prediz a classe com 95% de certeza).
• Avaliação: O teste é realizado em divisões balanceadas que incluem todas as combinações de ($Y$, $A$), incluindo grupos contrafactuais (onde a correlação treinada é quebrada, ex: um gato em um ambiente externo, se o modelo foi treinado para ver gatos apenas em ambientes internos).

Datasets Utilizados:

1. WATERBIRDS-SEG: Uma adaptação do dataset WATERBIRDS para segmentação, utilizando máscaras do dataset CUB.
   • Classes: Pássaro de terra vs. Pássaro de água.
   • Contexto: Terra vs. Água.
2. COCO-CD: Um cenário real baseado no COCO, focado em categorias confusáveis.
   • Classes: Gato vs. Cão.
   • Contexto: Ambiente interno vs. Ambiente externo.

Arquiteturas e Treinamento:

• Modelos: U-Net com dois backbones (ResNet-50 e MiT-B2/SegFormer).
• Funções de Perda Comparadas: Cross-Entropy (CE), Dice + CE, Group DRO (para robustez de grupo) e CutMix restrito ao fundo (para perturbar o contexto sem alterar o primeiro plano).

3. Contribuições Principais

1. Identificação de um Modo de Falha Específico: O trabalho demonstra que, sob deslocamento de correlação, modelos podem preservar a localização geométrica do objeto enquanto trocam a identidade semântica entre classes confusáveis.
2. Novas Métricas de Diagnóstico:
   • Flip Rate: Uma métrica que conta a frequência de pixels de primeiro plano (ground truth) que são previstos corretamente como primeiro plano, mas com a identidade errada.
   • Decomposição de Erro Condicionada ao Primeiro Plano: Separa os erros em três categorias mutuamente exclusivas sobre os pixels de primeiro plano reais:
     • FG-Corr: Identidade correta.
     • FG-Flip: Identidade trocada (o foco do estudo).
     • FG-Miss: Primeiro plano perdido (previsto como fundo).
   • Flip-Risk Score (Sem Ground Truth): Uma pontuação baseada em entropia calculada a partir da incerteza da identidade do primeiro plano durante a inferência. Permite monitorar o risco de "flip" em produção sem necessidade de rótulos verdadeiros.
3. Protocolo Adaptado: A aplicação formal do protocolo de deslocamento de correlação para tarefas de predição densa em dois datasets distintos.

4. Resultados Chave

• Impacto da Correlação: Aumentar a correlação no treinamento ($\rho$ de 0.5 para 0.95) amplia consistentemente a lacuna de desempenho entre grupos alinhados e contrafactuais.
• Dominância do Flip: Em cenários de alta correlação, o aumento no erro não se deve principalmente à perda de localização (aumento de FG-Miss), mas sim a um aumento significativo nas trocas de identidade (FG-Flip). O modelo "vê" o objeto, mas erra o que ele é.
• Limitações das Técnicas de Mitigação:
  • Otimização de pior grupo (Group DRO) e aumento de dados (CutMix) melhoram a sobreposição geral e reduzem a instabilidade em grupos de risco médio, mas não eliminam completamente os flips nos casos de maior risco (cauda de alta incerteza).
  • Métricas de sobreposição (mIoU) podem parecer estáveis ou até melhorar, enquanto a estabilidade semântica degrada drasticamente.
• Eficácia do Flip-Risk: O score baseado em entropia consegue estratificar as previsões. As previsões com maior risco de entropia concentram a maioria dos erros de "flip", permitindo triagem em tempo de inferência.
• Análise de Mecanismo: Experimentos de "máscara" (Oracle-FG) mostram que a confusão de identidade persiste mesmo quando o contexto de fundo é removido, indicando que a forte correlação no treinamento altera a representação interna do próprio objeto, tornando-o dependente do contexto.

5. Significado e Conclusão

O artigo oferece uma mudança de paradigma na avaliação de robustez em segmentação semântica:

• Crítica às Métricas Atuais: Métricas baseadas apenas em sobreposição geométrica são insuficientes para detectar falhas semânticas sutis sob deslocamento de distribuição.
• Recomendação Prática: A avaliação de robustez deve decompor os erros de primeiro plano, distinguindo entre "onde o objeto está" (localização) e "o que o objeto é" (identidade).
• Aplicabilidade: A métrica de risco de flip (Flip-Risk) oferece uma ferramenta leve e prática para monitoramento de modelos em produção, permitindo identificar e rejeitar (ou revisar) previsões onde a identidade semântica é incerta, mesmo que a máscara pareça geometricamente correta.

Em suma, o trabalho alerta que um modelo de segmentação pode ser "geometricamente correto, mas semanticamente errado", um risco crítico em aplicações de alta segurança como diagnóstico médico ou condução autônoma.