Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

Resumo Técnico: Fidelidade de Máscara Contrastiva (CMF)

Definição do Problema: O Paradoxo da Avaliação
A segmentação semântica em sensoriamento remoto enfrenta um "paradoxo da avaliação" fundamental. Modelos são treinados e avaliados contra máscaras desenhadas por humanos, que são convencionalmente tratadas como verdade absoluta (ground truth). No entanto, as anotações de sensoriamento remoto são frequentemente grosseiras, incompletas, desalinhadas ou excessivamente suavizadas devido à complexidade das imagens aéreas e de satélite (ex: objetos pequenos, cobertura terrestre heterogênea). Consequentemente, métricas de sobreposição padrão como o mIoU quantificam a concordância com rótulos potencialmente falhos, em vez da fidelidade à evidência visual. Uma máscara visualmente superior pode receber uma pontuação menor se desviar de uma anotação imperfeita. Métodos existentes de qualidade de rótulo geralmente dependem de modelos treinados na mesma distribuição de rótulos ruidosos, herdando os próprios vieses que pretendem detectar. Há uma carência de um adjudicador livre de referência capaz de comparar máscaras concorrentes (humano vs. modelo) diretamente contra a evidência da imagem sem designar nenhuma delas como a verdade absoluta.

Metodologia: O Pipeline GeoVeritas
Os autores propõem o GeoVeritas, um sistema de auditoria de três estágios, livre de treinamento, centrado na Fidelidade de Máscara Contrastiva (CMF).

1. Geração de Candidatos (Estágio I):
   O sistema utiliza o Seg-Probe, uma sonda de segmentação de vocabulário aberto livre de treinamento construída sobre o backbone congelado SegEarth-OV3 (que utiliza um codificador SAM 3 congelado). O Seg-Probe não é a contribuição principal, mas serve como uma fonte robusta de máscaras candidatas para desafiar as anotações humanas. Ele emprega três componentes livres de treinamento para gerar candidatos de alta qualidade:

   • Agrupamento de Evidência de Sinônimos (SEP): Agrega evidências de múltiplos comandos (prompts) sinônimos usando um log-sum-exp soft-OR para reduzir a dependência de nomes de classes específicos.
   • Evidência Multiescala (MSE): Extrai e alinha evidências de múltiplas escalas de imagem.
   • Aumentação de Tempo de Teste (TTA): Médias de evidências da visão original e de visões com inversão horizontal.

2. Pontuação de Fidelidade de Máscara Contrastiva (Estágio II):
   A CMF avalia a fidelidade de uma máscara binária $M_c$ para uma classe $c$ contra uma imagem $x$ usando um juiz de visão-linguagem externo e congelado (RemoteCLIP). O processo envolve a criação de duas visões contrafatuais da imagem:

   • Visão de Manutenção (Keep View, $x^k$): Revela apenas a região definida pela máscara $M_c$, enquanto desfoca o restante.
   • Visão de Apagamento (Erase View, $x^e$): Esconde a região $M_c$ (desfocando-a) enquanto revela o restante da imagem.

   O juiz computa a probabilidade $P(c|r)$ para cada visão usando um softmax com escala de temperatura sobre os textos das classes. A Pontuação de Fidelidade $F(M_c)$ é definida pela diferença:
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   Este design contrastivo garante que a pontuação reflita tanto a pureza (a região mantida contém a classe) quanto a completude (nenhuma evidência da classe permanece fora da máscara). Crucialmente, a normalização softmax e a natureza oposta dos dois termos reduzem a sensibilidade à inflação trivial da área da máscara.

3. Arbitragem e Correção de Rótulo (Estágio III):
   Para cada par imagem-classe, o sistema compara a pontuação de fidelidade da máscara candidata ($M^p_c$) contra a anotação humana ($M^a_c$). Se a diferença $\Delta F > 0$, o candidato é considerado mais fiel. Uma regra de arbitragem conservadora substitui o rótulo humano pela máscara candidata apenas se a margem $\Delta F$ exceder um limiar (padrão $\delta=0$), caso contrário, retém o rótulo humano para evitar a correção excessiva.

Principais Contribuições

• Métrica CMF: Uma métrica livre de referência e livre de treinamento que transforma o desacordo de máscara em um contraste de manutenção-apagamento condicionado à imagem, utilizando um juiz de visão-linguagem externo congelado para avaliar a fidelidade da máscara semântica.
• Auditoria em Larga Escala: Uma auditoria de 10.731 pares imagem-classe através de dez benchmarks de sensoriamento remoto (incluindo LoveDA, Potsdam, Vaihingen, etc.). O estudo revela distorções de anotação sistemáticas e dependentes de classe: classes feitas pelo homem (prédios, estradas, carros) favorecem candidatos de modelos em 62–85% dos casos, enquanto coberturas terrestres ambíguas frequentemente favorecem as anotações humanas.
• Validação por Especialistas: Em um conjunto de consenso cego de três anotadores, a CMF coincide com o julgamento de especialistas em 81% dos pares, superando a pontuação de manutenção única (keep-only), a confiança do modelo e uma linha de base de qualidade de rótulo treinada.
• Supervisão Acionável: Treinar um segmentador leve em rótulos arbitrados pela CMF produz um desempenho de transferência de domínio cruzado melhorado em comparação com modelos treinados em anotações brutas ou pseudo-rótulos puros, isolando o benefício do processo de arbitragem.

Resultos

• Desempenho do Seg-Probe: O Seg-Probe supera as linhas de base anteriores livres de treinamento em 9 de 10 conjuntos de dados, alcançando um mIoU médio de 56,3% (contra 55,4% do SegEarth-OV3), validando seu papel como um forte gerador de candidatos.
• Sensibilidade à Corrupção: A CMF foi calibrada em corrupções de máscara controladas e mostrou-se capaz de responder corretamente a erros conhecidos, mantendo a estabilidade contra variações de área de máscara.
• Transferência de Domínio Cruzado: Modelos treinados em rótulos arbitrados pela CMF demonstraram superior transferibilidade para domínios alvo não vistos em comparação com modelos treinados em anotações brutas ou controles de substituição correspondentes, confirmando que os ganhos derivam da seleção de rótulos de maior fidelidade, e não de uma simples destilação de pseudo-rótulos.

Significância
O artigo posiciona a CMF não como um método para substituir totalmente a anotação humana, mas como uma ferramenta escalável para auditar a verdade fundamental (ground truth). Ao tratar o rótulo de referência como uma hipótese, e não como uma verdade infalível, a CMF fornece um mecanismo para identificar e corrigir erros sistemáticos de anotação, particularmente para objetos bem delineados feitos pelo homem. Esta abordagem aborda o paradoxo da avaliação ao deslocar o foco do acordo com um rótulo para a fidelidade à evidência da imagem, oferecendo um caminho para uma supervisão mais confiável na segmentação semântica de sensoriamento remoto.