Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

Resumo Técnico: Avaliação de Referência do Alinhamento entre Métricas de Qualidade de Dados, Julgamento Humano e Desempenho de Segmentação de Cobertura da Terra para Observação da Terra

Declaração do Problema
O treinamento de modelos de aprendizado profundo para observação da Terra (EO - Earth Observation) é frequentemente limitado pelo volume e qualidade dos conjuntos de dados disponíveis. Embora a aumentação de dados sintéticos via modelos generativos profundos (ex: GANs, Modelos de Difusão) ofereça uma solução, avaliar a utilidade real desses dados sintéticos continua sendo um desafio. As práticas de avaliação padrão baseiam-se em métricas de distância ao nível de distribuição (ex: FID - Fréchet Inception Distance, KID - Kernel Inception Distance, IS - Inception Score) computadas no espaço latente de redes pré-treinadas em conjuntos de dados genéricos como o ImageNet.

O problema central identificado é que essas métricas, otimizadas para imagens naturais com composições centradas em objetos, podem não se transferir efetivamente para o domínio especializado de EO. As imagens de EO são caracterizadas por pontos de vista zenitais (de cima para baixo), orientações arbitrárias e informações semânticas distribuídas. Consequentemente, as métricas padrão podem falhar em refletir a utilidade em tarefas de uso posterior (downstream), divergir da percepção humana sob perturbações imperceptíveis ou serem induzidas por memorização estrutural que suprime detalhes de alta frequência cruciais para tarefas de segmentação. Há uma falta de investigação sistemática sobre como as métricas automáticas, a percepção humana e o desempenho de tarefas de uso posterior se alinham neste domínio específico.

Metodologia
Os autores conduziram um estudo de alinhamento tripartido abrangente utilizando conjuntos de dados reais e sintéticos de sensoriamento remoto cobrindo diversas regiões geográficas (Turquia, Europa, Coreia do Sul e Califórnia-Nevada). O estudo integrou três pilares de avaliação distintos:

1. Experimentos de Perturbação: Sete métricas quantitativas (FID, KID, IS, LPIPS, SSIM, PSNR) foram avaliadas contra seis transformações de imagem específicas: ruído Gaussiano, deformação de perspectiva, rotação, inversão (flipping), recorte redimensionado (resized cropping) e uma transformação combinada. Isso testou a robustez das métricas contra mudanças que preservam ou alteram a semântica.
2. Estudo de Percepção Humana: Um questionário de quatro estágios envolvendo 88 participantes avaliou:
   • Alinhamento de Augmentação: Capacidade de identificar cenas idênticas sob transformações geométricas.
   • Utilidade de Uso Posterior: Capacidade de associar imagens de observação da Terra com suas respectivas máscaras de segmentação de cobertura da terra (testando a interpretabilidade de pares reais vs. sintéticos).
   • Preferência de Geração Condicional: Preferência entre saídas de diferentes arquiteturas generativas (Stable Diffusion, U-Net GAN, StyleGAN3) dado uma máscara de condicionamento.
   • Avaliação de Realismo: Classificação em escala Likert (1–5) do realismo da imagem entre conjuntos de dados reais e sintéticos.
3. Benchmark de Tarefa de Uso Posterior: Modelos de segmentação semântica (incluindo UNet, DeepLabV3+, SegFormer, etc.) foram treinados em misturas variadas de dados reais e sintéticos. O desempenho foi medido via escores F1 para determinar se os dados sintéticos melhoraram as bases (baselines) apesar de possíveis baixos índices de fidelidade.

Principais Contribuições

• Vulnerabilidade de Métricas Generativas: O estudo demonstra que métricas de distribuição no espaço latente amplamente utilizadas são altamente sensíveis a perturbações menores que preservam a semântica (ex: rotação), o que altera drasticamente os escores sem afetar o reconhecimento humano.
• Linha de Base de Percepção Humana: Um estudo de quatro estágios quantificando a precisão do reconhecimento humano, preferência visual e carga cognitiva, fornecendo uma referência humana para avaliar a validade das métricas de qualidade automatizadas.
• Análise de Alinhamento Tripartido: Uma análise quantitativa revelando discrepâncias significativas entre a percepção humana, métricas automatizadas e o desempenho de modelos de uso posterior, expondo modos de falha na avaliação automatizada padrão.
• Benchmark de Segmentação de Cobertura da Terra: Evidência de que a fidelidade visual (medida por FID) não prevê de forma confiável o desempenho de tarefas de uso posterior. Dados sintéticos com baixos escores automáticos podem melhorar as bases de dados reais quando combinados, enquanto altos índices de fidelidade não garantem utilidade.

Resultos

• Instabilidade de Métricas: As métricas automáticas mostraram alta volatilidade sob perturbações. Por exemplo, a rotação aumentou o FID do conjunto de dados ARAS-Test de 2.09 para 36.51, enquanto a precisão humana caiu apenas de 97.13% para 94.05%. Por outro lado, ruídos e perturbações combinadas causaram a degradação mais significativa na percepção de cena humana, mas também foram os mais prejudiciais aos escores das métricas.
• Percepção vs. Métricas: Conjuntos de dados sintéticos frequentemente receberam escores FID menores do que conjuntos de dados reais, mas foram percebidos como igualmente ou mais realistas pelos humanos. Por exemplo, o conjunto de dados sintético ARAS-SGAN3 (FID ~16.85) foi classificado como mais realista (µ=3.43) do que conjuntos de dados reais como BELDE (µ=3.32) e BELDE-CA-NV (µ=3.09), apesar destes últimos possuírem escores FID significativamente melhores em algumas comparações.
• Desacoplamento de Utilidade: Foi encontrado um desalinhamento acentuado entre os escores FID e a utilidade de uso posterior. Aumentar os dados reais com dados sintéticos gerados por CUGAN degradou o escore FID de 2.09 para 21.27, mas melhorou o escore F1 de segmentação de uso posterior de 76.5% para 77.6%. Da mesma forma, a preferência humana por realismo (ex: BELDE-K vs. BELDE-CA-NV) não correlacionou com o desempenho do modelo de segmentação naqueles conjuntos de dados.
• Preferências de Modelo: Em tarefas de geração condicional, os modelos Stable Diffusion treinados em ARAS400k foram os mais preferidos pelos humanos (39%), embora tenham recebido os menores escores de realismo isolados (2.51), indicando que a fidelidade a uma máscara de condicionamento e o realismo percebido são propriedades distintas.

Significância e Alegações
O artigo argumenta que a avaliação automática de qualidade de conjuntos de dados sintéticos para observação da Terra não pode depender apenas de métricas enraizadas em espaços de características pré-treinados no ImageNet. Os autores afirmam que:

1. Métricas são Proxies Não Confiáveis: Métricas padrão como FID são indicadores não confiáveis para dados geoespaciais porque são hiper-sensíveis a mudanças estruturais de baixo nível (como rotação) que são irrelevantes para observadores humanos e tarefas de uso posterior.
2. A Utilidade é Desacoplada da Fidelidade: Alta fidelidade visual (baixo FID) não garante alta utilidade de uso posterior, e dados sintéticos com baixos escores de fidelidade ainda podem aumentar o desempenho do modelo quando misturados com dados reais.
3. Necessidade de Avaliação Holística: Um framework de avaliação confiável deve considerar conjuntamente métricas quantitativas, percepção humana e o desempenho de tarefas de uso posterior. Nenhum eixo único é suficiente, particularmente dado o desvio de domínio entre imagens naturais e imagens de observação da Terra.

Os autores concluem que otimizar modelos generativos puramente para a minimização de métricas automáticas corre o risco de priorizar a "limpeza visual" em vez da utilidade genuína dos dados, e que trabalhos futuros devem visar o desenvolvimento de métricas que sejam robustas a perturbações, alinhadas com a percepção humana e preditivas do desempenho de tarefas de uso posterior.