Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

Resumo Técnico: Avaliação com Ajuste de Prioridade de Classificadores Operacionais de Observação da Terra

Definição do Problema
Classificadores operacionais de observação da Terra frequentemente sofrem de um artefato sistemático de relatório causado por uma incompatibilidade entre a prioridade de classe (class prior) utilizada durante o treinamento/avaliação e a prioridade real encontrada na implantação. O Serviço de Ondas Internas, que faz a triagem do arquivo de modo de onda do Sentinel-1 para ondas solitárias internas, exemplifica este problema. O classificador do serviço foi treinado e avaliado em um conjunto de dados balanceado (proporção 1:1 entre onda e não-onda), uma convenção herdada da fase inicial de "foco em recall" do serviço, quando a taxa positiva operacional era desconhecida. No entanto, o fluxo operacional real exibe uma prioridade fortemente enviesada de aproximadamente 0,05 (uma cena de onda em vinte).

Este descompasso cria um cenário de avaliação enganoso. Um modelo que reporta uma alta precisão de teste balanceado (ex: 0,794) pode entregar uma precisão drasticamente menor em operação real (ex: 0,192) no mesmo limiar de decisão. O artigo argumenta que métricas padrão como a precisão de teste balanceado são "otimistas" e invisíveis ao erro sistemático que introduzem. Além disso, demonstra-se que remédios comuns, como a correção de prioridade ou calibração de probabilidade, são ineficazes para melhorar a precisão em um recall fixo; esses métodos são transformações monótonas do escore que apenas deslocam o limiar de operação sem alterar a curva de precisão-recall subjacente. O problema central é identificado não como um defeito de treinamento, mas como um problema de avaliação que requer um método de relatório que corresponda à prioridade de implantação.

Metodologia
O artigo propõe um "método de relatório com ajuste de prioridade" baseado em um eixo de três números para caracterizar um classificador operacional, juntamente com um ciclo de desenvolvimento rigoroso projetado para isolar ganhos de desempenho.

1. O Eixo de Relatório de Três Números:

   • Desempenho de Teste Balanceado: A métrica convencional (precisão, recall, F1) em um conjunto retido com proporções de classe iguais. Serve como uma linha de base de cautela, expondo a lacuna entre o relatório convencional e a realidade.
   • Desempenho de Prioridade Operacional: O desempenho do modelo em um conjunto de teste congelado construído especificamente na taxa positiva operacional (0,05). Este número é projetado para prever a precisão que um validador realmente enfrentará no campo.
   • Desempenho Operacional Real: A verdade fundamental (ground truth) obtida pós-implantação através da adjudicação de especialistas sobre as detecções do modelo no fluxo ao vivo. Este é um compromisso de avanço (forward commitment), pré-registrado para fechar o ciclo de avaliação.

2. Design do Instrumento de Avaliação:

   • Conjunto de Dados Congelado e com Controle de Vazamento (Leakage-Controlled): O conjunto de dados foi fixado antes da divisão para evitar que o arquivo crescente vazasse para a avaliação. O vazamento espacial é controlado ao nível de "hotspot" (definido pela sobreposição real da pegada da imagem) em vez de raio de centroide, garantindo que cenas quase idênticas da mesma órbita não cruzem as divisões de treino/dev/teste.
   • Caixa de Segurança Selada (Sealed Lockbox): Um conjunto de teste (1.537 positivos, 29.203 negativos) é selado fora do local com checksums e lido exatamente uma vez em um limiar pré-registrado.
   • Disciplina de Operação: O serviço opera sob uma disciplina de "foco em precisão", com o recall mantido em um piso de 0,80. Isso é justificado porque ondas perdidas são recuperáveis via repetições de órbita e reprocessamento de arquivo, enquanto falsos positivos consomem a atenção escassa de especialistas.

3. Ciclo de Desenvolvimento:

   • Melhorias foram buscadas via intervenções de alavanca única, cada uma isolada e promovida apenas se excedesse uma margem pré-registrada (0,021).
   • Alavancas Testadas:
     • Ajuste de Limiar: Mover o ponto de operação ao longo da curva existente (alívio imediato, mas sem elevação da curva).
     • Variedade de Dados: Aumentar a variedade de negativos (ampliando a classe negativa) melhorou a precisão, enquanto deslocar a razão de treinamento em direção à prioridade operacional não o fez (confirmando a inércia da correção de prioridade em recall fixo).
     • Capacidade: Aumentar a largura da rede mostrou retornos decrescentes; além de um certo ponto, parâmetros adicionados não superaram a margem de promoção.
     • Cabeça de Agregação: Substituir o global-average pooling por Generalized-Mean (GeM) pooling melhorou significativamente a precisão ao suprimir melhor confundidores geofísicos específicos (texturas superficiais listradas que mimetizam ondas) que o average pooling não conseguia distinguir.

Resultos Principais

• O Efeito da Prioridade: O modelo incumbente demonstrou o artefato sistemático: uma precisão de teste balanceado de 0,794 versus uma precisão operacional real de 0,192.
• Melhoria do Modelo: O modelo promovido (usando GeM pooling e dados negativos variados) alcançou uma precisão de 0,927 na caixa de segurança selada (recall 0,827). Em contraste, o mesmo modelo em um conjunto balanceado reportou uma precisção de 0,996, ilustrando que o valor balanceado ultrapassa barreiras de desempenho (ex: F1 > 0,90) que o valor operacional honesto não alcança.
• Robustez Fora do Tempo (Out-of-Time): Uma verificação independente em dados coletados após o congelamento do conjunto de dados mostrou que, embora a discriminação do modelo (AUC) tenha permanecido estável (0,993 $\to$ 0,987), o ponto de operação fixo decaiu. A precisão caiu de 0,927 para 0,810, e a taxa de falsos positivos triplicou, destacando que um limiar fixo não é uma quantidade de "configurar e esquecer" e requer revalidação contra dados atuais.
• Mudança de Restrição: O ciclo de desenvolvimento revelou que a restrição vinculante mudou da arquitetura do modelo para o tamanho da massa de falsos positivos redutível. A alavanca de agregação foi esgotada, e aumentos adicionais de capacidade não geraram ganhos significativos, indicando que melhorias futuras exigem mais dados validados em vez de redes maiores.

Significância e Alegações
O artigo alega que o descompasso entre as prioridades de treinamento e as realidades de implantação é um problema de avaliação, não de treinamento. Sua principal contribuição é um método de relatório com ajuste de prioridade que torna o "efeito da prioridade" visível em vez de oculto. Ao reportar o contraste entre as figuras de teste balanceado, prioridade operacional e operacional real, o método fornece uma "medida honesta" da habilidade do classificador.

Os autores enfatizam que esta abordagem não é específica para ondas internas ou Sentinel-1, mas é uma convenção portátil para qualquer serviço de observação da Terra que esteja iniciando um detector de eventos raros sob uma prioridade desconhecida ou variável. O trabalho também estabelece uma disciplina de reprodutibilidade através de conjuntos de dados fixados, divisões com controle de vazamento e avaliações de leitura única e seladas. Finalmente, o artigo conclui que o próximo ciclo de melhoria para este serviço não virá de modelos maiores, mas da expansão do conjunto de dados validados para abordar a massa de falsos positivos irredutível, e da validação de pontos de operação contra fatias de catálogo atuais, em vez de confiar em limiares de desenvolvimento.