🤖 machine learning

Beyond Toy Benchmarks: A Systematic Evaluation of OOD Detection Methods For Plant Pathology Classification

Este artigo avalia sistematicamente seis métodos de detecção de OOD no conjunto de dados de Patologia Vegetal 2021 de alta granularidade, demonstrando que o ajuste fino baseado em energia supera os baselines ao reestruturar o espaço de incorporação e calibrar as pontuações, ao mesmo tempo que revela instabilidades práticas de treinamento em métodos de otimização restrita que são frequentemente negligenciados em benchmarks padrão.

Autores originais: Devesh Shah

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Devesh Shah

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um jardineiro robô a identificar folhas de maçã doentes. Você mostra a ele milhares de imagens de folhas saudáveis, folhas com sarna, folhas com ferrugem e assim por diante. O robô fica muito bom nisso. Mas o que acontece quando o robô vê uma imagem de uma flor, um carro ou um padrão de textura que ele nunca viu antes?

Este é o problema da detecção fora da distribuição (OOD). No mundo real, os robôs não devem apenas adivinhar; eles devem ser capazes de dizer: "Não sei o que é isso."

Este artigo é um teste sistemático de seis maneiras diferentes de ensinar um robô a dizer "Não sei" quando ele encontra algo estranho, usando um conjunto de dados do mundo real de doenças de maçã. Aqui está a explicação em termos simples:

O Problema: O Robô Excessivamente Confiante

A maioria dos modelos de IA é treinada como alunos fazendo uma prova de múltipla escolha. Mesmo que a pergunta seja sem sentido (como "Qual é a capital de Marte?" quando a prova é sobre maçãs), o aluno é forçado a escolher uma resposta. Eles podem chutar "Washington D.C." com 99% de confiança apenas porque precisam escolher algo.

Na IA, isso é chamado de Linha de Base Softmax. O modelo é forçado a distribuir 100% de sua "confiança" entre as doenças conhecidas. Portanto, quando ele vê uma flor, pode dizer confiantemente: "Isso definitivamente é uma folha com ferrugem!" Isso é perigoso porque o robô acha que sabe a resposta quando, na verdade, não faz ideia.

O Experimento: Testando Seis "Redes de Segurança"

Os pesquisadores testaram seis métodos diferentes para corrigir essa excessiva confiança, variando de ajustes simples a estratégias de treinamento complexas. Eles usaram três tipos de imagens "estranhas" para testar o robô:

Carros: Muito diferentes de folhas (Fáceis de detectar).
Texturas: Apenas padrões, sem objetos (Fáceis de detectar).
Flores: Parecem muito semelhantes a folhas (Difíceis de detectar).

Veja como os seis métodos se saíram:

A Linha de Base (Softmax): O robô é excessivamente confiante. Ele falha em detectar as flores, pensando que são folhas doentes.
Classificadores Independentes: Em vez de forçar o robô a escolher um vencedor, deram a ele cinco botões separados de "sim/não" (um para cada doença). Se nenhum dos botões acender, o robô sabe que é um objeto desconhecido. Esta foi uma correção simples e surpreendentemente boa.
O "Desconhecido Conhecido" (Classe OOD): Eles ensinaram explicitamente ao robô uma sexta categoria chamada "Desconhecido". Isso funcionou perfeitamente, mas é irrealista porque, no mundo real, você não tem uma caixa rotulada de coisas "desconhecidas" para mostrar ao robô com antecedência.
Exposição a Outliers: Eles mostraram ao robô imagens de "coisas estranhas" (como carros) durante o treinamento e disseram: "Se você ver isso, fique inseguro." Isso ajudou, mas o robô ainda ficou confuso com as flores.
Ajuste Fino Baseado em Energia (O Vencedor): Este método altera como o robô "sente" uma imagem. Em vez de apenas escolher um vencedor, ele calcula uma "pontuação de energia".
- Folhas normais têm baixa energia (elas parecem familiares e calmas).
- Coisas estranhas (como flores) têm alta energia (elas parecem caóticas e desconhecidas).
- O Resultado: Este método foi o melhor. Ele não apenas mudou a regra de pontuação; ele reorganizou o "mapa cerebral" interno do robô (espaço de incorporação) para que coisas estranhas se afastassem naturalmente das doenças conhecidas. Ele conseguiu distinguir entre uma folha e uma flor muito melhor do que os outros.
Otimização de Dados Selvagens (WOODS): Este é o método mais realista. Ele assume que o robô é implantado no campo e começa a coletar uma pilha de fotos aleatórias (algumas folhas, algumas flores, algumas pedras) sem rótulos. Ele tenta aprender com essa pilha bagunçada.
- O Problema: Embora este seja o cenário mais realista, foi o mais difícil de treinar. A matemática envolvida era instável. Os pesquisadores tiveram que adicionar "freios" (limites nos pesos de penalidade) para impedir que o treinamento colapsasse. Funcionou melhor do que a linha de base, mas foi complicado acertar.

Principais Conclusões do Artigo

Realismo vs. Desempenho: Os métodos que assumiam que tínhamos dados "estranhos" perfeitos para mostrar ao robô durante o treinamento funcionaram melhor. Mas, no mundo real, não temos isso. O método "Baseado em Energia" foi o melhor equilíbrio: funcionou muito bem sem precisar de dados "estranhos" rotulados.
O Problema da Flor: O artigo descobriu que flores eram, na verdade, mais difíceis para a IA rejeitar do que carros. Embora os humanos vejam um carro como totalmente diferente de uma folha, a matemática interna da IA às vezes achava os carros mais difíceis de distinguir do que as flores. Isso mostra que o que parece "diferente" para nós nem sempre é o que parece "diferente" para um computador.
Instabilidade no Treinamento: Ao tentar usar os métodos mais avançados (como WOODS) em um conjunto de dados do mundo real de tamanho médio, o processo de treinamento foi muito frágil. Pequenas mudanças nas configurações faziam o modelo quebrar. Este é um problema prático que benchmarks simples de computador (usando conjuntos de dados pequenos e perfeitos) frequentemente ignoram.
A Precisão Não Caiu: Uma grande preocupação era que ensinar o robô a dizer "Não sei" o tornaria pior em identificar doenças reais. O artigo descobriu que não foi isso. O robô manteve-se tão bom em identificar folhas doentes enquanto se tornava muito melhor em detectar estranhos.

A Conclusão Final

Você pode ensinar uma IA a ser humilde e admitir quando não sabe algo, mesmo em um trabalho complexo do mundo real como a agricultura. A melhor abordagem encontrada aqui foi o uso de pontuação "Baseada em Energia", que remodela como a IA vê o mundo para manter coisas estranhas longe das conhecidas. No entanto, os métodos mais avançados são atualmente como carros de corrida de alto desempenho: funcionam muito bem, mas são muito sensíveis à forma como você ajusta o motor.

Resumo Técnico: Além de Benchmarks de Brinquedo – Uma Avaliação Sistemática de Métodos de Detecção OOD para Classificação de Patologias Vegetais

Declaração do Problema

Sistemas de aprendizado profundo para visão computacional alcançaram desempenho notável em tarefas de benchmark, mas seu implantação confiável em cenários do mundo real é impedida pela suposição de "mundo fechado". Pipelines de classificação padrão, otimizados por meio de objetivos baseados em softmax, forçam a massa de probabilidade através de classes conhecidas, levando os modelos a atribuir alta confiança a entradas não relacionadas (dados Fora de Distribuição ou OOD). Embora exista literatura extensa sobre detecção OOD, a maioria dos métodos é avaliada em conjuntos de dados pequenos e visualmente homogêneos (por exemplo, CIFAR-10/100) que falham em capturar a complexidade da implantação no mundo real. Especificamente, esses benchmarks frequentemente carecem de variação semântica, deslocamentos de covariáveis e casos "próximos de OOD" (por exemplo, categorias visualmente semelhantes, mas distintas) comuns em aplicações específicas de domínio, como a agricultura. Este artigo aborda a lacuna entre a detecção OOD teórica e a aplicação prática, avaliando métodos no conjunto de dados Plant Pathology 2021, uma tarefa de granularidade fina envolvendo classificação de doenças em folhas de macieira, onde deslocamentos de distribuição natural (por exemplo, flores, objetos não vegetais, oclusões) são prevalentes.

Metodologia

O estudo conduz uma avaliação sistemática de seis métodos de detecção OOD, progredindo de pontuação post-hoc simples para otimização com restrição complexa, sob variadas suposições regarding o acesso a dados OOD durante o treinamento. Os experimentos utilizam uma base ResNet-18 ajustada finamente em um subconjunto de 5 classes de doenças de macieira (15.675 imagens).

Configuração Experimental

Dados In-Distribution (ID): Cinco classes de doenças com único rótulo (Cancro, Saudável, Mancha de Olho de Rã, Ferrugem, Oídio).
Dados Out-of-Distribution (OOD): Três conjuntos de dados externos com distâncias semânticas variadas:
- Stanford Cars: OOD Longínquo (sem sobreposição visual).
- Describable Textures Dataset (DTD): OOD Longínquo (diferença estrutural).
- Flowers102: OOD Próximo (visualmente semelhante a folhas, representando um modo de falha crítico).
Dados Auxiliares: ImageNet-O é utilizado para métodos que requerem dados OOD rotulados durante o treinamento. Dados "selvagens" não rotulados (uma mistura de ID e OOD) são utilizados para métodos de otimização com restrição.

Métodos Avaliados

E1: Baseline Softmax: Treinamento padrão de entropia cruzada. A pontuação OOD é a probabilidade softmax máxima negativa.
E2: Classificação Binária Independente: Substitui a cabeça softmax por cinco saídas sigmoides independentes treinadas com Entropia Cruzada Binária (BCE) para remover a competição de soma zero do softmax.
E3: Classe OOD Explícita: Adiciona uma sexta classe de saída para OOD, treinada em dados ID e OOD rotulados. Serve como um limite superior aproximado.
E4: Exposição a Outliers (OE): Ajusta finamente o classificador baseline com uma perda auxiliar que incentiva previsões uniformes em dados OOD rotulados (ImageNet-O).
E5: Detecção OOD Baseada em Energia:
- E5a (Post-Hoc): Utiliza a energia livre dos logits ( $E(x) = -T \log \sum e^{f_c(x)/T}$ ) como função de pontuação sem retreinamento.
- E5b (Ajuste Fino de Energia): Ajusta finamente o modelo com uma perda de modelagem de energia baseada em margem para separar explicitamente as distribuições de energia ID e OOD.
E6: WOODS: Um framework de otimização com restrição que treina em dados "selvagens" não rotulados (mistura desconhecida de ID e OOD) sem assumir acesso a dados OOD rotulados limpos. Minimiza a taxa de amostras OOD classificadas como ID, sujeito a restrições nas taxas de falsos alarmes ID e na precisão de classificação.

Resultados Chave

A avaliação revela várias percepções críticas sobre detecção OOD em configurações agrícolas do mundo real:

Hierarquia de Desempenho: E5b (Ajuste Fino de Energia) emergiu como o método prático mais forte, alcançando a maior AUROC e o menor FPR95 em todos os conjuntos OOD (incluindo o desafiador conjunto OOD Próximo Flowers102) sem exigir dados OOD rotulados na fase inicial de treinamento.
Melhorias na Baseline:
- E2 (BCE Independente) superou significativamente a baseline Softmax (E1) apesar de não usar dados OOD, sugerindo que remover a normalização softmax é uma melhoria potente e de baixo custo.
- E5a (Energia Post-Hoc) proporcionou ganhos imediatos sobre E1, confirmando que a pontuação de energia em si é uma métrica superior à probabilidade softmax.
Desafio OOD Próximo: Contrariamente à intuição, conjuntos de dados "OOD Longínquo" (Stanford Cars) não foram consistentemente mais fáceis de detectar do que conjuntos "OOD Próximo" (Flowers102) em todos os métodos. Isso destaca que a similaridade perceptual nem sempre correlaciona com a dificuldade de representação de características.
Análise do Espaço de Embedding: Análise qualitativa do espaço de embedding (via distância cosseno aos 5 vizinhos mais próximos) mostrou que E5b remodela significativamente o espaço de características, aumentando a separação entre as distribuições ID e OOD (a distância de Wasserstein aumentou de 0,02 em E1 para 0,07 em E5b). Isso sugere que os ganhos provêm tanto de uma função de pontuação melhor calibrada quanto de um espaço de embedding reorganizado.
Estabilidade In-Distribution: Em todos os métodos, a precisão balanceada no conjunto de teste ID permaneceu estável (variando de 0,916 a 0,944), indicando que o treinamento consciente de OOD não degrada necessariamente o desempenho da tarefa.

Desafios Práticos e Instabilidades

O artigo documenta instabilidades significativas de treinamento ao escalar métodos de otimização com restrição para conjuntos de dados de tamanho moderado (aproximadamente 10k imagens), achados amplamente ausentes na literatura existente:

Sensibilidade à Taxa de Aprendizado: Para E4, E5b e E6, a taxa de aprendizado é o hiperparâmetro mais crítico. Taxas de aprendizado altas fazem com que a perda OOD domine muito cedo, colapsando o desempenho de classificação.
Instabilidade do WOODS: O Método do Lagrangiano Aumentado (ALM) utilizado no WOODS provou ser altamente sensível. Tentativas iniciais com hiperparâmetros padrão causaram pesos de penalidade a crescerem indefinidamente, levando a uma queda de 20% na precisão de validação. A estabilização exigiu a redução da taxa de aprendizado dual, o relaxamento das tolerâncias de restrição e a introdução de um limite rígido nos pesos de penalidade — uma modificação não presente na formulação original do WOODS.

Significado e Alegações

Os autores afirmam que a detecção OOD principial é alcançável em dados específicos de domínio do mundo real, mas que avaliações padrão de benchmark frequentemente falham em capturar os desafios práticos que surgem na implantação.

Além dos Benchmarks: O estudo demonstra que métodos que performam bem em benchmarks pequenos e homogêneos podem não se traduzir diretamente para configurações agrícolas complexas, particularmente no que diz respeito à detecção OOD Próximo e à estabilidade de treinamento.
Viabilidade Prática: O ajuste fino baseado em energia (E5b) é apresentado como uma solução robusta e prática que equilibra alto desempenho de detecção com a restrição operacional de não exigir dados OOD rotulados durante o treinamento inicial.
Realidade de Implementação: O artigo enfatiza que frameworks teóricos (como o WOODS) exigem engenharia cuidadosa e específica do conjunto de dados (por exemplo, ajuste de hiperparâmetros, limitação de penalidade) para funcionar de forma estável em conjuntos de dados de tamanho moderado, uma nuance frequentemente negligenciada na literatura focada em benchmarks de grande escala ou sintéticos.

O trabalho serve como referência para praticantes que visam implantar detecção OOD além dos benchmarks padrão, destacando que, embora o treinamento consciente de OOD seja viável, ele exige atenção rigorosa à dinâmica de treinamento e à estabilidade de hiperparâmetros em contextos do mundo real.