Beyond Accuracy Rankings: Cross-Dataset Stability and Computational Cost in Plant Disease Classification

Nos cantos silenciosos de uma fazenda, a diferença entre uma colheita farta e uma plantação arruinada muitas vezes se resume a uma única decisão oportuna: identificar uma folha doente antes que a infecção se espalhe. Por séculos, essa tarefa dependeu do olhar treinado de um agricultor ou de um especialista agrícola, uma habilidade apurada pela experiência, mas vulnerável à fadiga, a sintomas semelhantes entre diferentes doenças e às variáveis caóticas do mundo natural. Para trazer uma mão mais firme a este trabalho, cientistas recorreram à visão computacional, ensinando máquinas a reconhecer doenças em plantas ao mostrar-lhes milhares de fotografias. Esses sistemas digitais, construídos sobre aprendizado profundo, tornaram-se notavelmente bons em detectar doenças quando testados nas mesmas imagens para as quais foram ensinados a reconhecer. No entanto, uma questão crítica permanece: se um sistema aprende a diagnosticar uma doença em um laboratório com iluminação perfeita, ele ainda funcionará quando a luz for intensa, o fundo estiver repleto de ervas daninhas ou a foto for tirada com uma câmera diferente? A confiabilidade dessas ferramentas depende não apenas de quão bem elas memorizam seus dados de treinamento, mas de como elas resistem quando confrontadas com a realidade desordenada do campo.

Este é o enigma central abordado pelos pesquisadores Nitin Kumar e Dra. Sakshi Dua, da Lovely Professional University. Eles se propuseram a olhar além da simples classificação de qual modelo de computador obtém a pontuação mais alta em um teste. Em vez disso, queriam entender como três tipos populares de arquiteturas de inteligência artificial — ResNet-50, MobileNetV2 e EfficientNet-B0 — se comportam quando as regras do jogo mudam. Eles treinaram esses modelos em uma coleção massiva e curada de mais de 70.000 imagens de folhas saudáveis e doentes, um conjunto de dados conhecido como New Plant Diseases Dataset. Esta coleção é limpa e uniforme, muito parecida com um estúdio fotográfico. Uma vez treinados os modelos, os pesquisadores não pararam por aí. Eles pegaram os mesmos modelos e os testaram em um conjunto de imagens completamente diferente chamado PlantDoc, que consiste em fotos tiradas em campos reais com iluminação irregular e fundos complexos. O objetivo era ver se os modelos consegam transferir o que aprenderam no estúdio limpo para o campo caótico, e medir quanta potência de computação cada modelo exigia para realizar o trabalho.

Os resultados revelaram uma divisão acentuada e instrutiva entre o desempenho no laboratório e o desempenho no mundo real. Quando testados nos dados internos limpos nos quais foram treinados, todos os três modelos apresentaram alta competência, identificando corretamente a vasta maioria das folhas. A ResNet-50, a maior e mais complexa dos três, alcançou a maior precisão, classificando corretamente mais de 96 por cento das imagens. No entanto, quando os pesquisadores mudaram para as imagens do PlantDoc do mundo real, o desempenho de todos os três modelos despencou. A precisidade do modelo de melhor desempenho caiu para pouco mais de 21 por cento. Essa queda dramática destaca uma armadilha comum na inteligência artificial: um sistema que se destaca em um ambiente controlado muitas vezes tem dificuldades quando o fundo, a iluminação ou a qualidade da imagem mudam. Os modelos provavelmente aprenderam a depender de pistas sutis dos fundos limpos de seus dados de treinamento, pistas que estavam ausentes nas fotos do campo.

Contudo, a história não termina com um simples fracasso. Quando os pesquisadores olharam mais profundamente, utilizando diferentes formas de medir o sucesso que levavam em conta o quão bem os modelos lidavam com cada tipo específico de doença, em vez de apenas a média geral, um quadro diferente surgiu. Embora a ResNet-50 ainda tivesse a maior precisão bruta nas imagens de campo, o modelo MobileNetV2, que é projetado para ser leve e rápido, na verdade teve um desempenho melhor ao identificar corretamente as categorias específicas de doenças. Ele alcançou uma pontuação mais alta em uma métrica que trata cada tipo de doença como igualmente importante, sugerindo que era mais consistente em todo o espectro. Esta descoberta desafia a suposição de que o modelo mais poderoso ou complexo é sempre a melhor escolha. Neste caso, o modelo construído para eficiência mostrou uma resiliência surpreendente diante da imprevisibilidade do mundo real.

Além da precisão, o estudo colocou um forte ênfase no custo de execução desses modelos. No mundo da agricultura, onde os computadores podem estar rodando em dispositivos alimentados por energia solar em campos remotos, velocidade e uso de memória importam tanto quanto a inteligência. Os pesquisadores mediram quanto tempo cada modelo levou para analisar uma única imagem e quantas imagens ele poderia processar em um segundo. Aqui, o MobileNetV2 foi o vencedor claro. Ele exigiu a menor quantidade de memória, processou as imagens mais rapidamente e conseguiu lidar com mais de 200 imagens por segundo. Em contraste, a ResNet-50, embora ligeiramente mais precisa no teste interno, foi significativamente mais lenta e exigiu dez vezes mais memória para rodar. A EfficientNet-B0 ficou em um meio-termo, oferecendo um equilíbrio, mas não a eficiência extrema do MobileNetV2. Os dados sugerem que, para aplicações práticas, onde os recursos são limitados e a velocidade é essencial, o modelo menor e mais rápido pode ser a opção mais viável, mesmo que não seja o campeão absoluto em um laboratório perfeito.

Os pesquisadores foram cuidadosos ao notar os limites de suas descobertas. O teste externo utilizou um número relativamente pequeno de imagens, e o hardware específico usado para medir a velocidade pode não refletir perfeitamente o desempenho em cada telefone celular ou dispositivo de borda (edge device). Eles também apontaram que a queda de desempenho foi provavelmente causada por uma mistura de fatores, incluindo mudanças no fundo, na iluminação e na qualidade da imagem, em vez de uma única causa. Eles não alegaram ter resolvido o problema da falha de transferência entre conjuntos de dados, mas sim forneceram uma comparação clara e controlada que mostra como diferentes modelos se comportam sob pressão. O estudo conclui que escolher a ferramenta certa para a classificação de doenças de plantas exige olhar para mais do que apenas um único número de precisão. Exige um equilíbrio entre o quão bem um modelo prevê, o quão consistentemente ele lida com diferentes tipos de doenças e o quão eficientemente ele utiliza os recursos computacionais disponíveis. No fim, o melhor modelo não é necessariamente aquele com a pontuação mais alta em um teste, mas aquele que oferece um desempenho mais confiável e eficiente quando as luzes se apagam e o trabalho começa no campo.