💻 computer science

A Dataset-Centric Benchmark of Deep Learning Methods for Grape Leaf Disease Classification and Detection

Este artigo apresenta um benchmark centrado em dados que avalia métodos de aprendizagem profunda para a classificação e detecção de doenças em folhas de videira através de diversos conjuntos de dados públicos, revelando que, embora o desempenho seja elevado em dados controlados, ele cai significativamente em condições reais de campo e cenários de diferentes conjuntos de dados devido a desafios como fundos complexos, inconsistências de anotação e mudanças de domínio.

Autores originais: Petar Canoski, Vlatko Spasev, Ivica Dimitrovski, Ivan Kitanovski, Petre Lameski

Publicado 2026-08-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Petar Canoski, Vlatko Spasev, Ivica Dimitrovski, Ivan Kitanovski, Petre Lameski

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas fileiras silenciosas de um vinhedo, a saúde de uma videira é frequentemente escrita na linguagem de suas folhas. Uma mancha de descoloração, uma borda murcha ou um padrão estranho de manchas podem sinalizar o início de uma doença que, se não for controlada, pode arruinar uma colheita inteira. Por séculos, agricultores e especialistas confiaram em seus olhos para detectar esses avisos precoces, uma tarefa que é ao mesmo tempo vital e exaustiva. Hoje, cientistas estão ensinando computadores a ler essa mesma linguagem, usando inteligência artificial para escanear imagens de folhas e identificar doenças antes que elas se espalhem. Este campo, conhecido como agricultura de precisão, promete tornar o manejo do vinhedo mais rápido e preciso, potencialmente salvando safras e reduzindo a necessidade de tratamentos químicos amplos. No entanto, para que essas ferramentas digitais funcionem no mundo real, elas devem ser capazes de reconhecer a doença não apenas em fotos perfeitas, com iluminação de estúdio, mas nas condições desordenadas e imprevisíveis de um vinhedo real, onde as folhas se sobrepõem, as sombras mudam e o vento move a câmera.

Uma equipe de pesquisadores da Macedônia do Norte estabeleceu o objetivo de testar se a geração atual desses sistemas inteligentes de imagem está verdadeiramente pronta para o campo. Eles não construíram simplesmente um programa de computador novo e mais sofisticado; em vez disso, realizaram uma auditoria rigorosa dos próprios dados usados para treiná-los. Os pesquisadores reuniram uma ampla coleção de conjuntos de imagens publicamente disponíveis de folhas de uva, variando de fotos de laboratório cuidadosamente controladas até imagens tiradas no campo. Eles então submeteram uma variedade de modelos de aprendizado profundo — sistemas de computador projetados para aprender com padrões visuais — a testes rigorosos. O objetivo era ver se esses modelos podiam realmente generalizar, ou seja, um sistema treinado em um conjunto de imagens conseguiria reconhecer uma doença em um conjunto de imagens completamente diferente, tiradas sob condições distintas? O estudo focou em três maneiras distintas pelas quais um computador poderia observar uma folha: identificando a doença em uma imagem completa, classificando um pedaço específico recortado de uma folha ou encontrando e delimitando a localização exata de uma mancha de doença dentro de uma cena complexa.

Os resultados revelaram uma divisão acentuada entre o laboratório e o mundo real. Quando os pesquisadores testaram os modelos em conjuntos de dados capturados em ambientes controlados — onde as folhas eram frequentemente isoladas contra fundos neutros e iluminadas uniformemente — os computadores tiveram um desempenho quase perfeito. Muitos modelos alcançaram pontuações quase ideais, identificando corretamente a doença em quase todas as imagens. Esse sucesso, no entanto, provou ser um tanto enganoso. Os pesquisadores descobriram que vários desses conjuntos de dados "perfeitos" eram, na verdade, construídos a partir das mesmas imagens originais, apenas reempacotadas ou levemente alteradas. Como o computador havia visto efetivamente as mesmas fotos durante seu treinamento e teste, ele não estava verdadeiramente aprendendo a reconhecer a doença; estava simplesmente memorizando os padrões visuais específicos daquele conjunto de dados. Quando os pesquisadores testaram esses mesmos modelos em um conjunto de dados tirado em um vinhedo real, onde as folhas estavam emaranhadas, as sombras eram profundas e o fundo era desordenado, o desempenho dos modelos colapsou. A precisão caiu drasticamente, mostrando que os sistemas aprenderam a reconhecer o aspecto específico de uma foto controlada, em vez da realidade biológica de uma folha doente.

O estudo também examinou quão bem esses sistemas poderiam transitar de um conjunto de dados para outro, um teste crucial para qualquer tecnologia destinada ao uso generalizado. Os pesquisadores descobriram que, mesmo quando dois conjuntos de dados compartilhavam os mesmos nomes para doenças, como "podridão negra" ou "míldio", os sistemas de computador falharam em transferir seu conhecimento entre eles. Um modelo treinado para encontrar míldio em um conjunto de imagens não conseguiu encontrar o mesmo em outro, embora a doença fosse a mesma. Isso aconteceu porque a maneira como as doenças foram marcadas nas imagens diferia; um conjunto de dados poderia ter desenhado um quadro ao redor de uma pequena mancha de podridão, enquanto outro desenhou um quadro ao redor de toda a folha infectada. O computador aprendeu as regras específicas do primeiro conjunto de dados e não conseguiu se adaptar ao segundo. Essa descoberta sugere que ter uma grande quantidade de dados não é suficiente; os dados devem ser diversos, representativos das condições do mundo real e anotados de forma consistente.

Talvez a descoberta mais surpreendente tenha sido que as arquiteturas de computador mais avançadas não resolveram necessariamente esses problemas. Os pesquisadores testaram uma ampla gama de modelos, desde sistemas simples e leves até sistemas complexos e massivos. Nos conjuntos de dados controlados, os modelos simples tiveram um desempenho tão bom quanto os complexos, sugerindo que os dados eram fáceis demais para desafiar os computadores. Nos conjuntos de dados difíceis, do mundo real, os modelos mais complexos não superaram consistentemente os modelos mais simples. O gargalo não era a inteligência do computador, mas a qualidade e a natureza das imagens que o alimentavam. O estudo concluiu que, para que a inteligência artificial realmente ajude os gestores de vinhedos, o foco deve mudar da construção de algoritmos maiores para a construção de conjuntos de dados melhores e mais realistas. O futuro desta tecnologia depende da coleta de imagens que capturem a verdadeira complexidade do vinhedo, garantindo que os sistemas aprendam a ver a própria doença, e não apenas as condições sob as quais a foto foi tirada.

Resumo Técnico: Um Benchmark Centrado em Dados de Métodos de Aprendizado Profundo para Classificação e Detecção de Doenças em Folhas de Videira

Definição do Problema
O reconhecimento de doenças em folhas de videira é crítico para a viticultura de precisão, mas a implementação prática de sistemas de aprendizado profundo continua prejudicada por um descompasso entre o desempenho relatado e as condições reais de campo. Estudos existentes dependem frequentemente de conjuntos de dados limitados e controlados (ex: subconjuntos do PlantVillage), onde as folhas são fotografadas contra fundos simples sob iluminação estável. Consequentemente, os modelos tendem a aprender padrões visuais específicos do conjunto de dados em vez de características específicas da doença, levando a uma baixa generalização em ambientes de vinhedos complexos, caracterizados por iluminação variável, oclusão, fundos complexos e diversos dispositivos de aquisição. Além disso, a literatura carece de um framework de avaliação unificado que considere a proveniência dos dados, a granularidade da anotação e as diferenças semânticas entre classificação ao nível da imagem, classificação ao nível da região e detecção de objetos.

Metodologia
Este artigo apresenta um benchmark centrado em dados que trata os conjuntos de dados não meramente como fontes de dados, mas como fatores experimentais que influenciam a formulação da tarefa e a generalização. O estudo analisa conjuntos de dados públicos de doenças de folhas de videira com base na taxonomia da doença, condições de aquisição, características da imagem, distribuição de classes e completude da anotação. O benchmark avalia modelos representativos de aprendizado profundo em três configurações complementares:

Classificação ao Nível da Imagem: Atribuição de um rótulo de doença único a uma imagem de entrada completa.
Classificação ao Nível da Região: Atribuição de um rótulo a um recorte localizado manualmente extraído de uma anotação espacial (usado quando as anotações identificam regiões de interesse específicas, mas carecem de cobertura exaustiva).
Detecção de Objetos: Predição conjunta das localizações e categorias de alvos de doenças dentro de uma imagem completa.

Design Experimental:

Conjuntos de Dados: O estudo utiliza um conjunto diversificado de datasets, incluindo datasets controlados/derivados (PlantVillage, GLDD, PDR2018, New Plant Diseases) e datasets adquiridos em campo (GVLiD, GL-Portugal, HERMOS, Mildew symptom dataset, LDD, FD-Confounders). Foi realizada uma análise rigorosa de sobreposição utilizando hashing de imagem decodificada exata para identificar conteúdo compartilhado entre os datasets.
Modelos:
- Classificação: Uma suíte de 10 arquiteturas cobrindo CNNs residuais (ResNet-18/50), CNNs eficientes (EfficientNet-B0/B3), CNNs móveis (MobileNetV3), CNNs modernas (ConvNeXt-Tiny), Vision Transformers (ViT-S/16, DeiT-S/16, Swin-Tiny) e modelos híbridos (MobileViT-S).
- Detecção: Cinco detectores, incluindo modelos da família YOLO (YOLOv8n, YOLO11n, YOLO26n, YOLO26s) e um detector baseado em transformer (RF-DETR-Nano).
Protocolos: A avaliação inclui testes dentro do mesmo dataset, transferência entre datasets (harmonizando categorias de doenças compatíveis) e análise de sobreposição de datasets. Experimentos de transferência entre datasets evitam estritamente o ajuste fino (fine-tuning) no domínio alvo para avaliar a verdadeira generalização. As métricas incluem acurácia para classificação e mAP@50/mAP@50:95 para detecção.

Principais Contribuições

Análise Centrada em Dados: Uma análise estruturada de datasets públicos destacando variações na taxonomia de doenças, condições de aquisição e semântica de anotação, revelando que muitos datasets "independentes" são, na verdade, derivados uns dos outros.
Benchmarking Unificado: Uma avaliação abrangente de modelos representativos sob protocolos consistentes em tarefas de classificação ao nível da imagem, classificação ao nível da região e detecção de objetos.
Configuração de Classificação ao Nível da Região: A introdução de uma configuração de avaliação específica para datasets com anotação espacial, onde as anotações identificam regiões de interesse selecionadas, mas não fornecem cobertura exaustiva para detecção de objetos padrão.
Estudo de Generalização entre Datasets: Experimentos demonstrando que rótulos de doenças compartilhados não garantem tarefas de reconhecimento transferíveis, particularmente quando os protocolos de anotação e os domínios visuais diferem.
Detecção de Sobreposição: O uso de hashing de imagem exato para identificar conteúdo duplicado entre datasets, proporcionando uma interpretação mais precisa do desempenho cross-dataset.

Resultados

Saturação de Classificação: Vários datasets controlados e derivados (ex: PlantVillage, New Plant Diseases) mostram um desempenho quase saturado (acurácia $\approx$ 1.0) em quase todas as arquiteturas, sugerindo um poder de discriminação limitado para seleção de modelos nesses domínios específicos.
Dificuldade de Campo: Datasets adquiridos em campo, como GVLiD e GLHCD, apresentam desafios significativamente maiores, com as acurácias máximas caindo para ~~0.89 e ~0.85, respectivamente. O GL-Portugal, embora adquirido em campo, alcançou alta acurácia (~~0.98) devido ao enquadramento centrado na folha e à redução de oclusão em comparação com o monitoramento de dossel não restrito.
Transferência entre Datasets: O desempenho de transferência entre datasets controlados e o GVLiD é pobre (acurácia cai para ~0.27–0.32), indicando um gap de domínio substancial. A alta acurácia de transferência entre datasets controlados é amplamente atribuída à sobreposição exata de imagens, em vez de uma generalização robusta.
Desempenho de Detecção: O desempenho de detecção é altamente dependente do dataset e da definição da anotação. O RF-DETR-Nano superou as variantes YOLO no Mildew symptom dataset e no LDD, enquanto o YOLO26s teve o melhor desempenho no FD-Confounders. Nenhum detector foi universalmente superior.
Falha de Transferência de Detecção: A detecção cross-dataset entre o Mildew symptom dataset e o LDD (compartilhando as categorias downy mildew e powdery mildew) resultou em um desempenho quase nulo (mAP < 0.002) em ambas as direções. Este colapso ocorreu apesar de rótulos de classe idênticos, atribuído a diferenças na semântica de anotação (caixas de sintomas diretos vs. caixas derivadas de polígonos), escala do alvo e domínio visual.
Análise Qualitativa: Visualizações de Grad-CAM no GL-Portugal confirmaram que os modelos focam em regiões sintomáticas da folha, embora a natureza grosseira dos mapas limite seu uso como ground truth de segmentação precisa.

Significância e Alegações
O artigo argumenta que a confiabilidade dos sistemas de reconhecimento de doenças em folhas de videira não pode ser avaliada apenas classificando arquiteturas de modelos em um único dataset. Os autores afirmam que:

A Proveniência do Dataset é Crítica: O alto desempenho em datasets controlados reflete frequentemente o conteúdo de imagem compartilhado ou vieses de aquisição específicos, em vez de uma verdadeira capacidade de reconhecimento de doenças.
A Semântica da Anotação Define a Tarefa: Para detecção de objetos, a definição da caixa delimitadora (ex: sintoma local vs. folha inteira) e a completude da anotação são tão importantes quanto o próprio rótulo da doença. Rótulos compartilhados não implicam tarefas de reconhecimento equivalentes.
Uma Avaliação Realista é Necessária: Benchmarks devem incluir dados adquiridos em campo com fundos complexos e condições variáveis para avaliar a generalização.
Validação entre Datasets é Essencial: A validação externa em datasets adquiridos independentemente é essencial, pois o desempenho dentro do dataset e a transferência entre datasets derivados podem ser enganosamente otimistas.

O estudo conclui que o progresso futuro exige datasets com rótulos verificados por especialistas, anotações espaciais exaustivas e protocolos de aquisição padronizados, juntamente com estratégias de avaliação que priorizem o desempenho realista em campo em vez da saturação de datasets controlados.

Mais como este