Resumo Técnico: LeafMD – Um Conjunto de Dados e Benchmark Multirregional de Imagem-Texto para Modelagem de Visão-Linguagem de Doenças de Plantas

Declaração do Problema

As doenças de plantas representam uma ameaça crítica à segurança alimentar global, causando perdas anuais estimadas em USD 220 bilhões. Embora a inteligência artificial e o aprendizado profundo ofereçam potencial para a detecção escalável de doenças, as abordagens atuais são dificultadas pelas limitações dos conjuntos de dados existentes. A maioria dos recursos públicos de doenças de plantas sofre de três deficiências primárias:

1. Diversidade Geográfica e Ambiental Limitada: Os conjuntos de dados existentes são frequentemente fragmentados, dominados por imagens de ambientes controlados (configurações de laboratório) e restritos a uma gama estreita de espécies de culturas ou regiões geográficas. Isso limita a transferibilidade e a escalabilidade dos modelos treinados neles para condições agrícolas do mundo real.
2. Falta de Profundidade Semântica: As anotações são tipicamente limitadas a rótulos categóricos de doenças para classificação de imagens. Elas carecem de informações semânticas biologicamente fundamentadas, como descrições detalhadas de sintomas, estágios de progressão da doença ou contextos de observação, que são cruciais para o raciocínio patológico refinado.
3. Ausência de Benchmarks Multimodais Padronizados: Há uma carência de recursos interoperáveis que integrem pares imagem-texto para suportar tarefas avançadas como o questionamento visual (VQA), interpretação de sintomas e estadiamento de doenças sob condições de campo reais.

Metodologia

Os autores apresentam o LeafMD, um recurso integrado que compreende o LeafNet 2.0 (um conjunto de dados de imagem-texto em larga escala) e o LeafBench 2.0 (um benchmark de questionamento visual baseado em perguntas e respostas - VQA). A construção seguiu um fluxo de trabalho de três estágios:

1. Coleta de Conjunto de Dados de Imagem (LeafNet 2.0)

• Expansão: O conjunto de dados foi construído expandindo a coleção original do LeafNet, incorporando 89.398 imagens adicionais do Sul e Sudeste Asiático para complementar os dados existentes da África e dos EUA.
• Escala e Diversidade: O conjunto de dados final contém 255.855 pares imagem-texto cobrindo 37 espécies de culturas, 197 classes de cultura-doença e 9 regiões geográficas (abrangendo sistemas tropicais, subtropicais e temperados).
• Curadoria: As imagens foram obtidas de repositórios públicos e comunicações institucionais diretas. Um processo rigoroso de controle de qualidade excluiu imagens com sintomas incertos, áreas de lesão negligenciáveis, foco não foliar (ex: frutos/caules) ou múltiplas coinfecções (para evitar incerteza na anotação). Todas as imagens retidas foram redimensionadas para 224 × 224 pixels.
• Realismo: A coleção estendida aumentou significativamente a proporção de imagens capturadas sob condições naturais de campo com fundos heterogêneos e iluminação variável, reduzindo a dominância de imagens de ambientes controlados.

2. Construção de Legendas

• Anotação com Humano no Ciclo (Human-in-the-Loop): Anotadores treinados criaram descrições de referência ao nível de classe baseadas em literatura revisada por pares (ex: Springer Nature, Elsevier) e relatórios de extensão agrícola. Essas descrições focaram em traços diagnosticamente relevantes (morfologia da lesão, cor, distribuição, deformação) para estágios iniciais e tardios da doença.
• Geração Assistida por LLM: Para garantir consistência e escala, o OpenAI GPT-4 foi utilizado para gerar 255.855 legendas específicas de imagem. O modelo foi guiado pelas legendas de referência autoradas por humanos para integrar o contexto visual com descrições biológicas.
• Controle de Qualidade: Um pipeline de avaliação de três modelos (usando Gemini Pro 2.5, GPT-4 e Claude 3.5) avaliou a clareza e relevância das referências autoradas por humanos. Subsequentemente, as legendas geradas foram validadas por especialistas do domínio. Amostras com inconsistências (aprox. 7%) foram revisadas ou excluídas.

3. Benchmarking (LeafBench 2.0)

• Design de Tarefas: O LeafBench 2.0 é um benchmark de VQA de múltipla escolha derivado do LeafNet 2.0, cobrindo nove tarefas refinadas: Identificação de Doença (DI), Classificação de Patógeno (PC), Identificação de Espécie de Cultura (CSI), Identificação de Sintoma (SI), Classificação de Saudável–Doente (HDC), Classificação de Nome Científico (SNC), Identificação de Lesão (LI), Detecção de Sintoma Foliar (LSD) e Classificação de Severidade da Doença (DSC).
• Avaliação: O benchmark foi testado em 16 modelos de visão-linguagem, incluindo arquiteturas baseadas em CLIP, VLMs generativos e modelos proprietários (GPT-4o, Gemini 2.5 Pro).

Principais Resultados

Validação do Conjunto de Dados

• Precisão Biológica: A validação por especialistas em 6.361 pares imagem-legenda mostrou 100% de concordância em espécies de culturas e rótulos de doenças.
• Anotação de Estágio: As anotações de estágio da doença alcançaram 99% de consistência onde a evidência visual era suficiente.
• Qualidade da Legenda: Embora 7% das amostras tenham exigido revisão devido a descrições genéricas ou correspondências parciais de sintomas, o pipeline preservou com sucesso a identidade biológica central e a consistência da classe da doença em todo o conjunto de dados.

Desempenho do Benchmark

• Lacunas de Desempenho: Existe uma lacuna significativa de desempenho entre o reconhecimento grosseiro de doenças e o raciocínio patológico refinado.
  • Alto Desempenho: Os modelos se destacaram em Classificação de Saudável–Doente (HDC) (até 95,70% com Gemini 2.5 Pro) e Identificação de Espécie de Cultura (CSI) (até 76,80%).
  • Baixo Desempenho: Tarefas que exigem discriminação sutil, como Classificação de Patógeno (PC), Classificação de Nome Científico (SNC) e Identificação de Lesão (LI), apresentaram acurácia muito menor (frequentemente abaixo de 50% para modelos de código aberto).
• Comparação de Modelos:
  • Modelos Proprietários: Gemini 2.5 Pro (média de 67,78%) e GPT-4o (média de 64,72%) demonstraram o desempenho mais equilibrado em todas as tarefas.
  • Modelos de Domínio Específico: Modelos adaptados para a agricultura, particularmente o AgriCLIP e o SCOLD, superaram consistentemente várias arquiteturas de domínio geral maiores em tarefas orientadas a sintomas (ex: AgriCLIP alcançou 65,10% em Identificação de Doença).
  • Modelos de Código Aberto: Entre os modelos generativos de código aberto, o Qwen3-VL-4B alcançou a maior acurácia média (60,02%).

Significância e Alegações

O artigo afirma que o LeafMD aborda a necessidade crítica de conjuntos de dados padronizados, interoperáveis e representativos na patologia vegetal. Sua significância reside em:

1. Fundação Multimodal: Ao integrar descrições de sintomas biologicamente fundamentadas com anotações de nível de imagem, o LeafNet 2.0 permite o desenvolvimento de modelos de fundação agrícola conscientes de doenças, capazes de raciocínio patológico refinado, indo além da simples classificação categórica.
2. Aplicabilidade no Mundo Real: A inclusão de diversas regiões geográficas, espécies de culturas e condições naturais de campo (incluindo estágios iniciais e tardios de doenças) fornece um cenário de avaliação mais realista para sistemas de IA destinados ao deployment agrícola operacional.
3. Benchmarking de Raciocínio Refinado: O LeafBench 2.0 estabelece um framework rigoroso para avaliar a capacidade dos modelos de interpretar variações sutis de sintomas, inferir agentes causais e avaliar a severidade da doença, revelando as limitações atuais no raciocínio refinado, mesmo para modelos de última geração.

Os autores posicionam o LeafMD não meramente como um repositório de dados, mas como um recurso para fomentar o desenvolvimento de sistemas de IA interpretáveis e transferíveis que possam operar através da variabilidade e incerteza dos ambientes agrícolas reais. Eles observam que, embora os modelos atuais mostrem promessa, desafios significativos permanecem na distinção de doenças visualmente semelhantes e na execução de raciocínios patológicos complexos.