Resumo Técnico: SAGE (Scalable Agentic Grounded Evaluation) para Diagnóstico de Doenças em Cultivos

Declaração do Problema

O diagnóstico preciso de doenças em plantas é crítico para a segurança alimentar global, mas o desenvolvimento de modelos generalizáveis é dificultado por duas lacunas primárias:

1. Escassez e Fragmentação de Dados: Os conjuntos de dados existentes (ex: PlantVillage, PlantDoc) são limitados na diversidade de culturas, focam exclusivamente em folhas e carecem de metadados de sintomas estruturados e verificáveis. Eles não suportam o diagnóstico em todo o vasto espectro de culturas e patógenos encontrados na agricultura real.
2. Falta de Explicabilidade e Fundamentação (Grounding): Embora modelos de aprendizado profundo e modelos de visão-linguagem (VLMs) tenham alcançado alta precisão em benchmarks controlados, eles frequentemente operam como "caixas pretas". Eles carecem da capacidade de produzir um raciocínio diagnóstico transparente, passo a passo, fundamentado em fontes de conhecimento específicas do domínio e rastreáveis. Além disso, muitas abordagens de agentes ou de cadeia de pensamento (chain-of-thought) existentes exigem ajuste fino (fine-tuning) ou operam em conjuntos de culturas restritos.

Metodologia

O artigo apresenta o SAGE, um framework composto por um conjunto de dados massivo e curado e um pipeline de diagnóstico agêntico livre de treinamento.

1. O Conjunto de Dados SAGE

Os autores curaram o maior conjunto de dados de imagem-sintoma de doenças de plantas até o momento, agregando ~839.000 imagens cobrindo 335 culturas e 1.251 classes de doenças.

• Cobertura de Múltiplos Órgãos: Diferente de conjuntos de dados anteriores focados em folhas, o SAGE inclui imagens de caules, raízes, sementes, espigas e inflorescências.
• Registro de Sintomas Baseado em Fontes: Uma inovação fundamental é o "Pipeline de Registro de Doenças" automatizado. Em vez de depender de descrições geradas por modelos, o pipeline:
  • Realiza buscas web direcionadas para cada doença usando fontes autoritativas (ex: extensões universitárias, CABI, compêndios da APS).
  • Extrai campos estruturados (patógeno, órgãos afetados, sintomas) com citações literais do texto da fonte.
  • Reconcilia variantes de nomenclatura e mescla dados entre diferentes fontes.
  • Passa por auditoria de especialistas para validar a precisidade ao nível do campo.
• Índice Anatômico: As imagens são etiquetadas com o órgão vegetal visível (folha, caule, etc.), criando um mapeamento que permite ao agente estreitar as doenças candidatas com base no órgão presente em uma imagem de teste.

2. Pipeline de Diagnóstico Agêntico

O sistema de diagnóstico central é um agente de raciocínio autônomo que opera sem treinamento específico para a tarefa (training-free). Ele utiliza um loop de múltiplos turnos para diagnosticar uma imagem de teste:

1. Observação: O agente identifica o contexto anatômico (órgão) e os sintomas visíveis da imagem de teste.
2. Estreitamento de Candidatos: Utilizando o Índice Anatômico, ele filtra a lista de doenças candidatas para apenas aquelas que afetam o órgão observado. Ele prioriza ainda mais os candidatos usando o Registro de Sintomas (se disponível).
3. Comparação Sequencial: O agente opera sob um orçamento de referência ($k$). Ele seleciona sequencialmente imagens de referência de classes candidatas, compara-as com a imagem de teste e raciocina sobre correspondências e discrepâncias visuais.
4. Geração de Traço: O agente produz um traço de raciocínio totalmente explicável, documentando quais referências foram visualizadas, a análise comparativa e a previsão final. Isso garante que o processo de decisão seja auditável.

Principais Contribuições

1. Conjunto de Dados SAGE: Um conjunto de dados de múltiplas culturas e múltiplos órgãos com ~839K imagens e 1.251 classes de doenças, reunido a partir de benchmarks estabelecidos, coleções de especialistas e fontes comunitárias.
2. Registro de Doenças Prioritário à Fonte: Um pipeline que gera conhecimento de sintomas estruturado com proveniência por campo (URL da fonte e citação literal), eliminando riscos de alucinação associados a fatos gerados por LLMs.
3. Pipeline Agêntico Livre de Treinamento: Um sistema de diagnóstico que aproveita o registro e imagens de referência para realizar raciocínio passo a passo explicável sem exigir o ajuste fino do modelo.
4. Avaliação Sistemática: Uma avaliação abrangente em quatro culturas (Soja, Milho, Tomate, Manga) com diferentes níveis de dificuldade, testando diferentes orçamentos de referência e níveis de modelos.

Resultados

A avaliação demonstra que a incorporação de conhecimento de sintomas estruturado e imagens de referência melhora significativamente a precisão do diagnóstico:

• Ganhos de Desempenho: A incorporação da base de conhecimento (KB) de sintomas melhorou a precisão em uma média de 16,2 pontos percentuais nas quatro culturas com um orçamento de referência total ($k=8$).
  • Soja: Apenas a KB (em $k=0$) adicionou 14,1 pp.
  • Milho: Apenas a KB adicionou 9,1 pp.
  • Tomate: O pipeline completo (KB + $k=8$) atingiu 76,1% de precisão, um aumento de 23,9 pp sobre a linha de base sem KB.
• Orçamento de Referência: A precisão geralmente aumentou com o orçamento de referência ($k$), sendo observados os ganhos mais significativos em culturas com maior contagem de classes de doenças (Soja, Milho).
• Redução de Erros: A análise da matriz de confusão mostrou que o pipeline completo reduziu a super-predição de doenças visualmente semelhantes (ex: distinguir Síndrome da Morte Súbita de outras doenças da soja) ao utilizar sintomas da KB e comparações de referência.
• Independência de Modelo: O framework beneficia-se diretamente das melhorias nos modelos de fundação (ex: atualizar de Haiku para Opus) sem necessidade de retreinamento, pois o agente depende das capacidades inerentes de raciocínio do modelo.

Significância e Alegações

O artigo afirma que o SAGE aborda o gargalo crítico da falta de conhecimento de sintomas estruturado, em larga escala e verificável para o diagnóstico de doenças em plantas. Sua significância reside em:

• Escalabilidade: O framework pode ser estendido para novas culturas sem retreinamento, desde que imagens de referência e conhecimento de sintomas estejam disponíveis.
• Explicabilidade: Diferente da classificação de passagem única, a abordagem agêntica fornece um traço de raciocínio transparente, permitindo que o usuário audite por que um diagnóstico foi feito e qual evidência foi considerada.
• Confiabilidade Fundamentada: Ao ancorar as descrições dos sintomas a citações literais das fontes, o sistema mitiga alucinações e garante que as afirmações diagnósticas sejam rastreáveis ao conhecimento de domínio autoritativo.
• Preparação para o Futuro: O sistema é projetado para aproveitar automaticamente os futuros avanços nas capacidades dos modelos de fundação, tornando-o uma solução durável para diagnósticos agrícolas escaláveis.

Os autores posicionam este trabalho como um passo para ir além dos modelos de aprendizado profundo opacos em direção a sistemas de diagnóstico que sejam, simultaneamente, precisos e fundamentados em conhecimento de domínio verificável e legível por humanos.