TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases

Resumo Técnico: TomaMMU e TomaBench

Problema
Os atuais sistemas automatizados de reconhecimento de doenças em plantas enquadram predominantemente o diagnóstico como um problema de classificação visual. Embora eficazes em ambientes controlados de laboratório, esses sistemas enfrentam dificuldades em ambientes agrícolas do mundo real, caracterizados por variabilidade visual, poluição visual de fundo, oclusões e iluminação inconsistente. Os benchmarks existentes frequentemente dependem de anotações sintéticas ou fundos uniformes de laboratório, falhando em capturar a complexidade das condições de campo. Além disso, há uma lacuna significativa na avaliação da compreensão multimodal e da capacidade de raciocínio dos Modelos de Linguagem-Visão (VLMs) em relação à patologia vegetal. Os modelos atuais frequentemente dependem de correlações superficiais em vez de representações robustas de doenças, levando a uma generalização deficiente e à falta de um raciocínio diagnóstico confiável necessário para o suporte à decisão de nível especialista.

Metodologia
Os autores introduzem o TomaMMU (Tomato leaf disease MultiModal Understanding — Compreensão Multimodal de Doenças de Folhas de Tomate), um conjunto de dados de larga escala, e o TomaBench, um benchmark hierárquico projetado para avaliar a compreensão de doenças de tomate em VLMs.

• Pipeline de Curadoria de Dados: O conjunto de dados foi construído através de um pipeline de três estágios:
  1. Coleta de Dados: As imagens foram obtidas de ambientes agrícolas "in-the-wild" (LeafNet, TOM2024) e coleções próprias, totalizando 28.808 imagens de alta qualidade. Isso contrasta com conjuntos de dados anteriores que dependem fortemente de configurações de laboratório. O conjunto de dados abrange 15 categorias (14 doenças e 1 classe saudável) e 213.119 pares de perguntas-respostas visuais (VQA) anotados por humanos.
  2. Anotação Humana: Especialistas do domínio realizaram uma verificação manual rigorosa, extraindo metadados estruturados, incluindo descrições de sintomas, tipos de doenças e quantidades. Dados mal rotulados foram removidos para garantir a confiabilidade agronômica.
  3. Geração de Perguntas-Respostas: O pipeline gera tanto Perguntas de Múltipla Escolha (MCQs) quanto Perguntas de Resposta Aberta (OEQs). As MCQs são geradas criando três distratores para cada fato, enquanto as OEQs exigem respostas curtas e fatuais.
• Taxonomia do Benchmark (TomaBench): O framework de avaliação organiza 42.626 pares de QA em uma taxonomia hierárquica de três níveis:
  • Percepção Básica: Inclui Classificação Saudável-Doente (HDC), Contagem de Folhas (LC) e Identificação de Espécie de Cultura (CSI).
  • Compreensão de Patologia: Foca em Identificação de Sintomas (SI) e Classificação de Patógenos (PC).
  • Diagnóstico de Especialista: Envolve Classificação de Doença (DC) e Classificação de Nome Científico (SNC).
• Estratégia de Avaliação: O estudo avalia 14 VLMs de última geração (incluindo modelos proprietários como Gemini 2.0 Flash, FMs generativas como LLaVA e Qwen, e modelos específicos de domínio como BioCLIP e SCOLD) em um cenário zero-shot. Adicionalmente, os autores realizaram o ajuste fino (fine-tuning) de um modelo chamado TomaLLaVA (usando o SCOLD como codificador de imagem e o LFM2.5 como o LLM) no conjunto de treinamento do TomaMMU para avaliar o impacto da adaptação específica de domínio.
• Métricas: O desempenho é medido usando Acurácia e escores F1 para MCQs. Para OEQs, o estudo utiliza ROUGE-L para similaridade lexical e um LLM-como-juiz (escore GPT) para correção semântica, graduado em uma escala de 1 a 5.

Principais Contribuições

1. Conjunto de Dados TomaMMU: Um conjunto de dados VQA abrangente contendo 28.808 imagens e até 213.119 pares de VQA em 14 doenças e 1 categoria saudável. Ele integra imagens de campo do mundo real com metadados estruturados e verificados por humanos.
2. Benchmark TomaBench: Um framework de avaliação hierárquico cobrindo sete tarefas agrícolas específicas (HDC, DC, PC, CSI, SNC, LC, SI) organizadas em três níveis de diagnóstico (Percepção Básica, Compreensão de Patologia, Diagnóstico de Especialista).
3. Avaliação Sistemática: Uma avaliação abrangente de 14 principais VLMs, revelando limitações significativas no reconhecimento detalhado e no raciocínio fundamentado em fatos para tarefas agrícolas.
4. Demonstração de Adaptação de Domínio: A introdução do TomaLLaVA, que demonstra que o ajuste fino simples no TomaMMU reduz substancialmente a lacuna de desempenho, alcançando resultados próximos da perfeição em tarefas de percepção e um forte desempenho em raciocínio diagnóstico.

Resultos

• Desempenho Zero-Shot: Os atuais VLMs de última geração, mesmo modelos proprietários como o Gemini 2.0 Flash, enfrentam dificuldades com o benchmark. O melhor modelo zero-shot alcançou uma acurácia média de aproximadamente 70,3% em MCQs, com quedas significativas em tarefas complexas como Classificação de Patógenos (PC), Identificação de Sintomas (SI) e Classificação de Nome Científico (SNC).
• Desafios de OEQ: Os modelos tiveram um desempenho insatisfatório em perguntas de resposta aberta, com escores GPT médios em torno de 2,3–2,7 (de 5). A análise de erros categorizou as falhas em erros perceptuais (alucinações/recusas), falhas centrais (relevância parcial, mas diagnóstico errado) e omissões de granularidade (falta de detalhes específicos).
• Impacto do Ajuste Fino (Fine-Tuning): O ajuste fino do TomaLLaVA no conjunto de treinamento do TomaMMU resultou em um aumento substancial de desempenho. O modelo alcançou uma acurácia média de 96,09% e um escore F1 de 0,958 em MCQs, superando o melhor modelo zero-shot (LFM2.5-VL) em +34,8% em acurácia.
• Ganhos Específicos por Tarefa: Embora o ajuste fino tenha melhorado significamente o desempenho em percepção básica e classificação de doenças, as melhorias em tarefas de compreensão de patologia complexa e diagnóstico de especialista foram mais modestas, destacando a dificuldade inerente ao raciocínio de múltiplas sentenças.

Significância e Alegações
O artigo afirma que o TomaMMU e o TomaBench abordam uma lacuna crítica na IA agrícola ao fornecer um benchmark padronizado do mundo real que vai além da simples classificação de imagens para avaliar o raciocínio multimodal. Os autores afirmam que os atuais VLMs têm dificuldade em traduzir a percepção visual em conhecimento diagnóstico confiável sem adaptação de domínio. Os resultados sugerem que, embora modelos de propósito geral sejam insuficientes para o diagnóstico agrícola de nível especialista, o ajuste fino direcionado em conjuntos de dados de alta qualidade e anotados por humanos, como o TomaMMU, pode preencher essa lacuna, permitindo que sistemas de IA apoiem agricultores e especialistas com identificação de doenças precisa e rica em contexto. O trabalho visa motivar pesquisas futuras em adaptação de domínio para a agricultura e fornece uma plataforma para o desenvolvimento de sistemas de suporte à decisão agrícola mais robustos.