Resumo Técnico: Comportamento de Alucinação em LLMs Multimodais em Tarefas de Interpretação e Geração de Imagens Agrícolas

Declaração do Problema

A adoção rápida de Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem de Grande Escala Multimodais (MLLMs) na imagem agrícola apresenta riscos significativos devido às "alucinações" — saídas que parecem confiantes, mas desviam-se da realidade biológica ou ambiental. No domínio agrícola, tais erros podem levar a insights agronômicos mal informados, incluindo diagnósticos incorretos de doenças, aplicação inadequada de pesticidas e avaliações de rendimento falhas. Embora os LLMs mostrem promessa na automação de documentação e suporte à decisão, sua suscetibilidade a gerar conteúdo factualmente incorreto ou biologicamente impossível permanece uma barreira crítica para a confiança e a implantação. Este estudo aborda a falta de avaliação rigorosa quanto à precisão e segurança das saídas de LLMs em duas modalidades específicas: imagem-para-texto (interpretação de imagens de culturas) e texto-para-imagem (geração de cenas agrícolas sintéticas).

Metodologia

Os autores conduziram uma avaliação sistemática dos comportamentos de alucinação em tarefas interpretativas e generativas utilizando múltiplos modelos de última geração, incluindo Gemma, LLAVA, Qwen, MiniCPM, GPT-5 e Gemini 2.5 Flash.

1. Avaliação Imagem-para-Texto (Interpretação)

O estudo avaliou a capacidade dos modelos de interpretar imagens agrícolas por meio de duas configurações experimentais:

• Classificação de Condição da Cultura: Os modelos foram encarregados de classificar imagens de folhas de tomate como "saudáveis" ou "doentes" (especificamente mancha bacteriana).
  • Zero-shot: Os modelos confiaram exclusivamente em conhecimento pré-treinado, sem exemplos.
  • Few-shot: Os modelos receberam imagens de referência de folhas saudáveis e doentes para orientar a interpretação.
• Detecção e Contagem de Frutas: Utilizando um subconjunto de um conjunto de dados de morangos de estufa (100 imagens), os modelos foram solicitados, via Perguntas e Respostas (QA), a:
  • Q1: Determinar a presença de frutas.
  • Q2: Identificar o estágio de desenvolvimento (maduro vs. imaturo).
  • Q3: Contar as frutas em cada categoria.
• Métricas: O desempenho foi medido usando Precisão de Classificação, Escores F1 e matrizes de confusão para identificar falsos positivos (doença alucinada) e falsos negativos (infecções não detectadas).

2. Avaliação Texto-para-Imagem (Geração)

O estudo avaliou a consistência biológica das imagens geradas a partir de prompts textuais.

• Conteúdo Não Solicitado/Extrínseco: Os modelos foram solicitados a gerar imagens agrícolas específicas (por exemplo, imagens térmicas de folhas infectadas, imagens RGB de morangos infectados por mofo). As saídas foram analisadas quanto à inclusão de elementos visuais não especificados no prompt (por exemplo, gradientes de temperatura artificiais, detritos de fundo ou rótulos textuais).
• Contradições Biológicas: Os autores testaram os modelos com prompts "improváveis" projetados para desencadear alucinações, como gerar uma imagem de um "morango livre de doenças coberto de oídio".
  • Variações de Prompt: Os testes foram conduzidos com solicitações diretas (T1) e solicitações reescritas incluindo uma justificativa para fins de pesquisa (T2) para observar se as barreiras de segurança poderiam ser contornadas.
• Critérios de Avaliação: As imagens geradas foram escrutinadas quanto a impossibilidades anatômicas, contradições fisiológicas (por exemplo, plantas saudáveis com danos severos de pragas) e inconsistências ambientais.

Principais Contribuições

O artigo faz três contribuições primárias para o campo da IA agrícola:

1. Identificação de Padrões de Alucinação: O estudo caracteriza sistematicamente padrões recorrentes de alucinação em tarefas agrícolas tanto interpretativas quanto generativas, destacando especificamente erros na consistência biológica, precisão contextual e plausibilidade agronômica.
2. Avaliação Quantitativa de Confiabilidade: Os autores fornecem dados empíricos sobre o desempenho de múltiplos MLLMs em cenários agrícolas, demonstrando que mesmo modelos avançados exibem taxas de erro significativas em configurações zero-shot e permanecem suscetíveis a alucinações mesmo quando a solicitação few-shot é aplicada.
3. Análise de Vulnerabilidades Generativas: A pesquisa revela que modelos generativos podem produzir cenas biologicamente inconsistentes (por exemplo, culturas saudáveis com danos de pragas) e que modificações sutis no prompt (por exemplo, adicionar uma justificativa de pesquisa) podem anular mecanismos de segurança, levando à geração de imagens agronomicamente impossíveis.

Resultados

Desempenho de Interpretação de Imagem

• Precisão Zero-shot: Os modelos alcançaram precisão modesta variando de 63% a 75% na classificação de doenças de folhas de tomate.
• Melhoria Few-shot: O desempenho melhorou com a solicitação few-shot, atingindo até 86,8% (Gemma), mas as alucinações persistiram.
• Tipos de Erro:
  • Qwen exibiu uma alta taxa de falsos negativos na detecção de morangos, negando frequentemente a presença de frutas apesar da evidência visual.
  • MiniCPM mostrou uma discrepância significativa entre precisão (76,84%) e escore F1 (0,782) na detecção de frutas, e uma grande lacuna na classificação zero-shot de tomate (63,0% de precisão vs. 0,46 de escore F1), indicando efeitos residuais de alucinação.
  • LLAVA e Gemma demonstraram perfis de erro mais equilibrados, mas ainda produziram previsões falsas não negligenciáveis.

Achados de Geração de Imagem

• Elementos Não Solicitados: Os modelos frequentemente adicionaram detalhes agronomicamente irrelevantes. Por exemplo, o GPT-5 gerou gradientes térmicos exagerados e transições de halo em imagens térmicas, enquanto o Gemini 2.5 Flash adicionou regiões brilhantes uniformes ou elementos de fundo não solicitados, como solo e canais de irrigação.
• Inconsistência Biológica:
  • Quando solicitados a gerar um "dossel de soja saudável com danos extensos de pragas", modelos como GPT-5 e Gemini 2.5 Flash geraram imagens onde as folhas mostravam furos de alimentação severos, mas eram rotuladas ou visualmente implicadas como "saudáveis".
  • No teste de "morango livre de doenças com oídio", o Gemini 2.5 Flash gerou uma imagem biologicamente impossível (taxa de geração de 91% sob restrições relaxadas) mostrando uma fruta saudável coberta de mofo.
  • GPT-5 inicialmente recusou o prompt direto (T1), mas cumpriu com a justificativa de pesquisa reescrita (T2), gerando uma imagem contraditória com uma taxa de geração de 91% para cenas biologicamente implausíveis.
• Sensibilidade ao Prompt: A taxa de geração de conteúdo biologicamente implausível aumentou drasticamente quando os prompts foram enquadrados como ilustrações de pesquisa (por exemplo, o GPT-5 subiu de 64% para 91%).

Significado e Alegações

O artigo alega que esta avaliação sistemática oferece insights críticos sobre a confiabilidade de plataformas de imagem agrícola baseadas em LLMs. Os autores enfatizam que:

• Limitações Atuais: Mesmo modelos avançados (GPT-5, Gemini 2.5 Flash) possuem fraquezas fundamentais no fundamento biológico, levando a saídas que são linguisticamente fluentes, mas factualmente incorretas ou fisiologicamente impossíveis.
• Risco para Partes Interessadas: Alucinações não reconhecidas podem enganar agricultores, pesquisadores e planejadores de políticas, potencialmente erodindo a confiança em sistemas de IA e causando danos econômicos ou ambientais tangíveis por meio de recomendações agronômicas incorretas.
• Necessidade de Salvaguardas: O estudo argumenta que alcançar o potencial da agricultura digital requer pipelines de validação rigorosos, ajuste fino específico do domínio e geração guiada por restrições para garantir que as saídas permaneçam fiéis à realidade biológica. Os autores sugerem que trabalhos futuros devem focar no fortalecimento da resiliência do prompt e no desenvolvimento de estruturas de decodificação fundamentadas biologicamente para mitigar esses riscos.