Are vision-language models ready to zero-shot replace supervised classification models in agriculture?

Resumo Técnico: Modelos Visão-Linguagem Estão Prontos para Substituir Zero-Shot Modelos de Classificação Supervisionados na Agricultura?

Declaração do Problema
Modelos visão-linguagem (VLMs) demonstraram capacidades robustas de zero-shot e few-shot em tarefas visuais de domínio geral, despertando interesse em sua implantação na agricultura, onde dados rotulados são frequentemente escassos ou caros. No entanto, a compreensão de imagens agrícolas apresenta desafios únicos, incluindo alta variabilidade intraclasse, diferenças visuais de alta granularidade e uma forte dependência de informações contextuais (por exemplo, tipo de cultura, estágio fenológico, geografia). Embora modelos supervisionados e específicos de tarefa tenham historicamente abordado esses desafios, eles exigem esforço substancial de anotação e lutam com a generalização. Permanece incerto se os VLMs prontos para uso atuais são confiáveis o suficiente para substituir esses sistemas supervisionados para suporte crítico à decisão agrícola, particularmente dado o alto custo de classificação errônea em ações de manejo.

Metodologia
Os autores apresentam uma avaliação sistemática em larga escala, comparando um conjunto diversificado de VLMs de código aberto e de código fechado contra uma linha de base supervisionada.

• Conjuntos de Dados: A avaliação utilizou 27 conjuntos de dados da coleção AgML, compreendendo 248.000 imagens em 162 classes. Estes cobrem três categorias principais de tarefas: identificação de doenças em plantas, detecção de pragas e danos, e classificação de espécies de plantas/ervas daninhas.
• Modelos:
  • Modelos de Base: Modelos de código aberto (SigLIP2, LLaVA-NeXT, Qwen2.5-VL, Gemma-3, Deepseek-VL) e modelos de código fechado (GPT-5 Nano, GPT-5, Gemini-3 Pro, Claude Haiku 4.5).
  • Linha de Base: Um modelo YOLO11 supervisionado e ajustado finamente serviu como benchmark de desempenho específico de tarefa.
• Protocolos de Avaliação:
  • Resposta a Perguntas de Múltipla Escolha (MCQA): Os modelos foram instruídos a selecionar entre conjuntos de rótulos restritos. Variantes incluíam opções restritas a classes dentro da mesma espécie, classes entre espécies e a inclusão de uma opção "Nenhuma das anteriores" para testar capacidades de rejeição.
  • Pergunta Aberta (OEQ): Os modelos foram solicitados a gerar respostas livres descrevendo doenças, pragas ou espécies sem opções predefinidas.
• Métricas: O desempenho foi medido usando duas abordagens complementares:
  1. Acurácia de Correspondência Exata: Baseada em correspondência de strings difusa (pré-processamento, verificações de substrings e similaridade de sequência) com um limiar de 0,6.
  2. Acurácia do Juiz LLM: Uma avaliação semântica usando um LLM com capacidade de raciocínio (GPT-OSS-20B) para determinar se a resposta prevista e a verdade fundamental eram semanticamente equivalentes, filtrando correspondências de alta confiança.

Principais Resultados

1. Superioridade da Linha de Base Supervisionada: A linha de base supervisionada YOLO11 alcançou consistentemente uma acurácia marcadamente superior a qualquer modelo de base zero-shot em todas as tarefas.
2. Impacto do Formato de Prompt: O prompt MCQA produziu desempenho substancialmente superior ao OEQ. O VLM de melhor desempenho (Gemini-3 Pro) atingiu aproximadamente 62% de acurácia média sob MCQA, enquanto a acurácia bruta do OEQ foi tipicamente inferior a 25%.
3. Sensibilidade da Metodologia de Avaliação: A escolha do método de pontuação alterou significativamente os resultados. A avaliação semântica baseada em LLM aumentou a acurácia do OEQ para os principais modelos (por exemplo, de 21% para 30%) e deslocou as classificações dos modelos, demonstrando que a correspondência de strings em nível superficial falha em capturar a correção semântica em contextos agrícolas.
4. Desempenho do Modelo:
   • Código Fechado: O Gemini-3 Pro foi o melhor desempenho geral.
   • Código Aberto: O Qwen-VL-72B foi o melhor modelo de código aberto, aproximando-se do desempenho de código fechado sob prompts restritos, mas ainda ficando atrás dos sistemas proprietários.
5. Diferenças em Nível de Tarefa: A classificação de espécies de plantas e ervas daninhas foi consistentemente mais fácil para os modelos. A identificação de pragas e danos permaneceu a categoria mais desafiadora, destacando a dificuldade de diagnosticar estressores a partir de imagens únicas sem priores contextuais.

Significado e Alegações
O artigo conclui que os VLMs prontos para uso atuais ainda não são adequados como sistemas de diagnóstico agrícola autônomos para substituir modelos supervisionados. A lacuna persistente de desempenho sugere que capacidades multimodais de propósito geral não se traduzem diretamente em reconhecimento agrícola confiável e de alta granularidade.

No entanto, os autores argumentam por um papel matizado para VLMs na agricultura:

• Componentes Assistivos: Os VLMs podem funcionar efetivamente quando acoplados a interfaces restritas, ontologias de rótulos explícitas e estratégias de avaliação conscientes do domínio.
• Dependência Contextual: Os resultados sublinham que o diagnóstico agrícola frequentemente requer mais do que reconhecimento genérico; exige combinar percepção de alta granularidade com conhecimento do domínio e processos de decisão estruturados.
• Rigor na Avaliação: O estudo enfatiza que a metodologia de avaliação (formato de prompt e pontuação) afeta significativamente as conclusões relatadas, instando futuros benchmarks a relatar tanto pontuações de forma superficial quanto de juiz semântico com artefatos de auditoria transparentes.

O trabalho visa informar praticantes que consideram ferramentas baseadas em VLMs e pesquisadores desenvolvendo modelos multimodais de próxima geração, fundamentando essas conclusões em um benchmark amplo e transparente, em vez de alegações especulativas.