Does Your VFM Speak Plant? The Botanical Grammar of Vision Foundation Models for Object Detection

Resumo Técnico: Otimização de Prompts para Detecção de Objetos Agrícolas com Modelos de Fundação Visuais

1. Problema

Os Modelos de Fundação Visuais (VFMs) prometem detecção de objetos zero-shot (sem dados de treinamento específicos para a tarefa), mas seu desempenho em cenas agrícolas complexas é altamente sensível à construção de prompts de texto.

• Desafios Agrícolas: Objetos de interesse (flores, vagens, folhas) são pequenos, visualmente semelhantes às estruturas vegetais circundantes e possuem definições de classe variáveis (ex: estágios de crescimento).
• Limitação Atual: A performance de modelos de detecção de vocabulário aberto (OVDs) depende criticamente de como o usuário descreve a classe. Prompts padrão (ex: "uma flor") frequentemente falham.
• Barreira de Entrada: Ajuste fino (fine-tuning) exige dados rotulados e infraestrutura de GPU, o que é inacessível para muitos especialistas agrícolas. O objetivo é otimizar o desempenho sem qualquer dado rotulado.

2. Metodologia

Os autores propõem um framework sistemático de otimização de prompts dividido em duas fases, aplicado a quatro detectores OVDs: YOLO World, SAM3, Grounding DINO e OWLv2. O estudo foca na detecção de flores e vagens de cowpea (feijão-de-corda).

Fase 1: Análise Fatorial (One-Factor-at-a-Time - OFAT)

• Decomposição do prompt em oito eixos linguísticos e não linguísticos:
  1. Taxonomia (ex: cowpea, legume, bean)
  2. Cor (ex: amarelo, branco, roxo)
  3. Anatomia (ex: pétalas abertas, estames visíveis)
  4. Fenologia (ex: botão, florido)
  5. Gramática (ex: "uma", "foto de", substantivo nu)
  6. Tamanho (ex: pequeno, grande)
  7. Negação (ex: "não é uma folha")
  8. Emoji (ex: 🌸, 🌺)
• Realização de testes univariados para identificar quais componentes impactam mais cada arquitetura de modelo.

Fase 2: Otimização Combinatória

• Geração programática de combinações baseadas nos melhores componentes da Fase 1.
• Estratégia em etapas:
  1. Combinações base (Cor × Tamanho, Gramática × Cor, Anatomia).
  2. Adição de variantes de negação aos prompts de melhor desempenho.
  3. Adição de tokens de emoji ao melhor prompt final.
• Regularização de Classe de Fundo: Para o YOLO World, a adição de uma string vazia ("") como classe de fundo foi crucial para suprimir falsos positivos.

Generalização via LLM

• Utilização de um LLM (Qwen-4B) para traduzir os eixos otimizados de flores para um objeto morfologicamente distinto (vagens), permitindo a escalabilidade do método para novas culturas sem engenharia manual de prompts.

Dados e Métricas

• Datasets: Imagens sintéticas (geradas pelo software Helios) e imagens reais de campo.
• Métrica: mAP@0.5 (focada na contagem de detecções corretas, mais relevante que a precisão da caixa delimitadora neste contexto).
• Baseline: Comparação com detectores supervisionados (YOLOv11) treinados nos mesmos dados reais.

3. Contribuições Principais

1. Framework de Otimização Sistemática: Um pipeline que decompõe prompts em eixos interpretáveis e otimiza combinações sem dados rotulados.
2. Descoberta de Sensibilidade Divergente: Evidência de que não existe uma estratégia de prompt universal; o que otimiza um modelo (ex: YOLO World) pode degradar outro (ex: Grounding DINO).
3. Transferência Sintético-para-Real: Demonstração de que prompts otimizados exclusivamente em dados sintéticos transferem-se eficazmente para o mundo real, muitas vezes superando prompts descobertos em dados reais rotulados.
4. Generalização de Domínio: Validação de que a estrutura de prompts descoberta para flores se aplica a vagens (objetos diferentes na mesma cultura) através de tradução guiada por LLM.
5. Acesso Sem Dados Rotulados: Prova de que a engenharia de prompts pode fechar a lacuna de desempenho entre detectores zero-shot e supervisionados sem necessidade de anotação manual.

4. Resultados Chave

• Desempenho por Modelo:
  • YOLO World: Beneficia-se drasticamente de negações textuais completas e emojis. Ganho de +0.357 mAP em dados sintéticos de flores sobre a baseline.
  • OWLv2: Extremamente sensível a termos de fenologia (ex: "botão fechado" superou "flor"). Ganho de +0.362 mAP.
  • SAM3: Responde bem a descrições anatômicas e de cor.
  • Grounding DINO: Pouco sensível à complexidade do prompt; substantivos simples ("flor") muitas vezes foram ótimos.
• Transferência Sintético-Real:
  • Para flores, prompts derivados de dados sintéticos igualaram ou superaram os de dados reais para 3 dos 4 modelos (ex: YOLO World: 0.374 sintético vs. 0.353 real).
  • Para vagens, o pipeline sintético (com tradução de LLM) produziu ganhos massivos para o SAM3 (0.429 mAP), superando tanto a baseline quanto a abordagem manual estruturada.
• Descoberta de LLM: O LLM introduziu descritores não óbvios para humanos, como "mottled" (malhado) para vagens, que o SAM3 explorou com grande sucesso, algo que uma tradução manual provavelmente ignoraria.
• Gap de Calibração: Os autores notaram que as pontuações de confiança são descalibradas entre modelos e prompts. O uso de mAP (que integra a curva precisão-recall) foi essencial para evitar viés na seleção de limiares (thresholds).

5. Significado e Impacto

• Viabilidade Prática: O estudo demonstra que a engenharia de prompts rigorosa e orientada por domínio é um pré-requisito crítico para desbloquear o potencial zero-shot de VFMs na agricultura, eliminando a barreira de custo e expertise do fine-tuning.
• Generalização de Conceitos: As preferências estruturais de prompts parecem refletir como os modelos codificam conceitos visuais, e não apenas artefatos de um conjunto de dados específico.
• Futuro: Abre caminho para pipelines totalmente automatizados de adaptação de modelos para novas culturas e objetos, utilizando apenas descrições naturais e dados sintéticos para otimização, reduzindo a dependência de anotação humana massiva.

Em suma, o artigo estabelece que "falar a língua da planta" (usar a gramática botânica correta no prompt) é tão importante quanto a arquitetura do modelo para aplicações agrícolas de visão computacional.