💻 computer science

AgroVG: A Large-Scale Multi-Source Benchmark for Agricultural Visual Grounding

Este artigo apresenta o AgroVG, um benchmark de grande escala e multi-fonte composto por mais de 10.000 pares imagem-query abrangendo seis famílias de alvos agrícolas para avaliar a ancoragem visual como uma tarefa de previsão de conjuntos generalizada, revelando lacunas significativas de desempenho na capacidade dos modelos atuais de lidar com contagens de objetos pequenas, ocluídas e variáveis em cenários agrícolas.

Autores originais: Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um jardineiro robô a trabalhar em um campo vasto e bagunçado. Você quer dar a ele instruções simples como: "Colha apenas as maçãs maduras à esquerda" ou "Pulverize as ervas daninhas, mas ignore as culturas saudáveis".

Há muito tempo, pesquisadores de IA têm sido bons em ensinar robôs a reconhecer o que está em uma imagem (por exemplo, "Isso é uma maçã"). Mas eles não têm sido muito bons em ensinar robôs a ouvir instruções específicas sobre onde as coisas estão, especialmente quando há dezenas de coisas semelhantes agrupadas, ou quando a coisa que você pediu não está lá de forma alguma.

Este artigo apresenta o AgroVG, um novo "teste de direção" (benchmark) projetado para verificar se os modelos de IA conseguem realmente seguir essas instruções complexas de jardinagem.

Aqui está uma explicação do que eles fizeram, usando analogias simples:

1. O Problema: O Desafio da "Agulha no Palheiro"

Em uma foto normal, pedir a uma IA para "encontrar o gato" é fácil. Mas em um campo agrícola:

O Palheiro: Pode haver 50 espigas de trigo que parecem quase idênticas.
A Agulha: Você pode pedir "as três espigas de trigo mais altas à direita".
A Armadilha: Às vezes você pede "as maçãs vermelhas", mas não há maçãs vermelhas na imagem. Um robô inteligente deveria dizer: "Não vejo nenhuma", mas um robô burro pode alucinar e apontar para uma folha verde de qualquer maneira.

Testes existentes não verificavam se os robôs conseguiam lidar com essas três situações complicadas ao mesmo tempo: encontrar um item específico, encontrar muitos itens específicos ou dizer corretamente "nenhum" quando o item está ausente.

2. A Solução: O "Teste de Direção" do AgroVG

Os autores criaram um banco de testes massivo chamado AgroVG. Pense nele como um teste de direção gigante e padronizado para robôs agrícolas.

O Tamanho: Contém mais de 10.000 perguntas de teste.
A Variedade: Abrange seis diferentes "cenários de direção" (famílias): culturas vs. ervas daninhas, frutas, espigas de trigo, pragas (insetos), doenças das plantas e copas de árvores.
Os Dois Níveis de Dificuldade:
- Nível 1 (A Caixa): O robô desenha uma caixa quadrada ao redor do alvo. Isso é como dizer: "O alvo está em algum lugar dentro deste quadrado".
- Nível 2 (A Máscara): O robô desenha um contorno preciso ao redor do alvo. Isso é como dizer: "O alvo é exatamente esta forma, nem mais, nem menos". Isso é muito mais difícil porque folhas e insetos têm formas estranhas e irregulares.

3. Como Eles Testaram

Eles não treinaram os robôs neste teste. Em vez disso, pegaram 26 modelos de IA diferentes (incluindo grandes e famosos como o GPT-4 e modelos especializados de código aberto) e pediram que fizessem o teste "frios" (zero-shot).

Eles fizeram perguntas como:

"Encontre o maior inseto." (Alvo único)
"Encontre todas as ervas daninhas à esquerda." (Alvos múltiplos)
"Encontre as flores azuis." (Quando não há flores azuis na imagem).

4. Os Resultados: Os Robôs Lutaram

Os resultados foram um pouco um choque de realidade. Mesmo os modelos de IA mais inteligentes falharam em passar no teste com louvor.

O Problema do "Conjunto": Quando pediam para encontrar todas as ervas daninhas, os robôs geralmente encontravam as maiores e mais óbvias, mas perdiam as menores e escondidas. Eles eram como um aluno que só responde às perguntas fáceis e pula o resto.
O Problema da "Alucinação": Quando pediam para encontrar algo que não estava lá (como "encontre as maçãs vermelhas" em uma imagem de grama verde), muitos robôs desenharam confiantemente caixas ou máscaras ao redor de folhas verdes aleatórias. Eles estavam muito ansiosos para agradar e inventaram alvos que não existiam.
O Problema da "Precisão": Quando pediam para desenhar um contorno preciso (Nível 2), os robôs frequentemente eram descuidados. Eles podiam desenhar uma máscara que cobria toda a planta em vez de apenas a folha doente, ou perdiam as bordas completamente.

A Conclusão: O melhor modelo acertou apenas cerca de 35% das perguntas de "encontrar múltiplos itens" e menos de 17% das perguntas de "contorno preciso".

5. Por Que Isso Importa (De Acordo com o Artigo)

O artigo argumenta que, antes que possamos confiar em robôs para entrar em um campo e pulverizar pesticidas ou colher frutas com base em comandos de voz, precisamos de uma maneira de medir se eles estão realmente ouvindo e vendo corretamente.

O AgroVG é essa régua de medição. Ele nos mostra que, embora a IA esteja ficando melhor em "ver" imagens, ela ainda é muito ruim em "ouvir" instruções complexas em ambientes bagunçados e do mundo real. Isso destaca que precisamos de robôs que não sejam apenas bons em identificar coisas, mas também bons em saber quando nada está lá, e bons em contar e agrupar coisas corretamente.

Em resumo: Criamos um exame muito difícil para robôs agrícolas. Eles fizeram o exame e, na maioria das vezes, reprovaram. Isso nos diz que temos um longo caminho a percorrer antes de podermos deixá-los trabalhar sozinhos nos campos.

Resumo Técnico: AgroVG: Um Benchmark Multi-Fonte de Grande Escala para Ancoragem Visual Agrícola

Definição do Problema

Sistemas de IA agrícola requerem a capacidade de ancorar instruções em linguagem natural em ambientes complexos de culturas para habilitar tarefas como capina seletiva, monitoramento de doenças e colheita direcionada. Embora a ancoragem visual (localização de objetos descritos por texto) tenha avançado em domínios gerais, os benchmarks existentes falham em abordar os desafios específicos da imagética agrícola. Esses desafios incluem:

Instâncias Densas e Repetitivas: Quadros únicos frequentemente contêm dezenas de alvos visualmente semelhantes (por exemplo, espigas de trigo, frutos agrupados), tornando inválida a suposição de um alvo único por consulta.
Alvos Pequenos, Ocluídos e Irregulares: Pragas, lesões de doenças e folhas frequentemente possuem limites não convexos e estão parcialmente ocultos, tornando as caixas delimitadoras insuficientes para avaliação em nível de pixel.
Expressões sem Alvo: Instruções realistas de campo podem referir-se a objetos que não estão presentes na imagem, exigindo que os modelos se abstenham em vez de alucinar previsões.

Os benchmarks agrícolas atuais ou carecem de protocolos de ancoragem em nível de instância, restringem-se a conjuntos de dados de fonte única ou não avaliam os requisitos conjuntos de precisão de localização, completude do conjunto e abstenção consciente da existência.

Metodologia

Os autores introduzem o AgroVG, um benchmark multi-source formulado como um problema generalizado de previsão de conjuntos. Dada uma imagem e uma expressão de referência, o modelo deve retornar todas as instâncias de alvo correspondentes (uma, muitas ou nenhuma) como caixas delimitadoras ou máscaras de instância.

Construção do Conjunto de Dados

Escala e Fontes: O AgroVG compreende 10.071 pares imagem-consulta ancorados por anotação derivados de 10 conjuntos de dados fonte (por exemplo, PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg).
Famílias de Alvos: O benchmark cobre seis famílias de alvos agrícolas: cultura/erva daninha, fruto, espiga de trigo, praga, doença de planta e copa de árvore.
Ancoragem de Anotação: Cada consulta é rastreável até anotações de instância verificadas. Consultas positivas são vinculadas a conjuntos de alvos específicos, enquanto consultas sem alvo são verificadas para ter conjuntos de alvos vazios dentro do espaço de famílias do benchmark.
Tarefas:
- T1 (Ancoragem de Caixa Delimitadora): Suportada em todas as seis famílias de alvos. Os modelos preveem conjuntos de caixas delimitadoras alinhadas aos eixos.
- T2 (Ancoragem de Máscara de Instância): Suportada em três famílias com anotações de pixel em nível de instância confiáveis (cultura/erva daninha, fruto, doença de planta). Os modelos preveem máscaras binárias.
Regimes de Consulta: Ambas as tarefas avaliam três regimes:
- Alvo Único: $K=1$ instância.
- Alvo Múltiplo: $K>1$ instâncias.
- Sem Alvo: $K=0$ (nenhuma instância correspondente existe).
Controle de Qualidade: O pipeline de construção inclui amostragem orientada por auditoria, revisão visual por especialistas para remover imagens corrompidas ou anotações desalinhadas e geração de consultas consciente da divisão para evitar vazamento de dados.

Protocolo de Avaliação

A avaliação utiliza métricas específicas de tarefa para diagnosticar falhas em localização, completude do conjunto e abstenção:

Métricas T1: Utiliza Set-F1 (baseado em correspondência de cardinalidade máxima nos limiares de IoU 0,50 e 0,75) para consultas de alvo múltiplo, Precisão Estrita para consultas de alvo único e Precisão Vazia para consultas sem alvo.
Métricas T2: Utiliza Cobertura de Máscara em Nível de Consulta (mIoU, cIoU, Dice) para consultas positivas e Precisão Vazia para consultas sem alvo. Esta abordagem evita a correspondência de máscara por instância em favor de avaliar a união das regiões referidas.

Principais Resultados

Os autores conduziram uma avaliação zero-shot de 26 configurações de modelo, incluindo MLLMs de código fechado (por exemplo, GPT-4o, GPT-5.4), VLMs de código aberto (por exemplo, InternVL3.5, Qwen3-VL) e sistemas de ancoragem especializados (por exemplo, OWLv2, Grounding DINO, LISA, SAM).

Lacunas de Desempenho: O benchmark revela limitações significativas nos modelos atuais.
- Completude do Conjunto: A melhor pontuação Set-F1 de alvo múltiplo no T1 é apenas 0,3540 (InternVL3.5-8B), indicando que os modelos lutam para recuperar todas as instâncias válidas em cenas densas.
- Ancoragem de Máscara: A melhor taxa de sucesso de consulta positiva no T2 em IoU@0,75 permanece abaixo de 0,17. O melhor All-mIoU está abaixo de 0,32.
- Calibração de Abstenção: Os modelos exibem calibração pobre em consultas sem alvo. Alguns modelos (por exemplo, GPT-4o) se abstêm bem, mas localizam mal em consultas positivas, enquanto outros (por exemplo, Florence-2) detectam bem alvos positivos, mas alucinam previsões quando os alvos estão ausentes (0% de Precisão Vazia).
Compensações: Há uma clara compensação entre a qualidade da máscara de consulta positiva e a rejeição de ausência de alvo. Modelos como SAM 3 alcançam alta Precisão Vazia (93,4%), mas qualidade de máscara de consulta positiva fraca, enquanto MLLMs de segmentação como LISA-13B produzem máscaras melhores, mas frequentemente alucinam em alvos ausentes.
Insights Diagnósticos: O desempenho varia significativamente entre famílias de alvos e tipos de consulta. Consultas baseadas em classificação (por exemplo, "mais à esquerda", "maior") e consultas de seleção lateral permanecem substancialmente mais difíceis do que consultas de alvo único, sugerindo que a detecção de vocabulário aberto sozinha é insuficiente para ancoragem agrícola generalizada.

Significado e Alegações

O artigo posiciona o AgroVG como um benchmark diagnóstico em vez de uma medida de prontidão para implantação. Suas principais contribuições são:

Formulação: Ele formula a ancoragem visual agrícola como um problema generalizado de previsão de conjuntos, abordando explicitamente a necessidade de completude de alvo múltiplo e abstenção consciente da existência.
Benchmark Abrangente: Fornece o primeiro benchmark unificado abrangendo seis famílias de alvos agrícolas com protocolos de ancoragem de caixa delimitadora e máscara de instância sob regimes de alvo único, múltiplo e sem alvo.
Valor Diagnóstico: A avaliação revela falhas sistemáticas nos modelos atuais de última geração quanto à completude do conjunto, calibração de abstenção e ancoragem de máscara fina. Essas descobertas destacam que a ancoragem agrícola confiável requer progresso conjunto na detecção de existência de alvo, estimativa de cardinalidade e cobertura geométrica.

Os autores enfatizam que o AgroVG serve como um campo de testes padronizado para identificar modos de falha (como alucinação em alvos ausentes ou recuperação incompleta de conjuntos) que são críticos para a segurança na agricultura de precisão, mas que são frequentemente negligenciados em benchmarks padrão de ancoragem de objeto único. O conjunto de dados e o código são liberados para apoiar pesquisas futuras no desenvolvimento de sistemas de IA agrícola mais confiáveis, conscientes de instruções e conscientes da existência.