Riepilogo Tecnico: AgroVG: Un Benchmark Multi-Sorgente su Larga Scala per il Grounding Visivo Agricolo

Definizione del Problema

I sistemi di IA agricola richiedono la capacità di ancorare istruzioni in linguaggio naturale in ambienti colturali complessi per abilitare compiti come il diserbo selettivo, il monitoraggio delle malattie e la raccolta mirata. Sebbene il grounding visivo (localizzazione di oggetti descritti da testo) abbia fatto progressi nei domini generali, i benchmark esistenti non riescono a affrontare le sfide specifiche delle immagini agricole. Queste sfide includono:

1. Istanze Dense e Ripetitive: Singoli fotogrammi contengono spesso dozzine di target visivamente simili (ad esempio, spighe di grano, frutti raggruppati), rendendo non valida l'assunzione di un target unico per query.
2. Target Piccoli, Occlusi e Irregolari: Parassiti, lesioni da malattie e foglie spesso presentano confini non convessi e sono parzialmente nascosti, rendendo le caselle di delimitazione insufficienti per una valutazione a livello di pixel.
3. Espressioni con Assenza di Target: Istruzioni realistiche di campo possono riferirsi a oggetti non presenti nell'immagine, richiedendo ai modelli di astenersi piuttosto che allucinare previsioni.

I benchmark agricoli attuali mancano di protocolli di grounding a livello di istanza, sono limitati a dataset a sorgente singola o non valutano i requisiti congiunti di accuratezza di localizzazione, completezza dell'insieme e astensione consapevole dell'esistenza.

Metodologia

Gli autori introducono AgroVG, un benchmark multi-sorgente formulato come un problema generalizzato di previsione di insiemi. Data un'immagine e un'espressione di riferimento, il modello deve restituire tutte le istanze di target corrispondenti (una, molte o nessuna) come caselle di delimitazione o maschere di istanza.

Costruzione del Dataset

• Scala e Sorgenti: AgroVG comprende 10.071 coppie immagine-query ancorate ad annotazioni derivate da 10 dataset sorgente (ad esempio, PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg).
• Famiglie di Target: Il benchmark copre sei famiglie di target agricoli: coltura/erbaccia, frutto, spiga di grano, parassita, malattia delle piante e chioma arborea.
• Ancoraggio delle Annotazioni: Ogni query è tracciabile ad annotazioni di istanza verificate. Le query positive sono collegate a specifici insiemi di target, mentre le query con assenza di target sono verificate per avere insiemi di target vuoti all'interno dello spazio delle famiglie del benchmark.
• Compiti:
  • T1 (Grounding a Casella di Delimitazione): Supportato su tutte e sei le famiglie di target. I modelli prevedono insiemi di caselle di delimitazione allineate agli assi.
  • T2 (Grounding a Maschera di Istanza): Supportato su tre famiglie con annotazioni affidabili a livello di pixel di istanza (coltura/erbaccia, frutto, malattia delle piante). I modelli prevedono maschere binarie.
• Regimi di Query: Entrambi i compiti valutano tre regimi:
  • Target Singolo: $K=1$ istanza.
  • Target Multipli: $K>1$ istanze.
  • Assenza di Target: $K=0$ (nessuna istanza corrispondente esiste).
• Controllo di Qualità: La pipeline di costruzione include campionamento guidato da audit, revisione visiva da parte di esperti per rimuovere immagini corrotte o annotazioni non allineate e generazione di query consapevole della divisione per prevenire la fuoriuscita di dati.

Protocollo di Valutazione

La valutazione utilizza metriche specifiche per il compito per diagnosticare i fallimenti nella localizzazione, nella completezza dell'insieme e nell'astensione:

• Metriche T1: Utilizza Set-F1 (basato sul matching a cardinalità massima alle soglie IoU 0,50 e 0,75) per le query a target multipli, Accuratezza Rigorosa per le query a target singolo e Accuratezza Vuota per le query con assenza di target.
• Metriche T2: Utilizza Copertura della Maschera a Livello di Query (mIoU, cIoU, Dice) per le query positive e Accuratezza Vuota per le query con assenza di target. Questo approccio evita il matching di maschere per istanza a favore della valutazione dell'unione delle regioni indicate.

Risultati Chiave

Gli autori hanno condotto una valutazione zero-shot di 26 configurazioni di modelli, inclusi MLLM proprietari (ad esempio, GPT-4o, GPT-5.4), VLM open-source (ad esempio, InternVL3.5, Qwen3-VL) e sistemi di grounding specializzati (ad esempio, OWLv2, Grounding DINO, LISA, SAM).

• Divari di Prestazione: Il benchmark rivela limitazioni significative nei modelli attuali.
  • Completezza dell'Insieme: Il miglior punteggio Set-F1 a target multipli su T1 è solo 0,3540 (InternVL3.5-8B), indicando che i modelli faticano a recuperare tutte le istanze valide in scene dense.
  • Grounding a Maschera: Il miglior tasso di successo delle query positive su T2 a IoU@0,75 rimane inferiore a 0,17. Il miglior All-mIoU è inferiore a 0,32.
  • Calibrazione dell'Astensione: I modelli mostrano una scarsa calibrazione sulle query con assenza di target. Alcuni modelli (ad esempio, GPT-4o) si astengono bene ma localizzano male sulle query positive, mentre altri (ad esempio, Florence-2) rilevano bene i target positivi ma allucinano previsioni quando i target sono assenti (0% di Accuratezza Vuota).
• Trade-off: Esiste un chiaro compromesso tra la qualità della maschera per le query positive e il rifiuto delle query con assenza di target. Modelli come SAM 3 raggiungono un'alta Accuratezza Vuota (93,4%) ma una debole qualità della maschera per le query positive, mentre i MLLM di segmentazione come LISA-13B producono maschere migliori ma allucinano frequentemente su target assenti.
• Insight Diagnostici: Le prestazioni variano significativamente tra le famiglie di target e i tipi di query. Le query basate su ranking (ad esempio, "più a sinistra", "più grande") e le query di selezione laterale rimangono sostanzialmente più difficili rispetto alle query a target unico, suggerendo che la sola rilevazione open-vocabulary è insufficiente per un grounding agricolo generalizzato.

Significato e Affermazioni

Il paper posiziona AgroVG come un benchmark diagnostico piuttosto che una misura di prontezza per il deployment. I suoi contributi principali sono:

1. Formulazione: Inquadra il grounding visivo agricolo come un problema generalizzato di previsione di insiemi, affrontando esplicitamente la necessità di completezza multi-target e astensione consapevole dell'esistenza.
2. Benchmark Completo: Fornisce il primo benchmark unificato che copre sei famiglie di target agricoli con protocolli di grounding sia a casella di delimitazione che a maschera di istanza nei regimi a target singolo, multipli e con assenza di target.
3. Valore Diagnostico: La valutazione rivela fallimenti sistematici negli attuali modelli all'avanguardia riguardo alla completezza dell'insieme, alla calibrazione dell'astensione e al grounding fine-granulare delle maschere. Questi risultati evidenziano che un grounding agricolo affidabile richiede progressi congiunti nella rilevazione dell'esistenza del target, nella stima della cardinalità e nella copertura geometrica.

Gli autori sottolineano che AgroVG funge da banco di prova standardizzato per identificare modalità di fallimento (come l'allucinazione su target assenti o il recupero incompleto dell'insieme) che sono critiche per la sicurezza nell'agricoltura di precisione ma sono spesso trascurate nei benchmark standard di grounding a singolo oggetto. Il dataset e il codice sono rilasciati per supportare la ricerca futura nello sviluppo di sistemi di IA agricola più affidabili, consapevoli delle istruzioni e consapevoli dell'esistenza.