From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting

Sintesi Tecnica: Dalla Visione al Raccolto

Definizione del Problema
Il documento affronta la sfida del dispiegamento di sistemi robotici multi-braccio per la raccolta della frutta in ambienti di frutteti non strutturati. Sebbene i sistemi multi-braccio offrano una produttività superiore rispetto alle controparti a braccio singolo grazie alla raccolta simultanea, essi devono affrontare due ostacoli primari:

1. Generalizzazione: I sistemi tradizionali si affidano a pipeline di percezione specializzate (ad es., YOLO) che degradano sotto condizioni di illuminazione variabile, occlusione e condizioni ambientali, richiedendo spesso un addestramento esteso sui dati target.
2. Complessità di Coordinamento: Pianificare traiettorie prive di collisioni per più bracci in uno spazio di lavoro condiviso è un problema NP-difficile. Le soluzioni esistenti spesso semplificano questo aspetto suddividendo lo spazio di lavoro tra i bracci, il che può ridurre la qualità della pianificazione e la produttività complessiva.

Gli autori propongono di valutare i Modelli Vision-Language (VLM) come un'alternativa zero-shot. La motivazione è che gli operatori umani raccolgono con successo ragionando visivamente sulle relazioni spaziali e sulla sequenzialità dei compiti senza un addestramento esplicito. Il documento indaga se i VLM pre-addestrati possano replicare questo ragionamento di alto livello per generare piani di raccolta multi-braccio efficaci e privi di collisioni direttamente da immagini RGB-D grezze.

Metodologia
Gli autori introducono un benchmark completo per valutare i VLM rispetto a una pipeline "oracle" tradizionale.

• Pipeline Oracle (Baseline): Una pipeline all'avanguardia a tre stadi che funge da riferimento per il limite superiore:

  1. Percezione: Utilizza GroundingDINO per il rilevamento open-vocabulary e SAM2 per la segmentazione a livello di pixel per isolare i frutti.
  2. Localizzazione: Proietta i pixel di profondità segmentati in coordinate 3D utilizzando un modello di camera pinhole e li raggruppa tramite DBSCAN per stimare le posizioni dei frutti e i tempi di distacco.
  3. Pianificazione: Utilizza un framework di programmazione lineare intera mista (MIP) a due livelli per assegnare i frutti a bracci specifici e generare traiettorie sincronizzate e prive di collisioni.

• Pipeline VLM Zero-Shot:

  • Input: Immagini RGB-D grezze del frutteto e un prompt strutturato.
  • Design del Prompt: Il prompt fornisce al VLM un ruolo specifico (esperto di robotica agricola), riferimenti di scala fisica (ad es., diametro del frutto), definizioni del sistema di coordinate e vincoli del robot (ad es., ordine dei bracci su una rotaia condivisa). Chiede esplicitamente al modello di identificare i frutti, ragionare sulle relazioni spaziali e restituire un oggetto JSON contenente sequenze di raccolta e waypoint 3D in metri.
  • Verifica della Sicurezza: Poiché i VLM restituiscono waypoint senza informazioni temporali, un verificatore di traiettoria leggero controlla le "violazioni d'ordine". Se un braccio assegnato a un frutto con una coordinata X maggiore deve passare accanto a un braccio assegnato a un frutto con una coordinata X minore (violando l'ordine fisico fisso dei bracci sulla rotaia), il piano viene segnalato come collisione.

• Configurazione Sperimentale:

  • Dataset: Immagini reali da frutteti di mele e agrumi.
  • Modelli: Valutazione di cinque modelli closed-source (ad es., GPT-4o, GPT-5.5-Pro, Claude Sonnet 3.5) e due VLM open-source.
  • Metriche: Rapporto di rilevamento, rapporto di raccolta (a diverse soglie spaziali: 1.0m, 0.5m, 0.25m), rapporto di collisione, distanza della traiettoria e utilizzo dei token.

Contributi Chiave

1. Primo Benchmark Completo: Il documento presenta il primo benchmark progettato specificamente per valutare i VLM pre-addestrati sulla pianificazione zero-shot della raccolta multi-braccio su colture reali (mele e agrumi).
2. Pipeline di Pianificazione VLM: Sviluppo di una pipeline che genera waypoint multi-braccio direttamente dalle immagini grezze, accoppiata a un meccanismo di controllo delle collisioni che valida la fattibilità basandosi su vincoli cinematici.
3. Analisi Empirica: Una valutazione sistematica che rivela come, sebbene i VLM all'avanguardia possano generare piani, le loro prestazioni siano altamente sensibili ai priori di scala fisica, alle soglie spaziali e alla complessità della scena.
4. Open Source: Gli autori si impegnano a rendere open source il benchmark per facilitare la ricerca futura.

Risultati

• Capacità: I VLM di frontiera (ad es., GPT-5.5-Pro, Claude Opus 4.7) possono generare piani di raccolta completi che coprono la maggior parte dei frutti in scenari zero-shot.
• Precisione vs. Recall: Esiste un divario significativo tra il rilevamento del frutto e la sua localizzazione precisa. I modelli spesso ottengono alti rapporti di rilevamento (ad es., >90% alla soglia di 1.0m) ma subiscono cali drastici nei rapporti di raccolta a soglie più strette (ad es., <10% a 0.25m per alcuni modelli su agrumi).
• Sicurezza e Coordinamento: I rapporti di collisione sono sostanziali per molti modelli (ad es., >80% per Claude Sonnet 3.5 su agrumi), indicando che i VLM faticano con il complesso coordinamento spaziale richiesto dai sistemi multi-braccio senza espliciti vincoli geometrici.
• Sensibilità al Prompt: Gli studi di ablazione mostrano che i priori di scala fisica sono critici; rimuoverli causa un netto declino nell'accuratezza della localizzazione. Tuttavia, l'output strutturato (JSON) è essenziale; senza di esso, i modelli non riescono a produrre piani eseguibili nonostante il rilevamento dei frutti.
• Scalabilità: Le prestazioni degradano all'aumentare del numero di frutti (maggiore complessità della scena) e all'aumentare del numero di bracci, evidenziando la difficoltà di scalare la logica di coordinamento.

Significato e Rivendicazioni
Il documento sostiene che questo lavoro evidenzia sia le promesse che le attuali limitazioni dei VLM nella robotica agricola.

• Promessa: I VLM dimostrano la capacità di generalizzare su colture e ambienti senza addestramento specifico per il compito, offrendo un percorso potenziale per ridurre la dipendenza dal lavoro manuale e dalla raccolta di dati specializzati.
• Limitazioni: L'implementazione pratica è attualmente limitata dall'incapacità dei VLM di generare waypoint 3D accurati (particolarmente in profondità) e di eseguire un coordinamento consapevole delle collisioni per più bracci.
• Conclusione: Gli autori concludono che, sebbene i VLM siano efficaci per la pianificazione di compiti di alto livello, non sono ancora una soluzione completa per la raccolta multi-braccio. Il lavoro futuro richiede di colmare il divario tra il ragionamento semantico e la precisa localizzazione metrica e la verifica della sicurezza. Il benchmark serve come fondamento per lo sviluppo di sistemi di pianificazione più generalizzabili ed efficienti.