From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting

Technische Zusammenfassung: Von der Vision zur Ernte

Problemdefinition
Die Arbeit befasst sich mit der Herausforderung des Einsatzes von Multi-Arm-Robotersystemen für die Fruchternte in unstrukturierten Obstgartenumgebungen. Während Multi-Arm-Systeme durch gleichzeitiges Pflücken eine höhere Durchsatzrate als Single-Arm-Gegenstücke bieten, stehen sie vor zwei primären Hürden:

1. Generalisierung: Traditionelle Systeme verlassen sich auf spezialisierte Wahrnehmungs-Pipelines (z. B. YOLO), die unter variierenden Lichtverhältnissen, Verdeckungen und Umweltbedingungen degradieren und oft ein umfangreiches Nachtraining auf Ziel-Daten erfordern.
2. Koordinationskomplexität: Die Planung kollisionsfreier Trajektorien für mehrere Arme in einem gemeinsamen Arbeitsraum ist ein NP-schweres Problem. Bestehende Lösungen vereinfachen dies oft durch eine Partitionierung des Arbeitsraums unter den Armen, was jedoch die Planungsqualität und den Gesamtdurchsatz reduzieren kann.

Die Autoren schlagen vor, Vision-Language-Modelle (VLMs) als Zero-Shot-Alternative zu evaluieren. Die Motivation liegt darin, dass menschliche Arbeiter die Ernte erfolgreich bewältigen, indem sie visuell über räumliche Beziehungen und die Sequenzierung von Aufgaben nachdenken, ohne explizites Nachtraining. Die Arbeit untersucht, ob vortrainierte VLMs in der Lage sind, dieses hochgradige logische Denken zu replizieren, um effektive, kollisionsfreie Multi-Arm-Erntepläne direkt aus rohen RGB-D-Bildern zu generieren.

Methodik
Die Autoren führen einen umfassenden Benchmark ein, um VLMs gegenüber einer traditionellen „Oracle“-Pipeline zu evaluieren.

• Oracle-Pipeline (Baseline): Eine hochmoderne, dreistufige Pipeline, die als Obergrenze (Upper-Bound-Referenz) dient:

  1. Wahrnehmung: Verwendet GroundingDINO für Open-Vocabulary-Detektion und SAM2 für die Pixel-Ebene-Segmentierung, um Früchte zu isolieren.
  2. Lokalisierung: Projiziert segmentierte Tiefenpixel mittels eines Lochkameramodells in 3D-Koordinaten und clustert diese via DBSCAN, um die Positionen der Früchte und die Ablösezeiten zu schätzen.
  3. Planung: Nutzt ein bi-level Mixed-Integer Programming (MIP) Framework, um Früchte spezifischen Armen zuzuweisen und synchronisierte, kollisionsfreie Trajektorien zu generieren.

• Zero-Shot VLM-Pipeline:

  • Input: Rohe RGB-D-Bilder aus Obstgärten und ein strukturierter Prompt.
  • Prompt-Design: Der Prompt weist dem VLM eine spezifische Rolle zu (Experte für Agrarrobotik), liefert physikalische Skalenreferenzen (z. B. Fruchtdurchmesser), definiert das Koordinatensystem und die Roboterbeschränkungen (z. B. Arm-Reihenfolge auf einer gemeinsamen Schiene). Er fordert das Modell explizit auf, Früchte zu identifizieren, über räumliche Beziehungen zu argumentieren und ein JSON-Objekt auszugeben, das die Erntesequenzen und 3D-Wegpunkte in Metern enthält.
  • Sicherheitsverifizierung: Da VLMs Wegpunkte ohne Zeitinformationen ausgeben, prüft ein leichtgewichtiges Trajektorien-Verifikationsmodul auf „Ordnungsverstöße“. Wenn ein Arm, der einer Frucht mit einer größeren X-Koordinate zugewiesen ist, einen Arm passieren muss, der einer Frucht mit einer kleineren X-Koordinate zugewiesen ist (was die feste physische Reihenfolge der Arme auf der Schiene verletzt), wird der Plan als Kollision markiert.

• Experimentelles Setup:

  • Datensätze: Reale Bilder aus Apfel- und Zitrusobstgärten.
  • Modelle: Evaluierung von fünf Closed-Source-Modellen (z. B. GPT-4o, GPT-5.5-Pro, Claude Sonnet 3.5) und zwei Open-Source-VLMs.
  • Metriken: Detektionsrate, Ernterate (bei variierenden räumlichen Schwellenwerten: 1,0 m, 0,5 m, 0,25 m), Kollisionsrate, Trajektorienentfernung und Token-Verbrauch.

Kernbeiträge

1. Erster umfassender Benchmark: Die Arbeit präsentiert den ersten Benchmark, der speziell darauf ausgelegt ist, vortrainierte VLMs bei der Zero-Shot Multi-Arm-Fruchtenernte-Planung über reale Kulturen (Apfel und Zitrusfrüchte) hinweg zu evaluieren.
2. VLM-Planungspipeline: Entwicklung einer Pipeline, die Multi-Arm-Wegpunkte direkt aus Rohbildern generiert, gekoppelt mit einem Kollisionsprüfmechanismus, der die Machbarkeit basierend auf kinematischen Beschränkungen validiert.
3. Empirische Analyse: Eine systematische Evaluierung, die zeigt, dass frontier VLMs zwar Pläne generieren können, ihre Leistung jedoch hochsensibel gegenüber physikalischen Skalen-Priors, räumlichen Schwellenwerten und der Szenenkomplexität ist.
4. Open Source: Die Autoren verpflichten sich, den Benchmark Open Source zur Verfügung zu stellen, um die zukünftige Forschung zu erleichtern.

Ergebnisse

• Fähigkeit: Frontier-VLMs (z. B. GPT-5.5-Pro, Claude Opus 4.7) können vollständige Erntepläne erstellen, die die meisten Früchte in Zero-Shot-Szenarien abdecken.
• Präzision vs. Recall: Es gibt eine signifikante Lücke zwischen der Detektion von Früchten und der präzisen Lokalisierung. Modelle erreichen oft hohe Detektionsraten (z. B. >90 % bei einem 1,0-m-Schwellenwert), erleiden aber drastische Einbußen bei den Ernteraten bei strengeren Schwellenwerten (z. B. <10 % bei 0,25 m für einige Modelle bei Zitrusfrüchten).
• Sicherheit und Koordination: Die Kollisionsraten sind für viele Modelle substanziell (z. B. >80 % für Claude Sonnet 3.5 bei Zitrusfrüchten), was darauf hindeutet, dass VLMs Schwierigkeiten mit der komplexen räumlichen Koordination haben, die für Multi-Arm-Systeme ohne explizite geometrische Beschränkungen erforderlich ist.
• Prompt-Sensitivität: Ablationsstudien zeigen, dass physikalische Skalen-Priors entscheidend sind; das Entfernen dieser führt zu einem starken Rückgang der Lokalisierungsgenauigkeit. Jedoch ist die strukturierte Ausgabe (JSON) essenziell; ohne sie scheitern die Modelle daran, ausführbare Pläne zu produzieren, obwohl sie die Früchte detektieren.
• Skalierbarkeit: Die Leistung sinkt mit zunehmender Anzahl an Früchten (höhere Szenenkomplexität) und mit zunehmender Anzahl an Armen, was die Schwierigkeit der Skalierung der Koordinationslogik verdeutlicht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass diese Untersuchung sowohl das Potenzial als auch die aktuellen Grenzen von VLMs in der Agrarrobotik aufzeigt.

• Potenzial: VLMs demonstrieren die Fähigkeit, über Kulturen und Umgebungen hinweg zu generalisieren, ohne kulturspezifisches Training, was einen potenziellen Weg bietet, die Abhängigkeit von manueller Arbeit und spezialisierter Datenerhebung zu reduzieren.
• Grenzen: Der praktische Einsatz wird derzeit durch die Unfähigkeit der VLMs begrenzt, präzise 3D-Wegpunkte (insbesondere in der Tiefe) zu generieren und eine kollisionsbewusste Koordination für mehrere Arme durchzuführen.
• Fazit: Die Autoren kommen zu dem Schluss, dass VLMs zwar effektiv für die High-Level-Aufgabenplanung sind, aber noch keine vollständige Lösung für die Multi-Arm-Ernte darstellen. Zukünftige Arbeiten müssen die Lücke zwischen semantischer Argumentation und präziser metrischer Lokalisierung sowie Sicherheitsverifizierung schließen. Der Benchmark dient als Fundament für die Entwicklung generalisierbarerer und effizienterer Planungssysteme.