From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting

Resumen Técnico: De la Visión a la Cosecha

Definición del Problema
El artículo aborda el desafío de desplegar sistemas robóticos de múltiples brazos para la cosecha de frutas en entornos de huertos no estructurados. Aunque los sistemas de múltiples brazos ofrecen un mayor rendimiento que sus contrapartes de un solo brazo al recolectar de forma concurrente, enfrentan dos obstáculos principales:

1. Generalización: Los sistemas tradicionales dependen de canales de percepción especializados (por ejemplo, YOLO) que se degradan ante variaciones de iluminación, oclusión y condiciones ambientales, requiriendo a menudo un reentrenamiento extensivo con datos específicos.
2. Complejidad de Coordinación: Planificar trayectorias libres de colisiones para múltiples brazos en un espacio de trabajo compartido es un problema NP-duro. Las soluciones existentes suelen simplificar esto mediante la partición del espacio de trabajo entre los brazos, lo que puede reducir la calidad de la planificación y el rendimiento general.

Los autores proponen evaluar los Modelos de Lenguaje-Visión (VLM) como una alternativa zero-shot. La motivación es que los trabajadores humanos cosechan con éxito razonando visualmente sobre las relaciones espaciales y la secuenciación de tareas sin necesidad de un reentrenamiento explícito. El artículo investiga si los VLM preentrenados pueden replicar este razonamiento de alto nivel para generar planes de cosecha de múltiples brazos efectivos y libres de colisiones directamente a partir de imágenes RGB-D puras.

Metodología
Los autores introducen un benchmark integral para evaluar los VLM frente a un canal de procesamiento "oráculo" tradicional.

• Canal Oráculo (Línea Base): Un canal de vanguardia de tres etapas que sirve como referencia de límite superior:

  1. Percepción: Utiliza GroundingDINO para la detección de vocabulario abierto y SAM2 para la segmentación a nivel de píxel para aislar las frutas.
  2. Localización: Proyecta los píxeles de profundidad segmentados en coordenadas 3D utilizando un modelo de cámara de ojo de cerradura (pinhole) y los agrupa mediante DBSCAN para estimar las posiciones de las frutas y los tiempos de desprendimiento.
  3. Planificación: Utiliza un marco de programación entera mixta (MIP) de dos niveles para asignar frutas a brazos específicos y generar trayectorias sincronizadas y libres de colisiones.

• Canal VLM Zero-Shot:

  • Entrada: Imágenes RGB-D de huertos reales y un prompt estructurado.
  • Diseño del Prompt: El prompt proporciona al VLM un rol específico (experto en robótica agrícola), referencias de escala física (por ejemplo, el diámetro de la fruta), definiciones de sistema de coordenadas y restricciones del robot (por ejemplo, el orden de los brazos en un riel compartido). Solicita explícitamente al modelo que identifique las frutas, razone sobre las relaciones espaciales y genere un objeto JSON que contenga secuencias de cosecha y puntos de ruta (waypoints) 3D en metros.
  • Verificación de Seguridad: Dado que los VLM generan puntos de ruta sin información de tiempo, un verificador de trayectoria ligero comprueba las "violaciones de orden". Si un brazo asignado a una fruta con una coordenada X mayor debe pasar junto a un brazo asignado a una fruta con una coordenada X menor (violando el orden físico fijo de los brazos en el riel), el plan se marca como una colisión.

• Configuración Experimental:

  • Conjuntos de Datos: Imágenes del mundo real de huertos de manzanas y cítricos.
  • Modelos: Se evaluaron cinco modelos de código cerrado (por ejemplo, GPT-4o, GPT-5.5-Pro, Claude Sonnet 3.5) y dos VLM de código abierto.
  • Métricas: Tasa de detección, tasa de cosecha (en varios umbrales espaciales: 1.0m, 0.5m, 0.25m), tasa de colisión, distancia de la trayectoria y uso de tokens.

Contribuciones Clave

1. Primer Benchmark Integral: El artículo presenta el primer benchmark diseñado específicamente para evaluar la planificación de cosecha de frutas de múltiples brazos zero-shot mediante VLM en cultivos del mundo real (manzana y cítricos).
2. Canal de Planificación VLM: Desarrollo de un canal que genera puntos de ruta para múltiples brazos directamente desde imágenes puras, junto con un mecanismo de verificación de colisiones que valida la viabilidad basada en restricciones cinemáticas.
3. Análisis Empírico: Una evaluación sistemática que revela que, si bien los VLM de frontera pueden generar planes, su rendimiento es altamente sensible a los sesgos de escala física, los umbrales espaciales y la complejidad de la escena.
4. Código Abierto: Los autores se comprometen a liberar el benchmark como código abierto para facilitar la investigación futura.

Resultados

• Capacidad: Los VLM de frontera (por ejemplo, GPT-5.5-Pro, Claude Opus 4.7) pueden generar planes de cosecha completos que cubren la mayoría de las frutas en escenarios zero-shot.
• Precisión vs. Exhaustividad (Recall): Existe una brecha significativa entre detectar la fruta y localizarla con precisión. Los modelos suelen lograr altas tasas de detección (por ejemplo, >90% con un umbral de 1.0m) pero sufren caídas drásticas en las tasas de cosecha con umbrales más estrictos (por ejemplo, <10% a 0.25m para algunos modelos en cítricos).
• Seguridad y Coordinación: Las tasas de colisión son sustanciales para muchos modelos (por ejemplo, >80% para Claude Sonnet 3.5 en cítricos), lo que indica que los VLM tienen dificultades con la compleja coordinación espacial requerida para sistemas de múltiples brazos sin restricciones geométricas explícitas.
• Sensibilidad del Prompt: Los estudios de ablación muestran que los sesgos de escala física son críticos; eliminar estos sesgos provoca una caída brusca en la precisión de la localización. Sin embargo, la salida estructurada (JSON) es esencial; sin ella, los modelos fallan en producir planes ejecutables a pesar de detectar la fruta.
• Escalabilidad: El rendimiento se degrada a medida que aumenta el número de frutas (mayor complejidad de la escena) y el número de brazos, resaltando la dificultad de escalar la lógica de coordinación.

Significancia y Reivindicaciones
El artículo sostiene que este trabajo resalta tanto la promesa como las limitaciones actuales de los VLM en la robótica agrícola.

• Promesa: Los VLM demuestran la capacidad de generalizar a través de cultivos y entornos sin entrenamiento específico de la tarea, ofreciendo un camino potencial para reducir la dependencia de la mano de obra manual y la recolección de datos especializados.
• Limitaciones: El despliegue práctico está actualmente limitado por la incapacidad de los VLM para generar puntos de ruta 3D precisos (particularmente en profundidad) y para realizar una coordinación consciente de colisiones para múltiples brazos.
• Conclusión: Los autores concluyen que, si bien los VLM son efectivos para la planificación de tareas de alto nivel, aún no son una solución completa para la cosecha de múltiples brazos. El trabajo futuro requiere abordar la brecha entre el razonamiento semántico y la localización métrica precisa y la verificación de seguridad. El benchmark sirve como base para desarrollar sistemas de planificación más generalizables y eficientes.