HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild

Este trabajo presenta el primer estudio sobre la transferencia de políticas de visión-idioma-acción (VLA) a la cosecha real de fresas en invernadero, logrando un sistema de bucle cerrado con un 74% de éxito mediante el uso de sensores RGB, demostraciones teleoperadas y la adaptación de modelos como pi_0.5, sin depender de nubes de puntos de profundidad ni calibración geométrica explícita.

Lo esencial

Imagina que tienes que recoger fresas en un invernadero. No es como recoger manzanas de un árbol donde todo está a la vista; las fresas están escondidas entre hojas, a veces brillan por el sol (reflejos) y son tan delicadas que si las tocas fuerte, se rompen.

Hasta ahora, los robots para esto eran como músicos que leen partituras muy estrictas: si una hoja se movía o la luz cambiaba, el robot se confundía y dejaba de funcionar. Necesitaban programadores expertos para decirles exactamente cómo mover cada pieza.

Este paper presenta HarvestFlex, un nuevo enfoque que es más como enseñarle a un robot a "sentir" y "pensar" como un humano, en lugar de darle una lista de instrucciones rígidas.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Robot "Inteligente" (La Política VLA)

En lugar de programar paso a paso, los investigadores usaron un tipo de inteligencia artificial llamada VLA (Visión-Lenguaje-Acción).

• La analogía: Imagina que le das a un robot una cámara y le dices: "Recoge todas las fresas maduras y ponlas en la bandeja".
• El robot no solo "ve" la fresa; entiende el contexto. Sabe que si hay una hoja tapando la fresa, debe apartarla con cuidado. Sabe que si la fresa brilla mucho, no debe confundirla con una piedra. Aprende a conectar lo que ve con lo que debe hacer, todo en un solo cerebro digital.

2. Los "Ojos" del Robot (Sin Lentes 3D)

Lo interesante es que este robot no usa sensores de profundidad complejos (como lentes 3D caros).

• La analogía: Es como si tú cerraras un ojo y usaras solo dos ojos normales para juzgar la distancia. El robot tiene tres cámaras: dos fijas que miran el panorama general (como si tú miraras la mesa desde lejos) y una cámara en su "muñeca" (cerca de la pinza) para ver de cerca.
• Al combinar estas tres vistas, el robot puede ver lo que las otras cámaras no ven (como una fresa escondida detrás de una hoja), sin necesidad de hardware complicado.

3. El Entrenamiento: "Aprender viendo"

En lugar de escribir miles de líneas de código, los investigadores usaron Realidad Virtual (VR).

• La analogía: Imagina que un humano se pone unas gafas de VR y, con unos controles en las manos, "cuerpo" al robot para que recoja fresas. El humano hace todo el trabajo difícil: busca la fresa, se acerca despacio, la agarra con cuidado y la suelta.
• El robot graba estas 3.7 horas de "clases" (227 intentos) y luego intenta imitar lo que hizo el humano. Es como si el robot fuera un estudiante que ve un video de un maestro y luego intenta hacer lo mismo.

4. El Truco de la "Carrera de Relevos" (Inferencia Asíncrona)

Este es un punto clave. Pensar y moverse al mismo tiempo es difícil para un robot.

• El problema (Síncrono): Es como un corredor que tiene que esperar a que su cerebro piense el siguiente paso antes de mover el pie. Si el cerebro tarda mucho, el corredor se detiene, tropieza o se mueve de forma brusca.
• La solución (Asíncrono): Los investigadores hicieron que el robot piense y se mueva en carriles separados. Mientras una parte del cerebro sigue pensando en el siguiente movimiento, la otra parte ya está ejecutando los movimientos que ya pensó.
• Resultado: El robot se mueve más suave, como un bailarín que no se detiene a pensar entre pasos, sino que fluye. Esto redujo el tiempo de recolección de 45 segundos a solo 32 segundos por fresa.

5. ¿Qué tan bien funcionó?

• Éxito: El robot logró recoger la fresa y ponerla en la bandeja sin romperla en el 74% de los intentos.
• Daños: Solo rompió o dañó las fresas en un 4% de los casos (casi imperceptible).
• Comparación: Los sistemas antiguos (modulares) eran más rápidos (8 segundos), pero se rompían si había mucha sombra o una hoja tapaba la fresa. El sistema nuevo es un poco más lento, pero mucho más resistente a los problemas del mundo real.

En resumen

Este trabajo es como enseñar a un robot a ser un jardinero experto en lugar de un robot de fábrica.

• No necesita un mapa perfecto ni sensores caros.
• Aprende viendo a un humano hacerlo en realidad virtual.
• Usa un truco de "pensar y moverse al mismo tiempo" para ser suave y rápido.
• Funciona incluso cuando hay hojas tapando las fresas o la luz cambia.

Es un gran paso porque demuestra que, con solo unas pocas horas de "clases" reales, podemos tener robots que trabajan en granjas reales, no solo en laboratorios perfectos. ¡Y lo mejor es que aprende a no romper la fruta!

Resumen técnico

Resumen Técnico: HarvestFlex

1. Problema y Contexto

La cosecha de fresas en invernaderos sobre mesas es una tarea agrícola de alto valor que depende actualmente de mano de obra intensiva. Automatizar este proceso presenta desafíos únicos que difieren de los entornos industriales estructurados:

• Complejidad Visual: Ocultamientos severos (hojas, ramas), variaciones extremas de iluminación y reflexiones especulares en la fruta.
• Sensibilidad al Contacto: Las fresas son delicadas; cualquier error en la aproximación o sujeción puede dañar la fruta.
• Naturaleza de Largo Alcance (Long-Horizon): La tarea no es un movimiento simple, sino una secuencia cerrada que incluye: detección del objetivo, aproximación sin colisiones, sujeción compliant, desprendimiento, colocación y reinicio.
• Limitaciones de los Enfoques Tradicionales: Los sistemas modulares (detección + planificación + control) requieren calibración geométrica explícita, modelos 3D y ajustes específicos para cada granja, lo que reduce su robustez y capacidad de transferencia.

El objetivo del trabajo es evaluar la viabilidad de transferir políticas Visión-Lenguaje-Acción (VLA) a un robot real para esta tarea, utilizando solo datos de demostración en el mundo real y sin depender de nubes de puntos o calibración geométrica explícita.

2. Metodología

A. Plataforma y Configuración (HarvestFlex)

• Robot: Un brazo robótico de 6 grados de libertad (DoF) con un efector final compliant de 2 DoF (sujeción por vacío y estructura de silicona).
• Percepción: Sistema de tres cámaras RGB (sin profundidad explícita ni calibración geométrica):
  1. Dos cámaras fijas de escena (izquierda y derecha) para contexto global y búsqueda de objetivos.
  2. Una cámara en la muñeca (wrist-mounted) para observaciones locales de alta resolución durante el contacto.
• Interfaz: Se evitó el uso de nubes de puntos; el sistema se basa únicamente en imágenes RGB y el estado del robot.

B. Recopilación de Datos

• Teleoperación VR: Se utilizaron gafas VR (Meta Quest 3) para que un operador humano controlara el robot de forma teleoperada, proporcionando retroalimentación visual en primera persona.
• Dataset: Se recolectaron 3.71 horas de demostraciones (227 episodios) que cubren condiciones diversas (iluminación, ocultamientos, madurez de la fruta).
• Estrategia de Datos: Se conservaron intencionalmente los fallos y las recuperaciones (reintentos) dentro de los episodios para entrenar al modelo en un entorno de bucle cerrado realista, en lugar de descartar los intentos fallidos.

C. Adaptación de Modelos VLA

• Modelos Base: Se evaluaron y adaptaron tres modelos de código abierto: π0, π0.5 y WALL-OSS.
• Estrategias de Entrenamiento:
  • Fine-tuning Completo: Actualización de todos los parámetros del modelo.
  • Fine-tuning Eficiente (LoRA): Uso de adaptadores de bajo rango para reducir costos computacionales y evitar el sobreajuste.
• Salida de la Política: Predice comandos continuos para el brazo (velocidad) y comandos discretos para la bomba de vacío (entrar/salir/idle).

D. Despliegue y Decodificación

• Se compararon dos modos de inferencia:
  1. Síncrono: El bucle de control espera a que la inferencia termine (riesgo de latencia y vibración).
  2. Asíncrono: Desacoplamiento de la inferencia y el control. Un hilo de control ejecuta comandos a frecuencia fija (30 Hz) mientras un hilo de inferencia genera bloques de acciones que se promedian suavemente con los existentes.

3. Contribuciones Clave

1. Sistema de Bucle Cerrado End-to-End: Implementación de un sistema completo para la cosecha de fresas que integra percepción, decisión y control sin módulos intermedios manuales.
2. Receta de Recopilación de Datos: Un método reproducible para obtener demostraciones de larga duración en condiciones no estructuradas mediante teleoperación VR, incluyendo fallos y recuperaciones.
3. Protocolo de Evaluación Unificado: Establecimiento de métricas estandarizadas (tasa de éxito, tiempo de ciclo, tasa de daño) para comparar modelos VLA en tareas agrícolas reales.
4. Análisis Comparativo: Evaluación sistemática de múltiples modelos VLA (SOTA) y estrategias de entrenamiento (Full vs. LoRA) en un nuevo cuerpo robótico (embodiment), ofreciendo insights sobre el equilibrio entre rendimiento y eficiencia.

4. Resultados Experimentales

• Rendimiento General:
  • El modelo π0.5 con fine-tuning completo obtuvo el mejor rendimiento: 74.0% de tasa de éxito (Success Rate) con un tiempo de ciclo de 32.6 segundos por fresa y una tasa de daño del 4.1%.
  • El fine-tuning completo superó consistentemente a LoRA en tasa de éxito, aunque ambos lograron tasas de daño bajas.
• Impacto de la Desacoplamiento (Asíncrono vs. Síncrono):
  • El modo asíncrono mejoró significativamente la estabilidad durante la fase de contacto (desprendimiento), reduciendo el tiempo de ciclo de 45.7s a 32.6s y aumentando la tasa de éxito del 70% al 74% en comparación con el modo síncrono.
• Importancia de las Vistas de Cámara (Ablación):
  • La configuración de tres vistas (dos de escena + muñeca) fue crítica.
  • Comparado con solo cámaras de escena, la adición de la cámara de muñeca aumentó la tasa de éxito del 42% al 74% y redujo el tiempo de ciclo drásticamente, demostrando que las observaciones cercanas son esenciales para las etapas de contacto.
• Comparación con Enfoques Modulares:
  • Aunque los sistemas modulares tradicionales fueron más rápidos (8.3s vs 32.6s) y ligeramente más precisos en la localización inicial, los VLA mostraron mayor robustez ante ocultamientos y reflexiones.
  • La principal limitación de los VLA fue en las etapas de contacto (desprendimiento), donde la pérdida de observabilidad cercana y la dinámica de contacto causaron fallos, mientras que los sistemas modulares fallaban más en la percepción inicial.

5. Significado y Conclusión

Este trabajo representa la primera validación sistemática en un robot real de políticas VLA para la cosecha de fresas en invernaderos.

• Viabilidad: Demuestra que es posible lograr un rendimiento no trivial en tareas agrícolas complejas de largo alcance utilizando menos de 4 horas de datos reales y modelos de código abierto.
• Eficiencia de Desarrollo: Resalta que los enfoques VLA pueden reducir drásticamente el tiempo de desarrollo y la necesidad de equipos multidisciplinarios para la ingeniería de características y calibración, permitiendo una adaptación más rápida a nuevos entornos.
• Limitaciones Futuras: El rendimiento actual está limitado por la pérdida de observabilidad en ocultamientos severos y la discrepancia en la dinámica de contacto. El trabajo futuro se centrará en mejorar la cobertura de datos de casos difíciles y optimizar la latencia de despliegue.

En resumen, HarvestFlex valida que la adaptación de políticas VLA es una vía prometedora para la automatización agrícola flexible, superando las rigideces de los sistemas modulares tradicionales, a pesar de los desafíos actuales en la eficiencia temporal y la precisión de contacto fino.