A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

Título: Una Pipeline de Despliegue Rápido para el Aprehensamiento de Humanoides Autónomos Basada en Modelos Fundacionales

1. Planteamiento del Problema

El despliegue tradicional de robots humanoides para manipular objetos nuevos en entornos no estructurados presenta un cuello de botella significativo. El flujo de trabajo convencional requiere entre uno y dos días de esfuerzo por objeto e incluye:

• Recolección de datos visuales.
• Anotación manual de cuadros delimitadores (bounding boxes).
• Adquisición de modelos 3D precisos (generalmente mediante escáneres láser o de luz estructurada costosos).
• Entrenamiento de modelos de percepción y planificación de agarres.

Este proceso depende de hardware especializado y es ineficiente para la iteración rápida o el despliegue in situ. El objetivo de este trabajo es reducir este ciclo de incorporación (onboarding) de días a aproximadamente 30 minutos, eliminando la necesidad de hardware de escaneo costoso y minimizando la intervención humana.

2. Metodología

Los autores proponen una pipeline integrada de extremo a extremo que encadena tres componentes basados en modelos fundacionales (foundation models) para crear un sistema de percepción y acción en tiempo real para el robot humanoide Unitree G1. La arquitectura se divide en tres etapas:

• A. Preparación de Activos (Offline):

  • Anotación Automática: Se utilizan 150 imágenes capturadas con una cámara RealSense D435i. Estas se suben a Roboflow, donde la herramienta de etiquetado automático asistida por SAM (Segment Anything Model) genera cuadros delimitadores con mínima intervención humana.
  • Entrenamiento de Detector: Se entrena un modelo YOLOv8n (preentrenado en COCO) con los datos anotados. El entrenamiento es rápido (11 minutos en CPU) y ligero (3M de parámetros).
  • Reconstrucción 3D: En lugar de escáneres láser, se utiliza Meta SAM 3D. Una sola fotografía del objeto genera una malla texturizada en 5 minutos. Esta malla se exporta en formatos .glb (para simulación en Unity) y .obj (para el rastreador de pose).

• B. Percepción en Línea (Online):

  • El sistema opera a 30 Hz. YOLOv8 detecta el objeto cada 5 cuadros para reducir la carga de la GPU.
  • La región de interés (ROI) definida por el cuadro delimitador se utiliza como prior 2D para FoundationPose.
  • FoundationPose realiza el seguimiento de la pose 6-DoF (6 grados de libertad) en modo "zero-shot" (sin reentrenamiento por objeto), utilizando la malla generada por SAM 3D como plantilla. Opera en dos modos: registro (iteraciones iniciales) y seguimiento (una iteración por cuadro).
  • Un autómata de estados finito gestiona la pérdida de seguimiento (LOST state) y la recuperación basada en nuevas detecciones de YOLO.

• C. Ejecución Sim-to-Real:

  • Un entorno Unity con el modelo URDF del robot G1 actúa como gemelo digital. Recibe la pose estimada y ejecuta un planificador de Cinemática Inversa (IK).
  • Se generan trayectorias de agarre multi-etapa (levantamiento, aproximación, descenso, cierre, etc.).
  • Los comandos de las articulaciones se normalizan, se envían vía UDP a un puente en C++ y se ejecutan en el robot físico mediante el SDK de Unitree en modo de control de posición.

3. Contribuciones Clave

1. Integración de Modelos Fundacionales: Se demuestra por primera vez la combinación de SAM 3D (reconstrucción 3D) y FoundationPose (seguimiento de pose) para manipulación de humanoides, reemplazando el escaneo láser por captura basada en cámaras estándar.
2. Pipeline Modular y Sin Entrenamiento Específico: A diferencia de los paradigmas VLA (Visión-Lenguaje-Acción) que requieren grandes conjuntos de datos y fine-tuning, este enfoque es modular, no requiere datos de entrenamiento masivos para la percepción y ofrece mayor interpretabilidad y depurabilidad.
3. Validación de Generalidad: Se demuestra la reutilizabilidad de la arquitectura aplicándola a una tarea estructuralmente diferente: la aplicación de pegamento en la ventana trasera de un automóvil, cambiando solo la malla del objeto, la etiqueta de YOLO y la plantilla de trayectoria.

4. Resultados

• Precisión de Detección: El modelo YOLOv8n alcanzó un mAP@0.5 de 0.995 y una precisión de 1.000 en el conjunto de validación.
• Seguimiento de Pose: Se logró una precisión de localización sub-milimétrica (σ < 1.05 mm) en escenarios estáticos. El sistema mantuvo una tasa de éxito del 100% en escenarios dinámicos (sostén manual) y bajo oclusión parcial, sin necesidad de reinicialización.
• Ejecución Física: El robot Unitree G1 realizó con éxito agarres en cinco posiciones diferentes dentro de su espacio de trabajo, levantando la botella más de 5 cm.
• Tiempo de Despliegue: El tiempo total para incorporar un nuevo objeto (desde la primera foto hasta el primer agarre exitoso) se redujo a aproximadamente 30 minutos, frente a los 1-2 días tradicionales.
• Eficiencia Computacional: La inferencia de un solo cuadro toma ~30 ms, cumpliendo con los requisitos de la cámara de 30 fps.

5. Significado e Impacto

Este trabajo demuestra que es posible reducir drásticamente la barrera de entrada para la manipulación por parte de robots humanoides en entornos reales. Al combinar modelos fundacionales avanzados con dispositivos de imagen cotidianos (como teléfonos inteligentes o cámaras RGB-D estándar), se elimina la dependencia de hardware costoso y procesos manuales lentos.

La propuesta ofrece una alternativa robusta y escalable a los enfoques VLA de extremo a extremo, proporcionando un sistema más interpretable y adecuado para tareas de manipulación de precisión en escenarios industriales y de servicio donde la estabilidad y la rapidez de adaptación son críticas. Las limitaciones actuales (como la reconstrucción de objetos transparentes o altamente reflectantes) señalan direcciones claras para trabajo futuro, pero la viabilidad del enfoque está claramente establecida.