Resumen Técnico: CaP-X

1. El Problema

La robótica ha evolucionado desde paradigmas de control clásico (basados en estructuras explícitas diseñadas por humanos) hacia modelos de Visión-Lenguaje-Acción (VLA) que aprenden directamente de grandes conjuntos de datos. Sin embargo, los VLA sufren de falta de interpretabilidad, dificultad para generalizar a nuevos cuerpos robóticos o tareas de largo horizonte sin reentrenamiento, y dependencia de datos masivos.

Por otro lado, el enfoque "Code-as-Policy" (CaP), donde agentes de lenguaje generan código ejecutable para controlar robots, ha demostrado potencial. No obstante, existe una brecha crítica:

• La mayoría de los trabajos anteriores dependen de primitivas de alto nivel (macros diseñadas por humanos, ej: stack_objs_in_order()) que simplifican excesivamente la tarea, ocultando la verdadera capacidad de razonamiento del agente.
• No se ha evaluado sistemáticamente cómo se degrada el rendimiento cuando se eliminan estas "andamios" (scaffolding) y se obliga al agente a operar sobre primitivas de bajo nivel (APIs atómicas de percepción y control).
• Falta entender cómo la computación en tiempo de prueba (interacción múltiple, depuración, razonamiento en conjunto) puede compensar la falta de abstracciones predefinidas.

2. Metodología: El Marco CaP-X

Los autores presentan CaP-X, un marco unificado de código abierto que consta de cuatro componentes principales:

A. CaP-Gym (Entorno Interactivo)

Es un entorno de control jerárquico basado en la interfaz estándar Gymnasium.

• Funcionamiento: Vincula un bucle de entorno de bajo nivel (simulador físico o mundo real) con un bucle de ejecución de código con estado.
• Primitivas: Expone una pila completa de primitivas de percepción (segmentación SAM3, punteo Molmo, OpenCV) y control (planificadores de movimiento, cinemática inversa PyRoki) que los agentes deben componer mediante código Python.
• Integración: Unifica tareas de simuladores estándar como RoboSuite, LIBERO-PRO y BEHAVIOR bajo un diseño de primitivas compartido compatible con simulación y robots reales.

B. CaP-Bench (Benchmark Sistemático)

Evalúa modelos de lenguaje (LLMs) y visión-lenguaje (VLMs) a lo largo de tres ejes:

1. Nivel de Abstracción: Desde macros de alto nivel (S1/S2) hasta primitivas atómicas de bajo nivel (S3/S4).
2. Interacción Temporal: Comparación entre generación de código de un solo turno (Zero-shot) y interacción de múltiples turnos (donde el agente recibe retroalimentación de ejecución, errores y observaciones visuales para depurar).
3. Anclaje Perceptivo: Evaluación de cómo diferentes modalidades de retroalimentación visual (texto puro, imágenes crudas, o módulos de diferenciación visual) impactan la generación de código.

Se evaluaron 12 modelos de vanguardia (incluyendo Gemini-3-Pro, GPT-5, Claude Opus, Qwen, etc.) en 7 tareas principales de manipulación.

C. CaP-Agent0 (Marco de Agente sin Entrenamiento)

Derivado de los hallazgos de CaP-Bench, es un marco de agente "training-free" que mejora el rendimiento mediante:

1. Diferenciación Visual (VDM): Convierte observaciones visuales crudas en descripciones de texto estructurado para evitar la brecha de alineación multimodal.
2. Biblioteca de Habilidades Auto-sintetizada: El agente extrae patrones de código exitosos de ejecuciones anteriores para crear una biblioteca de utilidades reutilizables, reduciendo la carga cognitiva de reescribir lógica de bajo nivel.
3. Razonamiento en Conjunto (Ensemble): Genera múltiples soluciones en paralelo (usando diferentes modelos o temperaturas) y sintetiza la mejor opción, anticipando fallos antes de la ejecución.

D. CaP-RL (Aprendizaje por Refuerzo)

Demuestra que es posible aplicar Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) directamente sobre el agente de codificación. Utilizando Group Relative Policy Optimization (GRPO), se entrena un modelo base (Qwen2.5-Coder) en simulación para mejorar la robustez y la transferencia a robots reales.

3. Resultados Clave

• Brecha con Expertos Humanos: En configuraciones de un solo turno y bajo nivel (S4), los modelos más avanzados aún quedan por detrás de las soluciones escritas por humanos. Sin embargo, la brecha se reduce significativamente a medida que se aumenta la capacidad de cómputo en tiempo de prueba.
• Dependencia de Abstracciones: El rendimiento mejora drásticamente con primitivas de alto nivel, pero esto limita la expresividad y generalización. Los agentes que operan en bajo nivel muestran una mayor capacidad para manejar casos borde y estrategias de recuperación.
• El Poder de la Interacción Múltiple:
  • Permitir la depuración iterativa basada en texto (stdout/stderr) mejora consistentemente el rendimiento.
  • Hallazgo Contraintuitivo: Alimentar imágenes RGB crudas en cada turno (M2) degrada el rendimiento en comparación con el texto.
  • Solución: El módulo de Diferenciación Visual (M3), que convierte cambios visuales en texto estructurado, supera tanto a la entrada de imágenes crudas como a la retroalimentación solo de texto, logrando tasas de éxito comparables o superiores a las de los VLA post-entrenados.
• Rendimiento de CaP-Agent0:
  • En tareas de simulación, CaP-Agent0 (operando solo con primitivas de bajo nivel) alcanza o supera el rendimiento de expertos humanos en 4 de 7 tareas.
  • En tareas de largo horizonte (LIBERO-PRO y BEHAVIOR), supera a VLA de vanguardia (como OpenVLA y $\pi_0$) en robustez ante perturbaciones de instrucción y posición inicial, sin necesidad de datos de entrenamiento específicos para la tarea.
• Transferencia Sim-to-Real:
  • CaP-Agent0 funciona en robots reales (Franka Panda, AgiBot G1) en tareas "zero-shot" (ej. encontrar un objeto oculto, resolver ecuaciones con bloques, apilar objetos inestables).
  • CaP-RL: El modelo fine-tuneado con RL en simulación transfiere sus estrategias mejoradas a robots reales con una brecha mínima, logrando tasas de éxito del 84% (levantar cubo) y 76% (apilar cubo) en el mundo real.

4. Contribuciones Principales

1. CaP-Gym: Una suite unificada de entornos interactivos para robots que evalúa y entrena agentes de codificación multimodal, integrando simuladores populares bajo una API común.
2. CaP-Bench: Un benchmark sistemático que mide el rendimiento del control robótico a través de niveles de abstracción, modalidades y modos de interacción, revelando la dependencia actual de los modelos en "andamios" humanos.
3. CaP-Agent0: Un marco de agente sin entrenamiento que recupera la fiabilidad a nivel humano mediante razonamiento visual estructurado, síntesis de habilidades y razonamiento en conjunto.
4. CaP-RL: La demostración de que el aprendizaje por refuerzo directo sobre el agente de codificación mejora la robustez y permite una transferencia efectiva a robots físicos.

5. Significado e Impacto

Este trabajo redefine cómo se evalúan y construyen los agentes robóticos basados en lenguaje.

• Cambio de Paradigma: Sugiere que el futuro de la robótica generalista no reside únicamente en modelos VLA masivos, sino en agentes de codificación capaces de razonar sobre primitivas de bajo nivel, utilizando la computación en tiempo de prueba (iteración, depuración, síntesis) para compensar la falta de datos de entrenamiento.
• Interpretabilidad y Robustez: Al generar código ejecutable, las decisiones del robot son auditables y corregibles, ofreciendo una alternativa más robusta y generalizable a las políticas neuronales de caja negra.
• Escalabilidad: Proporciona una plataforma abierta para avanzar hacia una inteligencia corporal generalista, donde el diseño del agente, la percepción y el control se estudian de manera conjunta y principista.

En resumen, CaP-X demuestra que con las estrategias correctas de ingeniería de agentes (interacción múltiple, anclaje visual en texto y síntesis de habilidades), los modelos de lenguaje pueden controlar robots complejos de manera robusta, incluso sin entrenamiento específico para la tarea.