Resumen Técnico: CLIFT – Convirtiendo la robótica de Gemini en dispositivos mediante el ajuste fino iterativo de bucle cerrado no invasivo para especialistas humanoides

1. Declaración del Problema

La comunidad robótica se enfrenta a una tensión fundamental: los modelos fundacionales de Visión-Lenguaje-Acción (VLA) más capaces suelen estar entrenados con datos propietarios y permanecen de código cerrado, lo que limita la capacidad de los usuarios finales para adaptarlos. Si bien un paradigma emergente ofrece APIs de Ajuste Supervisado Gestionado (S_FT) (por ejemplo, Gemini Robotics On-Device o GROD) que permiten a los usuarios enviar datos y recibir políticas ajustadas sin acceder a los pesos o gradientes, este régimen presenta limitaciones significativas para la manipulación humanoide ágil y rica en contactos.

La adaptación actual basada en APIs se basa principalmente en el SFT basado únicamente en demostraciones. Este enfoque alcanza un techo de rendimiento porque:

1. Desajuste de Distribución: Se entrena sobre una distribución fija de datos de teleoperación humana, mientras que el despliegue ocurre bajo la propia distribución de observación de bucle cerrado de la política.
2. Calidad de Ejecución: La finalización de la tarea por sí sola no garantiza el éxito; factores como la suavidad, la calidad del contacto y la seguridad son críticos.
3. Acoplamiento del Controlador: Las políticas VLA están estrechamente acopladas con controladores de cuerpo completo (whole-body) descendentes. El mismo fragmento de acción puede producir resultados físicos diferentes debido a la latencia, la complacencia y la dinámica de seguimiento, creando una brecha entre la salida de la política y el comportamiento desplegado.

Los métodos de mejora de bucle cerrado existentes (por ejemplo, PPO, RL residual) requieren acceso a señales internas como gradientes, verosimilitudes o redes de crítico, las cuales no están disponibles en regímenes de acceso restringido a APIs. La pregunta central es: ¿Qué tan efectivo es el régimen de API gestionada para la adaptación humanoide, y cómo se puede realizar la mejora de bucle cerrado dentro de este para lograr la maestría de la tarea?

2. Metodología: CLIFT

Los autores proponen CLIFT (Ajuste Fino Iterativo de Bucle Cerrado), un flujo de trabajo no invasivo que tiende puentes entre las interfaces de SFT gestionadas y la mejora de la política de bucle cerrado. CLIFT opera como un "volante de inercia" (flywheel) que convierte la retroalimentación de recompensa en tiempo de despliegue en datos supervisados compatibles con la API sin tocar nunca los pesos internos o las pérdidas del modelo.

El flujo de trabajo consta de tres pasos iterativos:

A. Modelado de Recompensa Densa Calibrada por Preferencias

Para puntuar las ejecuciones (rollouts) de despliegue, CLIFT emplea un proceso de generación de recompensa de dos etapas:

1. Generación de Candidatos: Un VLM de cero disparos (zero-shot) genera múltiples secuencias de recompensas candidatas por paso para una ejecución dada.
2. Selección Humana y Destilación: Los operadores humanos proporcionan preferencias pareadas sobre la calidad de la ejecución. Se seleccionan las secuencias cuyos rankings de retorno acumulado coinciden mejor con las preferencias humanas. Estas secuencias seleccionadas se destilan en un modelo de recompensa generativo ($R_\theta$). Este modelo proporciona recompensas densas, calibradas por preferencia, que capturan la calidad de la ejecución más allá del progreso grueso de la tarea.

B. Condicionamiento de Ventaja Basado en Recuperación

En lugar de descartar las ejecuciones fallidas o tratar los episodios como éxito/fracaso binario, CLIFT realiza una asignación de crédito a nivel de fragmento (chunk-level):

1. Recuperación: Para cada fragmento de acción que comienza en el estado $o_t$, el sistema recupera un conjunto de fragmentos de comparación de otras ejecuciones que comienzan desde estados visualmente similares.
2. Puntuación: El fragmento se puntúa basándose en su retorno descontado sobre una ventana de anticipación utilizando el modelo de recompensa $R_\theta$.
3. Etiquetado: El fragmento se etiqueta con un Token de Ventaja binario ($I \in \{positivo, negativo\}$). Si el retorno del fragmento se encuentra en el 30% superior del conjunto recuperado (autocalibrándose a la dificultad del estado), recibe una etiqueta positiva; de lo contrario, es negativa.
4. Conversión de Datos: Cada fragmento de ejecución se convierte en una tupla de SFT: (observación, instrucción, fragmento de acción, token de ventaja).

C. Auto-mejora Iterativa

El ciclo procede de la siguiente manera:

1. Despliegue: La política actual $\pi_k$ se despliega en el robot para recolectar ejecuciones de bucle cerrado.
2. Relabelado: Las ejecuciones son puntuadas por $R_\theta$ y los fragmentos se etiquetan con tokens de ventaja.
3. Construcción del Conjunto de Datos: Se forma un conjunto de datos acumulativo $D_k$ combinando las demostraciones humanas originales (siempre etiquetadas como positivas) y los nuevos fragmentos de ejecución relabelados.
4. Ajuste Fino: El modelo base se ajusta desde cero sobre $D_k$ a través de la API de SFT gestionada para producir $\pi_{k+1}$.
5. Inferencia: En el despliegue, la política se condiciona en el token de ventaja positivo para dirigir el comportamiento hacia acciones de alta calidad.

3. Configuración Experimental

• Plataforma: Robot humanoide Unitree G1 con brazos duales, manos diestras y cámaras RGB montadas en la cabeza.
• Control: Control de cuerpo completo jerárquico donde la VLA genera ángulos de articulación de la parte superior del cuerpo y velocidades de la parte inferior, rastreados por un controlador aprendido mediante RL.
• Tareas: Tres tareas de manipulación ágil y ricas en contactos:
  1. Empaquetado de Cajas (Box Packing): Agarre y colocación precisos.
  2. Inserción de Taza (Cup Insertion): Coordinación bimanual asimétrica (estabilizar un portador mientras se inserta una botella).
  3. Entrega Bimanual de Plato (Bimanual Plate Handover): Transferencia coordinada entre manos.
• Modelos Comparados:
  • GROD: Modelo de peso cerrado mediante API de SFT gestionada.
  • $\pi_{0.5}$: VLA de peso abierto (Physical Intelligence) con acceso directo a los pesos.
• Protocolo: Ambos modelos fueron inicializados con 2 horas de demostraciones teleoperadas y sometidos a dos ciclos de CLIFT.

4. Resultados Clave

Ganancias de Rendimiento

• GROD (Peso Cerrado): CLIFT logró llevar a GROD a una maestría casi perfecta de la tarea tras dos ciclos del volante de inercia, a pesar del acceso exclusivo por API.
  • Empaquetado de Cajas: 93% $\to$ 100%
  • Inserción de Taza: 70% $\to$ 98%
  • Entrega Bimanual de Plato: 53% $\to$ 96%
• $\pi_{0.5}$ (Peso Abierto): CLIFT también mejoró el modelo de peso abierto, pero este se estancó en un techo significativamente más bajo (por ejemplo, 5% $\to$ 30% en Entrega Bimanual de Plato).
• Comparación: El SFT directo en GROD ya superaba a $\pi_{0.5}$ entrenado con los mismos datos. Incluso cuando se le otorgó a $\pi_{0.5}$ una adaptación "invasiva" (condicionamiento tipo FiLM para inyectar señales de preferencia directamente en la red), seguía por detrás de la adaptación por API de GROD.

Denso vs. Selección de Episodio

Los autores compararon dos variantes de CLIFT:

1. Ventaja Condicionada Densa: Etiqueta cada fragmento en cada ejecución (positivo o negativo).
2. Selección de Episodios de Alto Retorno: Solo conserva el 30% superior de los episodios exitosos (estilo DAgger estándar).

• Hallazgo: En tareas fáciles, ambos funcionaron de manera similar. En la tarea más difícil (Entrega Bimanual de Plato), la variante Densa superó significativamente a la selección de episodios (96% vs. ~84%). Esto demuestra que retener las ejecuciones fallidas y relabelar los fragmentos bien ejecutados como ejemplos positivos (y los fragmentos pobres como negativos) es crucial para aprender del fallo.

Comportamientos Emergentes

CLIFT permitió a la política adquirir comportos no presentes en las demostraciones originales:

• Pre-manipulación: Reorientar una caja con los dedos/muñeca para facilitar el agarre.
• Recuperación: Intentar una segunda inserción después de un primer intento fallido, en lugar de quedarse estancado.

5. Significado y Reivindicaciones

El artículo afirma que CLIFT demuestra que las APIs de SFT gestionadas pueden servir no solo como interfaces de personalización, sino como mecanismos prácticos para la mejora de la política de bucle cerrado.

• Maestría No Invasiva: Es posible llevar un modelo fundacional de peso cerrado a una maestría casi perfecta en tareas complejas y ricas en contactos sin "abrir la caja del modelo" (acceder a pesos, gradientes o pérdidas).
• Importancia del Modelo Fundacional: La elección del modelo base es crítica. Un modelo fundacional de peso cerrado más fuerte (GROD) adaptado mediante una interfaz de API estrecha supera a un modelo de peso abierto más débil ($\pi_{0.5}$) incluso cuando este último tiene acceso total interno. Esto sugiere que para la adaptación de bucle cerrado, la fuerza del prior preentrenado puede ser más importante que el nivel de acceso al entrenamiento.
• Eficiencia de Datos: Al convertir los fallos de despliegue en señales de entrenamiento densas a nivel de fragmento, CLIFT extrae el máximo valor de las ejecuciones reales del robot, convirtiendo el fallo en una señal de aprendizaje en lugar de descartarlo.

Los autores concluyen que, si bien las ejecuciones de robots reales son costosas, este enfoque ofrece un camino viable hacia la maestría de tareas para los robots humanoides en la era de los modelos fundacionales propietarios.