Resumen Técnico: RePO-VLA

Enunciado del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han avanzado en el control de robots de propósito general, pero siguen siendo frágiles en tareas de manipulación de largo horizonte y ricas en contacto. Los enfoques actuales dependen en gran medida del ajuste fino supervisado (SFT) sobre demostraciones exitosas, creando un "punto ciego en la utilización de fallos". Cuando ocurre una deriva en la ejecución —debido a desviaciones en la pose de agarre, deslizamiento de objetos o errores de temporización—, los VLA estándar carecen de la supervisión necesaria para recuperarse. Además, los métodos existentes a menudo descartan por completo las trayectorias fallidas, ignorando que sus fases iniciales pueden contener comportamientos de aproximación válidos. Por el contrario, imitar ingenuamente trayectorias completas de recuperación (que incluyen tanto el historial de fallos como las acciones correctivas) conduce a una confusión causal, donde la política aprende a asociar el error precedente con la acción de recuperación, en lugar de aprender a reaccionar al estado adverso actual.

Metodología: RePO-VLA

RePO-VLA (Optimización de Política Impulsada por Recuperación para Modelo Visión-Lenguaje-Acción) es un marco diseñado para aprender de trayectorias exitosas, fallidas y recuperadas bajo una señal de progreso unificada. Opera en dos fases distintas:

1. Inicialización Consciente de la Recuperación (RAI)

La primera fase aborda el problema de la "confusión causal" donde una política podría aprender que un historial de fallos específico es un desencadenante necesario para la recuperación.

• Segmentación de Trayectorias con Reinicio de Historial (TSHR): Las trayectorias de recuperación crudas se segmentan para eliminar el prefijo de fallo. El búfer de historial de observaciones se reinicia al inicio del segmento correctivo. Esto obliga a la política a aprender la recuperación como una habilidad condicionada al estado basada en el estado adverso actual (por ejemplo, una pinza vacía o un objeto desalineado) en lugar de una reproducción del error específico que la causó.
• Entrenamiento: La política se ajusta finamente sobre una mezcla de demostraciones de expertos y estos segmentos de recuperación reiniciados ($D_{expert} \cup D_{reset}^{rec}$), equilibrando la imitación nominal con el aprendizaje de recuperación.

2. Refinamiento Condicionado por Valor (VCR)

La segunda fase restaura el historial de rodadura completo (incluyendo los prefijos de fallo) e introduce una señal de valor semántico densa para distinguir entre comportamientos útiles, de deriva y correctivos.

• Función de Valor Semántico Consciente del Progreso (PAS-VF): Una red adaptadora ligera alinea características de video espaciotemporales con instrucciones de lenguaje en una variedad semántica compartida. Aprende a estimar el progreso de la tarea midiendo la similitud del coseno entre el prefijo de la trayectoria actual y un grupo de trayectorias de referencia exitosas.
• Etiquetado Dens:
  • Éxito/Recuperación: Los cuadros que mantienen o restauran el progreso se etiquetan como $v_t = 1.0$.
  • Segmentos de Error: Los prefijos que conducen a estados adversos se etiquetan como $v_t = 0.0$ para evitar el promediado con acciones correctivas.
  • Fallos Puros: Los priores cinemáticos tempranos se preservan mediante un mecanismo de decaimiento de fiabilidad ($v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$), mientras que las fallas terminales se ponderan negativamente.
• Entrenamiento Condicionado por Valor: La política se amplía con un token de valor ($e_{val}$) derivado de las etiquetas densas. Durante el entrenamiento, la política aprende a mapear la misma observación adversa e historial a diferentes modos de acción dependiendo del valor deseado.
• Despliegue: En la inferencia, la política utiliza el búfer de historial de rodadura estándar (sin reinicio) pero fija el token de valor a $v = 1.0$. Esto sesga la distribución de acciones hacia la "variedad de éxito" aprendida, permitiendo la recuperación autónoma sin detectores de fallos en línea ni reglas de reintento heurísticas.

Contribuciones Clave

1. Marco RePO-VLA: Una arquitectura de dos fases (RAI + VCR) que reutiliza estructuralmente las rodaduras fallidas. Elimina la confusión causal mediante el reinicio del historial y habilita acciones diferenciadas por valor mediante etiquetas de progreso densas.
2. FRBench: Una nueva prueba de recuperación que presenta inyección de errores estandarizada (E1–E4: cierre prematuro, deslizamiento de agarre, desplazamiento de posición, desajuste de orientación) y un protocolo basado en fases que aísla la competencia nominal de la capacidad correctiva tanto en simulación (RoboTwin) como en tareas bimanuales del mundo real.
3. Validación Empírica: Demostró que la supervisión explícita de recuperación y la guía de valor densa mejoran significativamente la robustez. El artículo muestra una tendencia de escalado positiva donde aumentar la densidad de datos de recuperación mejora aún más el rendimiento.

Resultados Experimentales

• Simulación (FRBench-Sim): En 46 tareas bimanuales, RePO-VLA superó significativamente a las líneas base (incluyendo $\pi_0$, $\pi_0.5$ y RDT) bajo fallos inyectados. En configuraciones aleatorizadas con perturbaciones adversarias, RePO-VLA logró una tasa de éxito promedio del 43.0%, en comparación con el 15.4% de la línea base $\pi_0.5$.
• Evaluación en el Mundo Real: Probado en brazos Dobot X-Trainer para tareas como verter agua, cocinar y doblar toallas.
  • Bajo perturbaciones adversarias, la línea base $\pi_0.5$ logró un 20.0% de éxito, mientras que RePO-VLA (solo Fase I) alcanzó un 37.5%.
  • Escalado de Datos: Aumentar la densidad de datos de recuperación de 1x a 4x mejoró aún más el rendimiento. La variante Completa (4x) logró un 75% de éxito bajo condiciones adversarias, superando la línea base de la Fase I y demostrando que una cobertura más densa de los vecindarios de fallo-recuperación es crítica.
• Estudios de Ablación: Confirmaron que el reinicio del historial (TSHR) es esencial para prevenir la confusión causal y que la condición de valor ($v=1.0$) proporciona una señal de control estable superior a los reintentos heurísticos.

Significado y Afirmaciones

El artículo afirma que RePO-VLA aborda la fragilidad de los modelos VLA actuales al cambiar fundamentalmente cómo se utilizan los datos de fallos. En lugar de descartar los fallos o tratar los episodios de recuperación como uniformemente positivos, el marco los descompone en roles semánticos distintos:

• Los prefijos útiles de los fallos se retienen como priores cinemáticos.
• Las fallas terminales se ponderan negativamente de forma segura.
• Las acciones correctivas se aprenden como habilidades condicionadas al estado, desacopladas del historial de fallos específico que las precedió.

Los autores postulan que este enfoque permite que una sola política maneje tanto la ejecución nominal como la recuperación autónoma sin cambiar de módulos o depender de detectores de fallos externos. Los resultados sugieren que para una manipulación fiable de largo horizonte, especialmente en entornos ricos en contacto, la capacidad de recuperarse de la deriva es tan crítica como la capacidad de ejecutar el plan nominal, y esta capacidad puede aprenderse directamente a partir de datos de interacción de calidad mixta.