ReCAPA: Hierarchical Predictive Correction to Mitigate Cascading Failures

1. El Problema: Fallos en Cascada en Agentes VLA

Los sistemas de Visión-Lenguaje-Acción (VLA) impulsados por Grandes Modelos de Lenguaje (LLM) son cada vez más utilizados en tareas de largo horizonte en entornos físicos (manipulación doméstica, navegación). Sin embargo, enfrentan un desafío crítico: la propagación de errores en cascada.

• Desviación Semántica: Cuando un paso intermedio se especifica incorrectamente o se ejecuta mal, el error no se aísla; se propaga a los pasos subsiguientes.
• Limitaciones de Métodos Actuales:
  • Las correcciones post-hoc (después del fallo) son demasiado lentas para evitar la acumulación de errores.
  • Las descomposiciones de tareas fijas carecen de flexibilidad para ajustarse dinámicamente a cambios en el entorno.
  • La alineación puramente local optimiza cada paso de forma aislada, lo que lleva a una desviación del objetivo global (drift semántico).
• Consecuencia: Incluso un error en un subobjetivo puede degradar el rendimiento de los pasos posteriores en más del 60%, haciendo que las tareas complejas fallen catastróficamente.

2. Metodología: ReCAPA

Los autores proponen ReCAPA (Predictive Alignment and Planning Architecture), un marco que integra corrección predictiva jerárquica con alineación de distribuciones para anticipar y corregir desviaciones antes de que se conviertan en fallos irreversibles.

A. Corrección Predictiva Jerárquica (HPCC)

El núcleo de ReCAPA es el módulo HPCC, que organiza la alineación en tres niveles jerárquicos interconectados:

1. Nivel de Acción: Predice representaciones de subobjetivos a partir de acciones finas (ej. [AGARRAR], [CAMINAR] $\rightarrow$ "limpiar").
2. Nivel de Subobjetivo: Predice representaciones de trayectorias completas a partir de secuencias de subobjetivos, asegurando el orden causal (ej. lavar antes de secar).
3. Nivel de Trayectoria: Codifica la intención global y el resultado final de la tarea.

Mecanismo de Predicción:

• El modelo predice la representación del nivel superior ($\hat{z}_{l+1}$) basándose en el nivel inferior actual ($z_l$).
• Se compara esta predicción con la representación objetivo real ($z_{l+1}$) para calcular una pérdida de contraste (InfoNCE).
• Esto genera señales de corrección que regularizan las representaciones de bajo nivel, forzando a las acciones locales a alinearse con la intención global.

B. Alineación Prompt-Trajectoria

Para asegurar que la ejecución coincida con las instrucciones del usuario, ReCAPA utiliza dos módulos complementarios:

1. Alineación Basada en Sinkhorn: Utiliza el Transporte Óptimo (OT) regularizado por entropía para alinear la distribución de la trayectoria completa con la distribución del prompt. Esto captura la consistencia global sin requerir coincidencia token a token exacta.
2. Alineación de Campo de Puntuación (Score-field): Proporciona gradientes correctivos locales y paso a paso. Utiliza una red neuronal para predecir el gradiente de denoising, empujando los estados de la trayectoria que se desvían del "intento semántico" del prompt de vuelta hacia regiones de alta densidad (acciones correctas).

C. Entrenamiento e Inferencia

• Entrenamiento: Se realiza en dos etapas. Primero, pre-entrenamiento offline con demostraciones de expertos y datos generados por LLM para establecer el espacio de incrustaciones. Luego, ajuste fino conjunto de los codificadores jerárquicos, predictores y módulos de alineación mediante una función de pérdida total que combina pérdidas predictivas, de puntuación y de Sinkhorn.
• Inferencia: El agente utiliza un bucle de retroalimentación donde, en cada paso, evalúa candidatos de acción y subobjetivos. Si la alineación cae por debajo de un umbral, el sistema resamplea acciones o ajusta subobjetivos antes de ejecutar, actuando preventivamente.

3. Contribuciones Clave

1. Marco ReCAPA: Un nuevo enfoque que acopla representaciones predictivas multinivel con la alineación de distribuciones prompt-trajectoria, permitiendo anticipar y corregir desviaciones en etapas tempranas.
2. Nuevas Métricas Diagnósticas: Los autores introducen dos métricas para evaluar la propagación de errores, llenando un vacío en los benchmarks actuales que solo miden la tasa de éxito final:
   • Tasa de Propagación de Errores (EPR): Cuantifica cómo aumenta la probabilidad de errores futuros tras un error inicial.
   • Coeficiente de Atenuación de Propagación (PAC): Mide la velocidad a la que el riesgo de error se disipa o recupera con el tiempo.
3. Rendimiento Superior: Demostración de que ReCAPA supera a baselines fuertes (LLMs propietarios y de código abierto) en tareas de largo horizonte.

4. Resultados Experimentales

El modelo fue evaluado en tres benchmarks principales: VisualAgentBench, MineDojo y AI2-THOR.

• Rendimiento General:
  • VisualAgentBench: +5.65% sobre el mejor baseline (GPT-4o-mini).
  • MineDojo: +9% de mejora en tareas de largo horizonte.
  • AI2-THOR: +7% de mejora, logrando la mayor Tasa de Éxito (SR = 0.75) y Equilibrio (Balance = 0.93).
• Análisis de Propagación de Errores:
  • ReCAPA mostró la EPR más baja en todos los benchmarks, indicando que los errores iniciales tienen menos impacto en los pasos futuros comparado con otros modelos (ej. GPT-4o o Claude).
  • Presentó el PAC más alto, demostrando una capacidad superior para recuperarse de errores y disipar su impacto rápidamente.
• Estudios de Ablación:
  • La eliminación del módulo HPCC causó la caída más grande en el rendimiento, confirmando la importancia de la predicción multinivel.
  • La combinación de alineación Sinkhorn y Score-field fue superior a usar solo una de ellas, validando la necesidad de corrección tanto global como local.

5. Significado e Impacto

El trabajo de ReCAPA es significativo porque aborda la raíz del problema de la robustez en agentes físicos: la incapacidad de mantener la coherencia a largo plazo.

• Cambio de Paradigma: Se aleja de la corrección reactiva (arreglar después de fallar) hacia una corrección predictiva y proactiva, utilizando la jerarquía para "ver" el futuro de la ejecución y corregir el presente.
• Evaluación Rigurosa: Al introducir EPR y PAC, el paper establece un nuevo estándar para evaluar no solo si un agente completa una tarea, sino cómo maneja los errores intermedios, lo cual es crucial para aplicaciones del mundo real donde la seguridad y la estabilidad son prioritarias.
• Generalización: La capacidad de ReCAPA para transferir conocimiento entre dominios (entrenado en ProcTHOR/Behavior1K y evaluado en MineDojo/AI2-THOR) sin ajuste específico sugiere una arquitectura escalable para agentes robóticos generales.

En resumen, ReCAPA demuestra que la alineación jerárquica y la predicción de desviaciones son esenciales para mitigar la deriva semántica en la planificación de largo horizonte, ofreciendo un camino hacia agentes autónomos más estables y fiables.