Resumen Técnico: Actor-Crítico con Tamaño de Chunk Adaptativo y Red de Q con Transformer Causal (ACSAC)

Enunciado del Problema

Las tareas de horizonte largo y recompensa dispersa presentan un desafío fundamental para el aprendizaje por refuerzo (RL). El aprendizaje estándar de diferencias temporales (TD) de un solo paso sufre de acumulación de errores de bootstrap, donde pequeños errores se acumulan a través de sucesivas actualizaciones de Bellman. Aunque los retornos de múltiples pasos pueden acelerar la propagación de valores, a menudo introducen sesgo fuera de política porque las recompensas intermedias se recopilan bajo una política de comportamiento en lugar de la política actual.

La fragmentación en chunks de acción (action chunking) ha surgido como una solución, entrenando críticos y políticas en secuencias de acciones en lugar de acciones individuales. Esto permite respaldos de valor de múltiples pasos sin sesgo fuera de política y fomenta una exploración temporalmente coherente. Sin embargo, los métodos existentes de fragmentación en chunks de acción dependen de un tamaño de chunk fijo ajustado manualmente para cada tarea. Esta rigidez fuerza un compromiso estático entre reactividad y consistencia temporal:

• Chunks fijos grandes reducen la capacidad de respuesta ante nuevas observaciones, lo que potencialmente hace que los agentes se "comprometan en exceso" con una trayectoria en estados sensibles (por ejemplo, giros), desviándolos de la ruta óptima.
• Chunks fijos pequeños producen movimientos incoherentes y no logran aprovechar los beneficios de la planificación de horizonte largo.

El equilibrio óptimo entre reactividad y consistencia es inherentemente dependiente del estado, sin embargo, los métodos actuales no pueden adaptar el horizonte de ejecución dinámicamente.

Metodología: ACSAC

Los autores proponen Actor-Crítico con Tamaño de Chunk Adaptativo (ACSAC), un marco que selecciona adaptativamente el tamaño del chunk en cada estado de replanificación para maximizar el retorno esperado.

1. Crítico Transformer Causal

ACSAC emplea un crítico Transformer causal para evaluar chunks de acción de longitudes variables. A diferencia de los críticos MLP estándar que requieren entradas de longitud fija (lo que genera filtración causal al reutilizar pesos en subprefijos), el Transformer ingiere el estado y un chunk candidato de longitud completa $(s_t, a_{t:t+H})$ como una secuencia de tokens.

• Salidas Condicionadas por Prefijo: La red genera $H$ valores simultáneamente: $\{Q_\phi(s_t, a_{t:t+h})\}_{h \in [H]}$, donde cada valor corresponde al retorno esperado de ejecutar exactamente las primeras $h$ acciones del chunk.
• Máscara Causal: Una máscara de atención causal asegura que la $h$-ésima salida dependa únicamente del prefijo $a_{t:t+h}$, eliminando la dependencia de acciones futuras en el chunk.
• Comparabilidad entre Horizontes: Dado que todos los $H$ valores comparten una base y se entrenan contra objetivos por horizonte en una escala común de retorno descontado, los valores Q para diferentes longitudes de prefijo son directamente comparables.

2. Objetivo TD de Múltiples Pasos

El crítico se entrena utilizando una pérdida TD de múltiples pasos que promedia los errores cuadrados a través de todas las longitudes de prefijo $h \in [H]$.

• Definición del Objetivo: Para cada longitud de prefijo $h$, el objetivo es la suma de $h$ recompensas en política del conjunto de datos más un valor de bootstrap del crítico objetivo en el estado $s_{t+h}$.
• Mecanismo de Bootstrap: El valor de bootstrap $Q_{\bar{\phi}}(s_{t+h}, \pi^*(s_{t+h}))$ se calcula muestreando $N$ chunks candidatos en el siguiente estado y seleccionando el prefijo que maximiza el valor Q sobre todos los $N \times H$ candidatos. Esto generaliza el operador EMaQ a un máximo conjunto sobre índices de candidatos y longitudes de prefijo.
• Garantía Teórica: Los autores demuestran que este operador de Bellman es una contracción $\gamma$ con un punto fijo único que corresponde a la función de valor-acción de la política adaptativa.

3. Extracción Adaptativa de la Política

El actor utiliza una política de clonación de comportamiento (BC) basada en Flow Matching para generar chunks de acción expresivos y multi-modales.

• Generación de Candidatos: En cada estado de replanificación $s_t$, la política muestrea $N$ chunks candidatos de longitud máxima $H$.
• Muestreo de Rechazo Conjunto: En lugar de fijar un tamaño de chunk, ACSAC realiza un argmax conjunto sobre todos los $N$ candidatos y todas las $H$ longitudes de prefijo:
  $$(n^*, h^*) = \arg\max_{n \in [N], h \in [H]} Q_\phi(s_t, a^{(n)}_{t:t+h})$$
• Ejecución: El agente ejecuta el prefijo óptimo $a^{(n^*)}_{t:t+h^*}$ y replanifica en el siguiente límite. Esto permite que el agente ejecute chunks largos durante fases estables (por ejemplo, trayectorias rectas) y chunks cortos durante fases sensibles (por ejemplo, giros o agarres), equilibrando reactividad y coherencia sin ajuste manual.

Contribuciones Clave

1. Selección Adaptativa de Chunks: Introducción de ACSAC, el primer actor-crítico de fragmentación en chunks de acción que selecciona adaptativamente los tamaños de chunk por estado utilizando un crítico Transformer causal y muestreo de rechazo conjunto.
2. Fundamentos Teóricos: Demostración de que los valores Q condicionados por prefijo son comparables entre horizontes y que el operador de Bellman de ACSAC es una contracción cuyo punto fijo único es la función de valor de la política adaptativa.
3. Rendimiento Empírico: Demostración de que ACSAC logra un rendimiento de vanguardia en tareas de manipulación de horizonte largo y recompensa dispersa (OGBench) tanto en configuraciones offline como offline-a-online, superando a las líneas base de un solo paso, múltiples pasos y chunks fijos.

Resultados Experimentales

El método fue evaluado en la suite OGBench, que comprende 25 tareas en cinco dominios (scene-sparse, puzzle-3x3-sparse, cube-double, cube-triple, cube-quadruple).

• Rendimiento General: ACSAC superó consistentemente a todas las líneas base (incluyendo IQL, ReBRAC, FQL, BFN y métodos de chunks fijos como QC y DEAS) tanto en las fases de pre-entrenamiento offline como de ajuste fino online.
• Tareas de Horizonte Largo: Las mejoras fueron más significativas en dominios que requieren una mezcla de transporte grueso y manipulación precisa (por ejemplo, cube-triple y scene-sparse), donde la fragmentación adaptativa permitió al agente cambiar los horizontes de ejecución según las fases de la tarea.
• Análisis Cualitativo: Las visualizaciones de los tamaños de chunk ejecutados mostraron que ACSAC se alineaba naturalmente con la semántica de la tarea: seleccionando chunks más largos para fases de aproximación gruesa y chunks progresivamente más cortos para fases de colocación precisa.
• Calibración: Los experimentos confirmaron que los valores Q condicionados por prefijo estaban bien calibrados frente a los retornos realizados y eran comparables entre diferentes longitudes de horizonte, validando la estrategia de argmax conjunto.
• Estudios de Ablación:
  • Tamaño de Chunk ($H$): La ejecución de un solo paso ($H=1$) falló en tareas de recompensa dispersa, mientras que los chunks máximos excesivamente largos ($H=7$) degradaron el rendimiento en algunos dominios.
  • Tamaño de Muestreo ($N$): Aumentar el tamaño del muestreo de rechazo más allá de $N=4$ produjo rendimientos decrecientes.
  • Arquitectura: Reemplazar el crítico MLP en las líneas base con el Transformer causal por sí solo mejoró el rendimiento, pero no igualó a ACSAC, confirmando que el mecanismo de selección adaptativa y el objetivo multi-horizonte son críticos.

Significado y Afirmaciones

El artículo afirma que ACSAC aborda la limitación fundamental de los tamaños de chunk fijos en el RL de fragmentación en chunks de acción. Al aprovechar un Transformer causal para aprender valores Q comparables entre horizontes, ACSAC habilita horizontes de ejecución dependientes del estado. Esto permite que los agentes mantengan los rápidos respaldos de valor y la consistencia temporal de los chunks largos, al tiempo que conservan la reactividad necesaria para el control preciso en estados sensibles.

Los autores posicionan a ACSAC como un paso hacia un RL más robusto para aplicaciones del mundo real, señalando que el trabajo futuro podría integrar estos tamaños de chunk dependientes del estado con grandes modelos de visión-idioma-acción (VLA), construyendo sobre tendencias recientes donde el aprendizaje de valor fragmentado escala a configuraciones multimodales complejas. El método se presenta como un enfoque unificado tanto para el aprendizaje offline como para el offline-a-online, sin requerir técnicas especializadas más allá de añadir transiciones online al conjunto de datos.