Resumen Técnico: One for All: Un Transformador No Lineal puede Habilitar la Generalización entre Dominios para el Aprendizaje por Refuerzo en Contexto

Enunciado del Problema

Un desafío central en el aprendizaje por refuerzo (RL) es desarrollar modelos que generalicen más allá de las tareas específicas en las que son entrenados. Si bien los enfoques tradicionales de aprendizaje multi-tarea y meta-RL buscan abordar esto, trabajos recientes han explorado el uso de arquitecturas transformadoras para el aprendizaje en contexto, donde los modelos se adaptan a nuevas tareas mediante el contexto sin actualizaciones explícitas de parámetros. Sin embargo, una comprensión fundamentada de cómo y por qué los transformadores generalizan entre tareas, y específicamente entre diferentes dominios, sigue siendo limitada. Los marcos teóricos existentes, como los de Wang et al. (2025), dependen de suposiciones fuertes de linealidad (procesos de recompensa de Markov lineales y transformadores lineales), lo que restringe su aplicabilidad a configuraciones complejas y realistas donde las funciones de valor son no lineales. Este artículo aborda la brecha en la comprensión de los mecanismos del RL en contexto, centrándose específicamente en la evaluación de políticas, para determinar si un único transformador con pesos fijos puede generalizar entre múltiples dominios.

Metodología

Los autores abordan el problema desde una perspectiva basada en núcleos, estableciendo una conexión entre transformadores no lineales y el aprendizaje de diferencias temporales (TD) basado en núcleos.

Marco Teórico

1. Transformador como Operador Funcional: El artículo interpreta el transformador como un operador funcional que mapea un contexto (una secuencia de transiciones) a una función específica de la tarea.
2. Interpretación en el Espacio de Hilbert de Núcleos Reproductores (RKHS): Basándose en la observación de que los mecanismos de atención no lineales inducen una función de núcleo (Cheng et al., 2024), los autores postulan que los transformadores no lineales realizan regresión en un Espacio de Hilbert de Núcleos Reproductores (RKHS) inducido por dicho núcleo.
3. Construcción de la Actualización TD con Núcleo: La contribución teórica central es una construcción explícita que demuestra que un transformador no lineal de profundidad-$L$ con pesos fijos puede implementar $L$ iteraciones de una actualización de gradiente semi TD con núcleo puramente a través de su paso hacia adelante.
   • Representación de Entrada: La matriz de entrada $Z_0$ codifica las transiciones del contexto (estados, recompensas) y un estado de consulta.
   • Mecanismo: El transformador utiliza los estados del contexto como centros del núcleo. Cada capa del transformador corresponde a un paso de la actualización TD. Específicamente, el mecanismo de atención calcula sumas ponderadas de los residuos TD ($\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$) ponderados por la función de núcleo $\kappa(s_j, s_i)$.
   • Construcción de Pesos: Los autores proporcionan construcciones explícitas para las matrices de proyección de Clave ($K$), Consulta ($Q$) y Valor ($V$) para un bloque de atención de dos cabezas. Una cabeza calcula la resta de la estimación de valor actual, y la otra calcula el objetivo bootstrap, realizando efectivamente la actualización:
     $$v^{(i)}_{k+1} = v^{(i)}_k + \alpha_k \sum_{j=0}^{n-1} \delta^{(j)}_k \kappa(s^{(j)}, s^{(i)})$$
   • Salida: El valor del estado de consulta se lee desde la entrada inferior derecha de la matriz de salida después de $L$ capas.

Limitaciones y Condiciones

El artículo identifica condiciones y limitaciones específicas para esta construcción:

• RKHS Compartido: La generalización entre dominios está garantizada teóricamente solo si las funciones de valor de los diferentes dominios se encuentran dentro del mismo RKHS inducido por el núcleo fijo del transformador. Si los dominios requieren características de núcleo fundamentalmente diferentes (por ejemplo, diferentes anchos de banda para paisajes de valor suaves frente a agudos), un único núcleo fijo no puede representar ambos adecuadamente.
• Desplazamiento Constante: La construcción introduce un sesgo constante independiente del estado en las estimaciones absolutas de valor. Sin embargo, los autores argumentan que esto no afecta la mejora de la política (por ejemplo, gradientes de política) ni la convergencia del error TD, ya que el desplazamiento se cancela en las comparaciones relativas y los cálculos de error.
• Parámetros de Núcleo Fijos: Los parámetros del núcleo (por ejemplo, la temperatura $\delta$) están fijos y no se adaptan en contexto. Esto restringe la capacidad del modelo para manejar tareas que requieren propiedades de núcleo diferentes.

Contribuciones Clave

1. Visión de Núcleo de la Evaluación de Políticas en Contexto: El artículo enmarca la evaluación de políticas en contexto a través de la lente del RL basado en núcleos, relacionando la inferencia del transformador con actualizaciones TD con núcleo.
2. Construcción Explícita de Pesos: Proporciona una construcción teórica que demuestra que un transformador no lineal con pesos fijos puede implementar actualizaciones iterativas TD con núcleo, utilizando estados del contexto como centros del núcleo.
3. Condición Suficiente para la Reutilización entre Dominios: Establece que la generalización entre dominios es posible si las funciones de valor de las tareas se encuentran dentro de un RKHS compartido.
4. Validación Empírica: Los autores instancian esta construcción en tareas del mundo real, validando las predicciones teóricas.

Resultados Experimentales

Los autores evaluaron su método en MetaWorld (Yu et al., 2021), un benchmark que comprende diversos dominios de manipulación (por ejemplo, Pick-Place, Shelf-Place, Button-Press).

• Generalización de Un Dominio: Un transformador con pesos fijos (entrenado solo en tareas de alto ruido dentro de un dominio) convergió exitosamente en la pérdida TD para tareas de ruido medio y bajo dentro del mismo dominio y a través de diferentes dominios (Pick-Place, Pick-Place-Wall, Shelf-Place, Plate-Slide).
• Generalización entre Dominios: Los modelos entrenados en un dominio (por ejemplo, Pick-Place-v3) se aplicaron a otros dominios sin ajuste fino. El modelo generalizó exitosamente entre Pick-Place, Pick-Place-Wall, Shelf-Place y Plate-Slide. Sin embargo, falló en transferirse a Button-Press-v3.
  • Análisis: Este fallo se alinea con la limitación teórica respecto al RKHS compartido. El análisis de hiperparámetros reveló que Button-Press requiere una temperatura de núcleo (parámetro de activación) significativamente diferente en comparación con los otros cuatro dominios, lo que implica que su función de valor se encuentra en un RKHS diferente.
• Lineal vs. No Lineal: Los transformadores lineales (como los propuestos por Wang et al., 2025) fallaron en converger en las tareas de MetaWorld, confirmando que la no linealidad es necesaria para capturar las estructuras complejas de las funciones de valor.
• Entorno Sintético: En un MRP sintético controlado donde la función de valor de verdad fundamental fue construida explícitamente para residir dentro del RKHS inducido, el transformador recuperó con precisión la forma de la función de valor, validando el mecanismo de regresión con núcleo.

Significado y Afirmaciones

El artículo afirma proporcionar la primera construcción teórica que demuestra que el RL en contexto con transformadores no lineales puede generalizar entre dominios. Al interpretar el transformador como realizando regresión con núcleo, los autores ofrecen una explicación fundamentada de por qué un único conjunto de pesos puede aprender a través de múltiples dominios: es posible cuando las tareas comparten un RKHS común.

El trabajo sirve como un paso fundamental hacia el desarrollo de políticas más universales. Aclara que, si bien los transformadores con pesos fijos pueden generalizar, esta capacidad está limitada por la expresividad del núcleo inducido. Los autores declaran explícitamente que su enfoque está en la evaluación de políticas como un paso fundamental necesario, dejando la mejora de políticas y las estructuras de núcleo adaptativas para trabajos futuros. No afirman haber resuelto el problema de la generalización para todas las tareas de RL, sino haber establecido las condiciones teóricas bajo las cuales dicha generalización es factible.