Resumen Técnico: ASALT – Alineación de Estado Adaptativa para la Transferencia Lateral en el Aprendizaje por Refuerzo Multiagente

Declaración del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) enfrenta desafíos significativos al transferir conocimiento de un dominio de origen a un dominio de destino donde los entornos difieren estructuralmente. Aunque trabajos previos han explorado la transferencia de aprendizaje en MARL, la mayoría de los enfoques existentes imponen una restricción estricta: las dimensionalidades del espacio de observaciones y del espacio de estado global deben ser idénticas entre los dominios de origen y destino.

En escenarios realistas, como la gestión de tráfico, la coordinación de flotas o juegos competitivos como StarCraft II, el número de agentes, adversarios o configuraciones ambientales suele cambiar. Estos cambios alteran la dimensionalidad de los espacios de observación y de estado. En consecuencia, los métodos estándar de transferencia lateral fallan porque no pueden mapear entradas heterogéneas en una representación compartida sin forzar arquitecturas de red idénticas. Además, los métodos existentes suelen centrarse únicamente en la transferencia de información del actor (política), descuidando los beneficios potenciales de transferir la información del crítico (función de valor), la cual es crucial para estimar funciones de ventaja y coordinar agentes. Finalmente, transferir políticas entre dominios con requisitos de coordinación conflictivos suele provocar una "transferencia negativa", donde el conocimiento previo degrada en lugar de mejorar el rendimiento.

Metodología: El Marco de Trabajo ASALT

Los autores proponen ASALT (Adaptive State Alignment for Lateral Transfer), un marco diseñado para acomodar desajustes en las dimensionalidades de los espacios de estado entre los dominios de origen y destino sin imponer restricciones estructurales en la arquitectura de la red. La innovación central radica en el uso de módulos adaptadores que mapean las entradas del dominio de destino hacia un espacio de incrustación (embedding) compartido compatible con los agentes de origen preentrenados.

Componentes Clave

1. Adaptador de Observación:

   • Función: Mapea las observaciones del dominio de destino ($o_t$) en un espacio de incrustación compartido ($\hat{e}_o$) que se alinea con el espacio de entrada de los actores de origen congelados.
   • Arquitectura: El adaptador descompone las observaciones del dominio de destino en características específicas del agente ($o_a$) y características contextuales ($o_c$) que describen a otros agentes.
     • Las características específicas del agente se procesan mediante una Red Completamente Conectada (FCN).
     • Las características contextuales se procesan mediante un mecanismo de Atención Multicabezal Jerárquica (H-MHA). Este módulo captura dependencias relacionales de orden superior a través de grupos de propiedades estructuradas (por ejemplo, aliados frente a enemigos), produciendo incrustaciones que agregan información contextual.
   • Salida: La incrustación final es una concatenación de las incrustaciones de nivel de agente, relacionales y contextuales agregadas, con un tamaño que coincide con la dimensión de entrada de la política de origen.

2. Adaptador de Estado:

   • Función: Mapea el estado global del dominio de destino ($s_t$) en una incrustación de estado compartida ($\hat{e}_s$) para la entrada de los críticos de origen.
   • Arquitectura: Utiliza un Codificador Transformer de dos capas. El estado global se proyecta en incrustaciones de tokens y se procesa mediante Atención de Cabezal Múltiple (MHSA) y Redes de Alimentación hacia Adelante (FFN) con conexiones residuales y normalización de capa. Esto captura explícamente las interacciones entre los componentes del estado.
   • Propósito: Permite la transferencia de patrones de coordinación codificados en las funciones de valor (críticos) del dominio de origen.

3. Módulo de Transferencia (Conexiones Laterales):

   • Mecanismo: Implementa la transferencia lateral de conocimiento desde los agentes de origen congelados hacia el agente de destino.
   • Transferencia de Actor: El actor de destino atiende a las representaciones de los top-$N$ actores de origen (seleccionados mediante agrupamiento o similitud). Los mecanismos de atención por capa ($\alpha_k$) ponderan y agregan estas señales laterales.
   • Transferencia de Crítico: De manera similar, las conexiones laterales propagan representaciones ponderadas ($\beta_k$) de los críticos de origen al crítico de destino. Para manejar las diferentes escalas de recompensa, las recompensas se normalizan antes de construir las señales del lado del crítico.
   • Entrenamiento: El agente de destino se entrena utilizando las entradas originales del dominio de destino ($o_t, s_t$) mientras recibe simultáneamente guía lateral de los agentes de origen a través de los adaptadores.

Paradigmas de Entrenamiento

El artículo investiga dos estrategias de entrenamiento:

• Entrenamiento Independiente: Los adaptadores se entrenan primero sobre las trayectorias recolectadas de ambos dominios, y luego se congelan mientras se entrena el agente de destino.
• Entrenamiento Conjunto: Los adaptadores y el agente de destino se optimizan de forma concurrente utilizando trayectorias del dominio de destino. Los autores encuentran que el entrenamiento conjunto es más eficiente en términos de muestras, ya que induce incrustaciones que maximizan explícitamente la utilidad de la información transferida.

Contribuciones Clave

1. Manejo de Desajuste de Dimensionalidad: ASALT es el primer método que acomoda explícitamente desajustes en las dimensionalidades de los espacios de observación y de estado global entre dominios de origen y destino en MARL, eliminando el requisito de arquitecturas de red idénticas.
2. Arquitectura de Doble Adaptador: La introducción de tanto el adaptador de observación como el de estado permite la transferencia de conocimiento tanto de la política (actor) como del valor (crítico), facilitando una transferencia de coordinación más efectiva.
3. Mitigación de la Transferencia Negativa: Al mapear las entradas de destino en un espacio latente compartido y transferir selectivamente la información relevante para la tarea (en lugar de observaciones puras), ASALT reduce el riesgo de transferencia negativa, particularmente en dominios heterogéneos.
4. Eficiencia de Muestreo: El marco mejora significativamente la eficiencia de muestreo, permitiendo que los agentes de destino converjan más rápido que el entrenamiento desde cero o utilizando líneas base existentes.

Resultados Experimentales

Los autores evaluaron ASALT en tres entornos de referencia: StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF) y Multi-Particle Environments (MPE).

• Rendimiento vs. Líneas Base: ASALT superó consistentemente a los métodos de adaptación de dominio (DANN, CORAL, CycleGAN) y a las líneas base de transferencia de aprendizaje de vanguardia (LA-QTransformer, MALT, PSMARL).
• Eficiencia de Muestreo: En escenarios con desajustes en el espacio de observación (por ejemplo, transfiriendo de 3 agentes a 8 agentes en SMAC), ASALT requirió significativamente menos pasos de entorno para alcanzar el 80% de la recompensa asintótica en comparación con todas las líneas base. Por ejemplo, en la transferencia de 3m a 8m, ASALT requirió $0.54 \times 10^5$ pasos frente a los $5.1 \times 10^5$ de la línea base.
• Transferencia Negativa: En escenarios con requisitos de coordinación conflictivos (por ejemplo, mapa 3m vs. 3s5zvs3s6z), ASALT demostró una robustez superior, convergiendo más rápido y logiendo tasas de victoria finales más altas que los métodos propensos a la transferencia negativa.
• Estudios de Ablación:
  • Conjunto vs. Independiente: El entrenamiento conjunto de los adaptadores y el agente de destino produjo una convergencia significativamente más rápida que el entrenamiento independiente.
  • Actor vs. Actor-Crítico: La transferencia de la información tanto del actor como del crítico generalmente mejoró la estabilidad y el aprendizaje temprano, aunque en casos de expansión masiva del espacio de estado, la transferencia solo de actor a veces logró un rendimiento asintótico comparable.
  • Mecanismos de Atención: Los adaptadores de observación basados en atención superaron a los adaptadores simples basados en FCN, particularmente en escenarios de escalado hacia arriba.

Significado y Reclamaciones

El artículo afirma que ASALT aborda un cuello de botella crítico en el despliegue de MARL en el mundo real: la incapacidad de transferir políticas cuando cambia el número de agentes o la complejidad ambiental. Al desacoplar la dimensionalidad de entrada del destino de la arquitectura de la política de origen mediante la incrustación adaptativa, ASALT permite la transferencia lateral en entornos heterogéneos.

Los autores enfatizan que su enfoque:

• Reduce la Transferencia Negativa: Al aprender a mapear los estados de destino en una representación compartida, el método filtra la información irrelevante o conflictiva, un modo de falla común en la transferencia entre dominios.
• Mejora la Coordinación: La inclusión de adaptadores de estado y la transferencia del crítico permite que el sistema aproveche los patrones de coordinación basados en el valor, no solo las políticas de acción.
• Mantiene la Eficiencia Computacional: Aunque añadir módulos adaptadores incurre en una carga computacional marginal (un aumento de aproximadamente el 21% en el tiempo de entrenamiento en sus experimentos), esto se compensa con la reducción sustancial en el número de interacciones con el entorno requeridas para la convergencia.

El trabajo concluye que, si bien ASALT es altamente efectivo, su rendimiento depende del grado de desajuste entre los dominios, y el trabajo futuro debería explorar la transferencia jerárquica y el análisis teórico para reducir aún más los costos computacionales.