💻 computer science

Expected Return Symmetries

Este artículo introduce las "simetrías de retorno esperado", una clase más amplia de simetrías que subsume las simetrías de entorno tradicionales, permitiendo que los agentes en entornos descentralizados multiagente logren una coordinación de cero disparos superior sin requerir conocimiento previo de las simetrías de la verdad de base.

Autores originales: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Publicado 2026-06-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El Dilema de la "Zurdos" vs. "Diestros"

Imagina que dos robots son entrenados por separado para jugar un juego cooperativo, como una versión de alto riesgo de Hanabi (un juego de cartas donde no puedes ver tus propias cartas) o Overcooked (un caótico simulador de cocina). Ambos son brillantes jugando al juego cuando juegan consigo mismos.

Sin embargo, cuando tomas al Robot A y lo emparejas con el Robot B por primera vez, fracasan estrepitosamente. ¿Por qué?

Porque durante su entrenamiento individual, accidentalmente inventaron sus propios lenguajes secretos.

El Robot A aprendió que si el otro jugador pone una carta, significa "estoy feliz".
El Robot B aprendió que esa misma acción significa "estoy enojado".

En términos del artículo, esto se llama ruptura de simetría mutuamente incompatible. Los robots encontraron una solución que funcionaba para ellos individualmente, pero debido a que no se pusieron de acuerdo sobre qué versión de la solución usar, son como dos personas intentando darse la mano, pero uno ofrece la mano izquierda y el otro la derecha. Ambos están "en lo correcto" en sus propias mentes, pero no pueden coordinarse.

La Vieja Solución: "Other-Play" (El Enfoque del Libro de Reglas)

Anteriormente, los investigadores intentaron solucionar esto enseñando a los robots a respetar las simetrías del entorno.

Imagina el entorno del juego como una habitación con cuatro puertas idénticas. Si caminas por la puerta Norte, obtienes una recompensa. Si camas por la puerta Sur, obtienes exactamente la misma recompensa. La habitación es "simétrica".

El Método Antiguo: Los investigadores le dijeron a los robots: "Oigan, el Norte y el Sur son lo mismo. No se limiten a memorizar 'el Norte es bueno'. Memoricen 'Cualquier puerta que se parezca al Norte es buena'".
La Limitación: Esto funciona bien para cosas obvias como colores o direcciones. Pero falla cuando la "similitud" no se trata del diseño de la habitación, sino de la estrategia misma. Es como decirle a los robots: "No importa si usas un sombrero rojo o uno azul", pero no darse cuenta de que, a veces, usar un tipo específico de sombrero es la única forma de señalar "estoy listo para cocinar" a un compañero.

La Nueva Solución: "Expected Return Symmetries" (El Enfoque de "Lo que Funciona")

Los autores de este artículo proponen una forma más inteligente de encontrar estas conexiones ocultas. En lugar de mirar las reglas de la habitación (el entorno), miran los resultados (las recompensas).

Introducen el concepto de Simetrías de Retorno Esperado (Expected Return Symmetries).

La Analogía: El "Espejo Mágico"
Imagina que tienes un espejo mágico. Si te paras frente a él y haces un movimiento de baile específico, obtienes una estrella dorada.

Visión Antigua: El espejo solo refleja cosas que se ven exactamente iguales (por ejemplo, si levantas tu mano izquierda, el reflejo levanta su mano derecha).
Nueva Visión (Retorno Esperado): El espejo es más inteligente. Pregunta: "Si cambio tu movimiento de baile por algo completamente diferente, ¿sigues obteniendo una estrella dorada?".

Si la respuesta es sí, entonces esos dos movimientos de baile diferentes son "simétricos" a los ojos del artículo. Pueden verse totalmente distintos, pero conducen al mismo éxito.

El artículo argumenta que, al entrenar a los robots para reconocer estas simetrías basadas en los resultados, estos se vuelven mucho más flexibles. Aprenden que la "Acción X" y la "Acción Y" son intercambiables porque ambas conducen a un resultado feliz, incluso si las reglas del juego no dicen explícitamente que son las mismas.

Cómo lo Hicieron (La Máquina de "Ensayo y Error")

El artículo no solo adivina estas simetrías; construyeron un método para encontrarlas automáticamente.

El Grupo de Expertos: Primero entrenaron a un grupo de robots para ser expertos en el juego (usando un método llamado Self-Play).
El Juego de Mezcla: Luego tomaron estos robots expertos y comenzaron a "mezclar" sus comportamientos. Intentaron intercambiar acciones, cambiar observaciones y mezclar estrategias.
El Contador de Puntos: Preguntaron: "Si intercambiamos la estrategia del Robot A con la del Robot B, ¿siguen obteniendo la misma puntuación alta?".
- Si la puntuación se mantiene alta, ese intercambio es una "Simetría de Retorno Esperado" válida.
- Si la puntuación se desploma, ese intercambio es malo.
El Resultado: Encontraron un conjunto de "intercambios mágicos" que preservan el éxito del juego. Luego enseñaron a los nuevos robots a usar estos intercambios durante el entrenamiento.

Los Resultados: Por Qué Importa

El artículo probó esto en tres escenarios diferentes:

Un Juego de Palanca Simple: Una tarea de coordinación básica.
Overcooked V2: Un complejo juego de cocina donde el tiempo y la comunicación son clave.
Hanabi: Un juego de cartas muy difícil con información oculta.

Los Hallazgos:

Los robots entrenados con este nuevo método de "Retorno Esperado" se coordinaron significativamente mejor con extraños que los robots entrenados con el antiguo método de "Simetría del Entorno".
En el juego Overcooked, el nuevo método redujo el margen entre "jugar contigo mismo" y "jugar con un extraño" por un margen enorme.
En Hanabi, que es notoriamente difícil de coordinar para la IA, el nuevo método superó a los métodos anteriores más avanzados, a pesar de que el nuevo método no tenía una "guía de trucos" de las reglas del juego (como saber que el Rojo y el Azul son solo intercambios de color).

La Conclusión

El artículo afirma que para lograr que los agentes de IA trabajen bien juntos sin coordinación previa, no debemos limitarnos a enseñarles las reglas del juego. En su lugar, debemos enseñarles a reconocer qué diferentes comportamientos conducen al mismo éxito.

Al enfocarse en el resultado (el retorno esperado) en lugar de solo en el input (el diseño del entorno), los robots aprenden un conjunto de "apretones de manos secretos" más amplio y flexible. Esto les permite adaptarse a nuevos compañeros de manera mucho más rápida y efectiva, resolviendo el problema de "la mano izquierda vs. la mano derecha" que ha plagado a la IA multiagente durante años.

Resumen Técnico: Simetrías de Retorno Esperado

Planteamiento del Problema
En el aprendizaje por refuerzo multiagente cooperativo (MARL), un desafío fundamental es la Coordinación de Cero Disparos (ZSC - Zero-Shot Coordination): la capacidad de los agentes entrenados de forma independiente para coordinarse eficazmente con nuevos compañeros en el momento de la prueba sin comunicación previa. Un modo de fallo principal en ZSC es la ruptura de simetría mutuamente incompatible. Cuando los agentes entrenan de forma aislada, pueden converger en políticas equivalentes pero incompatibles (por ejemplo, un equipo acuerda señalar "jugar" con el color azul, mientras que otro utiliza el rojo).

Las soluciones existentes, como el objetivo de Other-Play (OP), abordan esto imponiendo compatibilidad entre políticas equivalentes bajo las simetrías de Dec-POMDP (reetiquetados de estados, acciones y observaciones que dejan invariantes las funciones de transición y recompensa). Sin embargo, este enfoque tiene dos limitaciones:

Modos de Fallo de Coordinación: La ruptura de simetría ambiental es solo un tipo de fallo de coordinación. Los agentes aún pueden sobre-coordinarse al formar convenciones excesivamente específicas incluso en ausencia de simetrías Dec-POMDP no triviales.
Accesibilidad de las Simetrías: Los métodos actuales requieren conocimiento a priori de las simetrías del entorno. Descubrir automáticamente estas simetrías en Dec-POMDPs a gran escala suele ser computacionalmente infactible, y muchos métodos dependen de información privilegiada (por ejemplo, la dinámica real o grupos de simetría) que no está disponible en entornos del mundo real.

Metodología
El artículo introduce las Simetrías de Retorno Esperado (ER Symmetries), una clase más amplia de simetrías que contiene a las simetrías de Dec-POMDP como un subgrupo.

Definición: Una transformación $\phi$ es una simetría ER si preserva el conjunto de políticas de exploración de Boltzmann óptimas de auto-juego ( $\Pi^*_\alpha$ ). Específicamente, $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ . A diferencia de las simetrías de Dec-POMDP, que requieren la invarianza de las funciones de transición y recompensa, las simetrías ER solo requieren que la transformación mapee políticas óptimas a otras políticas óptimas (preservando el retorno esperado).
Propiedades Teóricas: Los autores demuestran que $\Phi_{ER}$ forma un grupo bajo composición de funciones. Crucialmente, $\Phi_{ER}$ es un superconjunto estricto de las simetrías de Dec-POMDP en muchos casos, capturando diferencias de coordinación basadas en la estrategia en lugar de solo permutaciones de etiquetas.
Algoritmo de Aprendizaje: Dado que $\Phi_{ER}$ $Φ_{E R}$ no se conoce a priori, el artículo propone métodos escalables para aprender simetrías ER aproximadas utilizando optimización basada en gradientes sin acceso a las simetrías reales o a la dinámica del entorno.
- Objetivo 1 (Preservación del Retorno): Maximizar el retorno esperado de las políticas transformadas: $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , donde $\Pi'$ es un conjunto de políticas óptimas de auto-juego.
- Objetivo 2 (Componibilidad e Invertibilidad): Se introduce un objetivo regularizado para asegurar que las transformaciones aprendidas formen un grupo (imponiendo clausura e invertibilidad) penalizando las desviaciones de la identidad tras una doble aplicación y maximizando los retornos bajo transformaciones compuestas.
- Objetivo 3 (Maximización de Cross-Play): Un enfoque alternativo optimiza directamente el rendimiento de cross-play entre pares de políticas.
- El método asume una estructura mínima: fija la transformación del estado a la identidad y aprende las transformaciones de observación y acción (a menudo mediante la búsqueda sobre permutaciones de acciones y redes neuronales para las observaciones).

Contribuciones Clave

Definición de Simetrías ER: El artículo define un nuevo grupo de simetría basado en la preservación de los retornos esperados para políticas óptimas, el cual subsume las simetrías tradicionales de Dec-POMDP.
Descubrimiento Sin Modelo (Model-Free): Los autores introducen algoritmos para aprender estas simetrías puramente a partir de las interacciones agente-entorno, sin requerir información privilegiada sobre la estructura o la dinámica del entorno.
Mejora del Rendimiento en ZSC: El artículo demuestra que combinar la regla de aprendizaje de OP con simetrías ER aprendidas supera significativamente al auto-juego estándar y al OP con simetrías de Dec-POMDP para prevenir la sobre-coordinación.
Robustez en Entornos Desafiantes: Se demuestra que el método tiene éxito en entornos donde los métodos de vanguardia como Off-Belief Learning (OBL) y Cognitive Hierarchies fallan (por ejemplo, juegos de palancas específicos y Overcooked V2).

Resultados Experimentales
Los autores evalúan su método en cuatro entornos:

Iterated Three-Lever Game: En este entorno, las simetrías ER coinciden con las simetrías de Dec-POMDP, y el método recupera con éxito la política óptima de ZSC.
Toy Coordination Game: El método recupera con éxito una simetría ER no trivial (un intercambio de acciones) que no es una simetría de Dec-POMDP, demostrando la capacidad de descubrir simetrías fuera del grupo tradicional.
Overcooked V2: En este benchmark estocástico y asimétrico, los agentes que utilizan simetrías ER aprendidas lograron una puntuación media de cross-play (XP) de 15.8, superando significativamente la línea base de auto-juego (6.74) y reduciendo la varianza en los resultados de coordinación.
Hanabi: En este complejo juego de cartas, los agentes que utilizaron 11 simetrías ER aprendidas lograron una puntuación media de XP de 21.64, superando tanto al baseline IPPO (4.02) como al baseline de IPPO restringido por las 120 simetrías de Dec-POMDP conocidas (8.61). Los resultados indican que las simetrías ER preservan mejor la optimalidad mientras imponen la compatibilidad.

Significado y Reivindicaciones
El artículo afirma que las Simetrías de Retorno Esperado representan un avance significativo en ZSC al:

Generalizar la Simetría: Ir más allá de las invarianzas ambientales rígidas hacia una definición de simetría más flexible y centrada en la política que aborda mejor la diversidad de estrategias óptimas.
Eliminar la Información Privilegiada: Ser el primer método basado en simetrías que mejora el ZSC sin requerir conocimiento a priori de las simetrías o las dinámicas, haciéndolo aplicable a entornos donde dicha información no está disponible.
Resolver Fallos de Coordinación: Proporcionar una solución a la sobre-coordinación que es efectiva incluso en entornos donde los métodos previos basados en simetría o diversidad (como OBL) fallan.

Los autores reconocen limitaciones, señalando que la expresividad del espacio de búsqueda (restringida a biyecciones en los espacios de acción/observación) puede no ser suficiente para todos los entornos (por ejemplo, la variante del juego de dos palancas) y que el éxito del método depende de la calidad de las políticas utilizadas para aprender las simetrías.