Resumen Técnico: Aprendizaje por Refuerzo con Auto-Juego bajo Información Imperfecta en Big 2

Enunciado del Problema

El artículo aborda los desafíos de entrenar agentes de aprendizaje por refuerzo (RL) en juegos multijugador de información imperfecta. Específicamente, investiga el juego de Big 2, un juego de eliminación de cartas para cuatro jugadores caracterizado por:

• Información Oculta: Los jugadores observan solo sus propias manos y el historial público de jugadas; las manos de los oponentes deben inferirse a partir de acciones, pases y conteos de cartas restantes.
• Recompensas Escasas y Retrasadas: La recompensa principal (ganar) ocurre solo en el estado terminal, siendo las recompensas intermedias cero.
• Oponentes No Estacionarios: En configuraciones de auto-juego, la distribución de oponentes cambia a medida que los agentes mejoran.
• Espacios de Acción Variables: Las acciones legales son combinaciones específicas de la mano (simples, pares, escaleras, etc.) que cambian drásticamente entre turnos, haciendo difícil la abstracción de acciones fijas.

Los autores buscan determinar si los objetivos de gradiente de política o los basados en valor aprenden de manera más efectiva en este entorno bajo un presupuesto de cómputo controlado y limitado, y cómo las decisiones específicas de diseño de entrenamiento (regularización de entropía, currículo de oponentes) influyen en la estabilidad y el rendimiento.

Metodología

1. Entorno y Representación

Los autores desarrollaron un simulador donde el estado de observación ($o_i$) refleja estrictamente la información disponible:

• Entrada: La mano privada del jugador actuante (rellenada), la baza activa, todas las cartas vistas, conteos de cartas restantes para los oponentes, conteos de pases e historiales de cartas jugadas por oponente.
• Espacio de Acción: El simulador enumera todas las combinaciones legales en la mano del jugador y las filtra según la baza activa, produciendo un conjunto de acciones legales de longitud variable $A(o_i)$. Esto evita la exploración de acciones inválidas.
• Arquitectura Neuronal:
  • Codificador de Estado: Utiliza una tabla de incrustación de cartas compartida. La mano del jugador se procesa mediante auto-atención y se agrupa. La información pública (baza, cartas vistas, conteos de oponentes) se incrusta y concatena para formar una incrustación de estado.
  • Puntuación de Acciones: Las acciones legales se codifican como vectores de características de 80 dimensiones. Un producto punto entre la incrustación de estado y la incrustación de acción puntúa a cada candidato legal.
  • Distinción: A diferencia de trabajos anteriores que utilizaban cabezas de acción fijas de 1695 enmascaradas para movimientos legales, este modelo puntúa solo acciones legales, permitiendo que las cartas retenidas interactúen antes de la agrupación.

2. Algoritmos de Aprendizaje

El estudio compara cuatro algoritmos bajo arquitecturas idénticas y presupuestos de entrenamiento (5.000 lotes, 64 episodios/lote):

1. PPO (Optimización de Política Proximal): Una línea base de gradiente de política que utiliza objetivos sustitutos recortados y una cabeza de valor separada.
2. Aproximación Q de Monte Carlo: Un método basado en valor que utiliza el retorno descontado completo ($y_t = \sum \gamma^{k-t} r_k$) como objetivo.
3. SARSA: Un método basado en valor en política que utiliza objetivos de un paso ($y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$).
4. Q-Learning: Un método basado en valor fuera de política que utiliza objetivos máximos ($y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$).

Todos los métodos basados en valor utilizan exploración $\epsilon$-greedy durante el entrenamiento y selección greedy durante la evaluación.

3. Currículos de Entrenamiento y Evaluación

• Auto-Juego: La configuración predeterminada utiliza auto-juego de política actual, donde la política actual controla los cuatro asientos.
• Líneas Base: La evaluación se realiza contra tres oponentes heurísticos:
  • Aleatorio: Selecciona acciones legales uniformemente.
  • Greedy: Juega la combinación no-pase legal más débil.
  • Inteligente: Una política basada en reglas que puntúa acciones según características estratégicas (eliminación de cartas, preservación de combinaciones, evitar el uso temprano de '2's).
• Métricas: Tasa de victorias y puntuación promedio del juego (suma de cartas restantes para los perdedores, negativa para los perdedores) contra cada clase de oponente.

Contribuciones y Hallazgos Clave

1. Rendimiento Algorítmico

Bajo un presupuesto de cómputo limitado, PPO supera a todos los métodos basados en valor (Q de Monte Carlo, SARSA, Q-learning) en todas las clases de oponentes.

• PPO logró una tasa de victorias del 85,4% contra Aleatorio, 58,2% contra Greedy y 37,1% contra Inteligente.
• Los métodos basados en valor, aunque aprenden políticas útiles, no lograron igualar el rendimiento final de PPO. Los autores atribuyen esto a la dificultad de la estimación de valor en el espacio de estados de alta varianza e información imperfecta de Big 2, donde los estados estratégicamente importantes se visitan raramente y los retornos terminales deben asignar crédito a través de secuencias largas.

2. Regularización de Entropía

Los autores encontraron que PPO sin regularización de entropía se vuelve excesivamente determinista, muestreando acciones superiores con >90% de probabilidad incluso en situaciones estratégicas ambiguas.

• Hallazgo: Una regularización de entropía moderada ($\beta_{ent} = 0,05$) mejoró significativamente el rendimiento en todas las clases de oponentes (por ejemplo, aumentando la tasa de victorias contra Inteligente del 37,1% al 43,5%).
• Implicación: Las políticas estocásticas son beneficiosas en juegos de información imperfecta para mantener la imprevisibilidad y evitar comprometerse en exceso con preferencias de acción subóptimas. Sin embargo, una entropía excesiva degrada el rendimiento.

3. Currículo de Oponentes

El estudio comparó el auto-juego de política actual contra el auto-juego con puntos de control (entrenamiento contra políticas pasadas guardadas) y el entrenamiento contra oponente fijo (entrenamiento solo contra la heurística Inteligente).

• Hallazgo: El auto-juego de política actual produjo los mejores resultados tanto para PPO como para Q de Monte Carlo.
• Razonamiento: Entrenar contra un oponente determinista fijo (solo Inteligente) estrecha la distribución de estados y reduce la exploración. El auto-juego con puntos de control introduce diversidad pero diluye la señal de aprendizaje al exponer al agente a errores "obsoletos" que ya ha aprendido a vencer. El auto-juego de política actual actúa como un currículo adaptativo, manteniendo la dificultad del oponente alineada con el nivel de habilidad actual del agente.

Significado y Afirmaciones

El artículo afirma proporcionar el primer estudio empírico controlado que compara objetivos de RL y decisiones de diseño de entrenamiento específicamente para Big 2. Su significado radica en:

1. Establecer una Línea Base: Ofrece una línea base accesible para futuras investigaciones sobre búsqueda, abstracción y modelado de oponentes en Big 2, aislando factores a menudo confundidos en sistemas más grandes.
2. Demostrar Eficiencia: Muestra que el RL profundo puede aprender estrategias robustas en un juego de información imperfecta para cuatro jugadores sin modelos de oponentes ingenierizados, búsqueda en árbol o poda heurística de acciones más allá del filtrado legal.
3. Identificar Factores Críticos: Destaca que en configuraciones de presupuesto limitado, la elección del algoritmo (PPO > Basado en valor), la estocasticidad de la política (regularización de entropía) y el diseño del currículo (auto-juego de política actual) son factores decisivos para el éxito.

Los autores permanecen modestos, señalando que su estudio no compara contra Minimización de Arrepentimiento Contrafactual (CFR), agentes aumentados con búsqueda o presupuestos de entrenamiento más grandes, y que se necesita trabajo futuro para determinar si los métodos basados en valor pueden cerrar la brecha con entrenamiento extendido o si el juego cruzado revela nuevas debilidades estratégicas.