Towards Learning Representations of Policies in Two-Player Zero-Sum Imperfect-Information Games

Resumen Técnico: Hacia el Aprendizaje de Representaciones de Políticas en Juegos de Información Imperfecta de Dos Jugadores a Suma Cero

Planteamiento del Problema
En los juegos de información imperfecta (IIG) de dos jugadores a suma cero, los agentes suelen beneficiarse al razonar sobre sus propias políticas y las de sus oponentes. Si bien la búsqueda de mirada hacia adelante con límite de profundidad es factible en juegos pequeños utilizando representaciones tabulares (por ejemplo, la Minimización del Arrepentimiento Contrafáctico), este enfoque se vuelve intratable en juegos con estados de creencia pública grandes donde enumerar todas las políticas posibles es imposible. En consecuencia, existe la necesidad de representaciones (embeddings) compactas y útiles de las políticas que permitan a los agentes razonar sobre la intención estratégica sin acceder a tablas de políticas completas. Sin embargo, la investigación existente sobre el aprendizaje de tales embeddings de política en IIG es escasa, careciendo tanto de métodos sistemáticos para generar conjuntos de datos de políticas como de tareas de evaluación descendentes estandarizadas.

Metodología
Los autores proponen un marco sistemático que comprende tres componentes principales: generación de conjuntos de datos, aprendizaje de embeddings y evaluación descendente.

1. Generación de Conjuntos de Datos: El artículo introduce tres métodos para crear conjuntos de datos diversos de políticas para un juego dado:

   • Inicialización Aleatoria: Inicialización aleatoria de redes neuronales de política con un esquema personalizado para asegurar la diversidad conductual, evitando la homogeneidad de las inicializaciones estándar de PyTorch.
   • Oráculo de Respuesta del Espacio de Políticas (PSRO): Entrenamiento iterativo de mejores respuestas contra mezclas de políticas existentes para generar un grupo expansivo de estrategias diversas.
   • Aprendizaje de Población Neuronal (NeuPL): Entrenamiento de una única red neuronal condicional compartida por todos los agentes; las nuevas políticas se generan mediante el muestreo del espacio de embedding latente de la red.

2. Aprendizaje de Embeddings: Se proponen varios métodos para mapear políticas a representaciones vectoriales:

   • Autoencoder de Pesos: Un baseline ingenuo que intenta reconstruir el vector de pesos aplanado de una red de política desde una capa de cuello de botella.
   • Codificador Funcional: Similar al autoencoder de pesos, pero minimiza la divergencia KL entre las distribuciones de acción de las redes originales y reconstruidas sobre estados de información muestreados, centrándose en la reconstrucción conductual en lugar de la reconstrucción de pesos.
   • Codificador de Trayectorias: Un enfoque de aprendizaje contrastivo (inspirado en SimCLR) que mapea trayectorias de longitud variable (recolectadas mediante el despliegue de políticas contra oponentes aleatorios) a un espacio latente de dimensión fija. Este método no requiere acceso a los componentes internos de la red.
   • Embeddings Condicionales estilo NeuPL: Un enfoque generativo donde una red condicional aprende a decodificar cualquier vector del espacio latente en una política, generando conjuntamente la población y los embeddings.
   • Baseline de Grover et al.: Un modelo híbrido generativo-discriminativo que utiliza un codificador MLP y una red de política condicional entrenada con pérdidas de imitación e identificación de triplete.
   • Baselines: Incluye un Baseline Tabular (concatenación de distribuciones de acción en todos los estados de información) y un Baseline de Identidad (uso directo de los pesos brutos de la red).

3. Tareas de Evaluación Descendentes: La efectividad de las representaciones se evalúa mediante cinco tareas:

   • Tarea A y B (Predicción de Payoff): Predicción de los pagos esperados contra un oponente aleatorio uniforme (Tarea A) o entre dos políticas específicas (Tarea B) utilizando un predictor lineal.
   • Tarea C (Predicción de Explotabilidad): Predicción del pago de la mejor respuesta de un oponente a una política dada.
   • Tarea D (Mejor Respuesta Zero-Shot): Entrenamiento de una red de política condicional para aproximar una mejor respuesta a una política dado solo su embedding.
   • Tarea E (Identificación de Agente): Clasificación de qué política generó una trayectoria determinada utilizando k-NN o sondas lineales.

Resultados Experimentales
Se realizaron experimentos en Kuhn Poker (12 estados de información) y Leduc Poker (936 estados de información), con resultados preliminares en juegos más grandes (Liar's Dice, Phantom Tic-Tac-Toe).

• Predicción de Payoff (Tareas A y B): En Kuhn Poker, el baseline tabular dominó debido al tamaño pequeño del juego. Sin embargo, en Leduc Poker, los codificadores aprendidos (Trayectoria, Grover, NeuPL) superaron al baseline tabular, que sufría de alta dimensionalidad (2808 dimensiones). Los codificadores Grover y de Trayectoria lograron las mayores mejoras (hasta un 32.3% de reducción en MSE) en la Tarea A en Leduc. Los autoencoders simples de Peso y Funcional generalmente fallaron en mejorar sobre la predicción de la media.
• Explotabilidad y Respuesta Zero-Shot (Tareas C y D): El método NeuPL superó significativamente a los baselines en la predicción de pagos de mejor respuesta (Tarea C) y en el entrenamiento de respondedores zero-shot (Tarea D), particularmente en poblaciones de políticas generadas por NeuPL. Los baselines de Identidad y de Peso funcionaron deficientemente, siendo a menudo peores que el baseline de la media.
• Identificación de Agentes (Tarea E): El Codificador de Trayectorias (usando un clasificador lineal) superó sustancialmente al baseline de Grover, logrando un 47.9% de precisión top-1 en Kuhn y 57.8% en Leduc, comparado con el 25.7% y 38.9% de Grover respectivamente.
• Visualización: Las visualizaciones de t-SNE de los embeddings de Kuhn Poker revelaron que el Codificador de Trayectorias separó con éxito las estrategias agresivas y pasivas, mientras que los embeddings del Autoencoder de Pesos no mostraron tal estructura.

Contribuciones Clave

1. Creación de Conjuntos de Datos: Introducción de tres métodos distintos (Random, PSRO, NeuPL) para generar conjuntos de datos de políticas diversas en IIG.
2. Aprendizaje de Representaciones: Propuesta y comparación de múltiples técnicas de embedding, que van desde la reconstrucción ingenua de pesos hasta el aprendizaje contrastivo de trayectorias y el condicionamiento generativo.
3. Suite de Evaluación: Definición de un conjunto integral de tareas descendentes (predicción de pago, explotabilidad, respuesta zero-shot, identificación de agentes) para evaluar rigurosamente las representaciones de políticas.
4. Comparación Sistemática: Hasta donde el autor sabe, este es uno de los primeros trabajos en comparar sistemáticamente técnicas de aprendizaje autosupervisado para representaciones de políticas.

Significancia y Reivindicaciones
El artículo afirma ser un paso fundacional hacia el aprendizaje de representaciones conductuales compactas y útiles en juegos de información imperfecta. Aunque los métodos se describen como "muy básicos", los resultados demuestran que existen semánticas conductuales útiles en los embeddings aprendidos, particularmente cuando se utiliza el aprendizaje contrastivo de trayectorias o el condicionamiento tipo NeuPL. El trabajo destaca que, si bien las representaciones tabulares son suficientes para juegos pequeños, los embeddings aprendidos se vuelven superiores a medida que aumenta la complejidad del juego. Los autores posicionan este trabajo como un marco abierto (código disponible) para facilitar la investigación futura en el aprendizaje de representaciones de políticas, señalando que el trabajo futuro podría implicar el refinamiento de términos de pérdida o la integración de estas representaciones con la planificación en tiempo de decisión.