Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO

Este artículo presenta "Territory Paint Wars", un entorno de aprendizaje por refuerzo multiagente competitivo que revela modos de fallo críticos en el algoritmo PPO, como el sobreajuste competitivo no detectable mediante métricas estándar, y propone una solución simple basada en la mezcla de oponentes para restaurar la capacidad de generalización.

Lo esencial

¡Hola! Imagina que estás organizando un torneo de videojuegos entre dos robots inteligentes. El objetivo es simple: pintar el mayor número de baldosas en un tablero de 10x10 antes de que se acabe el tiempo. A este juego le llamamos "Guerra de Pintura de Territorios".

El autor de este artículo, un estudiante de secundaria llamado Diyansha, quería ver si podía entrenar a estos robots usando una técnica muy popular llamada PPO (una especie de "entrenador de cerebro" para robots). Pero, ¡sorpresa! Algo salió terriblemente mal.

Aquí te explico qué pasó, por qué falló y cómo lo arregló, usando analogías sencillas:

1. El Desastre Inicial: Los Robots no Aprendían

Al principio, los robots entrenados eran tan malos que perdían contra un robot que se movía al azar (como si fuera un niño jugando sin pensar). Tenían un 26% de victorias, cuando deberían tener más del 50%.

¿Por qué? Porque el entrenador (el código) tenía 5 errores de "plomería" (bugs) que hacían que el aprendizaje fuera imposible:

• El error de la balanza: El robot recibía premios gigantescos por cosas pequeñas (como bloquear una casilla) y premios minúsculos por ganar el juego. Era como si en un examen te dieran 1000 puntos por escribir tu nombre y solo 1 punto por responder las preguntas. El robot se volvía loco intentando ganar esos puntos pequeños y olvidaba el objetivo real.
• El olvido del final: El robot no sabía que el juego terminaba. Era como correr una maratón sin saber que hay una meta; nunca se esforzaba al final.
• La memoria corta: El robot no recordaba bien lo que hizo al principio del juego. Si tomaba una decisión mala en el paso 1, el sistema de aprendizaje "borraba" esa culpa mucho antes de que el robot pudiera entender por qué perdió.
• Confusión de números: Le daban al robot números muy grandes (como "quedan 250 pasos") mezclados con números muy pequeños (como "estoy en la casilla 5"). Era como intentar leer un libro donde las letras tienen tamaños de letra diferentes y desordenados.
• El árbitro ciego: El sistema a veces decidía quién ganaba mirando los puntos de error en lugar de quién pintó más baldosas. ¡El árbitro estaba loco!

2. El Arreglo Técnico: Poner las cosas en orden

Diyansha arregló esos 5 errores. De repente, los robots empezaron a jugar muy bien. ¡Ganaban el 73% de las veces contra el robot aleatorio!

Pero entonces ocurrió algo muy extraño y peligroso: siguieron entrenando y, de repente, ¡se volvieron malos otra vez! Su victoria contra robots aleatorios cayó al 21%.

3. El Problema Invisible: "La Trampa del Espejo" (Sobreajuste Competitivo)

Este es el descubrimiento más importante del artículo.

Imagina que dos boxeadores, Rosa y Verde, se entrenan peleando solo entre ellos.

• Al principio, Rosa aprende a golpear donde Verde es débil.
• Verde aprende a esquivar los golpes de Rosa.
• Con el tiempo, se vuelven tan expertos peleando solo entre ellos que crean un "baile" perfecto. Rosa sabe exactamente qué hará Verde, y Verde sabe qué hará Rosa.

El problema: Si los pones a pelear contra un novato (un robot aleatorio), ¡pierden! Porque su "baile" perfecto no sirve contra alguien que se mueve de forma impredecible. Se volvieron tan especializados en su pareja de entrenamiento que olvidaron cómo jugar en general.

Lo más aterrador: Si miras solo sus peleas entre ellos, ¡parece que están jugando perfecto! Siempre ganan el 50% cada uno (porque se equilibran). El sistema de monitoreo no les dio ninguna alerta. Pensaban que todo iba bien, pero en realidad se estaban volviendo inútiles para el mundo real.

4. La Solución Mágica: "Mezclar la Población"

¿Cómo arregló esto el autor? Con una solución muy simple, como cambiar una sola línea de código.

Imagina que durante el entrenamiento, 20% de las veces, en lugar de que Rosa pelee contra Verde, Rosa pelea contra un robot aleatorio (un "tonto" que se mueve sin estrategia).

• Esto obliga a Rosa a no solo aprender a pelear contra Verde, sino a mantener estrategias que funcionen contra cualquiera.
• Es como si un equipo de fútbol entrenara contra su rival habitual, pero también jugara partidos contra niños de primaria de vez en cuando. Así no se vuelven tan rígidos y aprenden a adaptarse a cualquier estilo de juego.

Resultado: Gracias a este pequeño cambio, los robots recuperaron su genialidad. Ahora ganan el 77% de las veces contra robots aleatorios, y algunos incluso llegan al 94%.

5. ¿Qué aprendimos de todo esto?

El autor nos deja tres lecciones clave, como si fueran consejos de vida:

1. No confíes ciegamente en el espejo: En inteligencia artificial competitiva, si dos agentes juegan solo entre ellos, pueden volverse "expertos" en perder contra el mundo real. Necesitas probarlos contra extraños (oponentes fijos) para ver si realmente son buenos.
2. La diversidad es salud: Si solo te entrenas contra el mismo tipo de persona, te vuelves frágil. Necesitas variedad (mezcla de oponentes) para ser robusto.
3. Los detalles importan: A veces, un error pequeño en cómo se miden los puntos (la escala de la recompensa) puede arruinar todo el aprendizaje, aunque la lógica parezca correcta.

En resumen

El artículo nos dice que crear robots inteligentes es como entrenar atletas: si solo los haces competir entre ellos, pueden desarrollar "vicios" que los hacen perder contra el resto del mundo. La solución es simple: mezcla el entrenamiento para que aprendan a adaptarse a cualquier situación, no solo a su compañero de entrenamiento.

¡Y lo mejor de todo! El autor ha hecho público el juego ("Territory Paint Wars") para que cualquiera pueda estudiar estos errores y aprender de ellos. ¡Es un gran regalo para la comunidad de inteligencia artificial!

Resumen técnico

Resumen Técnico: Territory Paint Wars y Fallos en MARL Competitivo

1. El Problema

El aprendizaje por refuerzo multiagente competitivo (MARL) ha demostrado éxito en juegos complejos mediante el "auto-juego" (self-play), como en Go o StarCraft II. Sin embargo, los practicantes a menudo reportan que algoritmos estándar de un solo agente, como Proximal Policy Optimization (PPO), fallan al aprender tareas competitivas simples cuando se transplantan a entornos multiagente.

El problema central es que las causas del fallo suelen ser difusas (especificación incorrecta de recompensas, asignación de crédito deficiente, inestabilidad en el entrenamiento), lo que dificulta identificar la causa raíz. Además, existe un fenómeno sutil llamado "sobreajuste competitivo", donde los agentes co-adaptados mantienen un rendimiento estable entre sí (auto-juego) pero colapsan completamente contra oponentes externos, un fallo que los métricas estándar de auto-juego no detectan.

2. Metodología y Entorno

El autor presenta Territory Paint Wars, un entorno minimalista y determinista de dos jugadores implementado en Unity con una interfaz TCP personalizada para Python.

• Mecánicas del juego: Se juega en una cuadrícula de 10x10. Dos agentes (Rosa y Verde) se mueven simultáneamente. Pueden moverse en cuatro direcciones o "bloquear" la casilla actual (lo que impide que el oponente la reclame). Gana quien controle más casillas tras 250 pasos.
• Arquitectura: Se utiliza una red neuronal actor-crítico compartida (trunk compartido) con cabezas separadas para la política y la función de valor.
• Enfoque de investigación: El estudio se basa en un proceso iterativo de diagnóstico y corrección:
  1. Establecer una línea base (v1) con PPO estándar.
  2. Identificar y corregir sistemáticamente fallos de implementación.
  3. Investigar un nuevo fallo emergente (sobreajuste competitivo) tras corregir los errores iniciales.
  4. Proponer y validar una mitigación mediante "mezcla de oponentes" (opponent mixing).

3. Contribuciones Clave

El artículo identifica y caracteriza seis modos de fallo, cinco de implementación y uno emergente:

A. Fallos de Implementación (v1 a v2):
El agente inicial (v1) tenía una tasa de victoria del 26.8% contra un oponente aleatorio (peor que el azar). Se identificaron cinco errores críticos:

1. Explosión de la escala de recompensas: Un bug acumulativo en la recompensa por bloquear casillas generaba recompensas de ±10,000, dominando por completo la señal de victoria/derrota.
2. Falta de señal terminal: No se otorgaba recompensa explícita (+1/-1) al final del episodio, dejando al agente sin señal clara sobre el resultado global.
3. Asignación de crédito ineficaz (Monte Carlo vs. GAE): En episodios largos (250 pasos), el descuento estándar ($\gamma=0.99$) en retornos Monte Carlo puros reduce la señal de gradiente de los primeros pasos a casi cero ($\approx 0.08$). La solución fue implementar GAE (Generalized Advantage Estimation) con $\lambda=0.95$.
4. Observaciones no normalizadas: Mezclar posiciones (0-9) con pasos restantes (0-250) sin normalización causaba inestabilidad numérica y dominancia de ciertas características.
5. Detección incorrecta de ganador: El ganador se determinaba erróneamente comparando recompensas acumuladas (corruptas por el bug de escala) en lugar de contar las casillas reales.

B. El Fallo Emergente: Sobreajuste Competitivo (Competitive Overfitting):
Tras corregir los 5 errores anteriores, el agente (v2) alcanzó un 73.5% de victoria contra un oponente aleatorio, pero tras 4,000 episodios adicionales de entrenamiento, su rendimiento colapsó al 21.6%.

• Mecanismo: Ambos agentes co-adaptan sus políticas mutuamente, especializándose excesivamente en contrarrestar la política específica del otro, en lugar de aprender una estrategia general robusta.
• Invisibilidad: La tasa de victoria en auto-juego se mantuvo cerca del 50% durante todo el colapso, ocultando el fallo. Esto demuestra que el auto-juego puro es insuficiente para garantizar la generalización.

C. Solución Propuesta: Mezcla de Oponentes (Opponent Mixing):
Se propuso una intervención mínima: en el 20% de los episodios, el oponente co-adaptativo se reemplaza por una política uniformemente aleatoria.

• Esto fuerza al agente a mantener estrategias que generalizan más allá del oponente específico, actuando como una regularización implícita.

4. Resultados

• Recuperación del rendimiento: Tras aplicar la mezcla de oponentes (v3), la tasa de victoria media contra un oponente aleatorio se recuperó al 77.1% (±12.6% sobre 10 semillas), con una semilla alcanzando el 93.9%.
• Estudio de Ablación (Tabla 4):
  • Críticos: Eliminar GAE, normalización de observaciones o mezcla de oponentes hizo que el rendimiento cayera por debajo de la línea base rota original (v1, 26.8%), a 9.6%, 12.6% y 21.6% respectivamente.
  • Complementario: Eliminar la recompensa terminal (el bono de +1/-1) resultó en un 87.1% de victoria. Esto indica que, con las otras correcciones en su lugar, las recompensas densas por paso (ganancia de territorio + bono de bloqueo) son suficientes para aprender una política robusta; la recompensa terminal es útil pero no estrictamente necesaria.
• Validación Estadística: La mejora con mezcla de oponentes es estadísticamente significativa ($p < 10^{-7}$) frente al colapso del v2.

5. Significado e Impacto

1. Diagnóstico de Fallos: El trabajo proporciona una taxonomía clara de errores de implementación en MARL que a menudo se pasan por alto (especialmente la escala de recompensas y la asignación de crédito en horizontes largos).
2. Advertencia sobre el Auto-Juego: Demuestra empíricamente que el auto-juego puede ocultar fallos catastróficos de generalización (sobreajuste competitivo). Se recomienda encarecidamente la evaluación periódica contra una base de referencia externa fija (como un agente aleatorio) como estándar en el entrenamiento por auto-juego.
3. Solución de Bajo Costo: La "mezcla de oponentes" ofrece una solución efectiva y computacionalmente barata (una sola línea de código) para mejorar la generalización, sin necesidad de entrenamiento basado en poblaciones complejas o almacenamiento de checkpoints históricos.
4. Reproducibilidad: El entorno Territory Paint Wars se ha hecho de código abierto como un benchmark reproducible para estudiar estos modos de fallo, eliminando dependencias de frameworks pesados como ML-Agents.

En conclusión, el artículo establece que en entornos competitivos, la combinación de una correcta asignación de crédito (GAE), normalización de entradas y diversidad de oponentes es esencial para evitar que los agentes aprendan políticas frágiles que solo funcionan contra sus co-entrenadores específicos.