🤖 AI

Discovering Multiagent Learning Algorithms with Large Language Models

Este artículo demuestra que los Modelos de Lenguaje de Gran Escala pueden automatizar el descubrimiento de algoritmos competitivos de Aprendizaje por Refuerzo Multiagente para juegos de información imperfecta, y muestra que destilar estos hallazgos complejos y específicos del entorno en núcleos algorítmicos mínimos produce una generalización superior y una complejidad estructural reducida.

Autores originales: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un grupo de robots a jugar al póker, al Go o incluso a un juego de "Dadín Mentiroso". Durante décadas, los humanos han sido los entrenadores, ajustando manualmente los cerebros de los robots, probando diferentes fórmulas matemáticas y esperando que mejoren. Es un proceso lento y tedioso de prueba y error.

Este artículo describe una nueva forma de entrenar: en lugar de que un humano ajuste el código, los investigadores permitieron que un Modelo de Lenguaje Grande (LLM) —una inteligencia artificial superinteligente que entiende el código— actuara como un biólogo evolutivo. Llaman a este sistema AlphaEvolve.

Aquí está la historia de lo que descubrieron, desglosada en conceptos simples.

1. El Laboratorio Evolutivo

Los investigadores configuraron un "laboratorio" digital con dos tipos diferentes de algoritmos para jugar:

CFR (Minimización de Arrepentimiento Contrafactual): Piensa en esto como un estudiante que aprende revisando cada error que cometió y preguntándose: "¿Si hubiera hecho algo diferente, habría ganado?".
PSRO (Oráculos de Respuesta en el Espacio de Políticas): Esto es como un entrenador que forma un equipo de diferentes jugadores, los enfrenta entre sí y constantemente añade nuevos jugadores más inteligentes a la lista para vencer al mejor actual.

Se le dio al LLM el código fuente de estos algoritmos y se le dijo: "Mejora esto. Reduce los errores (explotabilidad) que cometen los robots".

El LLM no solo ajustó unos pocos números; reescribió la lógica del código mismo, mutando los algoritmos como si fueran ADN. Después de muchas generaciones de "supervivencia del más apto", el LLM produjo dos algoritmos nuevos y altamente complejos:

VAD-CFR: Una versión del estudiante de "Arrepentimiento" que se adapta salvajemente a lo caótico que se siente el juego.
SHOR-PSRO: Una versión del "Entrenador de Equipo" que mezcla diferentes estrategias de una manera muy específica y compleja.

2. La Trampa del "Sobrediseño"

Cuando probaron estos nuevos algoritmos descubiertos por la IA, eran increíbles. Derrotaron a todos los campeones diseñados por humanos en los juegos específicos en los que fueron entrenados.

Sin embargo, los investigadores notaron algo sospechoso. El LLM había construido estos algoritmos como un chef maestro creando un plato específicamente para un comensal muy exigente. El código estaba lleno de mecanismos complejos y enredados que funcionaban perfectamente para los juegos de entrenamiento, pero que probablemente eran solo "sobreajuste": memorizando los datos de entrenamiento en lugar de aprender las reglas generales del juego.

Era como si el LLM hubiera construido un coche con un turbocompresor, un sistema de nitro y una suspensión especial ajustada solo para una pista de carreras específica. Ganaría en esa pista, pero si lo llevabas a un camino de tierra lleno de baches, podría desmoronarse.

3. La Cirugía de "Ablación" (El Trabajo de Detective)

Para descubrir qué era lo que realmente hacía inteligentes a estos algoritmos, los investigadores realizaron "cirugía". Eliminaron sistemáticamente partes del código para ver qué ocurría. Esto se llama ablación.

Descubrieron que las partes elegantes y complejas (como rastrear la volatilidad o mezclar estrategias de maneras específicas) eran en su mayoría relleno. Ayudaban al algoritmo a ganar en la pista de entrenamiento, pero no le ayudaban a generalizar a nuevos juegos.

Cuando quitaron el "traje de gala", encontraron los huesos desnudos que realmente hacían funcionar al motor.

4. Los Ganadores Destilados

Manteniendo solo los principios más esenciales y fundamentales, y tirando el código sobrecomplicado, crearon dos algoritmos nuevos y más simples:

WOP-CFR (CFR Predictivo Optimista con Inicio Cálido):
- La Analogía: Imagina a un estudiante que se niega a tomar apuntes durante los primeros 500 días de clase (un "inicio cálido") para evitar anotar malos hábitos. Luego, empieza a tomar apuntes, pero son "optimistas": asumen que el siguiente movimiento será ligeramente mejor de lo que es, lo cual les ayuda a aprender más rápido.
- El Resultado: Esta versión simple fue en realidad mejor generalizando a nuevos juegos que el original complejo. Era menos propensa a confundirse con situaciones nuevas.
PM-PSRO (PSRO de Ajuste por Proyección):
- La Analogía: Imagina a un entrenador que ignora el "ruido" de la multitud. En lugar de mirar cada puntaje individual, mira cómo se desempeña un jugador en relación con el promedio de todo el equipo. Si un jugador está por debajo del promedio, se olvida instantáneamente. Si está por encima del promedio, recibe el foco de atención.
- El Resultado: Esta versión simplificada también fue superior al original complejo, demostrando que la lógica de mezcla compleja del LLM no era necesaria.

5. La Gran Conclusión

El artículo concluye que los LLM son excelentes proponiendo ideas, pero se necesitan humanos para destilarlas.

El LLM actuó como un inventor creativo que construye una máquina con 500 piezas móviles. Los investigadores actuaron como ingenieros que se dieron cuenta: "Oye, solo necesitamos 3 de estas piezas para que funcione, y eliminar las otras 497 la hace más rápida y confiable".

Resumen de la Afirmación:
Los investigadores utilizaron con éxito una IA para descubrir nuevos algoritmos de juego que derrotaron a expertos humanos. Sin embargo, los descubrimientos crudos de la IA eran demasiado complejos y especializados. Al eliminar quirúrgicamente la complejidad innecesaria, crearon algoritmos más simples y limpios que fueron incluso mejores manejando juegos nuevos e inéditos. Esto demuestra que la IA puede ser una herramienta poderosa para el descubrimiento científico, siempre que los humanos estén allí para simplificar e interpretar los resultados.

Resumen Técnico: Descubrimiento de Algoritmos de Aprendizaje Multiagente con Modelos de Lenguaje Grande

Enunciado del Problema

Históricamente, los avances en el Aprendizaje por Refuerzo Multiagente (MARL) para juegos de información imperfecta han dependido del refinamiento manual e iterativo de líneas base algorítmicas. Los investigadores navegan vastos espacios combinatorios de reglas de actualización y elecciones estructurales (por ejemplo, descuento de arrepentimiento, derivación de equilibrios) principalmente mediante intuición y prueba y error, a menudo recurriendo a heurísticas matemáticamente tratables que pueden no ser óptimas. Este artículo aborda la limitación del diseño manual proponiendo la automatización del propio proceso de descubrimiento de algoritmos utilizando Modelos de Lenguaje Grande (LLM).

Metodología

Los autores despliegan AlphaEvolve, un agente codificador evolutivo distribuido impulsado por LLM (específicamente Gemini 2.5 Pro), para automatizar el diseño de algoritmos MARL. El marco trata el código fuente de un algoritmo como un genoma, utilizando el LLM como un operador genético inteligente para realizar mutaciones semánticas, reescribir lógica e inyectar operaciones simbólicas novedosas.

El estudio se centra en dos paradigmas teóricos de juegos distintos:

Minimización de Arrepentimiento Contrafactual (CFR): El espacio de búsqueda se define por tres clases de Python evolutivas: RegretAccumulator (cómo se procesan/descuentan los arrepentimientos), PolicyFromRegretAccumulator (cómo se derivan las políticas a partir de los arrepentimientos) y PolicyAccumulator (cómo se ponderan las políticas para el promedio final).
Oráculos de Respuesta en el Espacio de Políticas (PSRO): El espacio de búsqueda implica dos clases separadas y evolutivas: TrainMetaStrategySolver (para generar estrategias meta durante el entrenamiento del oráculo) y EvalMetaStrategySolver (para calcular perfiles de estrategia para la evaluación). Esta separación permite que el LLM descubra programas dinámicos y asimétricos entre el entrenamiento y la evaluación.

Protocolo Experimental:

Conjunto de Entrenamiento: Los algoritmos evolucionan sobre un conjunto de cuatro juegos (Póker Kuhn de 3 jugadores, Póker Leduc de 2 jugadores, Goofspiel de 4 cartas, Dados de Mentira de 5 caras) para maximizar la aptitud (explotabilidad negativa).
Evaluación: Los algoritmos evolucionados fijos se prueban en una suite más amplia de 18 juegos, incluyendo variantes más grandes y diferentes familias de juegos (Póker, Goofspiel, Dados de Mentira, Blotto, Battleship).
Destilación mediante Ablación: Reconociendo que los LLM pueden sobreajustarse al superponer mecanismos complejos y sinérgicos sobre principios fundamentales, los autores emplean una metodología rigurosa de ablación de división entrenamiento-prueba. Utilizan la Media Intercuartílica (IQM) de las puntuaciones de mejora logarítmica para aislar qué componentes impulsan la generalización frente a aquellos que simplemente maximizan la aptitud de entrenamiento.

Contribuciones Clave

1. Descubrimiento de Algoritmos de Alto Rendimiento

La búsqueda evolutiva descubrió con éxito dos algoritmos novedosos que son competitivos con las líneas base diseñadas por humanos más avanzadas:

VAD-CFR (CFR Descuento Adaptativo a la Volatilidad): Una variante de CFR que presenta un descuento adaptativo basado en el seguimiento de la volatilidad, impulso de arrepentimiento instantáneo y predicción optimista.
SHOR-PSRO (PSRO de Arrepentimiento Híbrido Optimista Suavizado): Un solucionador meta que combina Arrepentimiento Optimista+ (ORM+) con las mejores estrategias puras suavizadas, utilizando solucionadores asimétricos para el entrenamiento y la evaluación.

2. Identificación de Sobre-especialización

Mediante estudios de ablación sistemáticos, el artículo demuestra que, aunque los descubrimientos brutos del LLM son altamente efectivos en las distribuciones de entrenamiento, a menudo contienen componentes "sobre-diseñados" (por ejemplo, seguimiento específico de volatilidad, programas de mezcla complejos) que están estrechamente acoplados al conjunto de entrenamiento pero no contribuyen a la generalización. En algunos casos, estos mecanismos complejos actúan como penalizaciones para la generalización.

3. Destilación de Solucionadores Mínimos

Al eliminar las heurísticas sobre-especializadas y retener solo los cambios estructurales fundamentales identificados en los estudios de ablación, los autores producen dos solucionadores mínimos y matemáticamente puros:

WOP-CFR (CFR Predictivo Optimista con Inicio en Caliente): Esta versión destilada retiene tres mecanismos centrales de VAD-CFR:
1. Inicio en Caliente Estricto: Una suspensión estricta de 500 iteraciones del promediado de políticas para evitar que el ruido de alta varianza temprano contamine la estrategia acumulada.
2. Descuento Asimétrico Extremo: El uso de un exponente negativo ( $\beta = -0.1$ ) para los arrepentimientos negativos para actuar como una "puerta de olvido" instantánea, decayendo más rápido que las líneas base ajustadas manualmente.
3. Predicción Optimista: Derivación de políticas mediante una proyección no lineal (exponente 1.5) con un factor de optimismo decreciente.
  Resultado: WOP-CFR logra una generalización superior (IQM de Prueba más alta) que el VAD-CFR crudo, reduciendo significativamente la complejidad estructural.
PM-PSRO (PSRO de Proyección de Coincidencia): Esta versión destilada reemplaza los programas de mezcla híbrida compleja y de recocido de SHOR-PSRO con un único mecanismo central:
1. Utilidad Proyectada Tangente: Sustitución de la señal de arrepentimiento en la Coincidencia de Arrepentimiento con la proyección tangente del vector de utilidad esperada (centrando las utilidades por la media de la población).
2. Presupuesto Dinámico: Escalamiento de las iteraciones del solucionador interno linealmente con el tamaño del juego empírico.
3. Solucionador Unificado: Uso de un solucionador promediado en el tiempo tanto para el entrenamiento como para la evaluación.
  Resultado: PM-PSRO supera al SHOR-PSRO crudo en tareas de generalización con una estructura simplificada e interpretable.

Resultados

Rendimiento: Tanto los descubrimientos brutos (VAD-CFR, SHOR-PSRO) como los solucionadores mínimos destilados (WOP-CFR, PM-PSRO) se clasifican consistentemente entre los tres primeros en una suite de evaluación de 18 juegos.
Generalización: Los solucionadores destilados a menudo superan a sus contrapartes crudas del LLM en juegos de prueba retenidos. Por ejemplo, WOP-CFR logra la menor explotabilidad en 14 de los 18 juegos, en comparación con 15 para el VAD-CFR crudo, pero con una mejora de IQM de Prueba de +0.119 sobre la versión cruda. De manera similar, PM-PSRO muestra una mejora de IQM de Prueba de +0.059 sobre SHOR-PSRO.
Robustez: Los algoritmos destilados mantienen un alto rendimiento a través de diversas familias de juegos (Póker, Goofspiel, Dados de Mentira, Blotto, Battleship) y escalas variables (desde 2 hasta 347,810 estados de información).
JNFs Aleatorios: En evaluaciones sobre juegos de forma normal de $N$ jugadores generados aleatoriamente, tanto SHOR-PSRO como PM-PSRO dominan las líneas base establecidas (Uniforme, AlphaRank, PRD, RM), ampliándose la brecha de rendimiento a medida que aumentan las iteraciones.

Significado y Afirmaciones

El artículo afirma que la búsqueda evolutiva impulsada por LLM es un potente mecanismo de propuesta para el descubrimiento algorítmico, pero es más efectiva cuando se integra en una pipeline con humano en el bucle. El LLM propone combinaciones complejas de mecanismos candidatas, pero se requiere una ablación sistemática de entrenamiento-prueba para poner de manifiesto qué componentes realmente generalizan. Luego, el investigador destila a estos supervivientes en solucionadores mínimos.

Los autores enfatizan que su trabajo cierra la brecha entre el meta-aprendizaje neuronal expresivo y el descubrimiento simbólico mediante la evolución de esqueletos de código interpretables. Declaran explícitamente que sus resultados no proporcionan garantías formales de convergencia para los algoritmos destilados (que están motivados empíricamente en lugar de demostrados teóricamente) y que la evaluación se restringe a líneas base basadas en tablas y juegos con menos de 350k estados de información debido a la necesidad de un cálculo exacto de la explotabilidad. El estudio concluye que el verdadero valor del LLM radica en su capacidad para navegar espacios de diseño para encontrar mecanismos no intuitivos, los cuales luego pueden simplificarse en algoritmos robustos y generalizables.