Resumen Técnico: ¿Qué Suprime el Juego de Equilibrio de Nash en los Modelos de Lenguaje Grande?

Enunciado del Problema

Los estudios empíricos han establecido que los agentes de Modelos de Lenguaje Grande (LLM) se desvían sistemáticamente de los equilibrios de Nash en interacciones estratégicas, exhibiendo a menudo sesgos conductuales similares a los humanos, como una cooperación excesiva en escenarios del Dilema del Prisionero. Si bien el fenómeno conductual está documentado, las razones mecánicas de estas desviaciones permanecen desconocidas. Específicamente, no está claro si los LLM carecen de la competencia estratégica para calcular equilibrios de Nash o si los calculan pero suprimen la salida debido a sesgos internos. Este artículo aborda esta brecha investigando las representaciones internas de los LLM durante la toma de decisiones estratégicas y determinando si estas desviaciones son causalmente reversibles.

Metodología

El estudio emplea una combinación de experimentos conductuales y técnicas de interpretabilidad mecánica en cuatro modelos de instrucción de código abierto (Llama-3-8B, Llama-3-70B, Qwen2.5-32B y Qwen2.5-72B).

Experimentos Conductuales:

• Juegos: Se utilizaron cuatro juegos canónicos de dos jugadores: Dilema del Prisionero (PD), Batalla de los Sexos (BoS), Caza del Ciervo (SH) y Monedas Emparejadas (MP).
• Protocolos: Los experimentos incluyeron autojuego (modelo contra copia) y juego cruzado (parejas heterogéneas de las 12 combinaciones ordenadas).
• Modos de Razonamiento: Se probaron tres condiciones de indicación: Directa (solo acción), Cadena de Pensamiento (CoT, razonamiento visible) y Bloc de Notas (razonamiento privado).
• Métrica: La "distancia de Nash" ($d_{Nash}$) se calculó como la distancia euclidiana entre la estrategia mixta empírica y el equilibrio de Nash más cercano durante 50 rondas.

Análisis Mecánico (Llama-3-8B):

• Sondeo Lineal: Se entrenaron clasificadores logísticos en estados ocultos ($h_l$) en cada una de las 32 capas para decodificar el historial del oponente, la tendencia a cooperar y la acción de Nash.
• Lente de Logits: Se aplicó la matriz de incrustación de salida a estados ocultos intermedios para rastrear la predicción de tokens evolutiva del modelo a lo largo del paso hacia adelante.
• Ablación de Cabezas: Las cabezas de atención con mayor puntuación para el seguimiento de oponentes fueron anuladas a cero para probar circuitos localizados.
• Dirigido de Activación: Se extrajo un vector de "dirección de Nash" del flujo residual utilizando indicaciones contrastivas (historias cooperativas vs. de traición) y se inyectó en el modelo para observar cambios causales en el comportamiento.
• Fijación de Conceptos: El componente cooperativo del estado oculto se reemplazó con un escalar fijo para verificar la necesidad causal de la dirección identificada.

Contribuciones y Resultados Clave

1. Hallazgos Mecánicos: Codificación y Supresión

El descubrimiento mecánico central es que los LLM poseen la competencia para calcular estrategias de Nash pero las suprimen activamente en las capas finales.

• Codificación del Historial del Oponente: La información sobre el último movimiento del oponente se codifica con una fidelidad casi perfecta (96% de precisión del sondeo) en la muy primera capa (Capa 0) y es consumida progresivamente por las capas subsiguientes.
• Codificación Débil de Nash: No existe un "módulo de Nash" dedicado. La precisión del sondeo lineal para la acción de Nash permanece débil a lo largo de la red, nunca superando el 56%.
• El Circuito de Supresión: Utilizando el Lente de Logits, los autores observaron que durante el primer ~75% de la red (Capas 0–23), las predicciones internas del modelo favorecen la acción de Nash (por ejemplo, Traicionar en PD). Sin embargo, en el último cuarto (Capas 24–30), emerge una "anulación prosocial", desplazando la probabilidad hacia la cooperación (alcanzando un pico del 84% de probabilidad de cooperación en la Capa 30). La capa final (31) corrige parcialmente esto, pero a menudo se compromete con la acción no Nash.
• Naturaleza Distribuida: La ablación de cabezas de atención específicas responsables del seguimiento de oponentes no tuvo ningún efecto en la distribución de acciones ($\Delta P(Nash) = 0.000$). La anulación cooperativa es un efecto distribuido dentro del flujo residual, no localizado en cabezas específicas.

2. Control Causal Mediante Dirigido

El estudio demuestra que el comportamiento estratégico puede controlarse causalmente manipulando el flujo residual.

• Extracción de la Dirección de Nash: Se extrajo una dirección lineal que representa el sesgo cooperativo desde la Capa 2.
• Dirigido Bidireccional: Inyectar este vector permitió un control monótono sobre el comportamiento.
  • Dirigido Negativo: Reducir la dirección cooperativa ($\alpha = -5$) aumentó la probabilidad de la acción de Nash (Traicionar) al 99.2%.
  • Dirigido Positivo: Aumentar la dirección ($\alpha = +10$) llevó la cooperación al 88.7%.
• Fijación de Conceptos: Reemplazar el componente cooperativo con un escalar fijo confirmó una fuerte correlación ($r=0.73$) entre el valor escalar y la probabilidad de cooperación, demostrando que la dirección es causal y no una característica espuria.

3. Fenómenos Conductuales y de Juego Cruzado

• Escala y Razonamiento: El razonamiento de Cadena de Pensamiento (CoT) empeora el juego de Nash en modelos pequeños (por ejemplo, Llama-8B, Qwen-32B) al amplificar el prior cooperativo. Sin embargo, en modelos grandes (>70B parámetros), CoT permite un juego de Nash casi perfecto, sugiriendo una capacidad dependiente de la escala para razonar más allá del sesgo.
• Bloqueo Cooperativo Universal: En modo Directo, todos los modelos se establecen en un 100% de cooperación en PD, independientemente del tamaño.
• Dinámicas de Juego Cruzado:
  • Contagio de Traición: Un modelo pequeño (Llama-8B) puede "desenredar" la cooperación de cualquier socio grande traicionando temprano, induciendo al socio a traicionar y alcanzando el equilibrio de Nash.
  • Refuerzo Cooperativo: Dos modelos grandes emparejados entre sí refuerzan indefinidamente sus instintos cooperativos, fallando en alcanzar el equilibrio de Nash (traición mutua) incluso cuando individualmente son capaces de razonar hacia él.
  • Asimetría de Roles: En juegos de coordinación (BoS), el agente asignado como "Agente A" (que se mueve primero) determina hacia qué equilibrio converge el sistema.

Significado y Afirmaciones

El artículo argumenta que el enfoque del campo sobre por qué los LLM fallan en jugar Nash está mal dirigido. El hallazgo central es que los LLM no carecen de competencia para jugar Nash; la calculan y luego la suprimen.

• Diagnóstico: La desviación no es una falta de capacidad de razonamiento estratégico, sino el resultado de una "anulación prosocial" arraigada en el preentrenamiento sobre texto humano y modulada por RLHF. Esta anulación se concentra en las capas finales de la red.
• Intervención: Dado que la supresión es un mecanismo causal dentro del flujo residual, puede revertirse en tiempo de inferencia sin reentrenamiento. Una pequeña intervención (dirigido) en las capas tempranas puede desplazar al modelo de una cooperación casi perfecta a un juego de Nash casi perfecto.
• Implicaciones para el Despliegue: Los resultados destacan que la composición de la población y la asignación de roles de agente son críticas. Un solo agente pequeño y traidor puede desestabilizar un grupo cooperativo de modelos grandes, mientras que dos modelos grandes pueden permanecer atrapados en un bloqueo cooperativo que es subóptimo para la estructura del juego.

Los autores concluyen que comprender el circuito de supresión y su variación a través de la escala y la arquitectura es más productivo que simplemente observar desviaciones conductuales. El estudio proporciona una cuenta causal del fracaso estratégico en los LLM y demuestra un método para corregirlo.