Payoff scaling shapes cooperation in LLM agents across languages

Resumen Técnico: El escalado de recompensas moldea la cooperación de los agentes LLM a través de los idiomas

1. Planteamiento del problema

A medida que los modelos de lenguaje extensos (LLM) se despliegan cada vez más como agentes autónomos en tareas de negociación y coordinación, comprender su comportamiento estratégico en entornos multi-agente se ha convertido en una cuestión crítica para la gobernanza de la IA. Si bien estudios empíricos han examinado la cooperación de los LLM mediante lentes de la teoría de juegos, la mayoría de las evaluaciones existentes se centran en resultados agregados (por ejemplo, tasas de cooperación) en lugar de las intenciones o estrategias conductuales subyacentes que impulsan esas acciones. Además, existe una falta de comparación sistemática entre el comportamiento de los LLM y los puntos de referencia teóricos bajo condiciones controladas que varían tanto en la magnitud de los incentivos (recompensas/pagos) como en el encuadre lingüístico.

Este trabajo aborda tres preguntas fundamentales:

1. ¿Alteran los agentes LLM sistemáticamente su comportamiento cooperativo a medida que varían las apuestas de la recompensa, y cómo difiere esto entre modelos e idiomas?
2. ¿Pueden las intenciones conductuales de los LLM clasificarse de manera fiable mediante aprendizaje supervisado, y qué sesgos sistemáticos emergen?
3. ¿Cómo se comparan las distribuciones de estrategia derivadas de los LLM con los puntos de referencia de la Teoría de Juegos Evolutiva (EGT) bajo condiciones de recompensa y ruido coincidentes, y estos patrones se generalizan a modelos más pequeños de pesos abiertos?

2. Metodología

El estudio utiliza FAIRGAME (Marco para el Reconocimiento de Sesgos de Agentes de IA mediante la Teoría de Juegos) como infraestructura computacional para realizar experimentos controlados.

• Diseño Experimental: Los autores emplean un Dilema del Prisionero (PD) repetido con un horizonte finito de $N=10$ rondas (extendido a $N=30$ para modelos de pesos abiertos). La manipulación central es el escalado de la recompensa (payoff scaling): un parámetro escalar $\lambda \in \{0.1, 1.0, 10.0\}$ (y hasta 1000 para modelos pequeños) multiplica todos los valores de penalización preservando la estructura estratégica del juego. Esto aísla el efecto de la magnitud de la apuesta sin cambiar el equilibrio de Nash del juego.
• Variables: Los experimentos abarcan cinco idiomas (inglés, francés, árabe, chino mandarín, vietnamita), tres modelos propietarios de frontera (GPT-4o, Claude 3.5 Haiku, Mistral Large) y tres modelos pequeños de pesos abiertos (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Los emparejamientos de agentes incluyen rasgos de personalidad cooperativos (C) y egoístas (S).
• Pipeline de Reconocimiento de Intenciones: Para ir más allá de los conteos de acciones puras, los autores entrenan clasificadores supervisados para inferir estrategias canónicas a partir de secuencias de acciones.
  • Datos de Entrenamiento: 10,000 trayectorias sintéticas generadas para cuatro estrategias canónicas: Siempre Cooperar (ALLC), Siempre Desertar (ALLD), Tit-for-Tat (TFT) y Win-Stay–Lose-Shift (WSLS), con ruido de ejecución inyectado.
  • Selección de Modelo: Se seleccionó un clasificador basado en LSTM como el mejor performer (F1 = 0.984) debido a su capacidad para capturar dependencias secuenciales en el historial de acciones, superando a la Regresión Logística, los Bosques Aleatorios (Random Forests) y los Modelos Ocultos de Markov (HMM).
  • Inferencia: El LSTM entrenado clasifica las trayectorias generadas por los LLM. Las predicciones de alta confianza ($p \geq 0.9$) se utilizan para determinar las distribuciones de estrategia.
• Punto de Referencia Teórico: Se deriva un modelo analítico de Teoría de Juegos Evolutiva (EGT) para predecir la distribución estacionaria de las estrategias bajo las mismas estructuras de recompensa y niveles de ruido. Esto sirve como un punto de referencia "independiente del lenguaje" para contrastar con el comportamiento de los LLM.

3. Resultados Clave

A. Sensibilidad de la Recompensa y Cambios Estratégicos
Contrario a la intuición estándar de la teoría de juegos, donde mayores apuestas podrían fomentar la deserción adversa al riesgo o, por el contrario, donde apuestas bajas fomentan la exploración, los LLM exhiben un patrón distintivo de cooperación-a-medida-que-aumentan-las-apuestas.

• A medida que $\lambda$ aumenta de 0.1 a 10, la prevalencia de la deserción incondicional (ALLD) disminuye drásticamente, mientras que la cooperación condicional (WSLS) y la cooperación incondicional (ALLC) aumentan.
• Esta tendencia es específica de cada modelo: Claude 3.5 Haiku muestra un ascenso pronunciado en la cooperación; GPT-4o cambia de una base de alta deserción a un perfil equilibrado; Mistral Large permanece relativamente insensible a los cambios de apuesta.
• En la replicación de pesos abiertos, este efecto direccional se mantiene pero es no monotónico en apuestas extremas ($\lambda > 100$), donde algunos modelos (por ejemplo, Qwen3) muestran una respuesta en forma de U, con la cooperación cayendo en las apuestas más altas.

B. Primado Lingüístico
El encuadre lingüístico moldea significativamente los arquetipos estratégicos, un efecto que los autores denominan primado lingüístico-cultural.

• Incondicional vs. Condicional: Los prompts en árabe y chino provocan un fuerte sesgo hacia estrategias incondicionales (ALLC + ALLD $\approx$ 60%). En contraste, los prompts en inglés, francés y vietnamita producen distribuciones más equilibradas con mayores proporciones de reciprocidad adaptativa (TFT + WSLS).
• Interacción con la Apuesta: El francés y el vietnamita muestran la mayor sensibilidad a la magnitud de la apuesta, cambiando drásticamente hacia la cooperación a medida que las apuestas aumentan. El árabe muestra la respuesta más tenue. En apuestas altas, el inglés y el francés convergen a perfiles estratégicos similares, lo que sugiere que los incentivos fuertes pueden normalizar la variación translingüística.

C. Divergencia de la Teoría de Juegos Evolutiva (EGT)
Un hallazgo crítico es el desacuerdo sistemático entre el comportamiento de los LLM y las predicciones de la EGT.

• Predicción de la EGT: Bajo apuestas altas, la base de la EGT predice un "muro de Siempre Desertar" (ALLD), ya que la tentación de desertar se vuelve evolutivamente dominante.
• Observación de los LLM: Los LLM se mueven en la dirección opuesta. A medida que las apuestas aumentan, los LLM se vuelven más cooperativos, con la prevalencia de ALLD cayendo de aproximadamente el 39% con apuestas bajas a un 18% con apuestas altas.
• Interpretación: Los autores argumentan que esta divergencia es una firma del entrenamiento de alineación (por ejemplo, RLHF, IA Constitucional) y la absorción de patrones de comportamiento humano de los datos de entrenamiento, donde los humanos tienden a escalar la cooperación a medida que el costo del error aumenta. El punto de referencia de la EGT, siendo independiente del lenguaje y puramente impulsado por la recompensa, no logra capturar estos patrones de razonamiento "similares a los humanos" y los sesgos culturales.

D. Generalización a Modelos Pequeños
La replicación con modelos pequeños de pesos abiertos confirma que estos efectos no son exclusivos de los modelos de frontera propietarios. Aunque las estrategias específicas varían (por ejemplo, Gemma-3 actúa como un "generalista estratégico", mientras que Llama-3.1 se convierte en un jugador comprometido de Tit-for-Tat a niveles moderados de apuesta), la sensibilidad general a la escala de la recompensa y al encuadre lingüístico persiste.

4. Contribuciones

El artículo realiza cuatro contribuciones principales:

1. Protocolo de Escala de Recompensa: Introducción de un protocolo de Dilema del Prisionero de horizonte finito y escala de recompensa para aislar sistemáticamente la sensibilidad de los LLM a la magnitud del incentivo.
2. Reconocimiento de Intenciones Supervisado: Desarrollo y aplicación de un pipeline híbrido (basado en reglas + LSTM) para inferir estrategias canónicas a partir de las trayectorias de los LLM, yendo más allá de las tasas de cooperación agregadas.
3. Benchmarking de EGT: Establecimiento de un punto de referencia analítico de EGT bajo condiciones coincidentes, proporcionando una referencia normativa para diagnosticar sesgos específicos de los LLM y desviaciones de la racionalidad de equilibrio.
4. Replicación de Pesos Abiertos: Demostración de que los efectos de incentivo y lenguaje se generalizan a través de tamaños de modelo y arquitecturas, incluyendo modelos más pequeños y desplegables localmente.

5. Significado y Afirmaciones

Los autores posicionan este trabajo como un kit de herramientas de diagnóstico para la gobernanza de la IA. La importancia radica en identificar el diseño de la recompensa y el encuadre lingüístico como palancas poderosas y poco exploradas para dirigir el comportamiento de los LLM en sistemas multi-agente.

El artículo afirma que:

• Los LLM no son agentes estáticos; modulan sus compromisos estratégicos basados en la saliencia del incentivo.
• El contexto lingüístico introduce sesgos sistemáticos que rivalizan con el impacto de la arquitectura del modelo.
• La divergencia entre el comportamiento de los LLM y las predicciones de la EGT no es un error, sino una característica de la alineación, que refleja patrones de razonamiento similares a los humanos que priorizan la cooperación bajo apuestas altas.
• Estos hallazgos tienen implicaciones directas para evaluar y gobernar sistemas de IA desplegados en entornos multilingües de alto riesgo, sugiriendo que la "alineación" puede manifestarse como una desviación de la racionalidad clásica de la teoría de juegos.

El estudio mantiene una postura modesta en sus afirmaciones respecto a la equivalencia conductual con los humanos, señalando que, si bien los patrones reflejan resultados experimentales humanos, la ausencia de líneas de base humanas directas en esta configuración específica impide realizar afirmaciones de equivalencia. En su lugar, el enfoque es utilizar la clasificación de intenciones para revelar los sesgos estructurales inherentes al comportamiento estratégico actual de los LLM.