Resumen Técnico: Elicitación de los Priores de Confiabilidad de los Modelos de Lenguaje Extensos mediante Juegos Económicos

Planteamiento del Problema

La construcción de una IA centrada en el ser humano y confiable requiere una "confianza calibrada", donde los usuarios dependan de los sistemas de IA de manera apropiada, evitando tanto el exceso de confianza (sesgo de automatización) como la desconfianza (desuso). Un desafío fundamental para lograr esto es caracterizar el nivel de confianza que el propio sistema de IA exhibe hacia los agentes humanos. Si bien la confianza en la IA suele estudiarse mediante actitudes auto-reportadas, estas pueden divergir de la confianza conductual. Además, los estudios conductuales existentes suelen asumir que la IA carece de intencionalidad, tratando la confianza como unidireccional (humano a IA). Sin embargo, los Modelos de Lenguaje Extensos (LLM) modernos exhiben capacidades sociales sofisticadas, lo que requiere un marco bilateral para estudiar cómo los LLM recíprocan la confianza. El problema central abordado es cómo estimar de forma robusta el "prior de confiabilidad" implícito: el sesgo inductivo que un LLM posee respecto a cuánta confianza debe ser devuelta en las interacciones sociales.

Metodología

Los autores proponen un método de elicitación novedoso que combina el aprendizaje en contexto iterado (Zhu & Griffiths, 2024a) con el Juego de la Confianza de la teoría de juegos conductual (Berg et al., 1995).

1. Formalización del Juego de la Confianza

El Juego de la Confianza se modela dentro de un marco bayesiano:

• Configuración: Un Confiado (Trustor) envía una cantidad $x$ a un Fideicomisario (Trustee). Esta cantidad es multiplicada por un factor $m$ (establecido en 3). El Fideicomisario decide cuánto $y$ devolver.
• Métrica de Confiabilidad: Definida como la razón de retorno $r = y / (mx)$, donde $r \in [0, 1]$.
• Modelo Generativo: La cantidad de retorno $y$ se modela como una distribución Binomial $y \sim \text{Binomial}(mx, r)$, donde $r$ es un parámetro de confiabilidad latente.
• Prior: Las creencias de confiabilidad se capturan mediante un prior Beta $p(r) = \text{Beta}(\alpha, \beta)$.

2. Procedimiento de Aprendizaje en Contexto Iterado

Para eliciar el prior implícito $p(r)$ del modelo, los autores simulan una cadena de Markov sobre los prompts:

• Cuello de Botella de Información: En cada iteración $t$, el LLM recibe un lote limitado de $B=5$ interacciones sociales previas ($D_{t-1}$) generadas basadas en la confiabilidad estimada de la iteración anterior $\hat{r}_{t-1}$.
• Inferencia: Se le pide al LLM que prediga la fracción de fondos que un Fideicomisario devolvería dado un nuevo escenario (por ejemplo, recibir 100 tokens), estimando efectivamente la media posterior $\hat{r}_t$.
• Generación: Esta nueva estimación $\hat{r}_t$ se utiliza para parametrizar la distribución Binomial para generar el siguiente lote de interacciones $D_t$.
• Convergencia: A través de iteraciones repetidas, la distribución de los valores estimados de $\hat{r}$ converge a la distribución prior subyacente del modelo $p(r)$, independientemente de los valores de semilla iniciales. Este proceso aisla los sesgos inductivos del modelo de los datos memorizados específicos.

3. Diseño Experimental

• Experimento 1: Evaluó 20 LLMs (incluyendo GPT-4/5, Claude-3.5, Gemini-2.5, Llama-3/4, Qwen-2.5/3, DeepSeek, etc.). Cada modelo ejecutó 270 cadenas (30 semillas $\times$ 30 reinicios) para asegurar la convergencia (verificada mediante el diagnóstico de Gelman–Rubin $\hat{R} \leq 1.1$).
• Experimento 2: Se centró en GPT-4.1 (identificado como el modelo más similar al humano) para probar la sensibilidad a los Personajes (Personas). Los personajes incluyeron roles ocupacionales (ej. Médico, IA) y figuras públicas (ej. Elon Musk, Mahatma Gandhi).
• Modelado de Variación: Se construyó un modelo de regresión lineal para explicar la variación de la confiabilidad basada en la Calidez (intenciones percibidas) y la Competencia (capacidad percibida), siguiendo el modelo de contenido de estereotipos de Fiske (2018).

Resultados Clave

1. Elicitación de los Priores de Confiabilidad

• Convergencia: Todos los modelos exhibieron una convergencia rápida, estabilizándose típicamente dentro de las 20 iteraciones.
• Validez Predictiva: Los priors elicitados superaron significativamente tanto a un prior uniforme como a un prior meta-analítico derivado de humanos (Johnson & Mislin, 2011) en la predicción de sus propios comportamientos de reciprocidad de un solo paso (menor RMSD y mayor $r$ de Pearson).
• Alineación Humana: GPT-4.1 demostró la alineación más fuerte con las distribuciones de confiabilidad humana, mostrando la divergencia de Kullback–Leibler (KL) más baja ($D_{KL} = 0.130$) en comparación con la línea base humana.
• Variabilidad de los Modelos: Otros modelos mostraron patrones distintos:
  • Algunos (ej. Qwen2.5-72B, Llama-3.1-70B) exhibieron priors bimodales, sugiriendo respuestas estratégicas mixtas.
  • Otros (ej. Grok-4.1-Fast, GPT-5.2) mostraron un desplazamiento descendente sistemático en la confiabilidad ($r < 0.372$), indicando una confianza promedio menor que las líneas base humanas.
• Correlaciones: Se encontró una correlación negativa ($r = -0.58$) entre la divergencia KL (alineación con humanos) y el Puntaje de Riesgo Promedio (ARS), sugiriendo que los modelos con mayor propensión al riesgo se alinean más estrechamente con los priors de confianza humanos. No se encontraron correlaciones significativas con el seguimiento de instrucciones (IFEval) o el razonamiento general (LMArena).

2. Sensibilidad a los Personajes

• Efectos de Persona: La confiabilidad elicitada de GPT-4.1 varió sistemáticamente a través de los personajes (el $r$ medio osciló entre 0.298 y 0.447). Por ejemplo, la confianza fue mayor para Malala Yousafzai que para Mark Zuckerberg.
• Calidez y Competencia: Un modelo de regresión utilizando la calidez ($W$) y la competencia ($C$) como predictores explicó el 81% de la varianza ($R^2 = 0.81$) en la confiabilidad elicitada.
  • Dominancia de la Calidez: La calidez tuvo un efecto principal sustancialmente más fuerte ($\beta_1 \gg \beta_2$) que la competencia.
  • Interacción: Un término de interacción significativo ($\beta_3$) indicó que la competencia aumenta significativamente la confiabilidad principalmente cuando se combina con la calidez.

Contribuciones Clave

1. Innovación Metodológica: El artículo introduce un método para eliciar los priors implícitos de confiabilidad de los LLM adaptando el aprendizaje en contexto iterado al Juego de la Confianza, yendo más allá de los auto-reportes hacia la operacionalización conductual.
2. Caracterización Empírica: Proporciona un benchmark de los priors de confiabilidad a través de 20 LLMs líderes, revelando que mientras algunos modelos (como GPT-4.1) siguen de cerca los priors humanos, otros exhiben patrones estratégicos o sesgados distintos.
3. Utilidad de Sustitución (Surrogate): Demuestra que GPT-4.1 puede servir como un sustituto de los participantes humanos en el estudio de sesgos sociales, ya que sus juicios de confiabilidad son sensibles a las características de los personajes de una manera consistente con la psicología social humana.
4. Alineación Teórica: Los hallazgos confirman que los juicios de confiabilidad de los LLM pueden modelarse mediante las mismas dimensiones basadas en estereotipos (calidez y competencia) que gobiernan la percepción social humana.

Significado y Reivindicaciones

El artículo sostiene que caracterizar la confiabilidad de los sistemas de IA es esencial para una colaboración humano-IA segura y efectiva. Al tratar a los LLM como agentes capaces de reciprocar la confianza, los autores argumentan que el Juego de la Confianza ofrece un marco bilateral necesario para estudiar la interacción humano-IA.

Los autores afirman modestamente que su método recupera con éxito los "sesgos inductivos" de los LLM con respecto al intercambio social. Sugieren que los modelos como GPT-4.1 pueden actuar como sustitutos de grandes poblaciones de participantes humanos, permitiendo a los investigadores estudiar cómo los juicios generales de confianza pública podrían cambiar según las características del agente sin la carga logística del reclutamiento de sujetos humanos.

El trabajo destaca que la confiabilidad en los LLM no es una propiedad monolítica, sino que varía según la arquitectura del modelo y es sensible al contexto social (personajes). Los autores concluyen que comprender estas representaciones neuronales de la confiabilidad (potencialmente accesibles a través de modelos de pesos abiertos) es una vía viable para diseñar sistemas de IA más confiables, aunque reconocen limitaciones respecto a la estabilidad de estos priors a través de diferentes niveles de inversión y contextos de interacción.