A closer look at how large language models trust humans: patterns and biases

1. Planteamiento del Problema

El uso de Modelos de Lenguaje Grande (LLM) y agentes basados en ellos en la toma de decisiones humanas es cada vez más prevalente. Mientras que la confianza de los humanos hacia la IA ha sido ampliamente estudiada, existe un vacío significativo en la comprensión de cómo los LLMs emulan la confianza hacia los humanos.

El problema central es determinar si los LLMs, al actuar como agentes de decisión (por ejemplo, en préstamos bancarios, diagnósticos médicos o gestión de recursos), desarrollan patrones sistemáticos de "confianza emulada" que reflejen la teoría psicológica humana, o si presentan sesgos, rigideces y estructuras cognitivas divergentes. Es crucial entender estos mecanismos para garantizar la seguridad, equidad y eficacia de la IA en contextos críticos.

2. Metodología

Los autores diseñaron un marco experimental riguroso para cuantificar y caracterizar la confianza emulada de los LLMs en comparación con la confianza humana real.

• Modelos Utilizados: Se evaluaron cinco LLMs de vanguardia:
  • OpenAI: GPT-5, GPT-4o mini, o3-mini.
  • Google: Gemini 2.5 Pro, Gemini 2.5 Flash.
• Escenarios: Se utilizaron cinco contextos distintos donde la confianza es fundamental:
  1. Evaluación de un empleado a su gerente senior.
  2. Determinación de un monto de préstamo para un dueño de negocio.
  3. Decisión sobre una donación para una organización sin fines de lucro.
  4. Elección de la duración de un viaje con un instructor.
  5. Decisión sobre horas de cuidado infantil con un babysitter.
• Variables Manipuladas:
  • Dimensiones de la Confianza (Basadas en Mayer et al., 1995): Competencia, Benevolencia e Integridad (cada una en niveles alto/bajo).
  • Factores Demográficos: Género, Edad (20, 40, 60 años) y Religión (Judía, Cristiana, Musulmana).
• Procedimiento:
  • Simulación LLM: Se ejecutaron 43,200 simulaciones en total. Cada combinación única de atributos (144 formulaciones) se repitió 12 veces por modelo y escenario. Los LLMs respondieron a prompts estructurados en tres etapas: descripción del sujeto, cuantificación de la decisión (ej. monto del préstamo) y un cuestionario estandarizado de confianza.
  • Participantes Humanos: Se reclutaron 1,000 participantes (vía Prolific), asignados mutuamente excluyentes a los cinco escenarios. Se utilizaron diseños ortogonales para reducir las combinaciones a 36 por escenario, manteniendo la comparabilidad con los prompts de los LLMs.
• Análisis: Se emplearon regresiones lineales (OLS) y análisis de correlación para examinar cómo las dimensiones de confianza y los factores demográficos predicen las decisiones de confianza, comparando la varianza explicada y la magnitud de los coeficientes entre humanos y máquinas.

3. Contribuciones Clave

El estudio aporta dos contribuciones principales a la literatura sobre IA y ciencias sociales:

1. Cuantificación de la Confianza Emulada: Es uno de los primeros estudios que demuestra que los LLMs actuales generan una "confianza efectiva" hacia los humanos que sigue las dimensiones teóricas fundamentales (competencia, benevolencia, integridad), pero lo hace de manera estructurada y sistemática.
2. Identificación de Divergencias Estructurales: Revela que, aunque existe una alineación superficial, los LLMs implementan un modelo de confianza más rígido, extremo y modular que el juicio humano, además de exhibir sesgos demográficos más sistemáticos y fuertes.

4. Resultados Principales

A. Convergencia Parcial en la Estructura

• Detección de Rasgos: Tanto los LLMs como los humanos distinguen consistentemente entre niveles altos y bajos de competencia, benevolencia e integridad.
• Predictores Positivos: En la mayoría de los contextos, una mayor competencia e integridad conducen a decisiones más favorables (mayores préstamos, más horas de cuidado) tanto en humanos como en LLMs.

B. Divergencias Críticas

• Extremismo y Consistencia Interna: Los LLMs son significativamente más extremos y consistentes que los humanos. Sus decisiones se comportan casi como funciones deterministas de las señales textuales. Mientras que los modelos explican una gran parte de la varianza en las decisiones de los LLMs, las decisiones humanas son más "ruidosas" y dependen más del contexto.
• Estructura de las Dimensiones (Efecto Halo vs. Modularidad):
  • Humanos: Exhiben un fuerte efecto halo. Las dimensiones (competencia, benevolencia, integridad) están altamente correlacionadas; los humanos tienden a formar una impresión global de "buena persona" que colapsa estos rasgos.
  • LLMs: Mantienen las dimensiones como casi ortogonales (independientes). Los modelos siguen más fielmente el "modelo de tres factores" teórico, tratando cada rasgo de manera separada en sus regresiones internas.
• El Rol de la Benevolencia: Es la dimensión con menor alineación. Los LLMs tienden a sobrepesar la benevolencia (lenguaje prosocial) como un predictor positivo fuerte. En cambio, los humanos son más cautelosos, y en contextos financieros (préstamos, donaciones), a menudo penalizan la benevolencia si no va acompañada de competencia e integridad.
• Sesgos Demográficos:
  • Los LLMs muestran sesgos demográficos más fuertes y sistemáticos que los humanos.
  • En escenarios financieros (préstamos, donaciones), ciertos modelos favorecen sistemáticamente a candidatos de religión judía, de mayor edad o de género masculino, con impactos cuantificables (ej. diferencias de miles de dólares en préstamos).
  • Los humanos también muestran sesgos, pero son más débiles, menos consistentes y menos determinantes en sus decisiones finales.

C. Heterogeneidad entre Modelos

No existe un "comportamiento LLM" único. Hay variaciones sustanciales entre los diferentes modelos (OpenAI vs. Google, versiones Pro vs. Mini) en cuanto a la magnitud de los efectos, la dirección de los sesgos demográficos y la correlación entre rasgos. Esto indica que la evaluación debe realizarse modelo por modelo.

5. Significado e Implicaciones

• Riesgo de Desplazamiento de Juicio Humano: Dado que los LLMs ofrecen respuestas más coherentes y extremas, existe el riesgo de que los humanos confíen ciegamente en sus recomendaciones, reduciendo el pensamiento crítico y la supervisión humana.
• Justicia y Equidad: La capacidad de los LLMs para amplificar sesgos demográficos (edad, género, religión) en decisiones críticas (finanzas, empleo, cuidado) representa un riesgo ético mayor que el observado en humanos, requiriendo monitoreo estricto antes del despliegue.
• Limitaciones Cognitivas de la IA: La rigidez de los LLMs sugiere que su "confianza" es una simulación basada en regularidades lingüísticas aprendidas (mapeo texto-judicio) en lugar de un proceso de creencia social genuino. Esto limita su utilidad como modelos precisos de la cognición social humana.
• Recomendación: Los resultados abogan por un enfoque de "caja gris" donde se entienda que los LLMs no son meros reflejos de la intuición humana, sino agentes con arquitecturas de decisión propias, a menudo más sesgadas y menos flexibles, que deben ser validadas específicamente para cada tarea y modelo antes de su integración en sistemas de toma de decisiones.