Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution

Resumen Técnico: ¿Pueden los LLM encarnar verdaderamente la personalidad humana?

Este estudio investiga la fidelidad conductual de los Grandes Modelos de Lenguaje (LLMs) al intentar simular la personalidad humana en contextos sociales de alta complejidad, específicamente en la resolución de disputas y negociaciones.

1. El Problema (Problemática)

A medida que los LLMs se despliegan en aplicaciones con impacto social (como el coaching de resolución de conflictos o la toma de decisiones asistida), surge una pregunta crítica: ¿Pueden los LLMs, cuando se les asignan rasgos de personalidad mediante prompts, reproducir las diferencias de comportamiento impulsadas por la personalidad que observamos en los humanos?

Actualmente, existe la suposición de que un agente de IA con un prompt de "amabilidad" se comportará de manera análoga a un humano amable. Sin embargo, no se ha validado si estos modelos capturan la dinámica estratégica y emocional que la personalidad dicta en interacciones humanas reales y complejas.

2. Metodología

Los autores proponen un marco de evaluación comparativo entre interacciones humano-humano y simulaciones LLM-LLM.

• Conjunto de datos de referencia (KODIS): Utilizaron el corpus KObe DISpute (KODIS), que contiene diálogos reales de resolución de disputas entre compradores y vendedores en situaciones emocionalmente cargadas.
• Simulación L2L (LLM-to-LLM): Crearon un conjunto de datos paralelo mediante la simulación de diálogos entre tres modelos comerciales: GPT-4o mini, Claude 3.7 Sonnet y Gemini 2.0 Flash.
• Perfilado de Personalidad: Los modelos fueron instruidos mediante prompts basados en el modelo de los Cinco Grandes (Big Five Inventory - BFI), utilizando adjetivos empíricamente asociados a cada rasgo. Para asegurar la comparabilidad, los perfiles de personalidad de la IA se muestrearon de la misma distribución estadística que los perfiles humanos de KODIS.
• Métricas de Comportamiento:
  • Resultados Finales: Puntuación de beneficio (Score), aceptación de ofertas (Accept) y permanencia en la negociación (Not Walk-Away).
  • Comportamiento Estratégico (Marco IRP): Clasificaron las interacciones según el marco de Intereses-Derechos-Poder (IRP), midiendo la frecuencia de estrategias Cooperativas (propuestas, concesiones) y Competitivas (poder, derechos), así como la Reciprocidad, la Escalada y la Desescalada del conflicto.

3. Contribuciones Clave

1. Marco de Evaluación de Alineación Conductual: Un método sistemático para comparar la manifestación de la personalidad en humanos frente a agentes de IA.
2. Metodología de Creación de Datos: Un proceso para generar diálogos de resolución de disputas con escenarios y rasgos de personalidad emparejados con datos humanos.
3. Validación de la Fidelidad Psicológica: Un análisis riguroso que desafía la validez de los LLMs como "proxies" (sustitutos) de comportamiento humano en aplicaciones sociales.

4. Resultados Principales

El estudio revela divergencias significativas entre humanos y LLMs:

• Desalineación en Resultados: En humanos, el neuroticismo es un fuerte predictor de la probabilidad de no aceptar ofertas. En los LLMs, este patrón no se replica de la misma forma; por ejemplo, los modelos muestran una sensibilidad única a la "desemejanza de rasgos" entre agentes, lo que provoca que abandonen la negociación prematuramente si sus personalidades no coinciden.
• Diferencias en Estrategias (IRP): Los humanos muestran un uso flexible y adaptativo de las estrategias (basándose en hechos y contexto). Los LLMs, en cambio, tienden a ser más transaccionales y rígidos, sobreutilizando "Propuestas" y "Concesiones" y omitiendo la fase de fundamentación basada en "Hechos" (Facts).
• Dinámicas Temporales: Los humanos evolucionan durante la charla (comienzan con hechos y terminan con concesiones/intereses). Los LLMs muestran trayectorias planas; por ejemplo, GPT-4o mini mantiene un uso constante de estrategias de "Derechos" (Rights), sin adaptarse al progreso de la conversación.
• Variación entre Modelos: No todos los LLMs son iguales. Claude y Gemini mostraron una mayor convergencia con los patrones humanos en ciertas métricas estratégicas que GPT-4o mini, pero ninguno logró una alineación completa.

5. Significado y Conclusión

El trabajo concluye que los LLMs no son sustitutos fiables de la conducta humana en contextos de resolución de conflictos. Aunque pueden imitar rasgos de personalidad superficiales, fallan en capturar la complejidad de cómo esos rasgos dictan la estrategia, la reciprocidad y la adaptación temporal en una interacción social.

Implicación práctica: El estudio subraya la necesidad urgente de un fundamento psicológico y una validación conductual antes de utilizar simulaciones de IA en dominios socialmente sensibles o de alto riesgo, advirtiendo que confiar en modelos "personalizados" mediante prompts puede llevar a resultados erróneos o poco realistas.