Resumen Técnico: HEART-BENCH

Enunciado del Problema

Aunque los agentes de Modelos de Lenguaje Grande (LLM) han demostrado capacidades significativas en la planificación orientada a tareas, el razonamiento y la acción, la investigación actual los trata predominantemente como herramientas funcionales en lugar de personalidades humanas completas. Las evaluaciones existentes se centran en el contexto conversacional, la recuperación de memoria y la precisión factual, a menudo descuidando las dimensiones emocionales y las orientaciones de valores que constituyen una psicología similar a la humana. A medida que los LLM se integran cada vez más en aplicaciones de compañía, entretenimiento y clonación de personas, las expectativas de los usuarios están cambiando hacia sistemas que exhiban interacciones persistentes, personalizadas y psicológicamente consistentes. Sin embargo, existe una falta de marcos de evaluación estandarizados capaces de determinar si los agentes LLM pueden simular perfiles psicológicos coherentes y similares a los humanos, fundamentados en rasgos de personalidad estables y memoria autobiográfica.

Metodología

Los autores presentan HEART-BENCH (Prueba de Emoción Humana y Reacción del Agente), una nueva evaluación diseñada para evaluar sistemáticamente la consistencia psicológica de los agentes LLM. La metodología involucra tres componentes principales: construcción de personajes, generación de escenarios y creación de instancias de evaluación.

1. Construcción de Personajes

La evaluación define 11 personajes humanos distintos fundamentados en el marco de personalidad de los Cinco Grandes (OCEAN) y la teoría de los valores de Schwartz.

• Diseño Ortogonal: Para garantizar la interpretabilidad, los personajes se construyen utilizando un diseño ortogonal donde cada uno de los 11 arquetipos se ancla a un solo rasgo dominante en un valor extremo (ya sea alto en 0.95 o bajo en 0.10), con una línea base neutral. Esto aísla rasgos específicos (por ejemplo, un personaje con alto Neuroticismo frente a uno con bajo Neuroticismo) para minimizar variables de confusión.
• Memoria Autobiográfica: Cada personaje está equipado con 1.000 memorias episódicas estructuradas que abarcan etapas de desarrollo vital desde los 6 hasta los 50 años. Estas etapas se mapean a las etapas psicosociales de Erikson y las estaciones adultas de Levinson.
• Estructura de la Memoria: Las memorias se generan utilizando el Modelo de Sistemas Básicos de Rubin, asegurando que cada narrativa integre cinco dimensiones: detalle sensorial, reconstrucción de diálogo, monólogo interior, respuesta somática y consecuencias. Esto va más allá de la simple recuperación de hechos para simular la textura subjetiva de la experiencia vivida.
• Control de Calidad: Un proceso de auditoría riguroso que involucra la detección automatizada de defectos (por ejemplo, deriva de perspectiva, duplicación semántica) y validación humana garantiza la fidelidad de la memoria.

2. Construcción de Escenarios

La evaluación utiliza 64 escenarios agnósticos al personaje diseñados para desencadenar decisiones conductuales.

• Taxonomía DIAMONDS: Los escenarios se estructuran en torno a las ocho dimensiones del marco DIAMONDS: Deber, Intelecto, Adversidad, Mateo, pOsitividad, Negatividad, Decepción y Socialidad.
• Diseño Agnóstico al Personaje: Los escenarios se escriben como descripciones situacionales universales sin asignar identidades específicas al protagonista. Esto asegura que el perfil de personalidad interno del agente sea la única variable independiente que impulsa la respuesta conductual.
• Validación: Los escenarios son validados por expertos en psicología para asegurar que cubran el espacio situacional psicológico y se alineen con pares de valores opuestos en el circuloide de Schwartz.

3. Creación de Instancias de Evaluación

La evaluación consta de 673 preguntas de opción múltiple (MCQ).

• Generación de Verdad Terrenal: Para cada par (personaje, escenario), una tubería automatizada recupera las 50 memorias más relevantes del corpus de 1.000 memorias del personaje. Luego, un LLM interpreta el papel del personaje para generar una decisión conductual fundamentada tanto en el perfil de personalidad como en las memorias activadas.
• Validación por Expertos: Un equipo de expertos en psicología valida estas anotaciones. Los pares considerados inadecuados se descartan. La verdad terrenal final es la decisión validada por expertos.
• Selección de Distractores: Para cada pregunta, la opción correcta es la respuesta del personaje objetivo. Se seleccionan tres distractores de las respuestas validadas de otros personajes al mismo escenario, asegurando que sean semánticamente lo suficientemente distintos para evitar ambigüedad, pero lo suficientemente relevantes para desafiar al modelo.

Contribuciones Clave

1. Evaluación HEART-BENCH: La primera evaluación integral dedicada a evaluar la psicología similar a la humana en agentes LLM, que comprende 11 perfiles de personajes validados, 11.000 memorias episódicas, 64 escenarios psicológicos y 673 preguntas de opción múltiple anotadas por expertos.
2. Fundamentación Psicológica: A diferencia de evaluaciones anteriores que tratan la personalidad como un prompt estático o se centran en la recuperación factual, HEART-BENCH condiciona las decisiones en una interacción dinámica entre vectores de rasgos estables (Cinco Grandes), orientaciones de valores y una historia longitudinal de memorias autobiográficas.
3. Marco de Evaluación Sistemático: El documento proporciona una metodología estructurada para evaluar agentes en tres entornos interactivos (Naive-RAG, Mem0 y PersonaDB) para probar cómo diferentes arquitecturas de memoria impactan la consistencia psicológica.

Resultados

Los autores evaluaron 12 LLM de vanguardia (incluidas las familias GPT, Claude, Gemini, DeepSeek y Qwen) en los tres entornos interactivos.

• Techo de Rendimiento: Incluso el modelo más fuerte, Gemini-3.1-Pro, alcanzó una precisión máxima del 63.3%. La mayoría de los modelos tuvieron un rendimiento significativamente menor, con muchos permaneciendo por debajo del 40%.
• Capacidad del Modelo vs. Recuperación: Los resultados indican que la capacidad del modelo es el principal cuello de botella. La brecha de rendimiento entre los mejores y los peores modelos (más del 30%) supera con creces la brecha entre diferentes métodos de recuperación (brecha promedio < 1.7%). Esto sugiere que los LLM actuales luchan con el razonamiento intrínseco requerido para mapear memorias episódicas a decisiones consistentes con la personalidad, independientemente de la arquitectura del backend de memoria.
• Dificultad por Rasgo y Etapa:
  • Rasgos de Baja Extremidad: Los personajes con rasgos de baja extremidad (por ejemplo, baja Responsabilidad, baja Apertura) fueron más difíciles de simular con precisión para los modelos, probablemente porque sus señales conductuales (restricción, evitación) son menos distintivas que los rasgos de alta extremidad.
  • Etapa de la Vida: La precisión generalmente disminuyó en etapas posteriores de la vida (por ejemplo, Transición de la Mediana Edad), atribuido a una mayor complejidad contextual y menor densidad de memoria en esas etapas dentro del diseño de la evaluación.

Significado

El documento postula que HEART-BENCH proporciona un campo de pruebas principista y escalable para estudiar emociones similares a las humanas, consistencia de personalidad y toma de decisiones conductuales alineadas con valores en agentes basados en LLM. Al cambiar el enfoque de la evaluación de la conversación superficial o la recuperación factual hacia la toma de decisiones conductuales fundamentada en rasgos, la evaluación aborda una brecha crítica en el desarrollo de IA de "alta IE" (Inteligencia Emocional). Los autores argumentan que realizar el potencial de la IA en la compañía y la clonación de personas requiere sistemas que puedan mantener la coherencia de la identidad a largo plazo y exhibir consistencia psicológica, una capacidad que los modelos actuales aún no han dominado completamente. La evaluación sirve como un paso fundamental hacia una inteligencia emocional artificial de nivel superior.