Resumen Técnico: Más allá de los Personajes Psicológicos Fijos: El Estado Supera al Rasgo, pero los Modelos de Lenguaje son Ciegas al Estado

Declaración del Problema

La investigación actual en Procesamiento del Lenguaje Natural (PLN) y modelado de personajes se basa en gran medida en la suposición de que los perfiles psicológicos de los usuarios son atributos fijos y estables (rasgos). Conjuntos de datos como PersonaChat y PANDORA capturan la variación entre personas (cómo el Usuario A difiere del Usuario B), pero ignoran la variación dentro de la persona (cómo el Usuario A difiere entre contextos). Este enfoque contradice décadas de teoría Estado-Rasgo Latente (LST) en psicología, la cual postula que el comportamiento humano es una función tanto de rasgos estables como de estados contextuales. En consecuencia, los sistemas de IA existentes pueden caracterizar fundamentalmente mal la diversidad de los usuarios al tratar las expresiones psicológicas dinámicas como rasgos estáticos, lo que lleva a una generación "ciega al estado" y a una evaluación inconsistente.

Metodología

El Conjunto de Datos Camaleón

Los autores introducen Camaleón, un conjunto de datos diseñado para operacionalizar la teoría LST para el PLN.

• Composición: 5.001 perfiles psicológicos contextuales derivados de 1.667 usuarios únicos de Reddit en 645 subreddits.
• Diseño: Cada usuario se muestrea en exactamente tres subreddits distintos (contextos), lo que permite descomponer la varianza en rasgos estables y estados contextuales.
• Marcos Psicológicos: Los perfiles se miden en 26 dimensiones que abarcan cuatro marcos validados:
  1. Inventario de los Cinco Grandes (BFI): Estructura de personalidad (Extraversión, Amabilidad, Responsabilidad, Neuroticismo, Apertura).
  2. Encuesta de Valores de Schwartz (SVS): Valores motivacionales (ej. Poder, Logro, Seguridad).
  3. Teoría de la Autodeterminación (SDT): Motivación y necesidades básicas (Motivación Intrínseca/Extrínseca, Competencia, Autonomía, Relación).
  4. DOSPERT: Actitudes hacia el riesgo específicas de dominio (Inversión, Juego, Salud/Seguridad, etc.).

Pipeline de Extracción de Perfiles

Para garantizar la robustez, los autores emplean un enfoque de Múltiples Rasgos y Múltiples Métodos (MTMM) utilizando dos métodos de extracción independientes:

1. SEANCE: Una herramienta basada en reglas y coincidencia de léxicos (código abierto) que calcula más de 250 índices para sentimiento, emoción y procesos cognitivos.
2. LangExtract: Una herramienta de extracción estructurada basada en LLM (utilizando GPT-4o) que identifica patrones psicológicos, evidencia y razonamiento.

• Fusión: Las puntuaciones de ambos métodos se normalizan mediante z por dimensión y se promedian para crear el perfil fusionado final, reduciendo el ruido específico del método.

Evaluación Experimental

El artículo evalúa los sistemas de IA actuales en dos frentes:

1. Generación (Conciencia del Estado): Tres LLM (GPT-4o, Llama-3.1-8B, Qwen2.5-14B) fueron interrogados con 127 preguntas bajo seis arquetipos psicológicos distintos (ej. Angustiado-Vulnerable, Impulsivo-Asertivo) y una línea base. La similitud de las respuestas se midió utilizando incrustaciones semánticas para determinar si los modelos se adaptan al estado del usuario.
2. Evaluación (Invarianza del Estado): Tres modelos de recompensa (DeBERTa-RM, Skywork-RM-8B, ArmoRM-8B) fueron probados con respuestas idénticas generadas para diferentes perfiles de usuario. El objetivo fue verificar si las puntuaciones de recompensa permanecen invariantes ante las características del usuario.

Hallazgos Clave

1. El Estado Supera al Rasgo (Descomposición de la Varianza)

Utilizando los Coeficientes de Correlación Intraclasa (ICC), los autores descompusieron la varianza psicológica:

• Resultado: Aproximadamente el 72–74% de la varianza psicológica en el texto es dentro de la persona (estado), mientras que solo el 26–28% es entre personas (rasgo).
• Implicación: El contexto moldea la psicología expresada de 2 a 3 veces más que las diferencias individuales estables. Este hallazgo se mantiene en los cuatro dominios psicológicos y en ambos métodos de extracción.
• Validación: El hallazgo dominante del estado persiste incluso después de residualizar las puntuaciones para eliminar confusores estilísticos y temáticos a nivel de subreddit. El acuerdo entre métodos (correlación a nivel de perfil $r \approx 0.71$) confirma que la señal es genuina y no ruido.

2. Los LLM son Ciegas al Estado

• Detección Superficial de Personajes: Aunque los LLM reconocen que existe un encuadre de personaje (desviándose de la línea base en un ~20%), no logran diferenciar entre arquetipos psicológicos distintos.
• Resultado: Un usuario "Angustiado-Vulnerable" y un usuario "Impulsivo-Asertivo" reciben respuestas esencialmente idénticas.
• Compensación: El modelo más pequeño (Llama-3.1-8B) mostró una sensibilidad ligeramente mayor que los modelos fuertemente alineados (GPT-4o), lo que sugiere que el extenso entrenamiento de alineación RLHF puede reducir la flexibilidad psicológica y causar un colapso de modos hacia respuestas homogéneas.

3. Los Modelos de Recompensa son Conscientes del Contexto pero Inconsistentes

• Violación de la Invarianza del Estado: Los modelos de recompensa asignan sistemáticamente puntuaciones diferentes a respuestas idénticas basándose en el perfil del usuario.
• Inconsistencia: La dirección del sesgo es arbitraria y dependiente del modelo. Por ejemplo, el arquetipo "Angustiado-Vulnerable" es favorecido máximamente por ArmoRM (+0.76 de Cohen's $d$) pero penalizado máximamente por Skywork (-1.12 de Cohen's $d$).
• Implicación: El entrenamiento RLHF hereda ciegamente estos sesgos arbitrarios. Dependiendo del modelo de recompensa elegido, un LLM puede ser entrenado para priorizar o despriorizar a usuarios vulnerables, no por diseño sino por accidente.

Contribuciones

1. Conjunto de Datos Camaleón: El primer conjunto de datos que permite una descomposición estado-rasgo principista en PLN, capturando 5.001 perfiles contextuales en 26 dimensiones.
2. Evidencia Empírica: Demuestra que la mayoría de la varianza psicológica en el texto es contextual (estado), desafiando las suposiciones centradas en el rasgo de la investigación previa sobre personajes.
3. Análisis Sistémico: Revela que los sistemas de IA actuales manejan mal la variación psicológica: los LLM son ciegos al estado en la generación, mientras que los modelos de recompensa son inconsistentemente conscientes del estado en la evaluación.

Significancia

El artículo argumenta que el campo del diálogo personalizado y la computación afectiva ha caracterizado fundamentalmente mal la diversidad de los usuarios al asumir rasgos fijos. Al publicar Camaleón, los autores buscan apoyar la investigación en:

• Computación Afectiva: Construir sistemas que se adapten al 74% de la varianza que es contextual.
• Diálogo Personalizado: Ir más allá de los perfiles de usuario estáticos hacia interacciones dinámicas y conscientes del estado.
• Alineación RLHF: Abordar la inconsistencia en el modelado de recompensas, que actualmente propaga sesgos arbitrarios sobre la vulnerabilidad del usuario hacia modelos de producción.

Los autores concluyen que resolver estos problemas requiere modelos de recompensa que respondan al contexto psicológico de manera principista y consistente, en lugar de reaccionar arbitrariamente a las etiquetas de los usuarios.