Can LLMs Assess Personality? Validating Conversational AI for Trait Profiling

1. Planteamiento del Problema

Las evaluaciones de personalidad tradicionales, como el cuestionario IPIP-50 (basado en el modelo de los Cinco Grandes: Apertura, Responsabilidad, Extraversión, Amabilidad y Neuroticismo), dependen en gran medida del autoinforme estático. Estos métodos presentan limitaciones significativas:

• Sesgo de deseabilidad social: Los participantes tienden a responder lo que consideran socialmente aceptable.
• Fatiga de respuesta: La naturaleza repetitiva de los cuestionarios reduce la calidad de los datos.
• Falta de contexto: No capturan la fluidez, el matiz ni la variación contextual del comportamiento humano en tiempo real.

El estudio busca validar si los Modelos de Lenguaje Grande (LLM) pueden superar estas limitaciones mediante la extracción de rasgos de personalidad a través de conversaciones guiadas en tiempo real, ofreciendo una alternativa dinámica y adaptativa a los cuestionarios estáticos.

2. Metodología

El estudio empleó un diseño experimental intrasujeto con una muestra de N=33 participantes (principalmente jóvenes y educados).

• Diseño Experimental:

  1. Entrevista con LLM: Los participantes tuvieron 20 conversaciones breves y guiadas con un LLM (Gemini 2.5 Flash). Se utilizaron 20 preguntas abiertas diseñadas para elicitar comportamientos específicos relacionados con los Cinco Grandes, evitando referencias directas a los constructos de personalidad.
  2. Cuestionario Estándar: Los mismos participantes completaron el IPIP-50 (el "estándar de oro").
  3. Evaluación de Precisión: Los participantes calificaron la precisión de ambos métodos.

• Arquitectura del Sistema (Dos LLMs):

  • LLM Conversacional: Recibió prompts dinámicos para cada pregunta, guiando la exploración de indicadores conductuales y deteniendo la interacción cuando se consideró suficiente la información (máximo 10 mensajes por usuario).
  • LLM de Puntuación: Un modelo separado analizó las 20 transcripciones completas para generar puntuaciones de personalidad en una escala de 0-120 (normalizada a 0-100). Este modelo priorizó la evidencia conductual sobre las auto-descripciones para mitigar el sesgo de deseabilidad.

• Análisis Estadístico: Se utilizaron pruebas t de muestras pareadas para comparar las puntuaciones, correlaciones de Pearson para la validez convergente, y Análisis de Componentes Principales (PCA) y clustering jerárquico para explorar la estructura subyacente.

3. Contribuciones Clave

• Validación de Evaluación en Tiempo Real: A diferencia de estudios anteriores que analizaban textos estáticos (redes sociales, entrevistas grabadas), este estudio valida la inferencia de personalidad durante una interacción conversacional activa y guiada.
• Marco de Validación de Usuario: No solo se compara la precisión técnica contra el IPIP-50, sino que se mide explícitamente la precisión percibida por el usuario, un factor crítico para la adopción en aplicaciones de consumo.
• Arquitectura de Prompting Especializada: Se detalla un sistema de prompts sofisticado que separa la generación de preguntas de la puntuación final, utilizando criterios específicos de extracción conductual para cada rasgo.

4. Resultados Principales

• Validez Convergente:

  • Se observó una correlación moderada entre las puntuaciones del LLM y el IPIP-50 (r = 0.38 – 0.58).
  • Rasgos Equivalentes: Para Responsabilidad (Conscientiousness), Apertura (Openness) y Neuroticismo, no hubo diferencias estadísticamente significativas entre los métodos (p > 0.05), sugiriendo una consistencia fuerte.
  • Rasgos Diferentes: Amabilidad (Agreeableness) (p=0.002) y Extraversión (p=0.036) mostraron diferencias significativas, indicando que estos rasgos requieren una calibración específica del modelo o que se manifiestan de forma distinta en la conversación vs. el autoinforme.

• Precisión Percibida:

  • Los participantes calificaron ambos métodos como igualmente precisos (media de 4/5).
  • No hubo diferencias estadísticamente significativas en las calificaciones de precisión entre el LLM y el cuestionario, lo que sugiere una alta aceptación subjetiva de la IA conversacional.

• Análisis Exploratorio:

  • El clustering jerárquico mostró que, para la mayoría de los rasgos, las puntuaciones del LLM y el IPIP se agrupaban juntas, excepto en Responsabilidad, donde las puntuaciones del LLM se agruparon más con la Extraversión, sugiriendo variabilidad específica del método.
  • Los participantes mayores tendieron a ser más críticos en sus evaluaciones de precisión, aunque el tamaño de la muestra limitó la generalización de este hallazgo.

5. Significado e Implicaciones

• Viabilidad para Aplicaciones de Consumo: Los resultados apoyan el uso de la IA conversacional en contextos como contratación, citas o herramientas educativas, donde una evaluación más natural y dinámica puede complementar o reemplazar parcialmente los cuestionarios estáticos.
• Superioridad sobre Análisis Pasivo: Las correlaciones obtenidas (r hasta 0.58) superan a estudios previos que usaban análisis de texto pasivo (r ~0.29-0.33), lo que indica que la naturaleza interactiva y la capacidad de sondeo profundo del LLM capturan señales de personalidad más ricas.
• Limitaciones y Futuro: El estudio reconoce limitaciones como el tamaño de la muestra (N=33), la falta de diversidad demográfica y el uso de un solo modelo LLM. Se recomienda investigación futura con muestras más grandes, diseños contra-balanceados y pruebas de fiabilidad test-retest para establecer la estabilidad temporal del método.

En conclusión, el estudio demuestra que los LLMs pueden generar perfiles de personalidad válidos y aceptados por los usuarios a través de la conversación, ofreciendo una prometedora alternativa a la psicometría tradicional, aunque se requiere ajuste fino para ciertos rasgos específicos.