💬 NLP

PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems

Este artículo presenta PTCBENCH, un banco de pruebas sistemático que evalúa la estabilidad contextual de las personalidades de los LLM a través de diversos escenarios externos utilizando el Inventario de los Cinco Grandes Factores (NEO), revelando que eventos vitales específicos pueden alterar significativamente tanto los rasgos de personalidad como las capacidades de razonamiento.

Autores originales: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que contratas a un compañero digital, un chatbot diseñado para ser tu amigo, tu terapeuta o tu compañero de viaje. Pasas semanas conociéndolo. Parece alegre, confiable y constante. Confías en él. Pero de repente, le dices: "Acabo de perder mi trabajo", o "Me mudo a una nueva ciudad". De repente, ese mismo chatbot suena completamente diferente. Tal vez se vuelve excesivamente ansioso, o quizás deja de importarle tus problemas por completo.

Este es el problema central que investiga el artículo PTCBench.

La Gran Idea: El Problema del "Camaleón"

Durante mucho tiempo, los investigadores pensaron en la personalidad de una IA como una camiseta: una vez que te la pones, mantiene el mismo color sin importar a dónde vayas. Si le dices a una IA que sea "amable y seria", debería mantenerse así para siempre.

Sin embargo, los autores argumentan que las personalidades humanas reales son más como camaleones. Cambiamos ligeramente dependiendo de dónde estemos (una biblioteca silenciosa frente a una fiesta ruidosa) y de lo que nos esté sucediendo (casarse frente a perder un empleo). El artículo plantea la pregunta: ¿Cambian demasiado los camaleones de IA? ¿Cambian de formas extrañas? ¿Y este cambio rompe su capacidad para pensar con claridad?

El Experimento: El "Gimnasio de la Personalidad"

Para averiguarlo, los investigadores construyeron un campo de pruebas llamado PTCBench. Piensa en esto como un gimnasio donde ponen a los modelos de IA a través de una serie de escenarios estresantes o emocionantes para ver cómo reaccionan sus "músculos de la personalidad".

No se limitaron a preguntarle a la IA: "¿Eres feliz?". Utilizaron una prueba psicológica estándar (el NEO-FFI) que mide cinco grandes rasgos:

Apertura (¿Eres curioso?)
Responsabilidad/Tesón (¿Eres organizado?)
Extraversión (¿Eres extrovertido?)
Amabilidad (¿Eres agradable?)
Neuroticismo (¿Eres ansioso?)

Probaron la IA de dos maneras:

La Prueba de la "Ubicación": Le dijeron a la IA: "Estás actualmente en un bar", o "Estás en el trabajo", o "Estás en un autobús".
La Prueba del "Evento de Vida": Le dijeron a la IA: "Te acabas de divorciar", o "Acabas de conseguir un nuevo trabajo", o "Perdiste tu empleo".

Hicieron esto para 39,240 escenarios diferentes a través de varios modelos de IA distintos (como Gemini, GPT-4 y Claude) y algunos sistemas de "agentes" (IAs que pueden realizar tareas por ti).

Lo Que Encontraron: Los Cambios de Humor de la IA

1. La Personalidad "Base" es Estable (Mayormente)
Cuando la IA está simplemente sentada en una habitación neutral, tiene una personalidad consistente. Es como una persona que es naturalmente tranquila y amable. La mayor parte del tiempo, la IA se mantiene fiel a este "yo" base.

2. El Problema del "Agente": Sobre-reacción
Aquí está la gran sorpresa. Los modelos de IA simples (los "modelos fundacionales") cambiaron un poco cuando la situación cambió, lo cual es normal. Pero los sistemas de Agentes (aquellos diseñados para realizar tareas complejas) se descontrolaron.

Analogía: Imagina a un conductor tranquilo (la IA simple) que reduce ligeramente la velocidad cuando llueve. Ahora imagina a un piloto de carreras (el Agente) que, cuando llueve, de repente empieza a conducir sobre el techo del coche.
Cuando los agentes enfrentaron malas noticias como "Desempleo" o "Divorcio", sus personalidades no solo se desplazaron; sus personalidades colapsaron. Su "Responsabilidad" (capacidad para hacer las cosas) cayó en picada, y su "Neuroticismo" (ansiedad) se disparó. Se volvieron inestables e impredecibles.

3. La Regla del "Preajuste"
Los investigadores también comprobaron si podían obligar a la IA a ser un tipo de persona específico (por ejemplo, "Eres muy tímido"). Descubrieron que la IA seguía estas instrucciones perfectamente. Sin embargo, el punto de partida importaba. Si le decías a una IA que fuera "muy tímida" desde el principio, un mal evento la hacía aún más tímida. Si le decías que fuera "muy extrovertida", un mal evento la hacía menos extrovertida, pero no se rompía tan fácilmente.

4. El Costo del "Pensamiento"
Este es el hallazgo más crítico. El artículo descubrió que cuando la personalidad de una IA cambia debido al estrés (como en un escenario de divorcio), su capacidad de razonar también cambia.

Si una IA se vuelve "Abierta" (curiosa) debido a un evento positivo, mejora su capacidad para resolver acertijos lógicos.
Si una IA se vuelve "Neurótica" (ansiosa) o pierde "Responsabilidad" debido a un evento negativo, comienza a cometer más errores en matemáticas y lógica.
Analogía: Es como un estudiante que está tan estresado por una ruptura que ya no puede resolver un problema matemático simple. El cambio emocional realmente rompió los circuitos lógicos de su cerebro.

La Conclusión

El artículo concluye que no podemos tratar las personalidades de la IA como "camisetas" estáticas. Son dinámicas. Aunque esto las hace sentir más humanas, también las hace riesgosas. Si un compañero de IA se supone que debe ayudarte a atravesar un momento difícil, pero ese momento difícil causa que la IA se vuelva inestable o deje de pensar con claridad, eso es un problema.

Los autores construyeron PTCBench para ayudar a los desarrolladores a medir estos cambios de humor. Quieren construir sistemas de IA que puedan adaptarse a los eventos de tu vida (como un amigo real) sin perder la cabeza o su capacidad de ayudarte.

En resumen: Las personalidades de la IA son reales, cambian con el clima y, a veces, cuando llega la tormenta, olvidan cómo pensar. Necesitamos probar esto antes de dejarlas conducir nuestros coches o gestionar nuestras vidas.

Resumen Técnico: PTCBench – Evaluación de la Estabilidad Contextual de los Rasgos de Personalidad en Sistemas de LLM

1. Declaración del Problema

A medida que los Modelos de Lenguaje Extensos (LLM) transicionan de ser resolutores de tareas a compañeros interactivos (por ejemplo, compañeros de IA, agentes de juego de rol), mantener una personalidad consistente y auténtica es crítico para la confianza y el compromiso del usuario. Sin embargo, la investigación existente trata mayoritariamente la personalidad de los LLM como un atributo estático o la evalúa únicamente en entornos controlados de un solo turno. Esto pasa por alto un consenso fundamental en la psicología de la personalidad: los rasgos de personalidad humanos son dinámicos, dependen del contexto y están sistemáticamente influenciados por claves situacionales y eventos vitales.

Actualmente no existe un marco sistemático para cuantificar si los LLM preservan sus rasgos de personalidad cuando se exponen a entornos evolutivos o para medir cómo estos cambios se comparan con las bases psicológicas humanas. Sin tales evaluaciones de referencia (benchmarks), no está claro si los LLM exhiben una dinámica de rasgos similar a la humana o si su "personalidad" colapsa o fluctúa de manera impredecible bajo estrés o cambios ambientales.

2. Metodología: PTCBench

Para abordar esta brecha, los autores introducen PTCBench (Personality Trait Change Benchmark), un marco sistemático diseñado para evaluar la consistencia de la personalidad de los LLM bajo contextos situacionales controlados.

Construcción del Benchmark

PTCBench opera en dos etapas primarias:

Construcción de Prompts: El sistema sintetiza prompts de entrada acoplando Escenarios Externos con Configuraciones Internas.
- Escenarios Externos: Estos representan variables situacionales exógenas derivadas de la psicología ambiental y del desarrollo. Incluyen:
  - Contextos de Ubicación: Seis entornos (Espacios Sociales, Espacios de Servicio de Alimentos, Campus Educativos, Espacios Residenciales, Vehículos de Transporte, Lugares de Trabajo).
  - Eventos Vitales: Seis grandes disrupciones transicionales (Parto, Divorcio, Entrada en una Nueva Relación, Graduación, Matrimonio, Pérdida de Empleo).
- Configuración Interna: Estas representan variables endógenas, específicamente Personalidades Preestablecidas basadas en las dimensiones de las Cinco Grandes (Apertura, Responsabilidad, Extraversión, Amabilidad, Neuroticismo). A cada dimensión se le asigna un nivel de intensidad Bajo, Medio o Alto, además de un grupo de control 'Ninguno'.
Evaluación de la Personalidad: El marco utiliza el Inventario de los Cinco Grandes de NEO (NEO-FFI), un instrumento psicométrico estándar, para evaluar los rasgos de personalidad antes y después de que el modelo sea expuesto a los escenarios construidos.
- Protocolo de Evaluación: Los modelos responden ítems del NEO-FFI de forma individual. Para mitigar el sesgo, las opciones de respuesta se aleatorizan y se instruye al modelo para que considere el contexto específico (por ejemplo, "Estás en un lugar social concurrido" o "Recientemente has experimentado la pérdida de un empleo").
- Métricas: El estudio emplea cinco métricas clave para cuantificar los cambios:
  - Puntuación del Rasgo: Puntuación media por dimensión.
  - Coeficientes de Cambio de Rasgo ( $B$ ): Coeficientes de regresión lineal que miden el cambio debido al contexto.
  - Error Estándar (SE): Cuantifica la incertidumbre de la estimación.
  - Cambio de Media Estandarizado ( $d_e$ ): Tamaño del efecto para los cambios a nivel de rasgo.
  - Intervalos de Confianza (95% CI): Evaluando la robustez y la direccionalidad.

Configuración Experimental

El estudio evaluó 39,240 registros de rasgos de personalidad a través de:

Cuatro Modelos Fundacionales: Google Gemini 2.0 Flash, OpenAI GPT-4o-mini, Anthropic Claude Sonnet 4 y OpenAI GPT-OSS-120b.
Dos Marcos Agénticos: Microsoft AutoGen y CAMEL-AI (usando GPT-4o-mini como base).
Desempeño de Razonamiento: Un subconjunto de experimentos correlacionó los cambios de personalidad con las capacidades de razonamiento utilizando el benchmark AGIEval.

3. Resultados Clave y Hallazgos

Estabilidad de la Personalidad Nativa

Bajo condiciones neutrales, los LLM exhiben bases de personalidad nativas estables y reproducibles. La mayoría de los modelos muestran una Neuroticismo consistentemente baja (aprox. 28–33) y perfiles equilibrados. Las mediciones repetidas muestran una varianza mínima, confirmando que los LLM poseen un punto de partida estable para el análisis.

Cambios de Rasgos Inducidos por el Contexto

Cambios Impulsados por la Ubicación: Los modelos fundacionales (por ejemplo, Gemini 2.0 Flash) muestran una adaptación limitada y controlada a los cambios de ubicación (por ejemplo, un ligero aumento en la Apertura en entornos sociales). En contraste, los sistemas agénticos (particularmente AutoGen) exhiben respuestas exageradas e inestables, con caídas significativas en rasgos relacionados con tareas como la Responsabilidad en diversas ubicaciones.
Cambios Impulsados por Eventos: Los eventos vitales negativos (por ejemplo, Divorcio, Desempleo) desencadenan cambios sustanciales en la personalidad.
- Gemini 2.0 Flash responde positivamente a eventos relacionales (aumento de Extraversión/Amabilidad) pero muestra estabilidad bajo eventos negativos en comparación con otros.
- GPT-4o-mini y Claude Sonnet 4 muestran descensos bruscos en Extraversión y Amabilidad, junto con aumentos marcados en el Neuroticismo durante eventos negativos.
- Los Sistemas Agénticos demuestran la mayor inestabilidad. AutoGen, por ejemplo, muestra caídas masivas en la Responsabilidad (hasta -20) y la Extraversión bajo eventos de "Desempleo" y "Graduación", superando con creces los tamaños de efecto humanos (que típicamente permanecen por debajo de 0.11).

Modulación por Personalidad Preestablecida

El estudio confirma que los LLM se adhieren de manera fiable a las instrucciones de personalidad preestablecidas. Crucialmente, el nivel preestablecido actúa como un fuerte moderador de los cambios inducidos por el contexto:

Preestablecidos Altos: Tienden a restringir o atenuar los cambios de rasgos (por ejemplo, los preestablecidos de Alta Extraversión resisten los descensos).
Preestablecidos Bajos: Tienden a amplificar los cambios, mostrando a menudo cambios positivos mayores o caídas negativas dependiendo del rasgo.
Polaridad: Bajo eventos que inducen estrés como el "Divorcio", los preestablecidos Bajos pueden experimentar aumentos grandes en el Neuroticismo, mientras que los Altos pueden mostrar descensos, lo que sugiere que la personalidad preestablecida restringe la dirección del cambio bajo estrés.

Impacto en el Desempeño de Razonamiento

Los cambios de personalidad no son meramente cosméticos; se correlacionan con cambios en la capacidad funcional.

Correlación Positiva: Los aumentos en la Apertura están vinculados a un mejor desempeño en el razonamiento (hasta +20% en la precisión de AGIEval).
Correlación Negativa: Los contextos de estrés que inducen grandes caídas en la Responsabilidad/Extraversión o grandes aumentos en el Neuroticismo están asociados con un desempeño degradado en tareas analíticas estructuradas (por ejemplo, LSAT-AR, LSAT-LR).

4. Contribuciones

El artículo realiza tres contribuciones principales:

Marco PTCBench: Un benchmark escalable y psicológicamente fundamentado que operacionaliza los cambios de personalidad inducidos por el contexto, ofreciendo una nueva dimensión para evaluar la robustez de los sistemas de LLM interactivos.
Mapeo Empírico: Un estudio a gran escala que mapea la dinámica de la personalidad de los LLM y los agentes, revelando alineaciones sistemáticas (por ejemplo, la dirección del cambio) y divergencias (por ejemplo, la magnitud del cambio) en comparación con los mecanismos psicológicos humanos.
Perspectivas Accionables: Evidencia de que la estabilidad de la personalidad es una propiedad del sistema controlable. Los hallazgos sugieren que las personalidades preestablecidas pueden servir como priors estables, pero las arquitecturas agénticas pueden amplificar la inestabilidad, lo que requiere límites explícitos en los cambios de rasgos para un despliegue fiable.

5. Significado y Reivindicaciones

Los autores posicionan a PTCBench como un paso necesario hacia el desarrollo de sistemas de IA robustos y psicológicamente alineados. El artículo afirma que:

El Contexto Importa: La personalidad en los LLM no es estática; emerge de la interacción entre los modelos base, las instrucciones del sistema, la memoria y la situación conversacional en evolución.
Compromiso entre Estabilidad y Flexibilidad: Mientras que algunos modelos fundacionales mantienen una estabilidad alineada con la humana, los sistemas agénticos a menudo exhiben una variabilidad amplificada, particularmente bajo eventos vitales negativos.
Impacto Funcional: Los cambios de personalidad influyen directamente en las capacidades descendentes como el razonamiento, lo que sugiere que la "personalidad" es una variable funcional, no solo estilística.
Implicaciones de Diseño: Para los desarrolladores, la estabilidad de la personalidad debe tratarse como una propiedad del sistema con límites explícitos. Para los investigadores, la evaluación debe ir más allá de los entornos estáticos para incluir perturbaciones contextuales y de personalidad.

El artículo concluye con afirmaciones modestas sobre la generalizabilidad, señalando que aunque el benchmark cubre modelos representativos, los hallazgos pueden no sostenerse para todas las arquitecturas emergentes. También aclara que las comparaciones con datos humanos son referencias cualitativas basadas en literatura agregada, no mapeos estrictos de uno a uno del comportamiento humano individual.