Moral Susceptibility and Robustness under Persona Role-Play in Large Language Models

1. Problema y Motivación

A medida que los Modelos de Lenguaje Grande (LLMs) se integran en contextos sociales interactivos y entornos multi-agente, surge la necesidad crítica de evaluar cómo estos modelos expresan y modifican sus juicios morales bajo diferentes condiciones.

• El desafío: Existe una falta de benchmarks estandarizados que midan la estabilidad de los valores morales de un modelo cuando se le pide que adopte una "persona" o rol específico (role-play).
• La pregunta clave: ¿Son los juicios morales de un LLM robustos (estables) independientemente del personaje que interprete, o son altamente susceptibles (sensibles) a las variaciones en la identidad del personaje? Además, ¿cómo influyen el tamaño del modelo y la familia arquitectónica en estas propiedades?

2. Metodología

Los autores proponen un nuevo benchmark que combina el Cuestionario de Fundamentos Morales (MFQ, por sus siglas en inglés) con la técnica de persona role-play.

• Instrumento de Medición: Utilizan el MFQ, una herramienta estándar en psicología moral que evalúa cinco fundamentos:

  1. Daño/Cuidado (Harm/Care)
  2. Justicia/Reciprocidad (Fairness/Reciprocity)
  3. Lealtad/Grupo (In-group/Loyalty)
  4. Autoridad/Respeto (Authority/Respect)
  5. Pureza/Santidad (Purity/Sanctity)
     El cuestionario consta de 30 preguntas (15 de relevancia y 15 de acuerdo) con una escala de 0 a 5.

• Configuración Experimental:

  • Personas: Se evaluaron 100 descripciones de personajes diversas (extraídas de trabajos previos de Ge et al., 2025).
  • Modelos: Se probaron 15 modelos de diferentes familias (Claude, DeepSeek, Gemini, GPT-4, Grok, Llama) y tamaños (desde versiones "Nano" hasta "Sonnet" o "Pro").
  • Procedimiento: Para cada modelo, se solicitó que respondiera a las 30 preguntas del MFQ asumiendo cada una de las 100 personas. Cada par (persona-pregunta) se consultó $n=10$ veces para capturar la variabilidad estocástica.
  • Parámetros: Temperatura de decodificación fija en $T=0.1$ para mantener la consistencia en la dispersión de las respuestas.

• Definición de Métricas:

  1. Robustez Moral ($R$): Mide la estabilidad de las puntuaciones del MFQ dentro de una misma persona ante múltiples muestreos (repetidas consultas). Se define como el inverso de la desviación estándar promedio dentro de la persona. Un valor alto indica que el modelo es consistente al interpretar un rol específico.
  2. Susceptibilidad Moral ($S$): Mide la sensibilidad de las puntuaciones del MFQ ante la variación entre diferentes personas. Se calcula a partir de la desviación estándar de las medias entre diferentes grupos de personas. Un valor alto indica que el modelo cambia drásticamente sus juicios morales dependiendo del personaje que interpreta.

3. Contribuciones Clave

• Nuevo Benchmark: Introducción de un marco cuantitativo para separar la variabilidad debida al muestreo (ruido interno) de la variabilidad debida al condicionamiento de la personalidad (sesgo externo).
• Perfiles Morales: Generación de perfiles detallados de los fundamentos morales para modelos sin condicionamiento (self) y promediados a través de múltiples personas.
• Análisis de Correlación: Estudio de la relación entre robustez y susceptibilidad, revelando patrones de co-variación a nivel de familia de modelos.

4. Resultados Principales

A. Robustez Moral

• Factor Dominante: La familia del modelo explica la mayor parte de la varianza en la robustez. El tamaño del modelo (dentro de la misma familia) no mostró un efecto sistemático significativo.
• Rendimiento por Familia:
  • Más Robusto: La familia Claude (específicamente Claude Sonnet 4.5) es significativamente la más robusta, manteniendo juicios estables independientemente de la persona.
  • Menos Robusto: La familia Grok (específicamente Grok 4) muestra la menor robustez.
  • Intermedios: Gemini y GPT-4 se sitúan en un nivel intermedio.

B. Susceptibilidad Moral

• Factor Dominante: A diferencia de la robustez, la susceptibilidad muestra un efecto claro del tamaño del modelo dentro de la familia: las variantes más grandes tienden a ser más susceptibles (cambian más sus juicios según la persona).
• Rendimiento por Modelo:
  • Más Susceptible: Gemini 2.5 Flash.
  • Menos Susceptible: Llama-4 Scout.
• Correlación: Existe una correlación positiva entre robustez y susceptibilidad. Esto implica que los modelos que son más estables internamente (robustos) también tienden a ser más sensibles a los cambios de personalidad (susceptibles), una relación más pronunciada a nivel de familia que a nivel de modelo individual.

C. Perfiles de Fundamentos Morales

• Los modelos sin rol (self) tienden a puntuar más alto en "Justicia/Reciprocidad" y "Daño/Cuidado".
• Al promediar sobre todas las personas, se observa un cambio en los perfiles, destacando que la "Pureza/Santidad" es el fundamento donde la diferencia entre el promedio de modelos y el promedio de personas es más notable.
• Ciertas personas (IDs específicas) inducen consistentemente puntuaciones extremas (muy altas o muy bajas) en fundamentos específicos, como "Lealtad" o "Autoridad".

5. Significado e Impacto

• Evaluación de Seguridad y Alineación: El estudio demuestra que la "personalidad" asignada a un LLM no es un mero adorno superficial, sino un factor que altera sustancialmente sus juicios éticos. Esto es crucial para aplicaciones donde la consistencia moral es vital (ej. asistentes legales, médicos o educativos).
• Diseño de Modelos: Los resultados sugieren que la arquitectura de la familia del modelo es más determinante para la estabilidad moral que el simple aumento de parámetros. Sin embargo, los modelos más grandes pueden ser más "flexibles" (y por tanto más manipulables) en sus juicios morales.
• Riesgos y Oportunidades: La identificación de la susceptibilidad moral permite entender cómo los actores malintencionados podrían usar prompting de roles para manipular el comportamiento ético de un modelo. Por otro lado, ofrece una métrica para diseñar sistemas más alineados y predecibles.

En conclusión, el paper proporciona una visión sistemática de cómo el condicionamiento de personas moldea el comportamiento moral de los LLMs, estableciendo que la estabilidad y la flexibilidad moral son propiedades distintas influenciadas por diferentes factores arquitectónicos y de escala.