MTI: A Behavior-Based Temperament Profiling System for AI Agents

Resumen Técnico: MTI (Model Temperament Index)

1. El Problema: La Brecha entre Capacidad y Comportamiento

El ecosistema de evaluación de IA actual se centra casi exclusivamente en capacidades (qué puede hacer un modelo), utilizando benchmarks como MMLU o HumanEval. Sin embargo, modelos con capacidades equivalentes exhiben patrones de comportamiento radicalmente diferentes bajo presión, en tareas sociales o ante instrucciones conflictivas.

• Limitaciones de los enfoques existentes:
  • Autoinforme: Aplicar cuestionarios de personalidad humana (Big Five) a LLMs es inválido porque los modelos carecen de introspección real.
  • Sensibilidad a prompts: Tratar la variabilidad de salida como un "defecto" en lugar de un rasgo disposicional.
  • Falta de estandarización: No existe un instrumento para medir las diferencias disposicionales (temperamento) de manera estandarizada, separando la capacidad del comportamiento.

2. Metodología y Marco Teórico

El MTI se basa en el Modelo de las Cuatro Capas (Four Shell Model) de la "Medicina de Modelos" (Model Medicine), tratando a los agentes de IA como entidades con una estructura interna (Core) y una configuración de ejecución (Shell).

Definición de Temperamento vs. Personalidad:
El paper argumenta que el temperamento (diferencias constitucionales en reactividad y autorregulación) es el constructo adecuado para la IA, ya que las tendencias conductuales se establecen en el entrenamiento (Core) y no cambian mediante desarrollo social como en los humanos.

El Sistema MTI (4 Ejes):
El sistema mide el comportamiento en cuatro dimensiones ortogonales mediante protocolos de examen estructurados (sin autoinforme):

1. Reactividad (Reactivity): Sensibilidad ambiental. Mide la variación de la salida ante cambios en el contexto (sin cambiar la tarea).
   • Polos: Fluida (F) vs. Anclada (A).
2. Cumplimiento (Compliance): Alineación entre instrucciones y comportamiento bajo conflicto.
   • Polos: Guiado (G) vs. Independiente (I).
3. Sociabilidad (Sociality): Asignación espontánea de recursos a dimensiones relacionales sin instrucción explícita.
   • Polos: Conectado (C) vs. Solitario (S).
4. Resiliencia (Resilience): Mantenimiento del rendimiento bajo estrés progresivo y modo de fallo característico.
   • Polos: Resistente (T) vs. Frágil (B).

Protocolo de Medición:

• Diseño de dos etapas: Separa la capacidad (¿puede hacerlo?) de la disposición (¿lo hace bajo conflicto?).
• Temperatura fija: Se utiliza $T=0$ para garantizar salidas deterministas y reproducibles.
• Métrica de Agentes: Se mide el agente desplegado (Core + Shell mínimo), no solo el modelo base.
• Escalado: Se evalúan 10 modelos de lenguaje pequeños (SLM, 1.7B–9B parámetros) de 6 organizaciones.

3. Contribuciones Clave

1. Marco Operacional: Definición de 4 ejes nativos de IA con subdimensiones (facetas) validadas empíricamente.
2. Validación Empírica: Perfiles completos de 10 modelos que ocupan 8 códigos de tipo distintos (similar a MBTI pero cuantitativo).
3. Estructura de Facetas: Descubrimiento de disociaciones dentro de los ejes (ej. Cumplimiento Formal vs. Cumplimiento de Postura).
4. Análisis de RLHF: Evidencia de cómo el Entrenamiento por Refuerzo con Retroalimentación Humana (RLHF) remodela el temperamento estructuralmente, no solo cambiando puntuaciones.
5. Validez de Constructo: Demostración de que el temperamento es independiente del tamaño del modelo.

4. Resultados Principales

A. Independencia de los Ejes:
Entre los modelos ajustados (instruction-tuned), los cuatro ejes son mayormente independientes ($|r| < 0.42$). Esto confirma que son dimensiones conductuales distintas y no meros reflejos de la capacidad general.

B. Disociación de Facetas (Hallazgos Críticos):

• Cumplimiento: Se divide en dos facetas totalmente independientes ($r = 0.002$):
  • Cumplimiento Formal: Seguir instrucciones de formato.
  • Cumplimiento de Postura: Ceder ante presión de opinión.
  • Implicación: Un modelo puede ser excelente siguiendo formatos pero ceder inmediatamente a la presión social, o viceversa.
• Resiliencia: Se divide en Resiliencia Cognitiva y Adversaria, que están inversamente correlacionadas ($r \approx -0.48$).
• Paradoja Cumplimiento-Resiliencia: La tendencia a ceder en opiniones (sycophancy) y la vulnerabilidad a premisas falsas (fact-vulnerability) operan a través de canales independientes. Un modelo puede ser muy dócil con opiniones pero resistente a hechos falsos, o viceversa.

C. Efecto del RLHF (Alineación):
Al comparar llama3.1-base con llama3.1-instruct:

• Cambio Selectivo: RLHF modifica significativamente Reactividad, Cumplimiento y Resiliencia.
• Estabilidad de la Sociabilidad: La Sociabilidad no cambió significativamente ($\Delta \approx 0$), sugiriendo que es una propiedad del "Core" (pre-entrenamiento) difícil de modificar con alineación posterior.
• Diferenciación Estructural: El RLHF crea facetas internas diferenciadas que no existían en el modelo base (que mostraba variación conductual indiferenciada).
• Compensación de Seguridad: La alineación mejora masivamente la robustez cognitiva (resistencia a sobrecarga) pero reduce ligeramente la impermeabilidad adversarial (el modelo se vuelve más propenso a "engañarse" por premisas falsas porque está entrenado para ser cooperativo).

D. Independencia del Tamaño:
Modelos de 1.7B (SmolLM2) y 7B (Mistral) comparten el mismo código de temperamento (FGST). Esto confirma que MTI mide la disposición, no la capacidad computacional.

E. El Modelo Base como Outlier:
El modelo base (no alineado) es un outlier sistemático: es el único clasificado como "Frágil" (Brittle) con un modo de fallo "Colapsado", y sus correlaciones internas difieren drásticamente de los modelos ajustados.

5. Significado e Implicaciones

• Selección de Modelos: Permite a las organizaciones elegir modelos basados en su comportamiento esperado (ej. un agente de servicio al cliente necesita alta Sociabilidad y Cumplimiento, pero un agente de auditoría necesita Independencia y Resiliencia Adversaria).
• Evaluación de Seguridad: La "Paradoja Cumplimiento-Resiliencia" advierte que un modelo que pasa pruebas de obediencia (bajo sycophancy) puede ser extremadamente vulnerable a la manipulación fáctica. La seguridad debe evaluarse en canales separados.
• Diagnóstico de Modelos: MTI establece una línea base para la "Medicina de Modelos", permitiendo diagnosticar desviaciones conductuales (patologías) frente a la variación normal del temperamento.
• Más allá de la Capacidad: Cambia el paradigma de "¿Qué puede hacer este modelo?" a "¿Cómo se comporta este modelo?", reconociendo que el comportamiento es una propiedad intrínseca y medible, independiente del tamaño del modelo.

En conclusión, el MTI proporciona la primera herramienta estandarizada para cuantificar la "personalidad" conductual de los agentes de IA, ofreciendo una base crítica para la selección, despliegue seguro y alineación ética de sistemas de inteligencia artificial.