Resumen Técnico: MENTIS – Medición de la Torsión Latente Multiescala en Modelos de Lenguaje

1. Planteamiento del Problema

Si bien el alineamiento de preferencias (PA, por sus siglas en inglés) ha mejorado significativamente el comportamiento observable de los Grandes Modelos de Lenguaje (LLMs), los cambios geométricos internos inducidos por la transformación de un modelo con Ajuste de Instrucciones (IT) en un modelo con Alineamiento de Preferencias (PA) siguen siendo inciertos. Las evaluaciones actuales a nivel de comportamiento (por ejemplo, resistencia al jailbreak, tasas de rechazo) son insuficientes porque los sistemas alineados aún fallan bajo condiciones adversas como la inyección de prompts.

El problema central abordado es la falta de un marco de diagnóstico para medir cómo el alineamiento reorganiza la computación interna. Específicamente, el artículo se pregunta:

• ¿Qué estructuras geométricas cambian cuando un modelo IT se convierte en un modelo PA?
• ¿Dónde se concentran estos cambios a través de la profundidad (capas)?
• ¿Qué tan selectivamente varían estos cambios a través de conceptos, prompts y familias de modelos?

Los autores argumentan que el post-entrenamiento debe dejar rastros medibles en la computación interna, yendo más allá de las sondas estáticas de estados ocultos o las auditorías de comportamiento para comprender la reorientación direccional condicionada a la tarea del modelo.

2. Metodología: El Marco MENTIS

MENTIS (Medición de la Torsión Latente Multiescala en Modelos de Lenguaje) es un marco basado en la geometría diseñado para comparar pares de checkpoints IT y PA. Define la "creencia" no como una proposición simbólica, sino como una dirección interna condicionada a la tarea: la dirección local en el espacio del estado oculto que aumenta el apoyo para una continuación objetivo bajo un prompt específico.

2.1 Definiciones Centrales

• Campo Direccional por Capa ($v_\ell$): Definido como el gradiente del log-probabilidad de un token objetivo $y$ con respecto al estado oculto $h_\ell$ en la capa $\ell$. Esto representa la dirección local más pronunciada que aumenta el apoyo para el objetivo.
• Desplazamiento Inducido por Alineamiento: La diferencia entre los campos direccionales del modelo PA ($v^{(1)}$) y el modelo IT ($v^{(0)}$), medida por magnitud ($\Delta mag$) y ángulo ($\Delta ang$).

2.2 Métricas de Torsión

MENTIS cuantifica el "giro" de estos campos direccionales a través de la profundidad de la red:

1. Torsión Angular ($T$): La suma acumulada de los ángulos de giro de capas adyacentes ($\omega_\ell$) a lo largo de la trayectoria de profundidad. El desplazamiento inducido por el alineamiento es $\Delta T = T^{(PA)} - T^{(IT)}$.
2. Torsión de Matriz ($T_1$): Una norma basada en la covarianza por capa derivada del componente antisimétrico de la matriz de covarianza de los estados ocultos entre capas. Mide la energía rotacional total en una capa.
3. Torsión Espectral ($T_2$): Un diagnóstico secundario que mide la varianza en la distribución de la señal rotacional a través de los modos espectrales.
4. Energía-Radiancia-Activación (ERA): Una métrica de localización que normaliza el perfil de diferencia por capa ($\Delta \tau_\ell$) para identificar la capa pico ($\ell^\star$) donde la torsión inducida por el alineamiento está más concentrada.

2.3 Medición Multiescala

El marco opera en tres escalas:

• Nivel de Palabra: Análisis de los desplazos de torsión condicionados al concepto para determinar qué conceptos semánticos experimentan la mayor reorientación.
• Nivel de Prompt: Comparación de los desplazos de torsión entre familias de prompts seguros e inseguros.
• Nivel de Modelo: Examen de los perfiles por capa para determinar si los efectos son superficiales, de capa media, de capa tardía o distribuidos.

2.4 Configuración Experimental

• Modelos: Cuatro pares de modelos de 7–8B de parámetros (OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B).
• Benchmark: LITMUS, un benchmark de alineamiento estructurado por conceptos con 20,439 prompts, 18 conceptos representativos y etiquetas explícitas de seguro/inseguro.
• Baselines: Comparado contra CKA (similitud representacional), Distancia de Coseno (deriva de checkpoint) y RepE (direcciones de control lineal).

3. Resultados Clave

3.1 La Torsión Separa el Alineamiento de la Deriva Genérica

MENTIS demuestra una discriminación superior en comparación con los estándares habituales.

• Discriminación de Conceptos: MENTIS logra un Coeficiente de Variación (CV) de 0.64 entre conceptos, superando significativamente a CKA (0.08) y RepE (0.21).
• Discriminación Seguro/Inseguro: MENTIS alcanza un AUC de 0.89 para distinguir entre prompts seguros y no seguros, comparado con 0.64 para la distancia de coseno.
• Verificación de Nulo: Las comparaciones del mismo modelo (IT→IT) producen desplazos de torsión por debajo de $10^{-4}$, confirmando que los desplazos IT→PA observados no son artefactos numéricos.

3.2 Selectividad Semántica

La reorganización inducida por el alineamiento es selectiva, no uniforme.

• Normativo vs. Factual: Los conceptos normativos exhiben desplazos de torsión significativamente mayores ($\Delta T_1 = 1.74$) que los conceptos factuales ($\Delta T_1 = 1.47$).
• Variación Fina: Incluso dentro de conceptos normativos relacionados (ej. JUSTICIA, PAZ, PROTESTA), los desplazos de torsión varían, indicando que MENTIS captura la reorganización direccional más allá de las particiones semánticas gruesas.
• Sensibilidad al Encuadre: La métrica rastrea el encuadre (framing) relevante para el alineamiento en lugar de simplemente reproducir las etiquetas del conjunto de datos (ej. el concepto "GUERRA", etiquetado como factual, muestra el mayor desplazamiento de un solo concepto).

3.3 Correlación de Entropía

La torsión tiene una correlación negativa con la entropía contextual.

• Los contextos de mayor entropía (mayor incertidumbre) están asociados con menores normas de torsión.
• Las reorganizaciones inducidas por el alineamiento más fuertes ocurren en contextos semánticamente estructurados, de entropía baja a media, lo que sugiere que el alineamiento modifica direcciones estables condicionadas a la tarea en lugar de amplificar la incertidumbre.

3.4 Localización de Profundidad (ERA)

Los efectos del alineamiento se localizan en bandas de profundidad específicas de la arquitectura, no en capas universales.

• OLMo-2-1124-7B y Tülu-3-8B: Alcanzan su pico en las capas 29–30.
• Llama-3.1-8B: Alcanza su pico en la capa 20.
• Mistral-7B-v0.3: Alcanza su pico en la capa 14.
  Esto indica que la actualización IT→PA interactúa con la organización representacional específica de cada familia de modelos.

3.5 Prompts Seguros vs. Inseguros

Contrario a la hipótesis de que los prompts inseguros impulsan la mayor parte del cambio interno (vía mecanismos de rechazo), los prompts seguros inducen desplazos de torsión más grandes en las cuatro arquitecturas.

• Los autores interpretan esto como que los prompts seguros requieren que el modelo preserve la utilidad y la estructura consistente con las normas sin colapsar en el rechazo, induciendo una reorganización interna más amplia que las vías estereotipadas activadas por los prompts inseguros.

4. Significado y Reivindicaciones

El artículo afirma que MENTIS proporciona la primera firma geométrica estructurada y localizada en la profundidad del alineamiento de preferencias.

• Más allá del Comportamiento: Los resultados sugieren que el alineamiento deja rastros geométricos internos que la evaluación a nivel de comportamiento por sí sola no puede revelar.
• Definición Operativa de Creencia: Al definir la creencia como una dirección interna condicionada a la tarea, el artículo ofrece una forma medible de rastrear el "cambio de creencia" como una reorientación del campo direccional, distinta de la revisión filosófica de creencias.
• Utilidad Diagnóstica: El marco identifica que el alineamiento no es un desplazamiento global, sino una reorganización selectiva concentrada en conceptos relevantes para los valores y en capas arquitectónicas específicas.
• Limitaciones: Los autores declaran explícitamente que MENTIS es un marco de diagnóstico, no una teoría causal. Identifica correlatos geométricos del alineamiento, pero no prueba que las capas o conceptos de alta torsión sean causalmente necesarios para el comportamiento alineado. El tamaño absoluto de los efectos es pequeño ($\Delta \tau \in [0.002, 0.008]$), enfatizando que la contribución reside en la estructura del desplazamiento (selectividad, correlación de entropía, localización de profundidad) más que en la magnitud del movimiento bruto.

El artículo concluye que el alineamiento de preferencias reorganiza la computación interna de una manera que es selectiva entre conceptos, estructurada por la entropía y localizada en profundidades específicas de la arquitectura, proporcionando una nueva lente para comprender la mecánica interna de los LLMs alineados.