Resumen Técnico: Sensibilidad Moral en los LLM

Declaración del Problema

Las evaluaciones de sesgo actuales para los Modelos de Lenguaje Grandes (LLM) dependen predominantemente de clasificaciones binarias ("sesgado" vs. "no sesgado"), que no logran capturar la naturaleza gradual y sensible al contexto de cómo surge el sesgo. Este encuadre binario oscurece la interacción dinámica entre las capacidades de razonamiento de base de un modelo y sus políticas de alineación de seguridad. Específicamente, los modelos a menudo exhiben un comportamiento neutral en escenarios abstractos, pero cambian abruptamente a rechazos impulsados por la seguridad o juicios moralizados cuando se introducen atributos demográficos sensibles (por ejemplo, raza, género, estatus socioeconómico). El artículo argumenta que este comportamiento cambiante indica que el sesgo contextual no es meramente un reflejo de asociaciones preentrenadas, sino una propiedad emergente de las intervenciones de alineación que anulan la toma de decisiones de base. Además, los puntos de referencia existentes no explican los mecanismos computacionales internos que impulsan estos cambios, ni tienen en cuenta cómo la destilación de modelos podría reintroducir sesgos que los modelos más grandes habían aprendido a suprimir.

Metodología

El estudio emplea un marco de evaluación de dos etapas: Perfilado Conductual y Validación Mecanicista.

1. Perfilado Conductual

• Conjunto de datos: Un conjunto de datos de "problema del tranvía" de siete niveles diseñado para aumentar incrementalmente la complejidad contextual:
  • Nivel 1: Línea base numérica (vidas anónimas).
  • Nivel 2: Edad (niños vs. ancianos).
  • Nivel 3: Responsabilidad (culpabilidad causal).
  • Nivel 4: Identidades sociales protegidas (raza, género).
  • Nivel 5: Estatus socioeconómico (riqueza, pobreza).
  • Nivel 6: Injusticia histórica.
  • Nivel 7: Proxies sistémicos combinados.
• Métrica: Se introduce el Índice de Sensibilidad Moral (MSI) como un marco cuantitativo para medir la intensidad de la anulación de la alineación de seguridad de un modelo. Se define como $MSI = \alpha B + \beta A + \gamma E$, donde:
  • $B$ (Puntuación de Sesgo): Grado de asociación estereotípica.
  • $A$ (Puntuación de Ambigüedad): Extensión de la evasividad o incertidumbre.
  • $E$ (Entropía Semántica): Variabilidad en el razonamiento a través de consultas repetidas.
  • Los coeficientes $\alpha, \beta, \gamma$ se derivan mediante regresión lineal múltiple.
• Modelos Evaluados: Cuatro modelos principales ajustados por instrucciones (Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5) y seis modelos para análisis mecanicista que abarcan tres niveles de capacidad: Modelos de Lenguaje Pequeños (SLM), Modelos Base ajustados por instrucciones y variantes de razonamiento destilado.

2. Pipeline de Interpretabilidad Mecanicista

Para rastrear la emergencia interna del sesgo, los autores aplican un pipeline de cinco pasos a escenarios de sesgo criminal (un subconjunto controlado de los hallazgos conductuales):

1. Lente de Logits: Sondeo de estados ocultos en cada capa para rastrear la evolución de $P(\text{Criminal})$ vs. $P(\text{No Criminal})$.
2. Análisis de Atención: Cálculo de cabezas de atención diferenciales que se centran en tokens asociados a delitos.
3. Parcheo de Activación: Intervención causal (ablación) de cabezas específicas para medir su impacto en la probabilidad de salida.
4. Análisis de Dirección Semántica: Proyección de conceptos sobre una dirección de valencia semántica construida a partir de léxicos positivos/negativos.
5. Reconstrucción del Circuito OV: Análisis de los tokens promovidos por las matrices de Valor de Salida (OV) de las cabezas implicadas.

Resultados Clave

Hallazgos Conductuales: "Personalidades Morales" Divergentes

El análisis del MSI revela estrategias de alineación distintas entre los modelos:

• Claude: Exhibe un perfil de "función escalón". Se mantiene relativamente medido en los niveles 1–3, pero experimenta una escalada aguda y no lineal en las tasas de sesgo en el Nivel 4 (identidades protegidas), alcanzando un 100% de etiquetado de sesgo en el Nivel 6. Esto sugiere una anulación codificada硬amente activada por el lenguaje de clases protegidas.
• Qwen: Muestra una estrategia de razonamiento "primero la categoría". Alcanza su punto máximo en ambigüedad (33.3%) en los niveles 2–3 antes de saltar al sesgo en el Nivel 5 (contexto socioeconómico). Utiliza una alta diversidad lingüística y vocabulario académico para navegar la complejidad en lugar de rechazar.
• Gemini: Muestra "escepticismo estructural". Comienza con una tasa de sesgo de base alta (37.5%) incluso en el Nivel 1, cuestionando la premisa utilitarista en sí misma. Su mayor certeza de sesgo ocurre en el Nivel 5 (contexto socioeconómico), lo que sugiere una sensibilidad a la desigualdad basada en la clase sobre la raza/género.
• Tendencia General: La desigualdad socioeconómica y geográfica (Nivel 5) actúa como un potente disparador moral, a menudo anulando la lógica utilitarista con más fuerza que otros factores.

Hallazgos Mecanicistas: La Curva-U del Sesgo

El estudio identifica una "Curva-U" no monótona en el sesgo de etiquetado criminal a través de las capacidades del modelo:

1. SLM (3–4B): Exhiben un fuerte sesgo criminal (por ejemplo, Llama 3.2 3B asigna un 87.3% de probabilidad a la opción "Criminal").
2. Modelos Base (7–8B): Los modelos base ajustados por instrucciones suprimen con éxito este sesgo (por ejemplo, Llama 3.1 8B cae al 0.8%).
3. Modelos Destilados (7–8B): La destilación de razonamiento reintroduce el sesgo a niveles comparables o superiores a los SLM (por ejemplo, Distill-Qwen-7B vuelve al 95.7%).

Mecanismos Internos de la Curva-U:

• Emergencia: En los modelos destilados, la preferencia por la etiqueta "Criminal" emerge antes en la red (por ejemplo, Capa 4 en Distill-Llama-8B vs. Capa 8 en Base-Llama) y está más firmemente comprometida.
• Reorganización de la Atención: La destilación reestructura los patrones de atención, concentrando las cabezas de enfoque criminal en posiciones específicas tempranas o tardías en lugar de los patrones ampliamente distribuidos observados en los modelos base.
• Concentración Causal: Los estudios de ablación muestran que los modelos destilados dependen de menos cabezas altamente causales para impulsar el sesgo. Por ejemplo, la ablación de la cabeza superior en Distill-Llama-8B tiene un tamaño de efecto casi tres veces mayor que el del modelo base.
• Compresión Semántica: La destilación comprime la distancia semántica entre conceptos demográficos neutrales y el ancla "Criminal". En la familia Qwen, conceptos neutrales como "Científico" y "Ciudadano" cruzan hacia el espacio de valencia criminal positiva en los modelos destilados, mientras que permanecen distintos en los modelos base.
• Contenido Léxico: La reconstrucción del circuito OV revela que las cabezas en los modelos destilados escriben contenido léxico explícitamente negativo (por ejemplo, "sucio", "sin valor"), mientras que las cabezas del modelo base promueven tokens neutrales o incoherentes.

Significado y Afirmaciones

El artículo afirma proporcionar el primer marco unificado que vincula los cambios conductuales observables en el razonamiento moral con sus circuitos computacionales subyacentes. Sus contribuciones principales son:

1. Cuantificación del Sesgo Contextual: El marco MSI va más allá de la evaluación binaria, identificando "puntos de ruptura moral" específicos donde los modelos abandonan la lógica por respuestas impulsadas por la seguridad.
2. Descubrimiento de la Paradoja de la Destilación: El estudio proporciona evidencia empírica de que el proceso de "destilar" modelos para mejorar la eficiencia reintroduce en realidad sesgos que los modelos base más grandes habían aprendido con éxito a evitar. Esto sugiere que la destilación comprime las huellas de razonamiento de maneras que reactivan asociaciones estadísticas superficiales y degradan las representaciones internas relevantes para la seguridad.
3. Explicación Mecanicista: La investigación identifica que la reintroducción del sesgo no es meramente un artefacto conductual, sino que se basa en estructuras de atención reorganizadas, cabezas causales concentradas y geometrías semánticas comprimidas.
4. Relevancia Regulatoria: Los autores argumentan que estos hallazgos requieren auditorías post-destilación. Con las próximas regulaciones como la Ley de IA de la UE y la Ley de IA de Colorado que requieren exámenes documentados de sesgo, el artículo ofrece un protocolo graduado y fundamentado mecanicistamente para evaluar sistemas de alto riesgo.

El estudio concluye que los objetivos actuales de destilación, que optimizan la fidelidad de la salida, no logran preservar las representaciones internas relevantes para la seguridad, destacando una brecha crítica en la alineación de modelos eficientes y destilados.