💬 NLP

Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

Este artículo demuestra que el efecto Knobe, un sesgo moral en los juicios de intencionalidad, surge en modelos de lenguaje de gran tamaño ajustados (finetuned), pero puede localizarse en capas específicas y mitigarse mediante intervenciones de parcheo de capas dirigidas sin necesidad de reentrenamiento.

Autores originales: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Publicado 2026-07-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot cómo ser un buen juez. No solo le das un libro de reglas; le muestras miles de historias sobre personas tomando decisiones y le preguntas: "¿Esa persona estaba siendo buena o mala?". Con el tiempo, el robot aprende patrones. Pero aquí está la parte complicada: los humanos no somos jueces perfectos. A menudo tenemos sesgos ocultos. Por ejemplo, si una persona causa accidentalmente un mal resultado, es mucho más probable que digamos: "¡Quería hacerlo!", que si accidentalmente causara un buen resultado. Este es un truco psicológico famoso llamado el "efecto Knobe". Es como si nuestros cerebros tuvieran un filtro incorporado que nos hace pensar que los accidentes malos fueron en realidad intencionados, mientras que los accidentes buenos fueron simplemente suerte.

Ahora, los científicos están preocupados de que, si enseñamos a los robots a actuar como nosotros, puedan adquirir estos mismos filtros extraños. Si un robot toma decisiones morales por nosotros, necesitamos saber: ¿piensa como un humano o es solo una calculadora gigante? Aquí es donde entra la "interpretabilidad mecánica". Piensa en el cerebro de un robot gigante como una ciudad masiva con millones de diminutos trabajadores (neuronas) pasándose notas entre sí. La interpretabilidad mecánica es como ponerse gafas de rayos X para ver exactamente qué trabajadores están pasando qué notas. En lugar de simplemente adivinar por qué el robot dio cierta respuesta, podemos mirar dentro de la máquina para ver los engranajes específicos girando. Esto importa porque si podemos encontrar exactamente dónde vive un sesgo dentro del robot, tal vez podamos arreglar solo ese engranaje sin tener que reconstruir toda la ciudad.

Los investigadores en este artículo decidieron poner esta idea a prueba. Querían ver si los modelos de IA populares (específicamente Llama, Mistral y Gemma) habían captado el "efecto Knobe" y, si lo habían hecho, si podían encontrar el lugar exacto en el cerebro de la IA donde se escondía este sesgo. Comenzaron probando los modelos de IA con las mismas historias morales utilizadas con voluntarios humanos. Descubrieron que los modelos de IA "crudos", que no habían sido enseñados todavía a hablar como los humanos, no mostraban realmente este sesgo. Sus respuestas eran bastante equilibradas. Sin embargo, una vez que los investigadores hicieron un "ajuste fino" (finetuning) de los modelos —entrenándolos para seguir instrucciones y alinearse con las preferencias humanas— el sesgo apareció de repente. La IA empezó a actuar igual que nosotros: era mucho más probable que dijera que un mal resultado era intencionado que uno bueno.

Pero la verdadera magia ocurrió cuando miraron dentro de la máquina. Usando una técnica llamada "parcheo de capas" (Layer-Patching), los investigadores trataron a la IA como un conjunto de capas apiladas, como los pisos de un rascacielos. Sospechaban que el sesgo no estaba esparcido por todas partes, sino que estaba atrapado en un conjunto específico de pisos. Para probar esto, tomaron los "pensamientos" (activaciones) del modelo crudo y no sesgado y los intercambiaron en el modelo sesgado y ajustado, un piso a la vez. Fue como tomar un plano limpio y sin sesgos y pegarlo sobre un piso específico de un edificio corrupto para ver si toda la estructura volvía a ser honesta de nuevo.

Los resultados fueron sorprendentemente precisos. Descubrieron que el sesgo no estaba disperso aleatoriamente; estaba localizado en las capas medias-superiores del cerebro de la IA. Incluso más emocionante, descubrieron que intercambiar solo una capa específica de la versión sin sesgos en el modelo sesgado era suficiente para borrar casi por completo el efecto Knobe. Para algunos modelos, el sesgo cayó de una diferencia fuerte de 1.6 o 3.8 a casi cero (0.00 o 0.03). Y lo mejor de todo fue que lo hicieron sin reentrenar el modelo ni cambiar sus pesos. Fue una reparación quirúrgica. También comprobaron si esta "cirugía" rompía la capacidad del robot para hacer otras cosas, como responder preguntas generales, y descubrieron que los modelos seguían siendo igual de inteligentes que antes.

El artículo sugiere que estos sesgos sociales no son una magia misteriosa e infijeable que emerge de todo el sistema. En cambio, son patrones específicos y localizados que se escriben en el cerebro de la IA durante el proceso de entrenamiento donde intentamos que actúe como un humano. Al usar estas gafas de rayos X e intercambios quirúrgicos, los investigadores demostraron que podemos detectar estos sesgos y eliminarlos con intervenciones dirigidas, manteniendo a la IA útil sin los rasgos humanos no deseados.

Resumen Técnico: Análisis del Sesgo Moral en LLMs con Ajuste Fino mediante Interpretabilidad Mecanística

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado la capacidad de internalizar sesgos de apariencia humana durante el proceso de ajuste fino (finetuning), sin embargo, los mecanismos específicos a través de los cuales estos sesgos se manifiestan dentro de la arquitectura del modelo siguen sin estar claros. Mientras que los estudios conductuales confirman que los LLMs pueden reproducir sesgos cognitivos como el efecto Knobe —un fenómeno donde los individuos tienden a juzgar una acción como intencional cuando esta conduce a un efecto secundario negativo en comparación con uno positivo, incluso con intenciones idénticas—, la representación interna de este sesgo no se comprende bien.

El artículo aborda tres preguntas de investigación primarias:

RQ1: ¿Exhiben los LLMs el efecto Knobe, y hasta qué punto es una consecuencia del ajuste fino frente al preentrenamiento?
RQ2: ¿Son capas específicas del Transformer las responsables de codificar este sesgo moral?
RQ3: ¿Pueden las intervenciones dirigidas, específicamente el Layer-Patching (parcheo de capas), mitigar o eliminar este sesgo sin reentrenar el modelo?

Metodología

Modelos y Datos

El estudio evaluó tres familias de LLMs de pesos abiertos: Llama-3 (específicamente variantes de 8B y 1B), Mistral (7B) y Gemma (variantes de 9B, 2B y 27B). Se analizaron tanto las versiones preentrenadas ( $M_p$ ) como las instruidas/ajustadas por instrucciones ( $M_f$ ).

El conjunto de datos consistió en 80 escenarios morales adaptados de Ngo et al. [27], derivados de los estudios originales del efecto Knobe. Cada escenario presentaba a un agente realizando una acción con un efecto secundario conocido (ya sea positivo o negativo) pero sin preocuparse por el resultado. Se le pidió al modelo que asignara una puntuación de intencionalidad de 0 (no intencional) a 10 (totalmente intencional).

Para simular la variabilidad de la respuesta humana y evitar salidas deterministas, los autores emplearon un muestreo estocástico con una semilla fija pero con temperatura aleatorizada ( $T \sim U[0.85, 1.15]$ ) a través de 283 generaciones por modelo por escenario.

Diseño Experimental

Análisis Conductual (RQ1): Los autores calcularon el tamaño del efecto Knobe ( $\Delta_{Knobe}$ ) como la diferencia entre las puntuaciones medias de intencionalidad para las condiciones negativas ( $\mu_{neg}$ ) y positivas ( $\mu_{pos}$ ). La significancia estadística se evaluó mediante un ANOVA de medidas repetidas.
Localización Mecanística (RQ2): Utilizando la librería TransformerLens, los autores extrajeron las activaciones del flujo residual de cada capa. Computaron la diferencia absoluta en las activaciones medias entre los escenarios negativos y positivos ( $\delta_l$ ) para cada capa $l$ . Al comparar estas diferencias entre los modelos preentrenados y ajustados, identificaron las capas donde se codifica el sesgo.
Intervención mediante Layer-Patching (RQ3): Los autores implementaron un algoritmo de Layer-Patching. Para una capa específica $l$ en el modelo ajustado, las activaciones residuales se reemplazaron con las activaciones correspondientes del modelo preentrenado durante la inferencia. El paso hacia adelante (forward pass) continuó utilizando estas activaciones parcheadas. Este proceso se repitió para cada capa para determinar qué capa específica, al ser "desbiaseada", reducía más eficazmente el $\Delta_{Knobe}$ .

Resultados Clave

1. Emergencia del Sesgo vía Ajuste Fino (RQ1)

Modelos Preentrenados: Mostraron un efecto Knobe insignificante o nulo. Las distribuciones de las puntuaciones de intencionalidad para escenarios negativos y positivos se solapaban ampliamente, indicando que los modelos base no poseen inherentemente esta asimetría moral específica.
Modelos Ajustados: Exhibieron un efecto Knobe significativo y sistemático. Todos los modelos ajustados asignaron puntuaciones de intencionalidad más altas a los efectos secundarios negativos que a los positivos.
Magnitud: El efecto fue más pronunciado en Gemma-2-9B ( $\Delta_{Knobe} = 3.83$ ), seguido de Mistral-7B ($1.67$) y Llama-3.1-8B ($1.60$).
Comparación con Humanos: La magnitud del sesgo en los modelos ajustados se acercó o superó las líneas base conductuales humanas (humano $\Delta_{Knobe} \approx 3.15$ ), lo que sugiere que los procedimientos de alineación pueden amplificar los sesgos cognitivos humanos.

2. Localización del Sesgo (RQ2)

Especificidad de Capa: El sesgo no estaba distribuido de forma difusa. Las diferencias de activación entre las condiciones morales fueron mínimas en los modelos preentrenados, pero se volvieron altamente localizadas en las capas medias-finales del Transformer en los modelos ajustados.
Interpretación: Esto sugiere que, mientras el preentrenamiento captura coocurrencias estadísticas, el proceso de ajuste fino (específicamente el ajuste por instrucciones) introduce una asimetría evaluativa estructurada que se codifica en las capas superiores, semánticamente ricas, de la arquitectura.

3. Mitigación mediante Layer-Patching (RQ3)

Efectividad: Reemplazar las activaciones en una sola capa crítica con las del modelo preentrenado fue suficiente para casi eliminar el efecto Knobe.
- Llama-3.1-8B: $\Delta_{Knobe}$ se redujo de 1.60 a 0.00.
- Mistral-7B: $\Delta_{Knobe}$ se redujo de 1.67 a 0.00.
- Gemma-2-9B: $\Delta_{Knobe}$ se redujo de 3.83 a 0.03.
Preservación de la Utilidad: La intervención no requirió reentrenamiento. La evaluación en benchmarks estándar (ARC-Easy, HellaSwag, MMLU, TruthfulQA) mostró que los modelos parcheados mantuvieron niveles de rendimiento comparables a los baselines ajustados, con solo regresiones menores (~1%).

4. Estudio de Ablación: Escala del Modelo

El estudio examinó modelos más pequeños (1B, 2B) y más grandes (27B).

Consistencia: El patrón se mantuvo en todas las escalas: los modelos preentrenados no mostraron un sesgo significativo, mientras que los modelos ajustados exhibieron el efecto Knobe.
Escalamiento: La magnitud absoluta del sesgo aumentó con el tamaño del modelo (por ejemplo, Gemma-2-27B mostró un $\Delta_{Knobe}$ de 6.07), sugiriendo que los modelos más grandes internalizan y amplifican estos constructos morales abstractos con mayor fuerza cuando son alineados.

Significado y Reivindicaciones

El artículo sostiene que los sesgos sociales en los LLM no son meramente propiedades emergentes y difusas de toda la red, sino que pueden ser localizados mecánicamente a subcomponentes funcionales específicos (capas específicas).

Contribuciones clave incluyen:

Atribución Causal: Demostrar que el efecto Knobe es inducido principalmente por el proceso de ajuste fino/alineación en lugar de solo por los datos de preentrenamiento.
Modularidad del Sesgo: Mostrar que los sesgos morales operan como computaciones modulares dentro de la arquitectura Transformer, específicamente en las capas medias-finales.
Mitigación Práctica: Probar que el Layer-Patching ofrece un método quirúrgico y post-hoc para eliminar sesgos morales específicos sin el costo computacional del reentrenamiento y sin una degradación catastrófica de las capacidades generales.

Los autores concluyen que este trabajo une la interpretabilidad y la equidad, sugiriendo que las intervenciones dirigidas pueden controlar la emergencia de sesgos cognitivos de tipo humano en los LLM, ofreciendo una vía para el despliegue más responsable de estos modelos en tareas de razonamiento ético.