Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

Imagina que has construido un robot superinteligente que puede escribir historias, resolver problemas matemáticos y charlar sobre cualquier cosa. Pero hay un inconveniente: tienes que asegurarte de que no ayude accidentalmente a alguien a construir una bomba o a escribir una carta grosera. Este es el mundo de los Modelos de Lenguaje de Gran Escala (LLM), los cerebros de IA detrás de muchos de los chatbots que usamos hoy en día. Para mantenerlos seguros, los ingenieros los "alinean", enseñándoles a decir "No" a las peticiones peligrosas. Durante mucho tiempo, los científicos pensaron que esta "seguridad" era como una niebla suave e invisible esparcida uniformemente por todo el cerebro del robot. Si retocabas cualquier parte del cerebro, la seguridad podría oscilar un poco, pero se mantendría mayormente igual. Sin embargo, en el mundo real, estos escudos de seguridad son sorprendentemente frágiles. Un truco ingenioso o un pequeño cambio pueden hacer que el robot olvide sus reglas por completo. Esto plantea un misterio grande y jugoso: ¿Dónde exactamente está escondido el botón de "No" dentro del cerebro del robot? ¿Está esparcido por todas partes, o está guardado en un rincón específico y diminuto?

Un equipo de investigadores decidió jugar a ser detectives para resolver este misterio. En lugar de solo adivinar, intentaron un experimento salvaje: el trasplante de pesos. Imagina que tienes dos robots idénticos. Uno es el "Robot Bueno" (alineado con la seguridad) y el otro es el "Robot No Alineado" (la versión original, no alineada). Los investigadores comenzaron a intercambiar partes del cerebro del Robot Bueno en el Robot No Alineado, pieza por pieza, para ver qué partes realmente portaban el poder de "rechazo". No solo intercambiaron cerebros enteros; intercambiaron tipos específicos de conexiones, como las partes que se enfocan en las palabras (atención) frente a las partes que procesan y piensan (capas MLP).

Esto es lo que encontraron, y es un poco como descubrir que el "No" del robot no es un equipo entero de guardias, sino un escuadrón de especialistas muy específico y diminuto:

1. Las partes de "pensar" hacen el trabajo pesado
Los investigadores esperaban que las partes del cerebro que se enfocan en el contexto (llamadas pesos de atención) pudieran ser los principales guardias de seguridad. ¡Pero se equivocaron! Cuando intercambiaron solo las partes de "pensar" (llamadas pesos MLP) del Robot Bueno en el No Alineado, el Robot No Alineado de repente empezó a rechazar peticiones maliciosas al menos 2.7 veces más seguido que cuando intercambiaron las partes de "enfoque". Resulta que el "No" de la seguridad está codificado principalmente en las capas MLP, las partes de la red que realmente procesan y transforman la información.

2. El "medio" es la zona mágica
Pero no es cualquier parte de pensamiento. Los investigadores descubrieron que la señal de seguridad está concentrada en una sección media muy específica del cerebro. En los modelos que probaron, el poder de "rechazo" más fuerte se encontró en el Bloque 3, que corresponde a las capas 8 a 11. Si miras el cerebro del robot como un edificio de 28 pisos, los guardias de seguridad viven mayormente en los pisos 8 al 11. Cuando intercambiaron solo estos pisos específicos, el robot se volvió mucho mejor diciendo "No".

3. Más no siempre es mejor (El efecto "Goldilocks")
Aquí está el giro que hace que la historia sea aún más interesante. Los investigadores pensaron que si un bloque de seguridad era bueno, entonces intercambiar todos los bloques de seguridad sería perfecto. ¡Pero no fue así! En muchos casos, añadir más bloques alineados hacía que el robot fuera peor rechazando peticiones maliciosas. Es como tener un equipo de guardias de seguridad: si traes demasiados, pueden empezar a tropezar entre ellos o a discutir, y la seguridad en realidad disminuye. Los investigadores descubrieron que una mezcla selectiva de solo seis bloques a menudo funcionaba mejor que intercambiar todo el sistema de seguridad. A veces, añadir un séptimo bloque reducía la capacidad del robot para decir "No".

4. La trampa del "sobre-rechazo"
Hay otro inconveniente. Las mismas partes que hacen que el robot diga "No" a peticiones malas también hacen que diga "No" a peticiones inofensivas. Esto se llama sobre-rechazo. Cuando los investigadores intercambiaron los pesos MLP, el robot se volvió excelente para detener a los malvados, pero también empezó a rechazar preguntas inocentes como "¿Cuál es el clima?" o "Cuéntame un chiste". Esto sugiere que el mecanismo de seguridad es un instrumento algo tosco; es difícil separar la señal de "detener cosas malas" de la señal de "detener todo" simplemente intercambiando partes.

¿Por qué es esto importante?
Este descubrimiento sugiere que la seguridad en la IA no es un escudo gigante e inquebrantable esparcido por toda la red. En cambio, es una característica localizada y frágil, concentrada en unas pocas capas específicas. Esto explica por qué la seguridad de la IA puede ser tan quebradiza: si accidentalmente retocas o eliminas esas capas específicas (capas 8–11), todo el sistema de seguridad puede colapsar. También significa que, si queremos arreglar la seguridad de la IA en el futuro, no necesitamos reentrenar a todo el robot. Podríamos simplemente ajustar cuidadosamente o proteger esas capas "medias" específicas.

Los investigadores no encontraron una solución mágica que resuelva todos los problemas de seguridad. Descubrieron que la seguridad es sensible a la interacción, lo que significa que las partes del cerebro trabajan juntas de formas complejas, y no puedes simplemente volcar más partes de seguridad y esperar un mejor resultado. Pero al localizar exactamente dónde vive el "No", nos han dado un mapa para entender por qué la IA a veces falla y cómo podríamos construir sistemas de seguridad mejores y más robustos en el futuro. Es un recordatorio de que, incluso en el vasto y complejo mundo de la IA, las cosas más importantes suelen ocurrir en el medio.