Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks

Los sistemas modernos de inteligencia artificial se están volviendo cada vez más capaces, siendo capaces de escribir código, diagnosticar condiciones médicas y generar contenido creativo. Con este poder viene una responsabilidad significativa: asegurar que estas máquinas no aprendan a generar instrucciones dañinas, como cómo construir armas o crear agentes biológicos peligrosos. Para prevenir esto, los desarrolladores entrenan a los modelos para reconocer peticiones inseguras y declinarlas cortésmente, un proceso conocido como entrenamiento de rechazo. Sin embargo, ha surgido una vulnerabilidad preocupante. Los investigadores han descubierto que, en muchos modelos avanzados, este comportamiento de rechazo no es una red de defensas compleja y distribuida, sino más bien un camino único y estrecho en el espacio de pensamiento interno del modelo. Si un atacante puede identificar y bloquear este camino específico, puede engañar al modelo para que ignore sus reglas de seguridad y cumbre con peticiones peligrosas. Esta debilidad sugiere que la forma misma en que se enseña la seguridad podría estar creando un punto único de falla.

Un investigador de la Universidad de California en San Diego se propuso comprender por qué se forma esta estructura frágil de un solo camino y si se puede hacer más robusta. Se centró en un tipo específico de modelo de IA para rastrear los orígenes de su comportamiento de rechazo directamente hasta el proceso de entrenamiento. Su investigación reveló que la geometría del mecanismo de rechazo es un reflejo directo de cómo se le enseñó al modelo a decir que no. Específicamente, descubrieron que cuando un modelo es entrenado para rechazar una petición dañina, los cambios que realiza en su estado interno están fuertemente influenciados por la mismísima primera palabra que utiliza para comenzar su rechazo. Si los datos de entrenamiento obligan al modelo a comenzar cada rechazo con la misma frase, como "Lo siento", los ajustes internos del modelo se vuelven altamente concentrados. Esta concentración crea una estructura de baja dimensión, lo que significa que el comportamiento de rechazo depende de un número muy pequeño de direcciones en su espacio interno. Debido a que el comportamiento está tan concentrado, es fácil para un atacante encontrar esa dirección única y neutralizarla, logrando efectivamente un "jailbreak" del modelo.

El investigador probó esta teoría examinando cómo diferentes patrones de entrenamiento afectaban la resiliencia del modelo. Observó que cuando los datos de entrenamiento de rechazo eran repetitivos, con el modelo aprendiendo a comenzar cada rechazo con el mismo token, el mecanismo de seguridad resultante era, de hecho, quebradizo. Los cambios internos estaban tan enfocados que eliminar un solo vector podía deshabilitar la capacidad de rechazo por completo. Sin embargo, cuando introdujeron diversidad en el proceso de entrenamiento, requiriendo que el modelo aprendiera de rechazos que comenzaban con muchas palabras y frases diferentes, el resultado cambió drásticamente. Al forzar al modelo a distribuir su aprendizaje a través de una variedad más amplia de puntos de partida, los cambios internos se volvieron más dispersos. Esto aumentó el rango efectivo de los ajustes internos del modelo, haciendo que el mecanismo de rechazo fuera menos dependiente de una sola dirección.

Para verificar que esta diversidad realmente fortalecía al modelo, el investigador realizó experimentos controlados donde ajustó finamente el modelo con conjuntos de datos con niveles variables de diversidad de rechazo. Encontraron un patrón claro: los modelos entrenados con inicios de rechazo diversos eran significلmente más difíciles de romper. Cuando se sometían al mismo tipo de ataque que superaba fácilmente a los modelos repetitivos, los modelos diversos mantenían su comportamiento de rechazo de manera mucho más efectiva. El ataque, que funcionaba proyectando hacia afuera una sola dirección, falló en eliminar la capacidad de rechazo porque la señal de seguridad estaba ahora esparcida en muchas direcciones en lugar de estar concentrada en una. El investigador midió esto usando un concepto llamado rango estable, que esencialmente cuenta cuántas direcciones independientes se necesitan para describir el comportamiento del modelo. Encontraron que una mayor diversidad conducía a rangos estables más altos, y los rangos estables más altos se correlacionaban directamente con una menor caída en el desempeño de seguridad cuando se atacaba.

El estudio también exploró cómo estos cambios se propagan a través de las capas del modelo. Descubrieron que la diversidad introducida al principio del proceso de entrenamiento, en forma de tokens iniciales variados, influenció el estado interno del modelo hasta sus capas más profundas. Los cambios en las capas tempranas, donde el modelo procesa primero la petición, se amplificaban a medida que se movían a través de la red, resultando en un mecanismo de rechazo más robusto en el punto de decisión final. Esto sugiere que la forma en que se estructura la data de seguridad a nivel de token tiene un impacto profundo y duradero en la arquitectura de seguridad general del modelo. El investigador señaló que, si bien este enfoque no garantiza la inmunidad contra todos los ataques posibles, proporciona una palanca simple y efectiva para endurecer los modelos contra una clase específica y peligrosa de vulnerabilidades.

Los hallazgos ofrecen una nueva perspectiva sobre la seguridad de la IA, cambiando el enfoque de simplemente qué se le enseña al modelo a cómo se le enseña. La investigación sugiere que la fragilidad de los alineamientos de seguridad actuales no es un defecto inevitable de la tecnología, sino una consecuencia de patrones de entrenamiento repetitivos. Al diversificar la forma en que los modelos aprenden a rechazar, los desarrolladores pueden crear mecanismos de seguridad que sean más distribuidos y, por lo tanto, más difíciles de desmantelar. Este trabajo proporciona un método concreto y medible para mejorar la robustez de los sistemas de IA, mostrando que el camino hacia modelos más seguros puede residir en el simple acto de variar el vocabulario del rechazo. El estudio concluye que comprender la relación geométrica entre los datos de entrenamiento y el comportamiento del modelo es esencial para construir defensas que puedan resistir las tácticas evolutivas de aquellos que buscan el mal uso de la poderosa inteligencia artificial.