CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

1. Problema y Motivación

La rápida evolución de los Grandes Modelos de Lenguaje (LLMs) ha creado un ecosistema diverso, pero plantea desafíos críticos en cuanto a la seguridad y la alineación:

• Rigidez y Coste: Los LLMs desplegados a menudo no se alinean perfectamente con los requisitos de seguridad cambiantes o pueden tener sesgos. Ajustarlos mediante fine-tuning (ajuste fino) o reentrenamiento es costoso, requiere grandes conjuntos de datos etiquetados y puede degradar el rendimiento general del modelo.
• Limitaciones de Métodos Existentes:
  • Edición de Conocimiento: Se centra en corregir hechos específicos, no en añadir o eliminar funcionalidades complejas.
  • Fusión de Modelos: Generalmente opera a nivel de modelo completo, dificultando la reutilización selectiva de funciones específicas de un modelo abierto.
  • Ataques de Desalineación: Métodos actuales para "jailbreak" (romper la seguridad) a menudo degradan severamente la utilidad del modelo o no son persistentes.

El objetivo: Desarrollar un método post-hoc (post-entrenamiento) que permita reutilizar funcionalidades de seguridad (o eliminarlas) de modelos de código abierto existentes hacia un modelo objetivo, sin necesidad de recolectar datos supervisados ni reentrenar el modelo.

2. Metodología: Cross-Model Neuron Transfer (CNT)

El artículo propone CNT, un marco que traslada un subconjunto mínimo de neuronas (pesos) de un modelo donante (que posee la funcionalidad deseada) a un modelo receptor (que carece de ella o tiene una versión indeseada).

Componentes Clave del Método:

1. Selección del Modelo Donante (NTRR):

   • Para garantizar la compatibilidad, se requiere que el donante y el receptor tengan la misma arquitectura.
   • Se introduce la Tasa de Rechazo de Transferencia Neuronal (NTRR) para cuantificar la compatibilidad. Se calcula transfiriendo aleatoriamente un 10% de pesos y midiendo la divergencia KL entre las distribuciones de salida. Una NTRR más baja indica mayor compatibilidad.

2. Construcción de Pares de Solicitudes de Baja Ruido (Low-noise Probing):

   • Para aislar las neuronas responsables de una función específica (ej. seguridad), se generan pares de solicitudes:
     • F-req (With-function): Una solicitud que activa fuertemente la función objetivo.
     • Fl-req (Function-less): Una solicitud generada por un chatbot comercial que mantiene la misma estructura, contexto y tema que la F-req, pero elimina los elementos que activan la función objetivo.
   • Esto minimiza el "ruido" en las activaciones, permitiendo una atribución más precisa de las diferencias entre modelos.

3. Atribución de Brecha Funcional por Camino (Path-wise Function Gap Attribution):

   • Dado que los modelos no comparten una trayectoria de entrenamiento continua, los métodos de gradiente tradicionales fallan.
   • CNT utiliza integración de caminos: crea una trayectoria virtual de interpolación lineal entre los pesos del receptor ($\theta_r$) y el donante ($\theta_d$).
   • Calcula la contribución de cada peso a la diferencia funcional integrando los gradientes a lo largo de este camino. Los pesos con puntuaciones de atribución más altas son los candidatos para la transferencia.

4. Transferencia de Pesos:

   • Se selecciona un porcentaje pequeño de pesos (típicamente entre 0.012% y 0.24%) con las puntuaciones de atribución más altas.
   • Estos pesos se transfieren del donante al receptor mediante una máscara binaria, reemplazando los pesos originales del receptor.

Escenarios de Aplicación:

• Adición de Función: Transferir capacidades de seguridad de un modelo alineado a uno no alineado.
• Eliminación de Función: Suprimir capacidades de seguridad (para pruebas de ataque) o sesgos, transfiriendo pesos de un modelo que carece de dichas restricciones.

3. Contribuciones Principales

1. Nuevo Enfoque de Reutilización: CNT es el primer marco que permite la reutilización de funcionalidades de seguridad entre LLMs mediante la transferencia de neuronas, sin necesidad de datos supervisados ni reentrenamiento.
2. Mecanismo Modular: Permite tanto la adición como la eliminación de funciones de manera selectiva, preservando la integridad del modelo receptor mejor que los métodos de poda (pruning).
3. Validación Exhaustiva: Se evaluó en 7 LLMs populares (incluyendo arquitecturas densas y MoE como Llama3, Mistral, Yi, DeepSeek) y en 3 aplicaciones críticas: desalineación, mejora de alineación y eliminación de sesgos.
4. Eficiencia y Precisión: Logra transferencias funcionales dirigidas con una degradación de rendimiento mínima (<1% en la mayoría de los casos).

4. Resultados Experimentales

Los experimentos demuestran que CNT supera consistentemente a las líneas base (como LoRA, Model Surgery, ED, RD):

• Eliminación de Función (Desalineación/Ataque):
  • CNT logró una supresión promedio de la tasa de rechazo (RR) del 81.6% y aumentó la tasa de contenido dañino (HR) en un 76.8%.
  • La degradación en la utilidad general (medida por MMLU) fue mínima (-1.37 en promedio), superando significativamente a métodos de poda que causan daños mayores.
• Adición de Función (Mejora de Alineación):
  • Aumentó la precisión de rechazo (RA) en un 40.84% en promedio.
  • Mejoró ligeramente la utilidad (MMLU +0.26), demostrando que añadir seguridad no necesariamente sacrifica la capacidad del modelo.
• Eliminación de Sesgos:
  • En la tarea de eliminar sesgos (usando StereoSet), CNT redujo la puntuación de estereotipos de 77.47 a 64.73, superando a baselines de transferencia aleatoria y basada en gradientes, manteniendo la capacidad lingüística.
• Universalidad: El método funcionó eficazmente en modelos de 3B a 16B parámetros y en arquitecturas MoE (Mixture-of-Experts), demostrando que las funciones de seguridad están localizadas en regiones de pesos transferibles independientemente del proveedor del modelo.

5. Significado e Implicaciones

• Seguridad y Defensa: CNT demuestra que la seguridad de los LLMs es más frágile de lo que se pensaba, ya que las funciones de alineación pueden ser eliminadas o modificadas con una fracción mínima de pesos. Esto subraya la necesidad de diseñar modelos con computaciones de seguridad distribuidas para resistir este tipo de ataques.
• Eficiencia Operativa: Para los desarrolladores, CNT ofrece una vía rápida y barata para adaptar modelos a nuevos requisitos de seguridad o eliminar sesgos sin el coste computacional del reentrenamiento.
• Comprensión de LLMs: El estudio revela que las funciones de seguridad no están distribuidas uniformemente, sino que son más sensibles en las capas intermedias de la red, lo que sugiere nuevas direcciones para la investigación en la interpretabilidad de modelos.
• Ética: Al ser un método de doble uso (puede usarse para mejorar la seguridad o para romperla), el artículo destaca la importancia de la gobernanza en la difusión de técnicas de transferencia de neuronas.

En resumen, CNT representa un avance significativo en la ingeniería de funciones de modelos de lenguaje, transformando el paradigma de "construir desde cero" a "reutilizar modularmente" funcionalidades críticas entre modelos existentes.