Resumen Técnico: Creación de Comportamientos SFT Reversibles en Modelos de Lenguaje Grandes

Declaración del Problema

El Ajuste Fino Supervisado (SFT) es el mecanismo estándar para instilar comportamientos críticos para el despliegue (por ejemplo, alineación de seguridad, seguimiento de instrucciones, adaptación de estilo) en Modelos de Lenguaje Grandes (LLM). Sin embargo, el proceso de SFT no impone restricciones estructurales sobre cómo se organizan internamente estos comportamientos. En consecuencia, los comportamientos aprendidos a menudo se codifican de manera difusa, se representan de forma redundante o se entrelazan con cálculos no relacionados.

Esta falta de estructura crea dos limitaciones principales:

1. Fallo en el Diagnóstico Causal: Los métodos de interpretación post-hoc existentes (por ejemplo, atribución de circuitos) identifican subredes dispersas correlacionadas con los comportamientos. Sin embargo, la correlación no implica causalidad. Dado que el modelo completo conserva vías redundantes, la ablación de una subred correlacionada puede no suprimir el comportamiento, haciendo imposible establecer conclusivamente la necesidad causal.
2. Controlabilidad Causal Limitada: Los métodos actuales no pueden instanciar una subestructura dispersa que sea mecánicamente necesaria para un comportamiento inducido por SFT. Aunque la edición de vectores de tarea y la edición de modelos pueden modificar parámetros, no producen una subestructura abordable únicamente mediante intervención de entrada con pesos fijos.

El artículo aborda la siguiente pregunta de investigación: ¿Pueden los comportamientos inducidos por SFT comprimirse deliberadamente en subestructuras dispersas y mecánicamente necesarias (portadores) que permanezcan controlables en tiempo de inferencia sin modificar los pesos del modelo?

Metodología

Los autores proponen un marco de dos etapas: Descenso Dual Constrained por Pérdida (LCDD) para crear el portador, y SFT-Eraser para validar su necesidad mediante intervención de entrada.

1. Parametrización del Cambio de Pesos

El enfoque trata el cálculo inducido por SFT como un cambio de pesos aditivo $\Delta W = W_{ft} - W_{base}$. El modelo se parametriza como $W = W_{base} + M \odot \Delta W$, donde $M$ es una máscara binaria. El objetivo es encontrar la $M$ más dispersa que preserve el comportamiento de la tarea.

2. LCDD: Creación de Portadores Dispersos

LCDD optimiza conjuntamente la máscara de enrutamiento $M$ y el delta de pesos $\Delta W$ para comprimir el comportamiento en un portador disperso, adheriéndose a un presupuesto explícito de utilidad.

• Dispersión Estructurada: En lugar de elementos de pesos arbitrarios, la dispersión se impone a nivel de canal de activación (filas y columnas de matrices de pesos). Esto crea máscaras estructuradas de rango 1 ($M_{jk} = m_{row, j} \cdot m_{col, k}$) que controlan las activaciones de entrada y salida, aislando el cálculo delta inducido por SFT.
• Objetivo de Optimización: El método minimiza la penalización por dispersión (suma de logits de puertas sigmoide) sujeto a una restricción de que la pérdida de tarea $L_{task}$ permanezca dentro de un presupuesto $\epsilon$.
• Penalización Adaptativa: Se utiliza un método de penalización adaptativa donde un multiplicador $\lambda_t$ se actualiza en línea basándose en la violación de restricciones. Un calentamiento lineal de dispersión permite que el modelo se estabilice antes de que comience la compresión.
• Optimización Conjunta: Crucialmente, tanto la máscara como los deltas de pesos se optimizan conjuntamente. Esto permite que los pesos restantes se reorganicen alrededor de las conexiones podadas, permitiendo una mayor dispersión que los enfoques solo de máscara.

3. SFT-Eraser: Validación de la Necesidad

Una vez creado un portador disperso, SFT-Eraser prueba si el comportamiento puede ser suprimido mediante un desencadenante de entrada sin modificación de pesos.

• Selección del Objetivo: El desencadenante apunta a los "canales de escritura residuales" (las puertas de salida de las rutas delta de FFN y atención), que sirven como la interfaz del portador con el flujo residual.
• Optimización del Desencadenante: Se optimiza un soft prompt (incrustaciones de tokens continuas) para minimizar una pérdida compuesta:
  • $L_{MSE}$: Impulsa las activaciones de escritura del portador hacia las del modelo base en la misma entrada.
  • $L_{KL}$: Asegura que la distribución de salida revierta hacia el modelo base (evitando artefactos de la coincidencia solo a nivel de canal).
  • $L_2$: Regulariza la magnitud del desencadenante para evitar incrustaciones degeneradas.
• Criterios de Éxito: La reversión se considera exitosa si el desencadenante suprime el comportamiento de SFT mientras revierte la distribución de salida hacia el modelo base, demostrando que el portador es el cuello de botella causal.

Contribuciones Clave

1. Primera Investigación de Portadores Constructivos: El artículo es el primero en investigar la viabilidad de construir deliberadamente subestructuras dispersas y mecánicamente necesarias para comportamientos de SFT durante el entrenamiento, en lugar de descubrirlos post-hoc.
2. Marco LCDD: Introduce un método para comprimir comportamientos de SFT en portadores dispersos mediante la optimización conjunta de máscaras y pesos bajo restricciones explícitas de utilidad.
3. Protocolo SFT-Eraser: Propone un protocolo de desencadenante de entrada que valida la necesidad causal de los portadores construidos. Si un desencadenante suprime el comportamiento bajo pesos fijos, se demuestra que el portador es el locus causal, no meramente correlacionado.
4. Validación Empírica: Demuestra en tres tipos de comportamientos (Respuesta Fija, Alineación de Seguridad, Estilo Shakespeare) y cuatro familias de modelos (Qwen, DeepSeek, Mistral, Vicuna) que:
   • LCDD preserva los comportamientos objetivo con alta fidelidad.
   • SFT-Eraser revierte confiablemente estos comportamientos.
   • La estructura dispersa es el prerequisito necesario para la reversión; aplicar el mismo desencadenante a modelos SFT estándar (sin el portador creado) no logra la reversión distribucional.

Resultados Experimentales

Los experimentos cubren tres tareas de complejidad estructural creciente:

• Respuesta Fija: El modelo aprende a decir "No lo sé". LCDD logró alta dispersión (73–84%) con una preservación de comportamiento casi perfecta. Los desencadenantes redujeron la tasa de respuesta fija a casi cero.
• Alineación de Seguridad: Entrenado en datos entrelazados dañinos/benignos. LCDD mantuvo altas tasas de rechazo de seguridad (88–98%). Los desencadenantes degradaron con éxito las métricas de seguridad (menor rechazo, mayor éxito de ataque) y revirtieron las distribuciones hacia el modelo base.
• Estilo Shakespeare: Una tarea de transferencia de estilo distribucional. La dispersión fue menor (30–56%) debido a la naturaleza difusa del comportamiento estilístico, pero los desencadenantes aún suprimieron efectivamente el estilo.

Hallazgos de Ablación:

• Estructura vs. Desencadenante: Aplicar el desencadenante SFT-Eraser a un modelo SFT estándar (sin LCDD) resultó en perturbación del comportamiento pero falló en revertir la distribución al modelo base. Esto confirma que la estructura dispersa es el factor operativo, no el diseño del desencadenante.
• Optimización Conjunta: La optimización solo de máscaras (fijando pesos y optimizando solo la máscara) no logró suficiente profundidad de dispersión ni reversión confiable, confirmando que la reorganización conjunta de pesos es necesaria para crear un cuello de botella abordable.

Significado y Afirmaciones

El artículo afirma proporcionar evidencia directa de que los portadores aprendidos son causalmente necesarios para los comportamientos inducidos por SFT. Al construir una subestructura dispersa que es el locus completo del comportamiento, los autores habilitan:

• Diagnóstico Causal: Ir más allá de la correlación para probar la necesidad mediante intervención de entrada bajo pesos fijos.
• Control Modular: La capacidad de auditar o suprimir selectivamente comportamientos específicos en tiempo de inferencia sin reentrenamiento ni modificación de pesos.

Los autores señalan limitaciones, incluido el uso de soft prompts continuos (en lugar de tokens discretos) para desencadenantes y la evaluación en una sola combinación de modelo-tarea para la ablación estructural. También reconocen el riesgo de doble uso, ya que la metodología podría teóricamente utilizarse para eliminar la alineación de seguridad de modelos desplegados. El trabajo sugiere direcciones futuras en investigación de interpretabilidad, como el uso de la dispersión del portador como un proxy para la complejidad de descripción de las transformaciones de comportamiento.