Resumen Técnico: Atribución de Datos Mecanística Simbólica (SMDA)

Planteamiento del Problema

Los métodos de atribución de datos existentes, incluyendo la Atribución de Datos Mecanística (MDA), son efectivos para rastrear ejemplos de entrenamiento hacia circuitos específicos y precaracterizados de bajo nivel (por ejemplo, neuronas, cabezales de atención o características de SAE conocidas). Sin embargo, tienen dificultades para explicar cómo los datos de entrenamiento moldean decisiones de comportamiento de alto nivel donde el circuito subyacente no se conoce a priori. Esta brecha limita la capacidad de diagnosticar fenómenos de seguridad complejos como la complacencia dañina, la sicofancia o los comportamientos de rechazo, que a menudo emergen de la interacción de múltiples componentes en lugar de una sola unidad identificable. Además, las funciones de influencia estándar operan como cajas negras, mientras que el análisis de circuitos manual no es escalable a políticas de alto nivel.

Metodología: Atribución de Datos Mecanística Simbólica (SMDA)

Los autores proponen SMDA, un marco que atribuye la influencia del entrenamiento a una política simbólica aprendida sobre características de Autoencoders Dispersos (SAE), en lugar de a un componente de circuito especificado manualmente. El método opera a través de los siguientes pasos:

1. Construcción de la Política Simbólica:

   • El marco extrae las activaciones de las características del SAE de una capa específica (Capa 10 de Llama-3.2-3B-Instruct) para un conjunto de evaluación retenido.
   • Selecciona un subconjunto de características ($d=75$) que muestran diferencias de activación sustanciales entre prompts dañinos e inocuos.
   • Se ajusta una regresión Ridge de forma cerrada para modelar el comportamiento objetivo (propensión al rechazo) como una función de estas características de SAE. El resultado es un vector de pesos de política simbólica $W$, donde cada entrada representa la contribución de una característica específica a la decisión de rechazo.

2. Computación de la Influencia:

   • Para un par de entrenamiento de ajuste fino supervisado (SFT) dado $z_i$, SMDA aproxima el efecto de un único paso de gradiente sobre los pesos de la política simbólica $W$.
   • El cambio en los pesos, $\Delta W_i$, se descompone analíticamente en dos vías utilizando una expansión de Taylor de primer orden:
     • Vía $\Delta X$: Cambios en las activaciones de las características internas del SAE causados por la actualización del gradiente.
     • Vía $\Delta Y$: Cambios en las log-probabilidades de rechazo de la salida del modelo causados por la actualización del gradiente.
   • La puntuación de influencia final es el producto punto $\langle \Delta W_i, W \rangle$, que indica si el par de entrenamiento empuja la política más en su dirección actual (positivo) o en contra de ella (negativo).

3. Configuración Experimental:

   • Modelo: Llama-3.2-3B-Instruct.
   • SAE: Un SAE BatchTopK entrenado en el flujo residual de la Capa 10, que genera 12,288 características.
   • Datos: 200 pares de entrenamiento SFT (100 de rechazo dañino, 100 de cumplimiento inocuo) y un conjunto de evaluación de 11,000 prompts divididos en varias configuraciones (dañino-inocuo, dañino-natural, dañino-equilibrado).

Contribuciones Clave

1. Innovación del Marco: Introducción de SMDA, que desplaza el objetivo de la atribución de unidades de bajo nivel predefinidas hacia una política simbólica aprendida e interpretable sobre las características de SAE. Esto permite la atribución en entornos donde la estructura del circuito es desconocida.
2. Descomposición Analítica: Derivación de una computación de influencia de forma cerrada que separa los efectos de entrenamiento en vías de activación de características ($\Delta X$) y de probabilidad de salida ($\Delta Y$), proporcionando una visión mecanística de cómo el entrenamiento altera el comportamiento.
3. Análisis Empírico: Aplicación de SMDA al comportamiento de rechazo de Llama-3.2-3B-Instruct, analizando 200 pares de entrenamiento SFT para revelar brechas sistemáticas en el comportamiento de seguridad y patrones de interferencia entre características.

Resultados Clave

El análisis de la política simbólica y las influencias de entrenamiento arrojó tres hallazgos primarios:

1. Brechas Sistemáticas en el Comportamiento de Seguridad:

   • Los coeficientes de la política simbólica revelaron que el modelo base detecta de manera confiable el contenido dañino (las características se activan), pero falla en traducir esta detección en decisiones de rechazo.
   • Las características asociadas con estereotipos religiosos, caracterización de grupos protegidos y encuadre argumentativo portaban coeficientes negativos de gran magnitud (prediciendo la complacencia). Esto indica que el modelo representa el daño, pero no ha aprendido la política de rechazo correspondiente para estas categorías.

2. Diferencias Cualitativas en la Influencia del Entrenamiento:

   • La descomposición $\Delta X / \Delta Y$ mostró que los pares de entrenamiento dañinos e inocuos ejercen influencias cualitativamente diferentes.
   • Para ciertas características, los pares dañinos desplazaron principalmente la probabilidad de salida del modelo ($\Delta Y$), mientras que los pares inocuos distribuyeron la influencia de manera más uniforme en ambas vías. Esto sugiere que el ajuste fino de seguridad no es un proceso uniforme.

3. Interferencia entre Características:

   • Los pares de entrenamiento individuales exhibieron frecuentemente "interferencia catastrófica", donde un par dirigido a una categoría semántica (por ejemplo, violencia) desplazó significativamente los coeficientes de características semánticamente no relacionadas (por ejemplo, solicitudes de derechos de autor).
   • SMDA identificó con éxito pares de entrenamiento "descalibrados" donde el efecto dominante recayó en características no deseadas (por ejemplo, un par de rechazo sobre contenido sexual que suprimía principalmente solicitudes informativas generales), resaltando posibles ineficiencias en la curación de datos de seguridad.

Significancia y Reclamaciones

El artículo afirma que la combinación de interpretabilidad mecanística con la atribución de datos genera una herramienta de diagnóstico que es más detallada que las funciones de influencia de caja negra y más escalable que el análisis de circuitos manual.

• De Circuitos a Políticas: SMDA cierra la brecha entre la comprensión de componentes individuales y la comprensión del comportamiento a nivel de decisión. Trata la propia política simbólica como el objeto de atribución, revelando no solo qué características existen, sino cómo el modelo las pondera.
• Utilidad Diagnóstica: El marco proporciona señales interpretables para la ingeniería de seguridad, tales como identificar pares de entrenamiento que causan interferencia no deseada entre características o revelar categorías específicas donde el modelo detecta el daño pero falla en el rechazo.
• Limitaciones y Alcance: Los autores son modestos sobre el alcance actual, señalando que SMDA atribuye a la política simbólica (una regresión Ridge de 75 características con aproximadamente 64–70% de precisión en la prueba) en lugar del modelo completo. Declaran explícitamente que, si bien el método identifica pares de entrenamiento con perfiles de influencia consistentes, no realiza una validación causal mediante experimentos de reentrenamiento para verificar que la eliminación de tales pares mejore la seguridad descendente. El trabajo se presenta como un precedente necesario para futuros estudios de intervención, más que como una herramienta de curación de datos totalmente validada.