Towards Explainability of SLMs by investigating Token Level Activation

Resumen Técnico: Hacia la Explicabilidad de los SLM Mediante la Investigación de la Activación a Nivel de Token

Declaración del Problema
A pesar del impacto revolucionario de los modelos basados en Transformer, como BERT, en la Comprensión del Lenguaje Natural (NLU), sus mecanismos internos siguen siendo en gran medida opacos. Los métodos tradicionales de interpretabilidad que dependen de los pesos de atención a menudo no logran proporcionar explicaciones semánticas genuinas, destacando frecuentemente tokens estructuralmente importantes pero semánticamente débiles (por ejemplo, puntuación, palabras funcionales) en lugar de contenido significativo. Además, los enfoques existentes de interpretabilidad a menudo carecen de agnosticismo del modelo, requieren cálculos de gradiente costosos o no logran aislar dinámicas de procesamiento intermedio específicas, particularmente dentro de las capas intermedias (6–9), donde se cree que la información sintáctica y semántica se consolida. Existe una necesidad crítica de un método ligero y eficiente para cuantificar y clasificar la importancia representacional de tokens individuales basándose en las fuerzas de activación internas en lugar de las correlaciones de atención.

Metodología
Los autores proponen un nuevo marco agnóstico al modelo denominado Red de Flujo de Activación (AFN), que se centra exclusivamente en la Capa 8 del modelo bert-base-uncased. La metodología procede a través de las siguientes etapas:

1. Cuantificación de la Fuerza de Activación a Nivel de Token:
   En lugar de analizar las cabezas de atención, el marco extrae los vectores de estado oculto ($h_i$) para cada token en la Capa 8. La fuerza representacional ($S_i$) de un token se define como la Norma L2 (norma euclidiana) de su vector de estado oculto de 768 dimensiones:
   $$S_i = \|h_i\|_2$$
   Este valor escalar sirve como una medida directa de la magnitud de activación del token y su prioridad representacional.

2. Formulación de Bins de Activación Basada en Umbral:
   Para distinguir entre activaciones semánticas dominantes y ruido de fondo estructural, los autores definen un límite de activación empírico ($\tau$) utilizando el cuartil superior (percentil 75) de la distribución de activación para una oración dada:
   $$\tau = Q_{0.75}(S)$$
   Los tokens se dividen en dos grupos:

   • Alta activación: $S_i > \tau$ (Tokens semánticamente salientes).
   • Baja activación: $S_i \leq \tau$ (Tokens de soporte estructural).
     El marco calcula una relación de contribución ($R_H$) para determinar si los tokens de alta activación dominan los cambios representacionales.

3. Análisis Comparativo del Desplazamiento de Activación:
   Para sondear la sensibilidad al contexto y a las instrucciones de la tarea, los autores introducen el Desplazamiento de Activación a Nivel de Token ($\Delta_i$), calculado como la Norma L2 de la diferencia entre los vectores de estado oculto de los tokens correspondientes en dos oraciones similares o bajo diferentes condiciones de prompt:
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   Esta métrica cuantifica el desplazamiento geométrico en el espacio vectorial causado por perturbaciones contextuales (por ejemplo, cambiar "día" por "caminar") o prompts orientados a objetivos (por ejemplo, "Resumir" vs. "Traducir").

Contribuciones Clave

• Capa 8 como Zona de Consolidación Semántica: El estudio identifica la Capa 8 como un punto de transición crítico donde la información estructural da paso a la consolidación semántica, equilibrando el procesamiento sintáctico y semántico.
• Magnitud de Activación sobre Atención: El trabajo demuestra que las normas de estado oculto (L2) proporcionan una señal más fiable para la importancia semántica que los pesos de atención, que a menudo inducen a error al centrarse en la puntuación.
• Interpretabilidad Ligera: El marco AFN ofrece una alternativa computacionalmente eficiente y no intrusiva a los métodos de atribución basados en gradientes, requiriendo solo un único paso de adelante para extraer los estados ocultos.
• Cuantificación de Desplazamientos Semánticos: La introducción de la métrica de Desplazamiento de Activación permite cuantificar cómo los cambios específicos de palabras o las instrucciones de la tarea alteran la trayectoria de representación interna del modelo.

Resultados
El análisis experimental sobre un corpus de 732 oraciones con carga de sentimiento y estudios de caso específicos arrojó las siguientes observaciones:

• Dominancia Semántica: Las palabras con contenido (por ejemplo, "primer", "ministro", "Canadá", "hermoso") exhibieron consistentemente las mayores fuerzas de activación en la Capa 8, clasificándose significativamente más alto que los tokens estructurales como artículos o puntuación.
• Comparación de Capas: Las comparaciones entre la Capa 8 y la Capa 9 confirmaron que la Capa 8 es más sensible a los tokens ricos en contenido, mientras que la Capa 9 muestra una activación relativamente menor para esos mismos tokens, lo que sugiere un cambio de enfoque desde el contenido semántico hacia la estructura sintáctica en capas más profundas.
• Agrupación de Activación: El umbral del cuartil superior separó con éxito los tokens, con los tokens de alta activación (palabras de contenido) ocupando consistentemente los primeros lugares. En experimentos de perturbación, los tokens de alta activación contribuyeron aproximadamente al 76% del desplazamiento total de activación semántica, mientras que constituían solo ~25% del recuento de tokens.
• Efecto de Ondulación Contextual: Los tokens estructurales inalterados (por ejemplo, "en", "el") mostraron desplazamientos de activación significativos cuando el contexto cambiaba (por ejemplo, "día en el parque" vs. "caminar en la playa"), lo que indica que la Capa 8 re-codifica dinámicamente toda la frase para mantener la consistencia semántica.
• Sensibilidad al Prompt: Se observaron desplazamientos de activación en el token [CLS] y otros tokens cuando el input se prefijaba con diferentes instrucciones de tarea ("Resumir" vs. "Traducir"), demostrando que los prompts de alto nivel dirigen el espacio representacional intermedio.

Significado y Afirmaciones
El artículo afirma transformar a BERT de una "caja negra" a una "caja de vidrio" más transparente al revelar que las magnitudes de activación se concentran alrededor de tokens semánticamente informativos. Los autores afirman que su marco proporciona una alternativa computacionalmente eficiente e interpretable al análisis centrado en la atención. Al aislar la Capa 8 y utilizar normas L2, la investigación ofrece una vía directa para identificar qué tokens llevan la máxima fuerza representacional durante el procesamiento semántico. El trabajo sugiere que comprender estos flujos de activación puede ayudar a los investigadores a comprender mejor cómo BERT equilibra la información estructural y semántica y cómo las instrucciones de la tarea influyen en la trayectoria interna del modelo, sin necesidad de cálculos de gradiente complejos o clasificadores de sondeo específicos del modelo.