Towards Explainability of SLMs by investigating Token Level Activation

Resumo Técnico: Rumo à Explicabilidade de SLMs Investigando a Ativação em Nível de Token

Declaração do Problema
Apesar do impacto revolucionário dos modelos baseados em Transformer, como o BERT, na Compreensão de Linguagem Natural (NLU), seus mecanismos internos permanecem amplamente opacos. Métodos tradicionais de interpretabilidade que dependem de pesos de atenção frequentemente falham em fornecer explicações semânticas genuínas, destacando com frequência tokens estruturalmente importantes, mas semanticamente fracos (por exemplo, pontuação, palavras funcionais) em vez de conteúdo significativo. Além disso, abordagens existentes de interpretabilidade muitas vezes carecem de agnosticismo de modelo, exigem computações de gradiente dispendiosas ou falham em isolar dinâmicas específicas de processamento intermediário, particularmente nas camadas intermediárias (6–9), onde acredita-se que informações sintáticas e semânticas se consolidam. Há uma necessidade crítica de um método leve e eficiente para quantificar e classificar a importância representacional de tokens individuais com base nas forças de ativação internas, em vez de correlações de atenção.

Metodologia
Os autores propõem um novo framework agnóstico de modelo denominado Rede de Fluxo de Ativação (AFN), que foca exclusivamente na Camada 8 do modelo bert-base-uncased. A metodologia prossegue através das seguintes etapas:

1. Quantificação da Força de Ativação em Nível de Token:
   Em vez de analisar cabeças de atenção, o framework extrai os vetores de estado oculto ($h_i$) para cada token na Camada 8. A força representacional ($S_i$) de um token é definida como a Norma L2 (norma euclidiana) de seu vetor de estado oculto de 768 dimensões:
   $$S_i = \|h_i\|_2$$
   Este valor escalar serve como uma medida direta da magnitude da ativação do token e da prioridade representacional.

2. Formulação de Categorias de Ativação Baseadas em Limiar:
   Para distinguir entre ativações semânticas dominantes e ruído de fundo estrutural, os autores definem um limite de ativação empírico ($\tau$) usando o quartil superior (percentil 75) da distribuição de ativação para uma dada sentença:
   $$\tau = Q_{0.75}(S)$$
   Os tokens são divididos em dois grupos:

   • Alta Ativação: $S_i > \tau$ (Tokens semanticamente salientes).
   • Baixa Ativação: $S_i \leq \tau$ (Tokens de suporte estrutural).
     O framework calcula uma razão de contribuição ($R_H$) para determinar se os tokens de Alta Ativação dominam as mudanças representacionais.

3. Análise Comparativa de Deslocamento de Ativação:
   Para sondar a sensibilidade ao contexto e às instruções da tarefa, os autores introduzem o Deslocamento de Ativação em Nível de Token ($\Delta_i$), calculado como a Norma L2 da diferença entre os vetores de estado oculto de tokens correspondentes em duas sentenças semelhantes ou sob condições de prompt diferentes:
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   Esta métrica quantifica o deslocamento geométrico no espaço vetorial causado por perturbações contextuais (por exemplo, mudar "dia" para "caminhada") ou prompts orientados a objetivos (por exemplo, "Resumir" vs. "Traduzir").

Principais Contribuições

• Camada 8 como Zona de Consolidação Semântica: O estudo identifica a Camada 8 como um ponto de transição crítico onde informações estruturais cedem lugar à consolidação semântica, equilibrando o processamento sintático e semântico.
• Magnitude de Ativação sobre Atenção: O trabalho demonstra que as normas de estado oculto (L2) fornecem um sinal mais confiável para importância semântica do que os pesos de atenção, que frequentemente induzem a erro ao focar na pontuação.
• Interpretabilidade Leve: O framework AFN oferece uma alternativa computacionalmente eficiente e não intrusiva aos métodos de atribuição baseados em gradiente, exigindo apenas uma única passagem para frente para extrair estados ocultos.
• Quantificação de Deslocamentos Semânticos: A introdução da métrica de Deslocamento de Ativação permite quantificar como mudanças específicas em palavras ou instruções de tarefa alteram a trajetória de representação interna do modelo.

Resultados
A análise experimental em um corpus de 732 sentenças carregadas de sentimento e estudos de caso específicos produziu as seguintes observações:

• Domínio Semântico: Palavras portadoras de conteúdo (por exemplo, "primeiro", "ministro", "Canadá", "bonito") exibiram consistentemente as maiores forças de ativação na Camada 8, classificando-se significativamente acima de tokens estruturais como artigos ou pontuação.
• Comparação entre Camadas: Comparações entre a Camada 8 e a Camada 9 confirmaram que a Camada 8 é mais sensível a tokens ricos em conteúdo, enquanto a Camada 9 mostra ativação relativamente menor para esses mesmos tokens, sugerindo uma mudança de foco do conteúdo semântico para a estrutura sintática em camadas mais profundas.
• Categorização de Ativação: O limite do quartil superior separou com sucesso os tokens, com tokens de Alta Ativação (palavras de conteúdo) ocupando consistentemente os primeiros lugares. Em experimentos de perturbação, tokens de Alta Ativação contribuíram com aproximadamente 76% do deslocamento total de ativação semântica, enquanto compunham apenas ~25% da contagem de tokens.
• Efeito de Ondulação Contextual: Tokens estruturais inalterados (por exemplo, "em", "o") mostraram deslocamentos de ativação significativos quando o contexto mudou (por exemplo, "dia no parque" vs. "caminhada na praia"), indicando que a Camada 8 re-codifica dinamicamente toda a frase para manter a consistência semântica.
• Sensibilidade ao Prompt: Deslocamentos de ativação foram observados no token [CLS] e em outros tokens quando a entrada foi prefixada com diferentes instruções de tarefa ("Resumir" vs. "Traduzir"), demonstrando que prompts de alto nível orientam o espaço representacional intermediário.

Significado e Alegações
O artigo alega transformar o BERT de uma "caixa preta" em uma "caixa de vidro" mais transparente, revelando que as magnitudes de ativação se concentram em torno de tokens semanticamente informativos. Os autores afirmam que seu framework fornece uma alternativa computacionalmente eficiente e interpretável à análise centrada em atenção. Ao isolar a Camada 8 e utilizar normas L2, a pesquisa oferece uma maneira direta de identificar quais tokens carregam a máxima força representacional durante o processamento semântico. O trabalho sugere que entender esses fluxos de ativação pode ajudar os pesquisadores a compreender melhor como o BERT equilibra informações estruturais e semânticas e como instruções de tarefa influenciam a trajetória interna do modelo, sem a necessidade de computações complexas de gradiente ou classificadores de sondagem específicos do modelo.