💬 NLP

Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns

Este artigo apresenta o ExpNet, uma rede neural leve que aprende automaticamente a mapear padrões de atenção de transformers para pontuações de importância ao nível do token, oferecendo uma alternativa mais adaptável e computacionalmente eficiente aos métodos existentes de agregação de atenção baseados em regras e de explicação agnósticos ao modelo.

Autores originais: George Mihaila

Publicado 2026-01-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: George Mihaila

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô superinteligente (um modelo "Transformer") que lê texto e toma decisões, como dizer se uma crítica de filme é positiva ou se uma frase está gramaticalmente correta. O problema é que esse robô é uma caixa preta. Ele te dá uma resposta, mas você não tem ideia do porquê ele escolheu aquela resposta. Em situações de alto risco (como na saúde ou no direito), não podemos apenas confiar em uma caixa preta; precisamos saber o seu raciocínio.

Este artigo apresenta uma nova ferramenta chamada ExpNet (Rede de Explicação) para resolver este mistério. Veja como ela funciona, explicada de forma simples:

O Problema: O "Monólogo Interno" do Robô

Dentro do robô, existe um mecanismo chamado Auto-Atenção (Self-Attention). Você pode pensar nisso como o "olhar" interno do robio. Quando o robô lê uma frase, ele observa diferentes palavras e decide quanta atenção deve dedicar a cada uma delas.

O Jeito Antigo: Anteriormente, os cientistas tentavam adivinhar quais palavras eram importantes usando regras fixas (como "sempre olhe para as palavras para as quais o robô encarou por mais tempo"). É como tentar adivinhar a comida favorita de uma pessoa apenas observando-a encarar um cardápio por muito tempo. Às vezes funciona, mas muitas vezes as regras são rígidas demais e perdem a nuance.
O Outro Jeito: Outros métodos tratam o robô como uma caixa misteriosa, cutucando-o com diferentes entradas para ver como ele reage. Isso é lento, caro e frequentemente cria frases sem sentido que o robô não entende.

A Solução: ExpNet (O "Tradutor")

Os autores construíram a ExpNet, que é como um tradutor ou um treinador que aprende a ler o "olhar" do robô (padrões de atenção) e a traduzi-lo em uma explicação clara.

Em vez de usar regras fixas, a ExpNet aprende com humanos.

Treinamento: Os pesquisadores mostraram à ExpNet exemplos onde humanos já haviam destacado as palavras importantes (as "justificativas" ou rationales).
Aprendizado: A ExpNet observou o "olhar" interno do robô durante esses exemplos e deduziu: "Ah, quando o robô olha para a palavra 'terrível' desta maneira específica, os humanos acham que essa palavra é a razão fundamental para a crítica negativa."
O Resultado: A ExpNet torna-se uma rede neural leve e rápida que consegue olhar para os padrões de atenção do robô e dizer: "Estas são as palavras que importam", com alta precisidade.

Como Funciona (A Analogia)

Imagine que o robô é um detetive resolvendo um caso.

A Atenção do Robô: O detetive tem uma lupa. Ele move a lupa sobre diferentes pistas (palavras).
Os Métodos Antigos: Eles apenas assumiam que qualquer pista sobre a qual o detetive segurava a lupa por mais tempo era a mais importante.
ExpNet: A ExpNet é um detetive estagiário que observou o detetive mestre resolver muitos casos onde um especialista humano apontou a real prova do crime. O estagiário aprendeu a reconhecer o padrão do olhar do mestre. Agora, quando o mestre olha para um novo caso, o estagiário pode apontar instantaneamente as pistas, mesmo que o mestre não tenha sido treinado para aquele tipo específico de caso antes.

O Grande Teste: Ela Pode Aprender Regras Gerais?

Os autores testaram a ExpNet em um cenário muito difícil: Generalização entre Tarefas (Cross-Task Generalization).

Eles treinaram a ExpNet em dois tipos diferentes de problemas (ex: detectar discurso de ódio e analisar críticas de filmes).
Depois, testaram-na em um problema completamente diferente (ex: verificar gramática) que ela nunca tinha visto antes.

O Resultado: A ExpNet não apenas memorizou as respostas; ela aprendeu a linguagem da importância. Ela teve um desempenho melhor do que outros 13 métodos existentes, mesmo na nova tarefa não vista. Ela provou que o "olhar" do robô contém pistas universais sobre o que os humanos consideram importante, e a ExpNet é a melhor em decodificá-las.

Por Que Isso é Melhor?

É Rápida: Ao contrário de outros métodos que precisam cutucar e provocar o robô milhares de vezes, a ExpNet apenas dá uma olhada rápida nos dados internos do robô e fornece uma resposta instantaneamente.
É Precisa: Ela igualou o raciocínio humano melhor do que qualquer outro método testado.
É Flexível: Funciona em diferentes tipos de texto (sentimento, gramática, discurso de ódio) sem precisar ser retreinada para cada novo tópico.

A Ressalva (Limitações)

Precisa de um professor: Para aprender, a ExpNet precisa de exemplos onde humanos já destacaram as palavras importantes. Se você tiver uma tarefa totalmente nova sem exemplos humanos, não poderá treiná-la ainda (embora o artigo mostre que ela ainda consegue adivinhar bem se for treinada em outras tarefas).
Vê palavras, não expressões: Ela explica as coisas palavra por palavra. Pode perder a nuance de uma expressão como "não é ruim" (que significa bom) porque analisa "não" e "ruim" separadamente.
Reflete o viés humano: Como aprende com anotações humanas, se os humanos que a treinaram forem tendenciosos, a ExpNet aprenderá esses vieses também. Ela reflete o raciocínio humano, não necessariamente a verdade absoluta.

Resumo

O artigo argumenta que, em vez de tentar adivinhar como os modelos de IA pensam usando regras rígidas ou experimentos lentos, devemos ensinar um ajudante pequeno e inteligente (ExpNet) a ler os padrões de atenção interna do modelo. Ao aprender com exemplos humanos, esse ajudante pode explicar rapidamente e com precisão por que a IA tomou uma decisão, tornando essas ferramentas poderosas mais confiáveis e transparentes.

Resumo Técnico: Aprendendo a Explicar (ExpNet)

Definição do Problema

A implantação de modelos baseados em transformers em domínios de alto risco (saúde, jurídico, finanças) é dificultada por sua opacidade, o que compromete a confiança e a responsabilidade. Embora os mecanismos de autoatenção nos transformers ofereçam uma fonte potencial de interpretabilidade, os métodos existentes para extrair explicações sofrem de limitações significativas:

Métodos Agnósticos ao Modelo (ex: LIME, SHAP): Tratam o modelo como uma caixa preta, ignorando o raciocínio interno. Eles incorrem em altos custos computacionais e, em PLN, frequentemente geram entradas semanticamente inválidas através de perturbações (mascaramento/substituição de palavras), levando a exemplos fora da distribuição que confundem a interpretação causal.
Métodos Baseados em Atenção: Embora utilizem sinais internos, dependem de estratégias de agregação definidas manualmente e regras heurísticas fixas (ex: média dos pesos de atenção entre cabeças ou camadas). Essas regras predeterminadas podem não capturar as combinações ideais de características de atenção necessárias para alinhar-se com o raciocínio humano em diferentes tarefas.

O problema central abordado é a falta de um método que possa aprender automaticamente a mapear padrões de atenção de transformers para a importância de tokens julgada por humanos, sem depender de regras rígidas e manuais ou de perturbações caras de caixa preta.

Metodologia

O artigo introduz o ExpNet (Explanation Network), uma rede neural leve projetada para aprender um mapeamento explícito de padrões de atenção de transformer para pontuações de importância ao nível do token.

1. Modelo Base e Extração de Características

Modelo Base: A abordagem utiliza um modelo BERT-base congelado como extrator de características. O modelo não é modificado; apenas seus padrões de atenção são utilizados.
Design de Características: O ExpNet extrai características da última camada de autoatenção (Camada 12) do BERT, que contém 12 cabeças de atenção. Para cada token $j$ $j$ , ele captura duas perspectivas distintas e não simétricas de atenção em relação ao token [CLS]:
- Atenção Tarefa-para-Token ( $A_{[CLS],j}$ ): Mede o quão fortemente a agregação ([CLS]) atenta para o token $j$ .
- Atenção Token-para-Tarefa ( $A_{j,[CLS]}$ ): Mede o quanto o token $j$ atenta para a representação da tarefa.
Vetor de Entrada: Estas características são concatenadas para formar um vetor de 24 dimensões ( $2 \times 12$ cabeças) para cada token, preservando as contribuições individuais de cada cabeça de ambas as direções, em vez de apenas mediá-las.

2. Arquitetura da Rede

O ExpNet é uma rede feed-forward simples composta por:

Camada de Entrada: 24 dimensões.
Camada Oculta: 16 unidades com ativação ReLU.
Camada de Saída: Uma unidade sigmoide produzindo uma probabilidade $\hat{y}_j \in [0, 1]$ representando a probabilidade de o token $j$ ser importante.

3. Procedimento de Treinamento

Supervisão: A rede é treinada como um classificador binário ao nível do token usando justificativas (rationales) anotadas por humanos. Os rótulos são projetados de anotações de nível de palavra para tokens de subpalavras (se qualquer subtoken de uma palavra for marcado como importante, todos os subtokens recebem um rótulo positivo).
Filtragem de Dados: O treinamento é realizado exclusivamente em instâncias onde o classificador BERT subjacente fez uma previsão correta. Isso garante que o explicador aprenda padrões de atenção associados a raciocínios bem-sucedidos, evitando ruídos de padrões de erro.
Função de Perda: Para lidar com o desequilíbrio de classes (a maioria dos tokens é não importante), a Focal Loss é utilizada em vez da cross-entropy. Isso reduz o peso de exemplos fáceis e foca o aprendizado em tokens difíceis de classificar.
Inferência: Um limiar de 0,5 é aplicado para gerar previsões binárias. Um mecanismo de fallback garante que pelo menos um token seja marcado como importante por exemplo para evitar explicações vazias.

4. Design Experimental

A avaliação utiliza um protocolo de generalização entre tarefas. O ExpNet é treinado nos dados de justificativa combinados de duas tarefas de PLN e avaliado em uma terceira tarefa retida. As tarefas utilizadas são:

HateXplain: Detecção de discurso de ódio (justificativas humanas).
SST-2: Análise de sentimento (justificativas de LLM + Humanas).
CoLA: Aceitabilidade gramatical (justificativas de LLM + Humanas).

Esta configuração testa se o ExpNet aprende padrões de explicação generalizáveis em vez de heurísticas específicas de tarefas.

Principais Contribuições

Framework Inovador: Uma abordagem de aprendizado supervisionado que descobre combinações de características de atenção ideais automaticamente, substituindo regras de agregação fixas por um mapeamento aprendível de padrões de atenção para justificativas humanas.
Generalização entre Tarefas: Demonstração de que explicações baseadas em atenção podem generalizar entre distintos domínios de PLN (sentimento, gramática, discurso de ódio) quando treinadas em uma combinação de tarefas.
Validação Arquitetural: Estudos de ablação abrangentes justificando o uso de características de atenção bidirecionais (tarefa-para-token e token-para-tarefa) e o design específico da rede.
Desempenho Empírico: Avaliação extensiva mostrando desempenho de estado da arte contra uma ampla gama de baselines, incluindo métodos agnósticos ao modelo (LIME, SHAP), métodos baseados em gradiente (Integrated Gradients, Grad-CAM) e técnicas baseadas em atenção (Rollout, GAE, AttCAT).

Resultados

O ExpNet foi avaliado contra 13 métodos de baseline em três conjuntos de dados usando F1-score ao nível do token e AUROC.

Desempenho de F1-Score: O ExpNet alcançou os maiores F1-scores em todas as três tarefas na configuração de cross-task:
- SST-2: 0,398 (vs. melhor baseline GAE/MGAE com 0,350).
- CoLA: 0,468 (vs. melhor baseline Grad-CAM com 0,356), um melhoria relativa de 31%.
- HateXplain: 0,473 (vs. melhor baseline Grad-CAM com 0,396), uma melhoria relativa de 19%.
Desempenho de AUROC: O ExpNet alcançou valores de AUROC competitivos (consistentemente acima de 0,7), embora nem sempre tenha liderado esta métrica. Os autores observam uma distinção: o ExpNet é excelente em selecionar o conjunto correto de tokens importantes (alta precisão de classificação binária), enquanto alguns métodos baseados em gradiente podem preservar melhor a qualidade do ranking relativo entre todos os tokens.
Eficiência: O ExpNet é computacionalmente eficiente, exigindo apenas uma passagem direta de um MLP leve sobre características de atenção pré-computadas, evitando os custos de amostragem e perturbação dos métodos agnósticos ao modelo.

Significância e Alegações

O artigo afirma que o ExpNet demonstra que a atenção de transformers pode ser sistematicamente refinada em explicações alinhadas com humanos através de aprendizado supervisionado. Sua significância reside na:

Superioridade de Alinhamento: Ele supera consistentemente os baselines estabelecidos no alinhamento com justificativas humanas, sugerando que mapeamentos aprendidos são superiores a heurísticas manuais para extrair explicações.
Generalização: A capacidade de treinar em duas tarefas e explicar com sucesso uma terceira indica que o modelo captura padrões fundamentais de como características importantes para humanos se manifestam na atenção de transformers, independentemente de objetivos de classificação específicos.
Praticidade: Ao manter a eficiência computacional enquanto melhora a qualidade da explicação, o ExpNet oferece um caminho viável para implantar modelos interpretáveis em aplicações de tempo real e alto risco.

Os autores reconhecem limitações, incluindo a dependência de justificativas anotadas por humanos para treinamento (embora os resultados entre datasets sugiram potencial para aplicação zero-shot em tarefas não anotadas), o foco em modelos apenas-codificadores (encoder-only) e a granularidade ao nível do token, que pode perder semânticas ao nível de frase. Eles posicionam estas não como falhas fundamentais, mas como áreas para futuras extensões para modelos apenas-decodificadores (decoder-only) e cobertura de domínio mais ampla.