💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

Autores originais: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Publicado 2026-06-11

📖 5 min de leitura🧠 Leitura aprofundada

Autores originais: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem de grande escala (como a IA por trás desta conversa) como uma fábrica enorme de vários andares. Matérias-primas (palavras) entram pelo andar inferior, são processadas e sobem para o andar superior, onde o produto final (uma resposta ou uma decisão) é criado.

Por muito tempo, cientistas tentando entender como essa fábrica funciona apenas olharam para um único andar por vez. Eles espiavam em uma sala no 3º andar e diziam: "Ah, esta máquina está fazendo algo!". Mas eles perderam um detalhe crucial: a fábrica possui um sistema especial de esteiras transportadoras (chamado de "fluxo residual" ou residual stream) que carrega itens do andar inferior até o topo, misturando-os com novos itens ao longo do caminho.

Devido a essa esteira, se você olhar apenas para um andar, verá uma mistura bagunçada de partes duplicadas e misturadas. Você não consegue distinguir qual parte veio de onde ou o que ela realmente significa.

O Problema: A "Foto Embaçada"

Métodos anteriores tentaram limpar essa bagunça, mas trataram a informação como um líquido contínuo e suave (como água). Eles tentaram encontrar padrões na água, mas como a água é tão fluida, os padrões continuavam se dividindo e se misturando. Era como tentar identificar ingredientes específicos em um smoothie apenas olhando para o líquido; você sabe que eles estão lá, mas não consegue separar o morango da banana facilmente.

A Solução: A Atualização da Fábrica "CLVQ-VAE"

Os autores deste artigo construíram uma nova ferramenta chamada CLVQ-VAE. Pense nisso como uma máquina de triagem inteligente que fica entre dois andares da fábrica.

Veja como ela funciona, usando uma analogia simples:

O Codificador Adaptativo (A Esteira Inteligente): Em vez de apenas pegar as matérias-primas do andar inferior, esta máquina as ajusta suavemente. É como um chef que pega um ingrediente bruto e lhe dá um pequeno ajuste preciso para torná-lo pronto para a próxima etapa, sem mudar sua natureza fundamental.
O Gargalo Discreto (A Máquina de Carimbos): Esta é a parte mais importante. Em vez de deixar a informação fluir como um líquido embaçado, esta máquina força a informação a ser "carimbada" em um conjunto finito de carimbos pré-definidos (chamados de codebook).
- Imagine que você tem uma caixa com 1.000 peças de LEGO específicas.
- Quando a máquina vê uma ideia complexa, ela não tenta construir uma nova forma usando argila. Em vez disso, ela diz: "Esta ideia é mais parecida com a Peça nº 42".
- Isso transforma um borrão contínuo e bagunçado em um rótulo discreto e claro. Força a IA a dizer: "Estou usando a peça da 'Raiva' ou estou usando a peça dos 'Esportes", em vez de uma mistura vaga de ambos.
O Decodificador (O Reconstrutor): A máquina então tenta reconstruir o "andar superior" da fábrica usando apenas essas peças de LEGO específicas. Se ela conseguir reconstruir o andar superior usando apenas a peça da "Raiva", então sabemos com certeza que a "Raiva" foi um conceito crítico para a decisão da IA.

Por Por Que Isso é Melhor (Os Resultados)

O artigo testou esta nova máquina contra métodos antigos (como apenas olhar para um andar ou usar a abordagem do "líquido") em três tarefas diferentes: avaliações de filmes, detecção de comentários tóxicos e classificação de artigos de notícias.

Aqui está o que eles descobriram:

O "Teste de Remoção" (Fidelidade): Quando os pesquisadores pegaram as "peças de LEGO" (conceitos) que a máquina encontrou e as removeram do cérebro da IA, o desempenho da IA desmoronou. Em alguns casos, a IA ficou 93% pior em seu trabalho. Isso prova que a máquina encontrou as razões reais pelas quais a IA estava tomando decisões, e não apenas ruído aleatório.
O "Teste do Juiz" (Avaliação por LLM): Eles pediram a outros modelos de IA que atuassem como juízes e analisassem os conceitos encontrados pela nova máquina versus os antigos. A nova máquina foi classificada no primeiro 66,7% das vezes. Os juízes sentiram que esses conceitos faziam mais sentido e eram mais coerentes.
O "Teste Humano" (Interpretabilidade): Eles mostraram nuvens de palavras (visualizações dos conceitos) para voluntários humanos.
- Ao serem mostrados os conceitos da nova máquina, os humanos conseguiram adivinhar o que a IA estava pensando 78% das vezes.
- Ao serem mostrados os conceitos do método antigo, os humanos acertaram apenas 54% das vezes.
- Além disso, diferentes humanos concordaram muito mais entre si ao olhar para os resultados da nova máquina, o que significa que os conceitos eram mais claros e menos confusos.

O Ingrediente Secreto

O artigo destaca alguns "truques" que fizeram isso funcionar:

Amostragem de Temperatura (Temperature Sampling): Em vez de sempre escolher a única peça "melhor", a máquina às vezes escolhe entre as 5 peças mais próximas. Isso é como dar à máquina um pouco de aleatoriedade para explorar diferentes opções, o que evita que ela fique presa usando as mesmas poucas peças repetidamente.
Esférico vs. Plano: Eles descobriram que organizar as peças com base na direção para a qual elas apontam (esférico), em vez de apenas sua distância (plano), ajudou os humanos a entenderem melhor os conceitos, mesmo que o método "plano" fosse ligeiramente melhor para prever os números brutos da IA.

Resumo

Em suma, este artigo introduz uma maneira de traduzir os pensamentos bagunçados e sobrepostos de uma IA de grande escala em uma lista limpa e organizada de "conceitos" distintos (como peças de LEGO). Ao fazer isso através de múltiplas camadas da IA, podemos ver claramente o que a IA está pensando e por que ela toma suas decisões, tornando a "caixa preta" da IA muito mais transparente e compreensível para os seres humanos.

Resumo Técnico: Descoberta de Conceitos Discretos Cross-Layer para Interpretação de Modelos de Linguagem

Declaração do Problema

A interpretação de grandes modelos de linguagem (LLMs) é dificultada pela natureza dos fluxos residuais dos transformers, que misturam e duplicam linearmente as características através de camadas adjacentes. Métodos de análise de camada única frequentemente falham em capturar essa estrutura cross-layer, perdendo padrões computacionais que só são visíveis quando múltiplas camadas são examinadas em conjunto. Embora abordagens cross-layer recentes, como os Autoencoders Esparsos (SAEs), abordem a mistura de camadas, elas operam em espaços contínuos. Nesses espaços, os conceitos se "dividem" em muitos neurônios sem fronteiras claras, forçando o uso de limiares arbitrários ou combinações de múltiplos vetores para isolar ativações. Esse desalinhamento com o raciocínio humano, que se baseia em categorias discretas, limita a interpretabilidade de tais métodos.

Metodologia

Os autores propõem o CLVQ-VAE (Cross-Layer Vector Quantized-Variational Autoencoder), um framework projetado para descobrir conceitos discretos e interpretáveis ao mapear representações de uma camada inferior ( $l$ ) para uma camada superior ( $h$ ) através de um gargalo de quantização vetorial discreta. O framework consiste em três componentes principais:

Codificador Residual Adaptativo: Para preservar a informação semântica enquanto permite a reatribuição do codebook, este componente aplica um mecanismo de interpolação aprendível às embeddings de entrada da camada $l$ . Ele utiliza um coeficiente de mistura $\alpha$ (restrito a $[0, 0.5]$ ) para equilibrar a embedding original com uma versão transformada linearmente, evitando a destruição de características linguísticas enquanto permite refinamentos direcionados para a reconstrução cross-layer.
Quantizador Vetorial: Este atua como um gargalo discreto, mapeando saídas contínuas do codificador para um único vetor de codebook de um conjunto aprendido $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ . Para garantir a estabilidade do treinamento e a utilização eficaz do codebook, os autores empregam:
- Inicialização: K-means (Euclidiana ou Esférica) ou inicialização aleatória.
- Amostragem Estocástica: Em vez de seleção determinística, o modelo amostra a partir dos $k$ vetores de codebook mais próximos usando uma distribuição de probabilidade controlada por temperatura. Isso incentiva a utilização uniforme do codebook e a diversidade de conceitos.
- Atualizações EMA: Os vetores do codebook são atualizados usando Médias Móveis Exponenciais (EMA) de contagens de atribuição e vetores acumulados em vez de backpropagation direto, garantindo estabilidade.
Decoder Transformer: Um decoder transformer bidirecional reconstrói as ativações alvo da camada $h$ usando os vetores de codebook quantizados. Ele utiliza mecanismos de cross-attention para aproveitar informações das saídas não quantizadas do codificador, transferindo detalhes de reconstrução de baixo nível para que o codebook possa focar em conceitos distintos e de alto nível.

O modelo é treinado via uma função de perda combinada: uma perda de reconstrução (Erro Quadrático Médio entre a saída do decoder e a representação da camada superior alvo) e uma perda de compromisso (incentivando as saídas do codificador a se comprometerem com os vetores do codebook).

Principais Contribuições

Mapeamento Cross-Layer Discreto: Ao contrário dos VQ-VAEs padrão que reconstroem a mesma camada, o CLVQ-VAE atua como um transcoder, colapsando características redundantes do fluxo residual de camadas inferiores em vetores de conceitos compactos e interpretáveis em camadas superiores.
Mecanismo de Amostragem Estocástica: A introdução da amostragem baseada em temperatura top- $k$ combinada com atualizações de codebook via EMA proporciona uma exploração controlada do espaço latente discreto, mantendo a diversidade do codebook e evitando o colapso.
Avaliação Abrangente: O framework é avaliado em modelos baseados em encoder (RoBERTa, BERT) e modelos apenas de decoder (LLaMA-2-7B, Qwen2.5-3B-Instruct) em três datasets (ERASER-Movie, Jigsaw, AGNews).

Resultados

O artigo avalia o CLVQ-VAE contra clustering, VQ-VAE de camada única e baselines de SAE em três eixos:

Fidelidade (Ablação de Conceito): Remover conceitos identificados das representações de sentenças degrada significativamente a precisão do modelo. O CLVQ-VAE alcançou a menor precisão perturbada em 5 de 12 configurações, com a remoção de conceitos causando quedas de precisão de até 93,2% (no RoBERTa/ERASER-Movie). Ele superou consistentemente os SAEs, que mostraram quedas inconsistentes ou negligenciáveis, particularmente em modelos de decoder.
Coerência Semântica (LLM-as-a-Judge): Um ensemble de LLMs classificou os conceitos do CLVQ-VAE em primeiro lugar em 66,7% das comparações, com uma classificação média de 1,890, superando VQ-VAE de camada única, SAE e clustering.
Interpretabilidade Humana: Em um estudo humano, anotadores puderam recuperar as previsões do modelo a partir das visualizações do CLVQ-VAE com 78,2% de precisão, comparado a 54,1% para clustering. Os anotadores também relataram maior confiança (8,44 vs. 5,98) e atingiram um acordo quase perfeito entre anotadores ( $\kappa = 0,864$ ) com as visualizações do CLVQ-VAE.

Adicionalmente, os autores encontraram um trade-off nas estratégias de inicialização: a inicialização K-means tendeu a produzir maior fidelidade funcional (melhores resultados de perturbação), enquanto o K-means Esférico produziu conceitos com maior coerência semântica e alinhamento humano.

Significância

O artigo afirma que o CLVQ-VAE fornece um framework robusto para traduzir mecanismos opacos de modelos em conceitos fiéis e interpretáveis. Ao integrar o aprendizado de representação discreta com a análise cross-layer, a abordagem aborda as limitações dos SAEs contínuos (divisão de conceitos) e das análises de camada única (ausência de estrutura cross-layer). Os resultados validam que os conceitos descobertos não são apenas funcionalmente críticos para as previsões do modelo, mas também se alinham com a compreensão humana, oferecendo um caminho para modelos de linguagem mais transparentes e responsáveis. Os autores observam que, embora o método seja eficaz, ele requer memória substancial para extração de ativações e treinamento separado para diferentes combinações de camadas.