Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

Título: Revelando a Tomada de Decisão em LLMs para Classificação de Texto: Extração de Conceitos Influentes e Interpretáveis com Autoencoders Esparsos

1. O Problema

A classificação de texto baseada em Grandes Modelos de Linguagem (LLMs) atingiu desempenho superior, mas a arquitetura Transformer subjacente opera em um espaço latente de alta dimensão onde os vetores carecem de interpretabilidade intuitiva.

• Falta de Transparência: Diferente de métodos auto-explicáveis, os LLMs não revelam claramente quais conceitos específicos do texto são utilizados para tomar uma decisão de rotulagem.
• Limitações dos Métodos Atuais: Abordagens existentes de interpretabilidade baseada em conceitos (como TCAV ou ConceptSHAP) muitas vezes exigem supervisão humana extensiva ou falham em equilibrar três propriedades cruciais:
  1. Completude: A capacidade de reconstruir as decisões do modelo a partir dos conceitos extraídos.
  2. Causalidade: A influência real dos conceitos na previsão final (se removidos, a previsão muda).
  3. Interpretabilidade: A alinhamento dos conceitos com noções humanas semânticas e bem definidas (monosemia).
• Gap de Pesquisa: Até então, não havia uma comparação abrangente entre representações extraídas por Autoencoders Esparsos (SAEs) e métodos post-hoc de descoberta de conceitos especificamente no contexto de classificação de texto.

2. Metodologia: ClassifSAE

Os autores propõem o ClassifSAE, uma variante supervisionada de Autoencoders Esparsos (SAEs) projetada especificamente para extrair características a nível de frase de LLMs ajustados para classificação.

Arquitetura e Treinamento

• Entrada: O modelo é treinado no estado oculto ($h_\ell$) de um único token representativo da frase (o token antes do rótulo em modelos autoregressivos ou o token [CLS] em modelos encoder-only).
• Treinamento Conjunto (Joint Training): Diferente de métodos que pré-treinam SAEs em grandes corpora genéricos, o ClassifSAE é treinado do zero no conjunto de dados de classificação. Ele treina simultaneamente:
  1. O SAE (Encoder/Decoder) para reconstruir o estado oculto.
  2. Um Classificador Leve ($g_\theta$) que usa apenas um subconjunto das características do SAE ($z_{class}$) para replicar a previsão do LLM original.
• Mecanismo de Esparsidade de Taxa de Ativação: Para evitar que poucos conceitos dominem a representação (colapso de diversidade), os autores introduzem uma perda de esparsidade baseada na taxa de ativação. Isso penaliza características que ativam em uma proporção excessiva de sentenças no batch, forçando uma distribuição mais equilibrada e discriminativa.

Métricas de Avaliação Propostas

Para superar a dependência de avaliadores humanos ou LLMs como juízes (que são sensíveis a prompts), o artigo introduz duas novas métricas quantitativas baseadas em um codificador de sentenças externo (Sentence-BERT):

1. ConceptSim: Mede a coerência semântica de um único conceito. Calcula a similaridade média entre pares de sentenças que ativam o mesmo conceito. Valores altos indicam que o conceito é monossêmico (representa uma ideia única e clara).
2. SentenceSim: Avalia a consistência entre sentenças que compartilham o mesmo conjunto de conceitos ativados. Verifica se sentenças com sobreposição de conceitos estão semanticamente próximas no espaço de embeddings.

3. Contribuições Principais

1. Novo Método (ClassifSAE): Uma abordagem supervisionada que extrai conceitos de nível de frase, alinhando-se tanto a conceitos interpretáveis quanto a resultados de classificação.
2. Novas Métricas: Introdução do ConceptSim e SentenceSim para quantificar a interpretabilidade e a monosemia sem anotação humana.
3. Avaliação Abrangente: Comparação empírica contra quatro baselines (TopK-SAE, ICA, ConceptSHAP, HI-Concept) em 7 LLMs diferentes e 4 conjuntos de dados de classificação.
4. Descoberta de Trade-off: Demonstração de que é possível obter conceitos mais esparsos e interpretáveis com custos computacionais drasticamente menores, mesmo que haja um compromisso (trade-off) com a pontuação de causalidade máxima.

4. Resultados Experimentais

Os experimentos foram realizados em datasets como AG News, IMDB, TweetEval (Ofensivo e Sentimento) e modelos como BERT, Pythia, GPT-J, Mistral e LLaMA.

• Interpretabilidade (ConceptSim): O ClassifSAE superou consistentemente todos os baselines, incluindo o HI-Concept (estado da arte em causalidade), alcançando as maiores pontuações de ConceptSim. Isso indica que os conceitos extraídos são mais coerentes semanticamente e menos ambíguos.
• Causalidade ($\Delta f_{cond}$): O ClassifSAE obteve a segunda melhor pontuação de causalidade, ficando atrás apenas do HI-Concept. No entanto, o HI-Concept sacrifica significativamente a interpretabilidade para atingir sua causalidade.
• Eficiência Computacional: O ClassifSAE é substancialmente mais rápido. Em comparação com o HI-Concept e o ConceptSHAP, o método reduziu o tempo de treinamento em até 83% (no modelo LLaMA 3.1 8B). Isso ocorre porque o ClassifSAE não precisa carregar camadas subsequentes do LLM durante o treinamento, aprendendo apenas a partir dos rótulos previstos via o classificador conjunto.
• Completude (RAcc): Todos os métodos mantiveram alta precisão de recuperação (acima de 90-99%), garantindo que os conceitos capturam a informação necessária para a decisão.

5. Significado e Conclusão

O trabalho demonstra que a arquitetura e as funções de perda específicas para a tarefa (classificação supervisionada) podem melhorar significativamente a qualidade dos recursos extraídos por SAEs.

• Equilíbrio entre Causalidade e Interpretabilidade: O estudo revela que os métodos atuais ainda não reconciliam perfeitamente causalidade e interpretabilidade. O ClassifSAE oferece um ponto ótimo, fornecendo conceitos altamente interpretáveis e causalmente relevantes, mas com um custo computacional muito menor e uma estrutura mais escalável.
• Aplicabilidade Prática: A capacidade de treinar SAEs diretamente em conjuntos de dados de classificação menores (10k-100k exemplos) permite que usuários capturem rapidamente conceitos relevantes para tarefas específicas sem a necessidade de pré-treinamento massivo em dados genéricos.
• Futuro: O trabalho sugere que pipelines end-to-end que conectam conceitos de camadas intermediárias diretamente à entrada e saída do modelo são uma direção promissora, e que a exploração da profundidade da camada para extração de conceitos pode otimizar ainda mais os resultados.

Em suma, o ClassifSAE representa um avanço significativo na caixa-preta dos LLMs, oferecendo uma ferramenta eficiente e robusta para entender como e por que os modelos tomam decisões de classificação, gerando conceitos que são tanto semanticamente claros quanto causalmente influentes.