Interpreto: An Explainability Library for Transformers

Resumo Técnico: INTERPRETO

1. O Problema

Os modelos de linguagem baseados em Transformers (como BERT, GPT, Llama) são amplamente utilizados para classificação e geração de texto, mas sua "caixa preta" dificulta a compreensão de seu comportamento. A interpretabilidade é crucial para depuração, detecção de viés e segurança.

Atualmente, o ecossistema de ferramentas de interpretabilidade é fragmentado:

• Dispersão de Ferramentas: Métodos de atribuição (importância de tokens) e explicações baseadas em conceitos (características de alto nível) estão frequentemente separados em diferentes bibliotecas.
• Complexidade de Pipeline: Ferramentas de interpretabilidade mecânica (como Sparse Autoencoders - SAEs) exigem múltiplas etapas manuais (extração de ativações, aprendizado de dicionário, interpretação e pontuação), sem uma API unificada.
• Falta de Padronização: Muitas bibliotecas não suportam tanto classificação quanto geração de texto, carecem de métricas de avaliação robustas ou documentação adequada para adoção prática.

2. Metodologia e Arquitetura

O INTERPRETO é uma biblioteca de código aberto em Python projetada para interpretar modelos do HuggingFace, unificando duas famílias de métodos de explicação sob uma única API:

A. Módulo de Atribuições (interpreto.attributions)

• Objetivo: Explicar previsões estimando a contribuição de recursos de entrada (tokens ou palavras).
• Funcionalidades:
  • Suporta modelos para Classificação de Sequência e Geração de Texto (CausalLM).
  • Oferece 10 métodos de atribuição, divididos em:
    • Baseados em Perturbação: KernelSHAP, LIME, Occlusion, Sobol.
    • Baseados em Gradiente: GradientSHAP, Integrated Gradients, Saliency, SmoothGrad, SquareGrad, VarGrad.
  • Granularidade: Permite explicar em nível de token, palavra ou frase (padrão: palavra, para evitar ambiguidade de subpalavras).
  • Métricas: Inclui métricas de fidelidade como Insertion e Deletion.

B. Módulo de Conceitos (interpreto.concepts)

• Objetivo: Realizar uma análise de nível de ativação baseada em conceitos (interpretabilidade mecânica), indo além da atribuição de recursos.
• Pipeline End-to-End: O módulo automatiza quatro etapas críticas:
  1. Divisão do Modelo: Utiliza a biblioteca nnsight para dividir o modelo e extrair um conjunto de dados de ativações latentes.
  2. Aprendizado de Conceitos: Treina modelos de conceitos (dicionários) sobre as ativações. Suporta 15 opções de aprendizado, incluindo:
     • Neurônios como conceitos.
     • Aprendizado de Dicionário: KMeans, PCA, SVD, ICA, NMF, Semi-NMF.
     • Autoencoders Esparsos (SAEs): Vanilla, Jump-ReLU, Top-k, Matching Pursuit.
  3. Interpretação: Atribui rótulos legíveis por humanos aos conceitos aprendidos. Oferece 3 métodos:
     • Top-k tokens do vocabulário.
     • Top-k exemplos ativadores (MaxAct).
     • Rótulos via LLM: Uso de Grandes Modelos de Linguagem para descrever conceitos automaticamente.
  4. Pontuação de Importância: Calcula a contribuição de cada conceito para a saída do modelo (usando gradientes conceito-para-saída).
• Métricas: Avalia fidelidade (MSE, FID), esparsidade, estabilidade e utilidade geral (ConSim).

3. Principais Contribuições

1. Unificação de API: Primeira biblioteca a oferecer um fluxo de trabalho unificado para Classificação e Geração de texto, cobrindo tanto atribuições quanto análises baseadas em conceitos.
2. Pipeline de Conceitos Completo: Diferencia-se por fornecer um pipeline "end-to-end" (da extração de ativações à pontuação de importância), algo raro em bibliotecas existentes que geralmente cobrem apenas etapas isoladas.
3. Acessibilidade e Padronização:
   • Abstrai a complexidade de engenharia (ex: manipulação de ativações, divisão de modelos), permitindo que pesquisadores foquem no núcleo computacional.
   • Inclui documentação extensa, tutoriais e exemplos executáveis.
4. Validação Prática:
   • Testado em mais de 15 arquiteturas de modelos (BERT, RoBERTa, GPT-2, Llama 3, Qwen, etc.).
   • Utilizado em um cenário industrial (setor de aviação) para depuração de modelos, validando sua utilidade prática.
5. Recursos de Visualização: Interface web demonstrativa interativa que permite explorar explicações pré-computadas e gerar snippets de código.

4. Resultados e Demonstrações

• Desempenho Computacional:
  • Atribuições: Geralmente requerem 10–100 passagens para frente ou 5–20 cálculos de gradiente (segundos).
  • Pipelines de Conceitos: Dominados pela extração de ativações e pontuação. Pequenas execuções levam minutos em GPUs (ex: RTX 3080), enquanto SAEs grandes podem levar horas.
• Casos de Uso Demonstrados:
  • Classificação (Sentimento/Emoção): Identificação de que tokens específicos (ex: "thrilled") impulsionam a previsão de "alegria".
  • Geração (LLMs): Análise de como tokens de entrada influenciam tokens de saída específicos em modelos como Qwen3 e Llama 3.1.
  • Depuração de Viés: Um cenário de uso mostrou como o INTERPRETO ajudou a identificar que um modelo de reconhecimento de emoção falhava porque os conceitos de "medo" e "tristeza" não estavam bem separados no espaço de conceitos, revelando inconsistências nos dados de treinamento.
• Comparação: As tabelas do artigo mostram que o INTERPRETO supera bibliotecas concorrentes (como Captum, SHAP, SAELens, NNsight) ao cobrir simultaneamente todas as etapas do pipeline de conceitos e suportar tanto tarefas de classificação quanto de geração.

5. Significado e Impacto

O INTERPRETO reduz significativamente a barreira de entrada para a aplicação de métodos avançados de interpretabilidade em modelos de linguagem modernos.

• Para Pesquisadores: Facilita a comparação de métodos e a reprodutibilidade de experimentos.
• Para Engenheiros/Praticantes: Permite a auditoria de modelos, detecção de falhas recorrentes e identificação de viés de forma mais acessível.
• Futuro: O projeto planeja expandir para opções de conceitos supervisionados (CAVs, Probes), métodos de atribuição adicionais e integração mais profunda entre atribuições e conceitos.

Em suma, o INTERPRETO preenche uma lacuna crítica ao transformar técnicas complexas de interpretabilidade mecânica e atribuição em ferramentas práticas, padronizadas e prontas para uso na indústria e na academia.