Resumo Técnico: Escalando Modelos de Linguagem Inerentemente Interpretáveis

Declaração do Problema

Os atuais modelos de linguagem de grande escala (LLMs) são tipicamente treinados como sistemas opacos, com a interpretabilidade sendo tratada como um "imposto" post-hoc sobre a capacidade. Os fluxos de trabalho padrão envolvem o treinamento de um modelo de alto desempenho e, em seguida, a tentativa de realizar engenharia reversa de seu comportamento usando sondas, atribuições de características ou autoencoders esparsos. Os autores argumentam que essa abordagem sofre de uma limitação estrutural fundamental: o modelo nunca foi treinado para fazer da explicação uma interface válida para sua computação. Consequentemente, métodos post-hoc frequentemente falham em satisfazer os requisitos de fidelidade (a explicação reflete o raciocínio real) e validade (intervenções são significativas). Além disso, há uma suposição prevalecente de que restringir modelos a estruturas compreensíveis por humanos necessariamente degrada o desempenho, criando um trade-off entre capacidade e interpretabilidade.

Metodologia

1. A Receita de Interpretabilidade Inerente

Os autores propõem um pipeline de treinamento onde a interpretabilidade é uma restrição otimizada juntamente com o objetivo de modelagem de linguagem, em vez de uma etapa posterior. Esta receita modifica os estágios de treinamento padrão para satisfazer cinco condições formais de interpretabilidade inerente:

• Natividade: Variáveis atribuídas devem fazer parte do caminho computacional que produz a saída.
• Acordo: Pontuações de atribuição devem prever o efeito de intervenções (ex: mascaramento ou direcionamento de conceitos) antes de serem aplicadas.
• Validade: As intervenções devem estar dentro da distribuição (o modelo deve ter visto os estados perturbados durante o treinamento).
• Interpretação: Descrições semânticas (cartões) devem representar com precisão as variáveis internas do modelo.
• Cobertura: Os componentes interpretáveis devem explicar uma fração significativa da predição, minimizando o resíduo não explicado.

2. Dados: O Pipeline Atlas

Um obstáculo importante era a falta de uma biblioteca de conceitos compreensível por humanos na escala dos corpora de pré-treinamento modernos. Para resolver isso, os autores construíram o Atlas, um pipeline automatizado de três estáções:

• Estágio 1 (Etiquetagem): Amostra 6,6 milhões de documentos, fragmenta-os e utiliza um LLM para gerar tags de alta recall e formato livre.
• Estágio 2 (Canonicidade): Agrupa as tags em uma biblioteca coerente de 33.732 conceitos compreensíveis por humanos, rotulados e deduplicados.
• Estágio 3 (Anotador): Treina um modelo para atribuir esses conceitos a fragmentos de texto arbitrários em um corpus de 1,5 trilhão de tokens.
  A biblioteca resultante cobre diversos domínios (ciência, código, direito, etc.) e é validada para garantir que os conceitos sejam semanticamente significativos para humanos, não apenas fluentes para o LLM.

3. Arquitetura: Steerling-8B

Os autores instanciam esta receita com o Steerling-8B, um modelo de linguagem de Difusão Causal que apresenta um Gargalo de Conceito Aditivo.

• Difusão Causal: Diferente dos modelos autorregressivos padrão, o Steerling utiliza um objetivo de difusão mascarada com atenção de causalidade de bloco. Isso permite a denoização paralela dentro dos blocos enquanto mantém o cache KV de estilo autorregressivo entre os blocos para inferência eficiente. Crucialmente, o objetivo de mascaramento treina o modelo em uma linha de base de "ausência de informação" ([MASK]), permitindo uma atribuição de entrada válida.
• Módulo de Conceito: Inserido entre o backbone do transformer e a cabeça de modelagem de linguagem, este módulo decompõe o estado oculto $h$ em três componentes aditivos:
  $$\bar{h} = \hat{k} + \hat{u} + \epsilon$$
  Onde $\hat{k}$ é uma soma ponderada de conceitos conhecidos (da biblioteca Atlas), $\hat{u}$ é uma soma ponderada de conceitos desconhecidos (aprendidos durante o treinamento) e $\epsilon$ é um termo residual.
• Funções de Perda: O objetivo de treinamento combina:
  • Perda de Modelagem de Linguagem: Prediz tokens baseados no estado decomposto $\bar{h}$.
  • Perda de Conceito: Alinha as ativações de conceitos conhecidos com as anotações de nível de fragmento (ground-truth).
  • Perda de Reconstrução: Garante que a cabeça desconhecida capture informações não explicadas pelos conceitos conhecidos.
  • Perda de Independência: Incentiva a ortogonalidade entre as representações conhecidas e desconhecidas para evitar redundância.

4. Dinâmica de Treinamento

Os autores empregam esquemas de teacher forcing tanto para as cabeças de conceitos conhecidos quanto para as desconhecidas. No início do treinamento, representações de conceitos de ground-truth são injetadas para estabilizar o aprendizado, diminuindo gradualmente para as próprias predições do modelo. Isso evita que o modelo dependa do canal residual ou aprenda correlações espúrias antes que as cabeças de conceito sejam confiáveis.

Principais Resultados

1. Leis de Escalonamento (Scaling Laws)

Os autores realizaram varreduras de escalonamento IsoFLOP através de três ordens de magnitude de computação (de 10M a 8B parâmetros) em backbones autorregressivos e de difusão causal.

• Capacidade: Adicionar o módulo de conceito introduz um pequeno offset fixo por backbone no escalonamento ótimo de computação, em vez de uma penalidade crescente. A perda irredutível ($L_\infty$) na verdade diminui para as variantes interpretáveis.
• Interpretabilidade: Todos os quatro métricas de interpretabilidade (Perda de Conceito, Perda de Independência, Contribuição e Alinhamento) melhoram com a escala. Contrariando a suposição de que a interpretabilidade degrada com o tamanho, os modelos tornam-se mais destilados e alinhados com conceitos humanos conforme escalam.
• Predição: Ajustes de pequena escala previram com precisão a perda de validação do modelo Steerling-8B (dentro de 0,11 nats) e limitaram suas métricas de interpretabilidade.

2. Desempenho do Steerling-8B

O Steerling-8B foi pré-treinado em 1,2 trilhão de tokens e passou por um mid-training de 150 bilhões de tokens.

• Competitividade: Apesar de carregar restrições de interpretabilidade, o Steerling-8B alcança um desempenho dentro de aproximadamente 10% de modelos abertos pares treinados com 2–16× mais computação.
• Capacidades: O modelo suporta intervenção de loop fechado:
  • Atribuição: Ele pode rastrear saídas até tokens de entrada, conceitos específicos e dados de treinamento similares.
  • Direcionamento (Steering): Usuários podem amplificar ou suprimir conceitos específicos durante a inferência sem retreinar, manipulando diretamente os embeddings de conceito usados na passagem direta (forward pass).

Significância e Alegações

O artigo desafia a premissa de que a interpretabilidade é um imposto sobre a capacidade. Suas principais alegações são:

1. A interpretabilidade pode ser projetada no treinamento: Ao satisfazer as condições de fidelidade e validade durante o processo de treinamento, os modelos podem fornecer explicações que estão estruturalmente acopladas às suas computações.
2. A interpretabilidade escala com a capacidade: Em vez de se tornarem mais difíceis de entender conforme crescem, os modelos inerentemente interpretáveis tornam-se mais destilados e alinhados com conceitos humanos em escala.
3. A competitividade é alcançável: Um modelo pode ser tanto interpretável quanto competitivo com pares opacos treinados com significativamente mais computação, sugerindo um novo paradigma de escalonamento onde a compreensão é uma característica da arquitetura, não um custo post-hoc.

Os autores concluem que o "efeito Rashomon" (onde múltiplos modelos com desempenho idêntico possuem mecanismos internos diferentes) pode ser mitigado ao ancorar a interface explicativa (biblioteca de conceitos, baselines, decomposição) em todos os modelos produzidos pelo procedimento de treinamento.