Resumo Técnico: Desvendando Estratégias de Processamento de Modelos de Linguagem com Fatoração de Fisher por Exemplo Não Negativa

Declaração do Problema

Compreender as heurísticas e algoritmos que constituem o comportamento de um modelo de linguagem é crítico para uma implantação segura e confiável. Embora trabalhos anteriores sobre circuitos de Transformers tenham identificado com sucesso grafos computacionais interpretáveis para comportamentos específicos e pré-especificados (ex: identificação de objeto indireto), essas abordagens exigem que os pesquisadores definam previamente os comportamentos de interesse, introduzindo viés e correndo o risco de omitir estratégias não intuitivas do modelo.

Métodos não supervisionados recentes, como o agrupamento de gradientes (gradient clustering), tentam descobrir comportamentos do modelo agrupando exemplos com base nos gradientes da perda em relação aos parâmetros do modelo. No entanto, esses métodos sofrem de duas limitações principais:

1. Suposição Monogênica: Eles operam sob a suposição de que um único módulo interno impulsiona o comportamento para cada exemplo. Na realidade, os comportamentos dos modelos são frequentemente "poligênicos", o que significa que são influenciados por múltiplos fatores simultaneamente (ex: contextos ambíguos envolvendo múltiplas continuações possíveis). O agrupamento de gradientes força uma atribuição de fator único, falhando em capturar essa complexidade.
2. Escopo Limitado de Gradientes: Gradientes de uma única log-probabilidade (ou perda) capturam apenas uma fatia estreita da distribuição preditiva do modelo. Eles são enviesados para a classe específica sendo prevista, tornando-os mal adequados para capturar fatores que influenciam previsões em diferentes classes, particularmente em cenários de alta entropia ou multiclasse.

Metodologia: NPEFF

Os autores introduzem o NPEFF (Non-Negative Per-Example Fisher Factorization), um método de interpretabilidade projetado para descobrir fatores comportamentais poligênicos sem pré-especificá-los.

1. Matrizes de Fisher por Exemplo (PEF)

Em vez de usar gradientes de perda, o NPEFF utiliza a matriz Per-Example Fisher (PEF), $F(x)$, definida como:
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
A PEF é uma matriz positiva semi-definida (PSD) que relaciona perturbações de parâmetros a mudanças em toda a distribuição preditiva do modelo. Diferente dos gradientes, que focam em um único resultado, a PEF captura a sensibilidade em todas as potenciais previsões, tornando-a adequada para analisar comportamentos poligênicos.

2. Computação Eficiente via Projeções Aleatórias

As matrizes PEF são computacionalmente intratáveis para modelos modernos devido ao seu tamanho (quintilhões de entradas). Para resolver isso, os autores utilizam projeções aleatórias (Achlioptas, 2003) para aproximar a PEF. Eles constroem uma representação de matriz de baixo posto (LRM-PEF) e aplicam projeções aleatórias para reduzir a dimensionalidade. Crucialmente, eles demonstram que essas projeções podem ser "revertidas" usando técnicas de sensoriamento comprimido (Donoho, 2006) para recuperar vetores esparsos no espaço de parâmetros, permitendo a identificação de direções específicas do modelo correspondentes a fatores comportamentais.

3. Decomposição Não Negativa

O núcleo do NPEFF é um algoritmo de decomposição que aproxima um conjunto de PEFs como uma combinação não negativa de matrizes PSD de posto 1:
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{sujeito a} \quad W_{ij} \geq 0$$
Aqui, $h_j h_j^T$ representa o "pseudo-Fisher" do componente $j$, e $W_{ij}$ são coeficientes não negativos. Esta formulação permite que cada exemplo seja explicado por uma combinação ponderada de múltiplos fatores, modelando diretamente a poligenia. O algoritmo alterna entre atualizar coeficientes (usando atualizações multiplicativas similares ao NMF) e atualizar vetores pseudo-Fisher (usando gradiente descendente).

4. Variante G-NPEFF

Para reduzir os custos computacionais, os autores propõem o G-NPEFF, que aplica o mesmo algoritmo de decomposição a matrizes de posto 1 construídas a partir do gradiente da log-probabilidade da classe/token previsto. Embora mais barato, o G-NPEFF mostra-se menos eficaz na captura de fatores poligênicos conforme o número de classes aumenta, pois permanece enviesado para a classe dominante prevista.

Principais Contribuições e Resultados

1. Descoberta de Fatores Poligênicos Interpretáveis

Através de avaliações humanas e de LLMs em tarefas como análise de sentimento (SST2), identificação de tópicos (Yahoo Answers Topics) e classificação de intenção (CLINC150), os autores demonstram que os componentes do NPEFF correspondem a temas interpretáveis (ex: "perguntas sobre perda de peso rápida" ou "descrições positivas de atores").

• Poligenicidade: Ao contrário do agrupamento de gradientes, que recupera quase exclusivamente comportamentos "monogênicos" (fator único), o NPEFF recupera com sucesso uma fração significativa de fatores poligênicos. Isso é evidenciado por uma alta porcentagem de componentes que são ajustados para rótulos de verdade fundamental (ground-truth), mas não para as previsões específicas do modelo (LnP-tuned), indicando que eles capturam fatores que influenciam a distribuição além da principal previsão.
• Comparação: O NPEFF supera os baselines, incluindo o agrupamento de gradientes, autoencoders esparsos de ativação (SAEs) e SVD sobre gradientes/ativações, na identificação desses comportamentos sutis e multifatoriais.

2. Validação Causal via Perturbações de Parâmetros

Os autores validam a importância causal dos componentes do NPEFF reconstruindo vetores no espaço de parâmetros a partir de pseudo-Fishers projetados usando sensoriamento comprimido. Eles aplicam perturbações ao longo dessas direções e observam que:

• As perturbações interrompem significativamente as previsões do modelo em exemplos onde o componente possui um coeficiente alto.
• A interrupção é seletiva, afetando os exemplos alvo muito mais do que exemplos aleatórios.
• Isso confirma que as direções descobertas pelo NPEFF estão causalmente ligadas ao processamento de fatores comportamentais específicos pelo modelo.

3. Análise de Aprendizado em Contexto (ICL)

Os autores aplicam o NPEFF para analisar o ICL. Eles constroem um classificador linear baseado nos ajustes de componentes zero-shot do NPEFF. Este classificador atinge uma precisão comparável ao ICL de 6-shot e faz previsões altamente similares.

• Descoberta: Isso sugere que grande parte do ganho de desempenho do ICL vem do modelo reponderando seus fatores comportamentais existentes de zero-shot para se adaptar à formulação da tarefa, em vez de aprender comportamentos inteiramente novos a partir do contexto.

4. Eficiência e Escalabilidade

• G-NPEFF: O artigo mostra que para tarefas com poucas classes, o G-NPEFF performa de forma semelhante ao NPEFF completo, oferecendo uma alternativa de baixo custo.
• Ablações: Experimentos sobre tamanhos de projeção aleatória e contagem de componentes indicam que o método é robusto. Mesmo com redução agressiva de dimensionalidade, a decomposição retém informações significativas sobre o comportamento do modelo.

Significância e Alegações

O artigo afirma que o NPEFF representa um método novo e bem adequado para descobrir fatores de comportamentos poligênicos de modelos, preenchendo uma lacuna crítica deixada pelos métodos de agrupamento baseados em gradiente.

• Novidade Metodológica: Ao utilizar matrizes de Fisher por Exemplo e uma decomposição não negativa sobre matrizes PSD de posto 1, o NPEFF fornece um framework que respeita a natureza multifatorial do processamento de linguagem.
• Interpretabilidade Causal: A capacidade de mapear componentes de volta para direções no espaço de parâmetros e interrompê-los seletivamente fornece forte evidência causal de que esses componentes representam estratégias de processamento reais utilizadas pelo modelo.
• Utilidade Prática: O método permite a dissecação de comportamentos complexos (como o ICL) em seus componentes constituintes, ofereando um caminho para modificações de modelo mais direcionadas e intervenções de segurança.

Os autores mantêm a modéstia quanto ao escopo de seu trabalho, observando que, embora o NPEFF identifique as direções no espaço de parâmetros importantes para comportamentos específicos, construir os algoritmos explícitos ou circuitos computacionais correspondentes a essas direções permanece como o domínio das pesquisas futuras de circuitos de Transformers. Eles também alertam que, embora seu código de perturbação permita a interrupção, a modificação sofisticada do comportamento do modelo em escala carrega riscos de remover inadvertidamente comportamentos raros, porém contextualmente apropriados.