Resumo Técnico: Decomposição do Espaço de Representação em Subespaços Interpretáveis com Aprendizado Não Supervisionado

Declaração do Problema

A interpretabilidade mecânica visa revelar os algoritmos e circuitos internos das redes neurais. Embora progressos significativos tenham sido feitos na identificação de componentes (cabeças de atenção, MLPs), características esparsas (via Auto-Encoders Esparsos) e subespaços específicos, os métodos existentes enfrentam limitações. A análise baseada em componentes frequentemente requer dados contrafactuais especializados para intervenção causal. Características esparsas fornecem interpretabilidade, mas resultam em circuitos dependentes da entrada que modificam o cálculo do modelo. As abordagens atuais baseadas em subespaços geralmente dependem de aprendizado supervisionado guiado por modelos causais abstratos especificados por humanos, exigindo que os pesquisadores antecipem mecanismos específicos com antecedência.

A questão central abordada por este artigo é se é possível encontrar subespaços "naturais" e interpretáveis dentro do espaço de representação de modelos neurais de maneira puramente não supervisionada, sem acesso a características de verdade fundamental ou hipóteses definidas por humanos.

Metodologia: Minimização da Distância entre Vizinhos (NDM)

Os autores propõem a Minimização da Distância entre Vizinhos (NDM), um método não supervisionado para partitionar o espaço de representação em subespaços ortogonais não alinhados a bases.

Intuição Central

O método fundamenta-se na hipótese de que as representações neurais exibem exclusividade mútua dentro de grupos de características. Se um conjunto de características é mutuamente exclusivo (apenas uma ou nenhuma está ativa a cada momento), elas podem ser superpostas dentro de um subespaço dedicado. Por outro lado, características de diferentes grupos (que podem co-ocorrer) devem ser representadas ortogonalmente para evitar interferência.

• Interpretação Geométrica: Em um espaço corretamente partitionado, pontos de dados projetados em um subespaço específico repousarão sobre algumas linhas concentradas (representando as características ativas daquele grupo). Consequentemente, cada ponto terá um vizinho muito próximo dentro desse subespaço.
• Objetivo de Otimização: O NDM busca uma matriz ortogonal $R$ e uma configuração de dimensões $c$ que minimizem a distância entre cada ativação e seu vizinho mais próximo dentro de cada subespaço resultante.

Algoritmo

1. Transformação: Uma matriz ortogonal $R$ rotaciona e reflete as ativações do modelo $h$. O espaço transformado é partitionado em subespaços com base em uma configuração de dimensões $c = [d_1, \dots, d_S]$.
2. Função de Perda: O objetivo minimiza a distância média até o vizinho mais próximo dentro de cada subespaço $s$:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   onde $\hat{h}_{n^*}^{(s)}$ é o vizinho mais próximo de $\hat{h}_n^{(s)}$ no subespaço $s$.
3. Configuração de Dimensões: Como o número de subespaços e suas dimensões são desconhecidos, o método começa com subespaços pequenos e de tamanho igual. Durante o treinamento, estima periodicamente a Informação Mútua (MI) entre subespaços usando um estimador KSG. Se a MI entre dois subespaços exceder um limiar, eles são mesclados. Este processo continua até que nenhum par exceda o limiar, encontrando efetivamente uma partition onde os subespaços são tão independentes quanto possível.

Principais Contribuições e Resultados

1. Validação em Modelo de Brinquedo

Em um cenário controlado de modelo de brinquedo onde grupos de características de verdade fundamental são conhecidos, o NDM recupera com sucesso os subespaços ortogonais dedicados a cada grupo de características. O método minimiza a distância até os vizinhos mais próximos, levando a uma partition onde cada subespaço codifica apenas um grupo de características, validando a ligação teórica entre exclusividade mútua, superposição e ortogonalidade de subespaços.

2. Avaliação Quantitativa no GPT-2 Small

Os autores avaliaram o NDM no GPT-2 Small usando patching de ativação de subespaço em circuitos conhecidos (Identificação de Objeto Indireto e circuitos Maior-Que).

• Métrica: Eles mediram a concentração dos efeitos de patching usando o coeficiente de Gini. Um alto coeficiente de Gini indica que uma peça específica de informação (por exemplo, o token anterior) está concentrada em um único subespaço.
• Desempenho: O NDM superou significativamente as linhas de base (Identidade, Aleatório, PCA e clustering de características SAE). O NDM alcançou um coeficiente de Gini médio de 0,71, bem acima do limiar de 0,6 para concentração satisfatória, enquanto as linhas de base variaram de 0,21 a 0,38.
• Evidência: Os resultados demonstram que o NDM encontra subespaços que se alinham com "variáveis" de alto nível em circuitos conhecidos, como o token anterior ou a posição do sujeito, independentemente dos valores específicos que essas variáveis assumem.

3. Análise Qualitativa via InversionView

Usando o InversionView, os autores analisaram os pré-imagens (entradas que mapeiam para ativações similares) dos subespaços descobertos.

• Interpretabilidade: Descobriu-se que os subespaços codificam aspectos distintos e interpretáveis do contexto, como o token atual, o token anterior, a posição do token e o tópico geral.
• Consistência: A função de um subespaço foi consistente entre diferentes entradas (por exemplo, um subespaço específico codificou consistentemente o token atual), sugerindo que esses subespaços atuam como "variáveis" estáveis para o modelo.

4. Escalabilidade para Modelos Maiores

O método foi aplicado ao Qwen2.5-1.5B e ao Gemma-2-2B para investigar cenários de conflito de conhecimento (conhecimento paramétrico vs. conhecimento de contexto).

• Descobertas: O NDM identificou subespaços separados mediando o roteamento de conhecimento paramétrico e o roteamento de conhecimento de contexto. Experimentos de patching mostraram que subespaços específicos tiveram efeitos fortes sob entradas contrafactuais projetadas para quebrar um mecanismo enquanto deixavam o outro intacto.
• Significado: Isso sugere que, mesmo em modelos maiores sem circuitos de verdade fundamental conhecidos, o NDM pode descobrir estruturas funcionais significativas e separáveis.

Significado e Alegações

O artigo alega que o NDM oferece uma nova perspectiva para entender os internos do modelo, decompondo o espaço de representação em subespaços interpretáveis e independentes da entrada sem supervisão.

• Novas Unidades Básicas: Os autores propõem que esses subespaços podem servir como unidades fundamentais para circuitos de subespaço. Diferentemente dos circuitos de características, que são dependentes da entrada, os circuitos de subespaço operam em "variáveis" (grupos de características) e podem ser construídos analisando os pesos do modelo (por exemplo, quais subespaços uma cabeça de atenção lê e para quais escreve).
• Descoberta Não Supervisionada: O método demonstra que partitions "naturais" existem em modelos do mundo real, impulsionadas pela estrutura estatística dos dados (exclusividade mútua) e não por hipóteses humanas.
• Limitações: Os autores reconhecem que as partitions atuais podem não ser suficientemente granulares (por exemplo, faltando subespaços minúsculos para variáveis com pequenos conjuntos de valores) e que alguns subespaços permanecem difíceis de interpretar. Eles notam que o método depende da Hipótese da Representação Linear e que a otimização às vezes pode ficar presa em mínimos locais.

Em conclusão, o artigo argumenta que a decomposição não supervisionada via minimização da distância entre vizinhos é um caminho viável para descobrir as "variáveis" e circuitos que governam o comportamento de modelos neurais, fornecendo uma estrutura escalável e interpretável para análise mecânica.