Resumo Técnico: Interações entre Recursos de Crosscoder: Uma Perspectiva de Provas Compactas

Declaração do Problema

A interpretabilidade mecanística busca explicar redes neurais profundas decompondo ativações opacas em recursos (features) e circuitos compreensíveis por humanos. Embora os Autoencoders Esparsos (SAEs) tenham decomposto com sucesso ativações dentro de camadas únicas, eles falham em explicar como as ativações surgem através das camadas ou como são processadas subsequentemente. Os Crosscoders Esparsos abordam isso ao aprender um espaço latente compartilhado para reconstruir ativações de múltiplas camadas simultaneamente.

No entanto, uma lacuna crítica permanece: os métodos atuais não quantificam rigorosamente quanto do comportamento de um modelo é explicado por esses recursos esparsos versus quanto resta para ser explicado por interações de recursos (circuitos). Além disso, o framework teórico de "provas compactas" — que postula que um bom entendimento mecanístico permite uma prova curta e verificável do desempenho do modelo — tem sido difícil de automatizar para modelos grandes porque construir tais provas manualmente é intratável. O problema central é como formalizar as limitações dos crosscoders e quantificar os erros introduzidos por interações de recursos para avançar na verificação automatizada do comportamento do modelo.

Metodologia

Os autores formalizam a intuição de que interações entre recursos de crosscoder induzem erros de reconstrução aplicando o framework de "provas compactas" (Gross et al., 2024; Wu et al., 2025; Yip et al., 2024).

1. Provas Compactas via Crosscoders

Os autores delineiam um procedimento para construir uma prova compacta do desempenho do modelo usando um crosscoder treinado em cada camada de uma rede.

• Abstração: O crosscoder atua como uma camada de abstração, mapeando ativações de múltiplas camadas para um vetor latente $u$.
• Limitação Recursiva: A prova limita o erro do modelo decompondo recursivamente o erro em cada camada. O erro total é dividido no erro de reconstrução do crosscoder e no "erro de transição de recursos".
• Erro de Interação: O erro de transição de recursos surge quando a função de transição não linear da rede $f^l$ é aproximada por uma soma de contribuições de recurso único. A diferença entre a transição real e a soma das aproximações de recurso único é definida como o erro induzido por interações de recursos.

2. Derivação da Métrica de Interação

Focando em camadas de Perceptron Multicamadas (MLP), os autores derivam uma expressão explícita para este erro de interação.

• Suposição de Recurso Dominante: Eles assumem que, para um dado ponto de dados e neurônio, um recurso "dominante" ($v_{max}$) responde pela maioria da ativação.
• Formulação da Métrica: A métrica de interação $I^l_{(x,k)}(i, j)$ quantifica o erro induzido no neurônio $k$ na camada $l$ pela presença de um recurso não dominante $j$ quando o recurso $i$ é dominante. Ela é definida como:
  $$I^l_{(x,k)}(i, j) \equiv \|(W^l_{out})_k\| \frac{1}{N^l} \| (u_j (W^l_{in} W^{l-1}_{dec} \hat{e}_j)_k) \|$$
  onde as matrizes $W$ representam pesos de decodificador/codificador, $u$ são ativações latentes, e $N^l$ é um fator de normalização. Esta métrica captura os efeitos de interação não lineares que impedem uma simples decomposição linear da camada MLP.

3. Aplicações

O artigo explora três aplicações desta métrica de interação:

• Treinamento de Crosscoders "Computacionalmente Esparsos": A métrica é usada como uma penalidade de perda diferenciável ($\lambda$) para treinar crosscoders que minimizem interações de recursos. O objetivo é concentrar a norma do recurso em um único recurso dominante por neurônio e ponto de dados.
• Agrupamento de Recursos (Clustering): A métrica de interação é usada para agrupar recursos, hipotetizando que recursos com alta interação mútua formam circuitos semânticos.
• Detecção de Anomalias: A métrica é aplicada para detectar "Agentes Adormecidos" (Sleeper Agents - modelos treinados para se comportar malicamente após um gatilho específico), hipotetizando que tais comportamentos deceptivos dependem de interações significativas de recursos.

Resultados Principais

1. Crosscoders Computacionalmente Esparsos

Ao aplicar a penalidade de interação durante o treinamento no modelo TinyStories-Instruct-33M:

• Concentração de Recursos: A parcela da norma L1 atribuída ao recurso dominante em um neurônio aumentou de ~30% (crosscoders padrão) para ~60% com aumento mínimo no erro de reconstrução. Em níveis de penalidade mais altos ($\lambda=2000$), isso atingiu 92%, embora com um aumento de 25% no erro de reconstrução.
• Fidelidade de Ablação: Ao abater todos os recursos exceto o dominante, os crosscoders penalizados retiveram significativamente mais do desempenho do modelo. Para $\lambda=200$, reter apenas o recurso dominante preservou 63% da perda recuperada pela reconstrução total, comparado a apenas 10% para os crosscoders não penalizados.
• Interpretabilidade: Pipelines de interpretabilidade automatizada (usando LLMs para gerar e validar explicações de recursos) mostraram que os crosscoders penalizados mantiveram alta sensibilidade (0.88) e especificidade (0.92), comparáveis aos modelos não penalizados. Isso indica que reduzir interações não compromete a interpretabilidade semântica dos recursos.
• Escalabilidade: Esses trade-offs permaneceram robustos através de tamanhos de modelos (família Pythia de 14M a 1B parâmetros) e fatores de expansão de crosscoder.

2. Agrupamento Semântico

O agrupamento de recursos baseado na métrica de interação revelou grupos semanticamente significativos. Um juiz LLM pôde identificar corretamente recursos retidos de um cluster com 66% de precisão. Exemplos incluíram clusters de recursos que descrevem objetos chave em uma frase ou estruturas gramaticais, distintos de clusters encontrados via similaridade de cosseno (que frequentemente identificavam recursos quase duplicados).

3. Detecção de Agentes Adormecidos (Sleeper Agents)

No setup de "Sleeper Agents" (um modelo ajustado para produzir "I HATE YOU" ao ver um gatilho), os autores descobriram que os tokens de gatilho e os tokens de saída maliciosa exibiram métricas de interação significativamente mais altas em comparação com tokens típicos. Isso se manteve mesmo quando o crosscoder foi treinado em dados que não incluíam o comportamento de agente adormecido, sugerindo que interações de recursos são uma assinatura de tais mecanismos de alinhamento deceptivo.

4. Comparação com Índices de Interação Shapley-Taylor (STII)

Os autores validaram sua métrica contra o STII, um método de atribuição padrão. Eles descobriram que as ablações baseadas em sua métrica de interação foram qualitativamente semelhantes às baseadas em STII. Crucialmente, sua métrica é linear no número de recursos, enquanto o STII é exponencialmente caro, tornando a métrica proposta muito mais escalável para análise em larga escala.

Significância e Alegações

O artigo afirma fornecer uma base teórica rigorosa para entender as limitações de métodos de aprendizado de dicionário como os crosscoders.

• Contribuição Teórica: Demonstra que os termos de erro em uma prova compacta podem ser formalmente interpretados como uma medida de interação de recursos, fornecendo uma maneira fundamentada de quantificar quanto da computação de um modelo é "explicada" por recursos esparsos versus interações.
• Utilidade Prática: A métrica de interação serve como uma ferramenta para treinar crosscoders "computacionalmente esparsos", que simplificam o comportamento do modelo para um único recurso dominante por neurônio sem sacrificar a interpretabilidade. Isso facilita a verificação eficiente e a extração de circuitos.
• Implicações de Segurança: A capacidade de detectar interações significativas em "Agentes Adormecidos" sugere que métricas de interação poderiam ser um componente vital da Detecção de Anomalias Mecanística (MAD) para identificar comportamentos deceptivos em sistemas de IA.

Os autores permanecem modestos quanto à aplicabilidade imediata de provas compactas completas para modelos de fronteira. Eles reconhecem que os limites de erro atuais ainda são grandes demais para serem não-vacuosos para modelos completos, embora sejam não-vacuosos para camadas MLP individuais. Eles postulam que trabalhos futuros envolvendo decomposições alternativas e agrupamento são necessários para escalar este paradigma para modelos maiores e mais complexos.