Resumo Técnico: C2R (Consistência de Regularização entre Amostras)

1. Definição do Problema

Autoencoders Esparsos (SAEs) são uma ferramenta primária para interpretar Grandes Modelos de Linguagem (LLMs) ao decompor ativações densas em características esparsas e compreensíveis por humanos. No entanto, à medida que os SAEs escalam para dicionários grandes, eles exibem duas patologias pervasivas que comprometem a confiabilidade dos latentes aprendidos:

• Fragmentação de Características (Feature Splitting): Conceitos coerentes de alto nível são fragmentados em múltiplos latentes não atômicos e redundantes (ex: um único conceito de "Matemática" dividindo-se em latentes separados de "Álgebra" e "Geometria"). Isso obscurece os verdadeiros conceitos funcionais utilizados pelo modelo e desperdiça a capacidade do dicionário.
• Absorção de Características (Feature Absorption): Latentes específicos capturam ativações que deveriam pertencer a características gerais, criando exceções arbitrárias (ex: um latente "começa com S" falha em ativar em "short" ou "small" porque latentes específicos de tokens absorvem o sinal). Isso distorce o padrão semântico pretendido.

Os autores argumentam que esses problemas decorrem da atribuição inconsistente de latentes entre amostras. Objetivos de esparsidade padrão (como regularização $\ell_1$ ou restrições TopK) operam em uma base por amostra. Sem restrições entre amostras, o otimizador pode minimizar a penalidade de esparsidade distribuindo um único conceito semântico através de múltiplos latentes disjuntos ou permitindo que latentes específicos "roubem" ativações de outros gerais, desde que o erro de reconstrução permaneça baixo para aquela amostra específica.

2. Metodologia: C2R

Para abordar essas falhas, o artigo introduz o C2R (Cross-sample Consistency Regularization - Regularização de Consistência entre Amostras). Este método garante que cada característica semântica seja representada de forma consistente por um latente unificado em todo o lote (batch).

Fundamentação Teórica

O C2R é fundamentado na desigualdade de Minkowski e na convexidade estrita da norma $\ell_2$. A ideia central é que, para vetores não alinhados $u$ e $v$, a soma de suas normas excede estritamente a norma de sua soma:
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
No contexto de SAEs, se uma característica semântica for dividida entre múltiplos latentes, a soma das normas $\ell_2$ de suas ativações através de um lote será maior do que se a característica fosse consolidada em um único latente. O C2R utiliza isso para penalizar a fragmentação de informações semânticas.

O Objetivo C2R

O método estende a análise de pares para um dicionário completo, identificando pares de latentes redundantes e penalizando sua coativação.

1. Detecção de Redundância: Para cada latente $i$, o algoritmo identifica seu vizinho mais próximo $j^*(i)$ no espaço de pesos do decodificador com base na similaridade de cosseno. Isso visa pares que provavelmente representam fragmentos divididos ou variações absorvidas.
2. Penalidade de Portão (Gated Penalty): A perda de regularização é ponderada pela similaridade de cosseno retificada ao quadrado ($\rho^2$) entre os pesos do decodificador do par. Isso atua como um portão:
   • Se os latentes forem distintos (ortogonais), $\rho \approx 0$, e nenhuma penalidade é aplicada.
   • Se os latentes forem redundantes (alta alinhamento), $\rho$ é grande, e a penalidade é aplicada.
3. Formulação da Perda:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   Onde $Z_{:,i}$ representa o lote de ativações para o latente $i$. O objetivo de treinamento total adiciona este termo à perda padrão do SAE:
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

Dinâmica de Gradiente

O gradiente do C2R fornece duas forças simultâneas:

• Pressão de Consistência: Escala com a similaridade ($\rho^2$) para minimizar a soma das normas, empurrando as ativações divididas para um único latente.
• Ortogonalidade Implícita: Escala com a magnitude da ativação ($S$) para minimizar a similaridade de cosseno entre os pesos do decodificador. Diferente das restrições de ortogonalidade uniformes, isso escala a penalidade pela frequência da característica, evitando a destruição prematura de características raras ou em desenvolvimento.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Diagnóstico Teórico: Uma análise formal unificada identificando a falta de consistência entre amostras nos objetivos de esparsidade por amostra como a causa raiz da fragmentação e absorção de características.
2. Objetivo Principiado: A proposta do C2R, uma regularização inovadora que utiliza a geometria do decodificador e estatísticas de lote para impor uma seleção de latente consistente, distinguindo entre polissemanicidade real e redundância prejudicial.
3. Validação Empírica: Demonstração de que o C2R mitiga significativamente a fragmentação e a absorção, mantendo a fidelidade de reconstrução, superando baselines de estado da arte como Batch TopK, Matryoshka SAEs e OrtSAE.

4. Resultados Experimentais

Experimentos foram conduzidos no Gemma-2-2B (e validados no Qwen3-8B e Llama-3-8B) usando o framework SAEBench.

• Mitigação de Patologias: O C2R alcançou as menores taxas de absorção e fragmentação de características entre os métodos que mantiveram alta fidelidade de reconstrução. Embora os Matryoshka SAEs tenham mostrado pontuações de fragmentação/absorção menores, eles sofreram degradação significativa na qualidade de reconstrução.
• Fidelidade de Reconstrução: Ao contrário dos Matryoshka SAEs, os modelos aprimorados com C2R mantiveram altos escores de "Loss Recovered" e "KL Divergence", indicando que o comportamento original do LLM foi preservado.
• Interpretabilidade e Desentranhamento: O C2R não impactou negativamente o escore "AutoInterp" (compreensibilidade humana das características) ou os escores de "Desentranhamento" (controle causal de atributos).
• Composição de Características: O C2R resultou na menor similaridade de cosseno máxima entre os pesos do decodificador, indicando um conjunto de características mais atômico e distinto.
• Tarefas de Downstream: Em tarefas de intervenção causal (Remoção de Correlação Espúria e Perturbação de Sonda Direcionada), o C2R superou TopK, Batch TopK e OrtSAE, alcançando desempenho comparável aos Matryoshka SAEs.
• Robustez: O método permaneceu eficaz através de diferentes sementes aleatórias, escalas de modelo (8B), camadas e composições de dados de treinamento (OpenWebText vs. The Pile).

5. Significância e Alegações

O artigo afirma que o C2R fornece uma solução fundamentada para o compromisso entre atomicidade de característica e fidelidade do modelo. Ao impor consistência entre amostras, ele aborda a limitação fundamental da otimização por amostra nos SAEs.

Os autores enfatizam que sua abordagem:

• Melhora a Interpretabilidade do Latente: Ao consolidar conceitos fragmentados e remover exceções arbitrárias, o dicionário resultante reflete melhor a natureza hierárquica das características de modelos de linguagem.
• Preserva o Desempenho: Crucialmente, essas melhorias são alcançadas sem degradar a capacidade do SAE de reconstruir as ativações originais do modelo, um ponto de falha comum em tentativas estruturais anteriores de SAE.
• Oferece Garantias Teóricas: Sob condições específicas (empiricamente satisfeitas em 88,1% dos pares de absorção), o método fornece uma garantia teórica contra fragmentação e absorção derivada da desigualdade de Minkowski.

O trabalho posiciona o C2R como um regularizador de propósito geral compatível com várias arquiteturas de SAE (TopK, Batch TopK, OrtSAE, AbsTopK), oferecendo um caminho robusto para analisar os internos de grandes modelos de linguagem.