🤖 machine learning

Kronecker Factorization Improves Efficiency and Interpretability of Sparse Autoencoders

O artigo introduz o KronSAE, uma arquitetura de autoencoder esparso que fatoriza o espaço latente em cabeças e emprega uma interação do tipo AND diferenciável para impor a coativação composicional, melhorando assim a interpretabilidade, capturando correlações de características e reduzindo custos computacionais sem sacrificar o desempenho.

Autores originais: Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são sistemas vastos e complexos que processam a linguagem humana transformando texto em fluxos de números. Esses números, conhecidos como ativações, fluem através das camadas internas do modelo, carregando o significado das palavras e a lógica das sentenças. Para pesquisadores que tentam entender como essas máquinas pensam, esses fluxos ocultos são uma caixa preta. Para abri-la, cientistas usam uma ferramenta chamada autoencoder esparso. Pense nesta ferramenta como um tradutor que pega o fluxo denso e desordenado de números e o decompõe em uma longa lista de conceitos simples e distintos. Idealmente, cada item nesta lista representa uma ideia única e clara — como "matemática", "contratos jurídicos" ou "a cor azul" — que o modelo ativa quando encontra esse conceito específico. Esse processo, chamado decomposição, permite que os pesquisadores vejam as engrenagens individuais girando dentro da máquina.

No entanto, os tradutores padrão têm uma limitação. Eles tratam cada conceito como um item independente e plano em uma lista, ignorando o fato de que a linguagem humana é profundamente estruturada. Palavras e ideias frequentemente aparecem juntas em padrões previsíveis; o conceito de "geografia" frequentemente coocorre com "mapas" ou "direções". Quando um modelo aprende esses padrões, a ferramenta padrão tem dificuldade em capturar a relação, muitas vezes forçando o sistema a aprender a conexão implicitamente ou, pior, a fundir ideias distintas em um único recurso confuso. Isso torna a lista resultante de conceitos mais difícil de interpretar e menos eficiente para computar.

Uma equipe de pesquisadores da T-Tech propôs uma nova maneira de construir esses tradutores, chamada KronSAE, que respeita a estrutura natural da linguagem desde o início. Em vez de tratar cada conceito como um coordenada separada e plana, seu design organiza o dicionário interno em grupos. Dentro de cada grupo, o sistema constrói recursos complexos combinando dois componentes mais simples e pré-existentes. É um pouco como como um chef pode criar um prato específico combinando um ingrediente base com um tempero específico; o prato só existe se tanto a base quanto o tempero estiverem presentes. Nesta nova arquitetura, um recurso é ativado apenas quando dois sinais "pais" subjacentes estão ativos ao mesmo tempo. Isso cria uma regra intrínseca que incentiva o sistema a aprender recursos que são combinações de partes mais simples, espelhando como a linguagem realmente funciona.

Os pesquisadores testaram essa abordagem em dois modelos de linguagem populares, Qwen2.5 e Gemma-2, usando um enorme conjunto de dados de páginas web educacionais. Eles descobriram que essa abordagem estruturada fez mais do que apenas imitar a linguagem humana; ela tornou a representação interna do modelo mais clara. Quando compararam o novo sistema ao método padrão, descobriram que o novo design produziu recursos que eram mais específicos e menos propensos a serem confundidos uns com os outros. No método padrão, um único recurso frequentemente tenta fazer coisa demais, absorvendo o significado de vários conceitos relacionados e tornando-se vago. O novo sistema, ao forçar os recursos a serem construídos a partir de combinações específicas, reduziu essa "absorção". Os recursos resultantes foram mais nítidos, descrevendo ideias mais estreitas e precisas, o que os tornou mais fáceis de entender e rotular pelos pesquisadores.

Além da clareza, o novo design ofereceu um aumento significativo na eficiência. Como o sistema constrói recursos complexos combinando elementos mais simples, ele não precisa calcular cada possibilidade do zero. Os pesquisadores descobriram que podiam reduzir a quantidade de poder computacional necessário para executar o encoder em mais de quarenta por cento, mantendo o mesmo nível de precisão na reconstrução dos dados originais. Isso significa que o sistema pode aprender a mesma quantidade de informação usando muito menos recursos. Em seus experimentos, mesmo com essa redução massiva de custo computacional, a queda no desempenho foi inferior a um por cento, uma compensação negligenciável para um ganho tão grande em velocidade e eficiência.

O estudo também explorou o quão bem este sistema consegue aprender as relações ocultas entre conceitos. Em um experimento controlado usando dados sintéticos onde as relações entre os recursos eram conhecidas de antemão, o novo sistema recuperou esses padrões com muito mais sucesso do que o método padrão. Ele aprendeu a agrupar conceitos relacionados dentro de sua estrutura interna, enquanto o método padrão os espalhava. Ao observar dados do mundo real, os pesquisadores observaram que recursos que naturalmente apareciam juntos no texto foram, de fato, mapeados para os mesmos grupos internos no novo sistema. Isso sugere que a arquitetura captura com sucesso as regularidades estatísticas da linguagem, organizando o conhecimento do modelo de uma forma que reflete como as ideias estão realmente conectadas.

Os pesquisadores também examinaram a natureza dos próprios recursos. Eles descobriram que os componentes "pais" mais simples dentro do sistema eram frequentemente amplos e abstratos, capazes de representar múltiplas ideias diferentes. No entanto, quando esses pais eram combinados, o recurso resultante tornava-se altamente específico. Por exemplo, um componente amplo relacionado a "direções" poderia combinar-se com outro relacionado a "termos médicos" para criar um recurso especificamente sobre "direções médicas". Essa estrutura hierárquica permitiu que o sistema reutilizasse seus componentes básicos para construir uma vasta gama de conceitos específicos sem precisar de um neurônio único e separado para cada ideia. Essa abordagem composicional não apenas tornou os recursos mais interpretáveis, mas também forneceu uma maneira mais eficiente de armazenar e recuperar o conhecimento.

Fundamentalmente, este trabalho sugere que a maneira como projetamos essas ferramentas de interpretabilidade importa tanto quanto os dados que elas processam. Ao introduzir um viés estrutural simples que imita a forma como os conceitos se combinam na linguagem, os pesquisadores criaram um sistema que é simultaneamente mais eficiente e mais transparente. As descobertas indicam que não precisamos depender do modelo para descobrir acidentalmente essas relações durante o treinamento; podemos construí-las na própria arquitetura. Esta abordagem oferece um novo caminho para a compreensão da inteligência artificial, fornecendo uma janela mais clara para a mente da máquina, enquanto simultaneamente torna o sistema mais rápido e barato de operar. O código para este novo método está agora disponível para que outros possam usar e desenvolver, convidando à exploração adicional de como o aprendizado estruturado pode melhorar nossa compreensão de sistemas complexos.

Resumo Técnico: KronSAE

Declaração do Problema

Autoencoders Esparsos (SAEs) são uma ferramenta padrão para decompor ativações de modelos de linguagem densos em características esparsas e interpretáveis. No entanto, as arquiteturas de SAE padrão tipicamente tratam o dicionário latente como um conjunto plano de coordenadas independentes. Esse padrão de "latente plano" falha em codificar explicitamente as relações estruturais de nível superior encontradas na linguagem natural, como hierarquia, composicionalidade e coativação sistemática. Consequentemente, essas relações devem emergir implicitamente durante o treinamento ou ser recuperadas por meio de análise post-hoc. Além disso, o codificador padrão requer uma projeção densa para $F$ latentes independentes, o que resulta em um custo computacional de $O(Fd)$ por token, tornando-se caro para tamanhos de dicionário grandes.

Metodologia: KronSAE

Os autores propõem o KronSAE, uma modificação no lado do codificador que introduz um prior hierárquico e composicional ao espaço latente. Em vez de projetar diretamente para $F$ características independentes, o KronSAE fatoriza o espaço latente em $h$ "cabeças" independentes.

Arquitetura

Fatoração: Para cada cabeça $k$ , a ativação de entrada $x \in \mathbb{R}^d$ é projetada em dois pré-latentes de dimensão inferior:
- Um vetor base $p^k \in \mathbb{R}^m$ via $u^k = P^k x$ .
- Um vetor de extensão $q^k \in \mathbb{R}^n$ via $v^k = Q^k x$ .
- Aqui, $m, n \ll d$ , e o tamanho total do dicionário é $F = h \times m \times n$ .
Interação Composicional (mAND): As características pós-latentes para uma cabeça são formadas pela composição pareada dos pré-latentes base e de extensão usando um kernel de interação diferenciável chamado mAND:
$z^k_{i,j} = \text{mAND}(u^k_i, v^k_j) = \begin{cases} \sqrt{u^k_i v^k_j} & \text{se } u^k_i > 0 \text{ e } v^k_j > 0 \\ 0 & \text{caso contrário} \end{cases}$
Esta operação aproxima um AND lógico, garantindo que um pós-latente esteja ativo apenas quando ambos os pré-latentes pais estiverem ativos. A matriz resultante $z^k \in \mathbb{R}^{m \times n}$ é achatada para formar o vetor pós-latente.
Esparsidade: Os vetores achatados de todas as cabeças são concatenados, e uma seleção TopK padrão é aplicada para produzir o vetor latente esparso final $f \in \mathbb{R}^F$ .

Compatibilidade e Eficiência

Compatibilidade: O KronSAE é compatível com objetivos e variantes de SAE padrão, incluindo TopK, Matryoshka (dicionários aninhados), SAEs Switch (Mistura de Especialistas) e diferentes funções de ativação como JumpReLU.
Ganho Computacional: Ao substituir uma projeção densa para $F$ latentes por projeções para $h(m+n)$ pré-latentes, o KronSAE reduz a contagem de parâmetros e as operações de ponto flutuante (FLOPs) do codificador. O custo do codificador escala como $O(d \cdot h(m+n))$ em vez de $O(d \cdot F)$ .

Principais Contribuições

Identificação da Hierarquia do Codificador: O artigo identifica a falta de uma hierarquia explícita no lado do codificador como um eixo de design ausente nos SAEs, motivado pelos vieses indutivos estruturais inerentes à organização de características.
Design do KronSAE: Introdução de um codificador fatorizado por Kronecker equipado com a interação mAND, que constrói características pós-latentes a partir de fatores pré-latentes reutilizáveis.
Melhoria da Interpretabilidade: Evidência empírica mostrando que o KronSAE reduz a "absorção de características" (onde uma característica torna-se um subconjunto estrito de outra) e produz latentes mais específicos e interpretáveis em comparação com os SAEs TopK planos.
Troca Reconstrução-Computação: Demonstração de que o KronSAE pode reduzir os FLOPs do codificador em mais de 40% enquanto incorre em uma queda de menos de 1% na Variância Explicada (EV).

Resultados Experimentais

Os autores treinaram SAEs nos fluxos residuais de modelos Qwen2.5-1B e Gemma-2-2B usando o dataset FineWeb-Edu.

Fidelidade de Reconstrução: Sob um orçamento de tokens igual (250M tokens), o KronSAE alcança uma Variância Explicada (EV) comparável aos SAEs TopK padrão em vários tamanhos de dicionário ( $2^{14}$ a $2^{16}$ ) e camadas.
Interpretabilidade: Usando um pipeline automatizado (pontuações de detecção e fuzzing), as variantes do KronSAE (especificamente com $m \ge 2$ ) superam consistentemente os baselines TopK. As características exibem menor entropia de token e menores razões de multi-token, indicando maior especificidade.
Aprendizado de Correlação:
- Dados Reais: Características correlacionadas em SAEs TopK padrão tendem a mapear para características dentro da mesma cabeça do KronSAE, sugerindo que a arquitetura agrupa conceitos relacionados com sucesso.
- Dados Sintéticos: Em um experimento controlado de brinquedo com covariância de estrutura em blocos, o KronSAE recuperou a estrutura de correlação real significativamente melhor (maior coeficiente RV) do que o TopK SAE.
Absorção de Características: Configurações do KronSAE mostraram redução nas frações médias de absorção e pontuações de absorção total em comparação com os baselines, indicando uma redução na "subsunção" de características.
Eficiência: O método reduz os FLOPs do codificador em mais de 40% enquanto mantém a qualidade da reconstrução, conforme mostrado pela análise da fronteira de Pareto.

Significância e Alegações

O artigo afirma que o KronSAE oferece uma nova perspectiva sobre como a esparsidade e a fatoração podem trabalhar juntas no aprendizado de representação. Ao impor um prior de coativação arquitetural (via interação mAND), o modelo torna as interações de características estruturadas mais fáceis de aprender sem comprometer a fidelidade da reconstrução.

Os autores posicionam o KronSAE como um método que:

Melhora a Interpretabilidade: Ao reduzir a absorção de características e criar características mais específicas e monossêmicas.
Melhora a Eficiência: Ao reduzir drasticamente o custo computacional do codificador, tornando o treinamento e a execução de SAEs com dicionários grandes mais viáveis.
Alinha-se com a Estrutura Linguística: Ao modelar explicitamente a natureza composicional da linguagem (por exemplo, um conceito sendo a interseção de uma categoria base e um modificador específico) em vez de tratar as características como coordenadas planas independentes.

Os autores observam limitações, incluindo o fato de que a avaliação é atualmente limitada a modelos transformer de médio porte e que o overhead de engenharia para implementar o codificador fatorizado é moderado, mas não é zero. Eles também reconhecem que, embora o modelo de brinquedo valide o viés indutivo, as estruturas de correlação do mundo real podem diferir.