Resumo Técnico: Autoencodificadores Bilineares Encontram Variedades Interpretáveis

Declaração do Problema

A interpretabilidade mecanicista atual depende fortemente de Autoencodificadores Esparsos (SAEs) para descobrir representações latentes interpretáveis em redes neurais. Esses métodos operam sob a Hipótese da Representação Linear, assumindo que conceitos são codificados ao longo de direções lineares. No entanto, pesquisas recentes indicam que conceitos salientes frequentemente abrangem variedades complexas e multidimensionais (por exemplo, elipsoides, hiperboloides) que métodos lineares não conseguem capturar sem análise post-hoc. Além disso, o estudo isolado de latentes lineares frequentemente falha em contabilizar a dependência de contexto, onde o significado de um latente muda com base em características co-ativas. Embora aumentar a capacidade do modelo possa capturar mais estrutura, expressividade ilimitada frequentemente leva a soluções triviais que derrotam a interpretabilidade. O desafio central é encontrar uma classe de representação que seja não linear o suficiente para capturar essas variedades, mas algebricamente tratável o suficiente para permitir análise geométrica de forma fechada e compreensão composicional.

Metodologia

O artigo propõe Autoencodificadores Bilineares como solução, estendendo a arquitetura padrão de autoencodificador esparso para aprender latentes quadráticos.

Arquitetura

Em vez de reconstruir o vetor de entrada $x$ diretamente, o autoencodificador bilinear reconstrói o espaço de produto elevado $X = xx^\top$.

• Codificador: O modelo utiliza Unidades Lineares com Portão (GLUs) adaptadas para calcular polinômios de segunda ordem. A ativação do $i$-ésimo latente é definida como $z_i = x^\top W_i x$, onde $W_i$ é uma matriz simétrica representando uma forma quadrática.
• Decodificador: A reconstrução é realizada linearmente no espaço elevado: $\hat{X} = W^\top W X$.
• Eficiência de Treinamento: Materializar diretamente a matriz $d \times d$ $X$ é computacionalmente intratável para modelos grandes. Os autores empregam um truque de kernel para calcular a perda de reconstrução e os gradientes sem construir explicitamente $X$. A matriz de kernel $K = WW^\top$ é computada eficientemente via fatoração $K = C^\top (LL^\top \odot RR^\top) C$, onde $L$ e $R$ são matrizes de fatoração do codificador e $C$ é uma matriz de composição.
• Esparsidade: Os autores introduzem a densidade de Hoyer como uma penalidade de esparsidade invariante à escala. Diferentemente de penalidades $L_1$ padrão que podem causar encolhimento trivial, a densidade de Hoyer incentiva proeminência relativa através do lote, garantindo que os latentes disparem seletivamente em estruturas específicas sem colapsar para zero.

Hipóteses Estruturais

O artigo formaliza três hipóteses de representação aninhadas que definem os priores geométricos dos átomos do dicionário:

1. Hipótese da Representação Quadrática: O dicionário consiste em matrizes simétricas $W_i$. O modelo decompõe $xx^\top$ em uma soma esparsa dessas matrizes. Isso permite a detecção de geometrias quádricas (elipsoides, hiperboloides, paraboloides).
2. Hipótese da Representação Atômica: Uma restrição onde cada átomo do dicionário é uma matriz de posto 1 ($W_i = w_i w_i^\top$). O campo receptivo é um "laminado" simétrico (dois hiperplanos paralelos), detectando energia ao longo de uma direção independentemente do sinal.
3. Hipótese da Representação Composta: Átomos do dicionário são misturas esparsas de matrizes de posto 1 ($W_i = \sum C_{ij} w_j w_j^\top$). Isso permite que o modelo aprenda subespaços de baixo posto automaticamente. Um átomo composto pode formar um elipsoide (se definido positivo semi-definido) ou um hiperboloide (se indefinido), capturando efetivamente conceitos que requerem múltiplas direções lineares para definição.

Contribuições Principais

1. Arquitetura: Os autores adaptam autoencodificadores bilineares para aprendizado de dicionário, permitindo treinamento eficiente via um truque de kernel. Isso fornece uma extensão natural e tratável de SAEs lineares que opera no espaço de pesos, permitindo análise geométrica sem passadas forward.
2. Estrutura: Eles propõem um framework formal de priores estruturais (Atômico, Composto, Quadrático) que mapeiam restrições de dicionário para geometrias específicas de campo receptivo (laminados, elipsoides/hiperboloides e quádricas arbitrárias). Isso desafia a hipótese linear padrão ao demonstrar que conceitos podem ser detectados por sua proximidade a superfícies quádricas em vez de semi-espaços lineares.
3. Validação Empírica:
   • Reconstrução: Experimentos em Qwen 3.5 (0.8B), Gemma-3 (1B) e Llama-3.2 (1B) mostram que latentes compostos e quadráticos consistentemente alcançam menor erro de reconstrução (NMSE) do que latentes atômicos (posto 1) e baselines lineares.
   • Prevalência Geométrica: Análise espectral revela que, embora muitos conceitos sejam de baixo posto, uma "cauda longa" significativa de conceitos requer geometrias de dimensão superior (posto > 1) para serem capturadas com precisão.
   • Estabilidade: Embora átomos individuais do dicionário (decomposições) variem significativamente entre execuções de treinamento e hiperparâmetros, o subespaço de entrada global recuperado pelos autoencodificadores permanece altamente estável (>90% de similaridade). Isso sugere que a decomposição específica é menos importante do que a estrutura da variedade subjacente.
   • Análise Qualitativa: Um visualizador interativo demonstra que autoencodificadores bilineares capturam padrões geométricos diversos, incluindo cones (anos), clusters (locações), interpolações (pontes semânticas) e subconjuntos (distinções contextuais como "para" vs. "por exemplo").

Significado e Alegações

O artigo argumenta que autoencodificadores bilineares representam um passo significativo em direção a representações latentes não lineares, mas matematicamente tratáveis.

• Além da Linearidade: O trabalho desafia a dominância da hipótese da representação linear, mostrando que conceitos salientes frequentemente habitam variedades multidimensionais que métodos lineares perdem.
• Interpretabilidade Composicional: Ao usar polinômios, o modelo garante que a composição ocorra no espaço de pesos. Isso permite interações explícitas e computáveis entre características, movendo a interpretabilidade de bases isoladas para estruturas composicionais compreensíveis.
• Descoberta de Variedades: Os autores posicionam esses modelos como ferramentas não supervisionadas para descoberta de variedades. Como a geometria é lida diretamente dos tensores de pesos (autovalores e autovetores de $W_i$), os modelos oferecem uma "lente" sobre a geometria da representação que é interpretável por design.
• Escopo Moderado: Os autores afirmam explicitamente que os priores estruturais apresentados são uma prova de conceito. Eles não afirmam ter varrido todos os priores possíveis para encontrar o compromisso ótimo, nem afirmam ter resolvido a ablação causal. Em vez disso, eles enquadram isso como uma fundação para trabalhos futuros em direcionamento causal e caracterização de quais priores geométricos modelos específicos preferem.

O artigo conclui que, embora métodos lineares sejam úteis, o campo deve avançar em direção a representações que possam modelar explicitamente a geometria curva e de alta dimensão inerente às ativações de redes neurais para alcançar verdadeira compreensão composicional.