Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment

1. O Problema

A interpretabilidade de Redes Neurais Profundas (DNNs) é crucial para mitigar riscos, desenvolver arquiteturas inovadoras e cumprir regulamentações. No entanto, a maioria dos métodos existentes foca na análise de um único modelo por vez.

• Limitação Atual: Técnicas baseadas em conceitos (como SAEs - Sparse Autoencoders) são treinadas individualmente para cada modelo. Isso resulta em espaços latentes desconexos, onde conceitos semelhantes podem ter representações diferentes em arquiteturas distintas.
• Desafio: Métodos post-hoc (após o treinamento) para alinhar conceitos entre modelos são computacionalmente caros, não escaláveis e não permitem a tradução direta de representações entre arquiteturas diferentes.
• Objetivo: Criar um espaço de conceitos universal e compartilhado que capture representações internas interpretáveis comuns a múltiplos modelos pré-treinados, permitindo analisar como diferentes redes codificam as mesmas ideias.

2. Metodologia: Universal Sparse Autoencoders (USAEs)

Os autores propõem os USAEs, uma extensão dos Autoencoders Esparsos (SAEs) tradicionais para um cenário multi-modelo.

Arquitetura e Treinamento

• Espaço de Código Compartilhado: O USAE aprende um único espaço de código esparsos ($Z$) que serve como uma "língua franca" para múltiplos modelos.
• Mecanismo de Codificação/Decodificação:
  • Para cada modelo $i$ (ex: DinoV2, SigLIP, ViT), existe um encoder específico ($\Psi^{(i)}$) que mapeia as ativações do modelo para o espaço de código compartilhado $Z$.
  • Para cada modelo $j$, existe um dicionário (decoder) específico ($D^{(j)}$) que reconstrói as ativações do modelo $j$ a partir do código $Z$.
• Função de Perda Universal: O treinamento não minimiza apenas o erro de reconstrução de um único modelo. Em cada iteração, um modelo é selecionado aleatoriamente para codificar um lote de dados em $Z$. Esse mesmo $Z$ é então usado para reconstruir as ativações de todos os modelos no conjunto ($M$ modelos).
  • A perda total é a soma dos erros de reconstrução (norma de Frobenius) de todos os modelos:
    $$L_{Universal} = \sum_{j=1}^{M} \| A^{(j)} - \hat{A}^{(j)} \|_F$$
  • Isso força o espaço $Z$ a capturar apenas os fatores de variação (conceitos) que são comuns e úteis para reconstruir todas as arquiteturas simultaneamente.

Configuração Experimental

• Modelos Testados: Três modelos de visão distintos com paradigmas de treinamento diferentes:
  1. DinoV2: Aprendizado auto-supervisionado (distilação).
  2. SigLIP: Aprendizado contrastivo imagem-texto.
  3. ViT (ImageNet): Classificação supervisionada.
• Dados: Treinamento no conjunto ImageNet.
• Hiperparâmetros: SAE do tipo TopK, com um dicionário de tamanho 6144 (fator de expansão de 8x em relação à maior dimensão de feature).

3. Contribuições Principais

1. Framework USAE: Introdução de um método que aprende um espaço de conceitos interpretável e compartilhado entre múltiplos modelos, superando a necessidade de alinhamento post-hoc.
2. Análise de Universalidade: Demonstração de que muitos conceitos fundamentais (de baixo nível como cores e texturas, a alto nível como partes de objetos e rostos) são compartilhados entre arquiteturas e objetivos de treinamento distintos.
3. Descoberta de Conceitos Únicos: Capacidade de identificar conceitos que são exclusivos de um modelo (ex: características geométricas específicas do DinoV2 ou conceitos texto-visual do SigLIP) através de métricas de entropia de ativação.
4. Aplicação Inovadora (Coordinated Activation Maximization): Uma nova técnica onde se otimiza a entrada de todos os modelos simultaneamente para maximizar a ativação do mesmo índice de conceito no espaço universal, revelando visualmente como cada modelo interpreta a mesma ideia.

4. Resultados Chave

Visualização e Interpretabilidade

• Os USAEs descobriram conceitos robustos que variam de baixo nível (cores, bordas, texturas) a alto nível (rostos de animais, partes de objetos, agrupamentos).
• Exemplo: O conceito de "curvas" ou "rostos de multidão" foi visualizado de forma coerente em todos os três modelos, embora com nuances de escala e foco.

Métricas Quantitativas

• Reconstrução Cruzada: O USAE conseguiu reconstruir as ativações de um modelo usando o código gerado por outro com pontuações $R^2$ positivas, provando a existência de características compartilhadas. O DinoV2 apresentou a melhor auto-reconstrução, sugerindo features mais esparsas e decomponíveis.
• Universalidade vs. Importância:
  • Entropia de Disparo (Firing Entropy): A maioria dos conceitos de alta energia (importantes) apresentou alta entropia, indicando que disparam uniformemente em todos os modelos.
  • Proporção de Co-disparo (Co-Fire Proportion): Existe uma forte correlação entre a frequência com que um conceito dispara em todos os modelos simultaneamente e sua importância para a reconstrução.
• Consistência com SAEs Individuais: Cerca de 23-37% dos conceitos universais encontrados também aparecem em SAEs treinados individualmente. No entanto, o treinamento universal descobre novos conceitos compartilhados que não emergem no treinamento isolado.

Descobertas Específicas por Modelo

• DinoV2: Apresentou conceitos únicos relacionados a pistas de profundidade, perspectiva e geometria 3D (ex: linhas convergentes, faces superiores de prismas), alinhado com seu treinamento baseado em distilação e visão auto-supervisionada.
• SigLIP: Revelou conceitos que misturam elementos visuais e textuais (ex: a palavra "estrela" ou notas musicais), refletindo sua natureza de modelo visão-linguagem.

Generalização

• O USAE treinado no ImageNet demonstrou robustez em dados fora da distribuição (OOD), como DTD (texturas) e CelebA (rostos), mantendo a capacidade de reconstrução e alinhamento de conceitos.

5. Significado e Impacto

• Interpretabilidade Escalável: Os USAEs oferecem uma abordagem escalável para entender o "cérebro" coletivo de modelos de IA, em vez de analisar cada um isoladamente.
• Validação da Hipótese Platônica: Os resultados apoiam a hipótese de que modelos fundamentais convergem para uma representação latente compartilhada do mundo, independentemente de sua arquitetura ou tarefa específica.
• Novas Ferramentas de Análise: A técnica de Coordinated Activation Maximization permite aos pesquisadores visualizar diretamente as semelhanças e diferenças na forma como diferentes arquiteturas codificam a mesma semântica.
• Segurança e Conformidade: Ao identificar conceitos universais e específicos, o framework auxilia na detecção de vieses, falhas de generalização e riscos de segurança em sistemas de IA multi-modelo, facilitando a conformidade com regulamentações emergentes.

Em resumo, o trabalho estabelece que é possível aprender um dicionário de conceitos comum que desvenda a estrutura interna de múltiplas redes neurais simultaneamente, revelando tanto a universalidade das representações visuais quanto as assinaturas únicas de cada arquitetura.