A Unifying Framework for Concept-Based Representational Similarity

Resumo Técnico: Uma Estrutura Unificadora para a Similaridade Representacional Baseada em Conceitos

Declaração do Problema

Modelos modernos de aprendizagem profunda exibem similaridades estruturais impressionantes em suas representações internas, sugerindo decomposições de conceitos subjacentes compartilhadas entre arquiteturas, inicializações e modalidades. No entanto, a noção de "alinhamento de conceitos" permanece mal definida. A literatura existente utiliza a mesma terminologia para otimizar objetivos diferentes, obscurecendo quais propriedades específicas estão sendo de fato alinhadas. Além disso, não está claro se otimizar um objetivo de alinhamento (ex: tradução) recupera de forma confiável outros (ex: consistência de conceito), ou se objetivos puramente não supervisionados e distribuicionais podem recuperar o alinhamento de nível de instância significativo. O artigo argumenta que os métodos atuais carecem de uma estrutura rigorosa para distinguir entre alinhar representações versus alinhar conceitos, e entre alinhamento por instância versus distribuicional.

Metodologia: Uma Estrutura Unificadora

Os autores propõem uma estrutura formal que decompõe o alinhamento de conceitos ao longo de dois eixos:

1. O que é alinhado: Representações (tradução) vs. Conceitos (consistência de conceito).
2. Nível de alinhamento: Por instância (pontos de dados específicos) vs. Distribuicional (propriedades estatísticas dos dados).

Esta decomposição resulta em quatro propriedades fundamentais:

• Tradução por Instância ($P_{tr}$): A capacidade de mapear uma representação de um sistema $i$ para um sistema $j$ ($(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$).
• Consistência de Conceito por Instância ($P_{cont}$): A capacidade de ambos os sistemas recuperarem a mesma visão comprimida de um espaço de conceitos compartilhado ($\psi_i(x_i) = \psi_j(x_j)$).
• Tradução Distribuicional ($P^{dist}_{tr}$): A medida de pushforward da tradução coincide com a distribuição alvo.
• Consistência de Conceito Distribuicional ($P^{dist}_{cont}$): As medidas de pushforward dos espaços de conceitos coincidem.

A estrutura operacionaliza essas propriedades como termos de regularização na função de perda de treinamento de Autoencoders Esparsos (SAEs). Os autores analem as relações teóricas entre essas propriedades, observando que, embora a tradução e a consistência de conceito sejam teoricamente equivalentes sob suposições estritas de injetividade e reconstrução, essas condições frequentemente falham na prática.

Para avaliar essas propriedades, os autores introduzem o InterVenchA, um benchmark de diagnóstico que estende o SAEBench. Ele separa a avaliação em:

• Qualidade de Extração ($M_{extracão}$): Quão bem o SAE reconstrói e desentranha características dentro de um único domínio.
• Qualidade de Tradução ($M_{tr}$): Quão bem conceitos aprendidos em um domínio transferem para reconstruir outro (independente de consistência).
• Consistência de Conceito ($M_{cont}$): Quão bem o mesmo conjunto de conceitos captura informações relevantes para a tarefa através de domínios (independente de tradução).

Solução Proposta: Coupled Sparse Autoencoder (CoSAE)

Com base na descoberta de que nenhum objetivo único é suficiente, os autores propõem o CoSAE, uma estrutura de SAE modular que impõe conjuntamente objetivos de alinhamento complementares. O CoSAE combina:

• Perda de reconstrução ($L_{dcy}$).
• Perda de tradução por instância ($L_{tr}$) em um pequeno subconjunto de dados pareados.
• Perda de consistência de conceito por instância ($L_{cont}$) nos mesmos dados pareados.
• Perdas de alinhamento distribuicional ($L^{dist}_{tr}$ e $L^{dist}_{cont}$) no conjunto de dados completo.

Crucialmente, o método depende de "ancoragem" de objetivos distribuicionais com uma quantidade mínima de dados pareados (tão pouco quanto 0,1% do conjunto de dados) para resolver a não-identificabilidade do problema de transporte.

Principais Resultados

Através de experimentos em dados sintéticos, modelos de visão (ViT, DinoV2, SigLIP) e codificadores multimodais (CLIP, OpenCLIP), os autores demonstram:

1. Falha das Equivalências: As equivalências comumente assumidas entre objetivos de alinhamento não se sustentam na prática.

   • Otimizar a tradução não recupera de forma confiável a consistência de conceito, e vice-versa.
   • A consistência de ciclo (frequentemente usada como um substituto para tradução em cenários sem pares) não é um substituto fiel para o alinhamento; uma alta consistência de ciclo pode coexistir com um alinhamento pobre.
   • Objetivos puramente distribuicionais falham em recuperar o alinhamento de nível de instância devido à não-identificabilidade do problema de transporte.

2. Necessidade de Otimização de Múltiplos Objetivos: Um alinhamento forte emerge apenas quando a tradução e a consistência de conceito são explicitamente regularizadas juntas.

   • Em embeddings reais, otimizar $L_{tr}$ isoladamente melhora a tradução, mas não a consistência; otimizar $L_{cont}$ isoladamente melhora a consistência, mas degrada a qualidade de extração.
   • Somente a combinação de ambos produz pontuações altas em ambas as métricas.

3. Eficácia da Supervisão Escassa: A estratégia de "ancoragem" é altamente eficaz. Usar apenas 1 em cada 1.000 pares correspondentes para ancorar objetivos distribuicionais permite que o CoSAE recupere um forte alinhamento de nível de instância, igualando ou excedendo o desempenho de modelos treinados com supervisão densa de instância.

4. Desempenho: O CoSAE supera os métodos de estado da arte, incluindo Crosscoders, Universal SAEs (USAEs) e SAE-Aligned (SAE-A), em todas as métricas de alinhamento ($M_{tr}$ e $M_{cont}$). Notavelmente, os Crosscoders, que impõem consistência via restrições arquiteturais (soma de códigos), falham em manter codificadores independentes fortes, enquanto o CoSAE mantém codificadores individuais robustos.

5. Utilidade Downstream: O alinhamento aprendido pelo CoSAE suporta um desempenho competitivo de transferência zero-shot (ex: classificação ImageNet) comparável a métodos que utilizam projetores densos, apesar de o CoSAE depender de autoencoders esparsos.

Significância e Alegações

O artigo afirma que o alinhamento de conceitos é fundamentalmente um problema de múltiplos objetivos que não pode ser capturado por um único objetivo substituto. Os autores argumentam que:

• Métodos existentes frequentemente confundem propriedades distintas, levando a interpretações ambíguas de "alinhamento".
• Uma definição rigorosa distinguindo entre alinhamento de representação vs. conceito e níveis de instância vs. distribuicional é necessária para o progresso.
• O desempenho prático mais forte surge não da otimização perfeita de um objetivo, mas da combinação de regularizadores complementares com supervisão mínima.

Os autores posicionam o CoSAE não apenas como um novo modelo, mas como uma consequência construtiva de uma compreensão teórica mais clara do alinhamento. Eles enfatizam que o alinhamento significativo requer respeitar a estrutura do problema tanto na avaliação quanto no design do método, afastando-se de métricas de pontuação única em direção a uma família acoplada de objetivos.

Limitações Reconhecidas:

• A estrutura foca em estrutura compartilhada e não modela explicitamente características idiossincráticas ou específicas de domínio além da autorreconstrução.
• A avaliação depende de métricas substitutas em vez de conceitos de verdade fundamental (ground-truth), o que significa que o alinhamento semântico e a transferência funcional podem nem sempre coincidir.
• O objetivo combinado introduz sensibilidade a hiperparâmetros.
• A validação empírica é limitada a arquiteturas e conjuntos de dados específicos, embora a estrutura seja destinada a ser generalizável.