Resumo Técnico: Caracterização de Representações Universais de Objetos em Modelos de Visão

Declaração do Problema

Redes neurais profundas (DNNs) treinadas com arquiteturas diversas, funções objetivo e conjuntos de dados foram observadas convergindo para representações visuais semelhantes, um fenômeno por vezes denominado "Hipótese da Representação Platônica". No entanto, as propriedades visuais específicas capturadas por essas representações compartilhadas e os fatores que impulsionam essa convergência permanecem pouco compreendidos. Questões-chave em aberto incluem:

1. As representações universais refletem propriedades conceituais de alto nível (por exemplo, categorias de objetos) ou propriedades perceptivas de baixo nível (por exemplo, bordas, cores)?
2. Quais vieses indutivos (arquitetura, objetivo, dados de treinamento, tamanho do modelo ou desempenho) impulsionam o surgimento dessas dimensões universais?
3. Como essas dimensões compartilhadas se relacionam com a visão biológica (atividade neural e comportamento humano)?

Trabalhos anteriores estabeleceram que os modelos se sobrepõem na estrutura representacional, mas não decomuseram sistematicamente essas estruturas em dimensões interpretáveis e não negativas para distinguir entre componentes universais e específicos do modelo em um grande conjunto diversificado de modelos.

Metodologia

Os autores analisaram 162 modelos de visão diversos (abrangendo CNNs, Transformers, MLP-Mixers e Híbridos) treinados em vários conjuntos de dados (ImageNet, LAION, Taskonomy, etc.) e objetivos (supervisionado, auto-supervisionado, visão-linguagem). O pipeline de análise envolveu as seguintes etapas:

1. Extração de Dados e Representações:

   • Estímulos: 22.248 imagens de objetos do banco de dados THINGS, cobrindo 1.854 categorias de objetos de nível básico.
   • Recursos: Representações da penúltima camada foram extraídas de todos os 162 modelos. A penúltima camada foi escolhida por integrar informações conceituais de alto nível e perceptivas de alta granularidade mais próximas da saída comportamental.

2. Fatoração de Matriz Não Negativa Simétrica (Symmetric NMF):

   • Para tornar as representações comparáveis entre modelos com espaços de recursos diferentes, os autores primeiro calcularam matrizes de similaridade de objetos pares ($S_m$) para cada modelo usando um kernel de Função de Base Radial (RBF).
   • Cada matriz de similaridade foi decomposta em um pequeno conjunto de dimensões não negativas ($r=50$) usando Symmetric NMF: $S_m \approx W_m W_m^\top$.
   • Isso produziu um embedding não negativo $W_m$ para cada modelo, onde cada coluna representa uma dimensão definida por cargas sobre o mesmo conjunto de imagens. Essa abordagem garante que as dimensões sejam interpretáveis como recursos baseados em "partes".

3. Quantificação da Universalidade:

   • Uma pontuação de universalidade foi calculada para cada dimensão em cada modelo. Isso envolveu encontrar uma correspondência um-para-um (via algoritmo húngaro) entre as dimensões de um modelo-alvo e todos os outros modelos com base na similaridade do cosseno ao quadrado.
   • A pontuação para uma dimensão $k$ no modelo $m$ é a similaridade média com suas dimensões de melhor correspondência em todos os outros $M-1$ modelos.
   • As pontuações foram calibradas contra uma distribuição nula de permutação para corrigir o alinhamento ao acaso e a similaridade de base devido à não negatividade.

4. Caracterização e Validação:

   • Interpretabilidade: 1.059 dimensões representativas foram rotuladas por participantes recrutados via crowdsourcing como semânticas, visuais, ambas ou nenhuma.
   • Análise Estrutural: A consistência de categoria ($\eta^2$) foi calculada para determinar se as dimensões agrupavam imagens por categoria de objeto (variância entre categorias) ou por recursos visuais dentro das categorias (variância dentro da categoria).
   • Alinhamento Biológico: O poder preditivo de dimensões universais versus específicas do modelo foi testado contra:
     • Atividade de múltiplas unidades no córtex temporal inferior (IT) de macacos.
     • Julgamentos de similaridade comportamental humana (tarefas de tripletos "o ímpar").
   • Comparações Controladas: Os autores isolaram os efeitos da arquitetura, função objetivo, dados de treinamento, tamanho do modelo e desempenho para determinar sua influência na universalidade.

Principais Resultados

1. Existência de Dimensões Universais

O estudo identificou um conjunto de dimensões universais interpretáveis que ocorrem consistentemente entre os 162 modelos diversos. As pontuações de universalidade variaram de quase ao acaso (0,0003) a 0,54, com as dimensões mais universais atingindo 64% do teto de estabilidade dentro do modelo. Essas dimensões universais não são artefatos de famílias de modelos ou conjuntos de imagens específicos, pois as classificações permaneceram estáveis sob reamostragem bootstrap e alterações no conjunto de imagens (THINGS vs. ObjectNet).

2. Natureza das Dimensões Universais versus Específicas do Modelo

• Dimensões Universais: Estas são significativamente mais interpretáveis para humanos. Em altos níveis de universalidade, 80% das dimensões foram rotuladas como semânticas ou mistas semântico-visuais, e elas mostraram forte consistência de categoria (agrupando imagens por categoria de objeto).
• Dimensões Específicas do Modelo: Estas são amplamente ininterpretáveis (78% rotuladas como "nenhuma" em baixa universalidade) e são impulsionadas por propriedades perceptivas da imagem (textura, cor, ponto de vista) em vez de estrutura conceitual. Elas exibem alta variância dentro da categoria.
• Importância da Reconstrução: Crucialmente, a universalidade não correlaciona com a contribuição de uma dimensão para a estrutura de similaridade geral do modelo (importância da reconstrução). Tanto as dimensões universais quanto as específicas do modelo contribuem igualmente para a geometria representacional do modelo.

3. Impulsionadores da Universalidade

Os autores descobriram que nenhum viés indutivo único accounts para o surgimento de dimensões universais:

• Arquitetura: Nenhuma diferença significativa na universalidade entre CNNs, Transformers, MLP-Mixers ou Híbridos.
• Função Objetivo: Embora tarefas semânticas tenham produzido mais dimensões universais do que tarefas geométricas dentro da família Taskonomy, nenhum objetivo único (por exemplo, contrastivo versus não contrastivo, visão-linguagem versus apenas visual) impulsionou consistentemente a universalidade em todo o zoológico de modelos mais amplo.
• Dados de Treinamento: Nem a escala do conjunto de dados (ImageNet-1K vs. 21K) nem conjuntos de dados específicos em escala web (LAION, DFN, MetaCLIP) alteraram significativamente as pontuações de universalidade.
• Tamanho/Desempenho do Modelo: A universalidade não mostrou correlação com a contagem de parâmetros ou a precisão top-1 do ImageNet.

4. Alinhamento com a Visão Biológica

Modelos com uma proporção maior de dimensões universais predizem melhor:

• Atividade Neural: Atividade de múltiplas unidades no córtex temporal inferior (IT) de macacos ($r = 0,74$).
• Comportamento Humano: Julgamentos de similaridade humana em tarefas de "o ímpar" ($r = 0,76$).
  Além disso, a "metade universal" das dimensões de um modelo (top 25 por pontuação) supera significativamente a "metade específica do modelo" na previsão de dados neurais e comportamentais.

Significado e Alegações

O artigo alega que a universalidade é uma propriedade emergente da aprendizagem bem-sucedida de representação visual e não uma consequência de escolhas específicas de arquitetura ou treinamento. As descobertas sugerem que:

• Modelos diversos convergem para um conjunto compartilhado de representações de objetos conceituais e interpretáveis que se alinham com a visão biológica.
• A convergência é impulsionada pelas restrições do próprio mundo visual, e não por vieses indutivos específicos do modelo.
• Interpretabilidade, conteúdo conceitual e alinhamento biológico co-ocorrem na estrutura em que os modelos convergem.

Os autores posicionam seu trabalho como um passo para entender o "porquê" da aprendizagem de representação visual, demonstrando que, apesar da natureza "fraturada" dos recursos específicos do modelo, existe um núcleo universal robusto que espelha a organização do sistema visual biológico. Eles afirmam explicitamente que essa convergência não é completa (dimensões universais não têm pontuações perfeitas, e dimensões específicas do modelo permanecem significativas), mas a estrutura compartilhada é suficiente para explicar o alinhamento com cérebros e comportamento.

O artigo conclui que essa estrutura oferece uma abordagem generalizável para entender representações compartilhadas versus específicas em qualquer conjunto de modelos processando entradas comuns, indo além de métricas simples de alinhamento representacional para caracterizar o conteúdo da convergência.