Revealing the core dimensions underlying representations in brains, behavior and AI

Resumo Técnico: Revelando as Dimensões Fundamentais Subjacentes às Representações em Cérebros, Comportamento e IA

Declaração do Problema
O estudo das representações nas neurociências, na psicologia e na inteligência artificial depende fortemente da caracterização de como os estímulos são organizados em relação uns aos outros, tipicamente por meio de matrizes de similaridade. Embora métodos como a Análise de Similaridade Representacional (RSA) permitam a comparação dessas matrizes entre sistemas, eles não recuperam as dimensões subjacentes que geram as similaridades observadas. Por outro lado, técnicas de redução de dimensionalidade, como Escalonamento Multidimensional (MDS), Análise de Componentes Principais (PCA) e t-SNE, podem resumir dados, mas frequentemente produzem eixos difíceis de interpretar como propriedades representacionais significativas. Além disso, os métodos existentes lutam contra duas restrições práticas críticas: (1) a dimensionalidade do espaço representacional é geralmente desconhecida e (2) os dados empíricos de similaridade são frequentemente esparsos ou incompletos (por exemplo, julgamentos comportamentais onde nem todos os pares de estímulos são comparados). As abordagens atuais falham em resolver conjuntamente os problemas de recuperar dimensões interpretáveis, determinar o número necessário de dimensões e aprender a partir de dados incompletos sem distorcer a estrutura de similaridade por meio de imputação.

Metodologia: Fatoração de Representação Baseada em Similaridade (SRF)
Os autores introduzem a Fatoração de Representação Baseada em Similaridade (SRF), um quadro computacional geral projetado para recuperar incorporações de baixa dimensionalidade, não negativas e interpretáveis diretamente a partir de matrizes de similaridade.

• Formulação Central: A SRF é construída sobre a Fatoração de Matriz Não Negativa Simétrica (SNMF). Ela modela uma matriz de similaridade simétrica e não negativa $S \in \mathbb{R}^{n \times n}_{\ge 0}$ como o produto de uma matriz de incorporação de baixo posto $W$ e sua transposta: $S \approx WW^\top$, onde $W \in \mathbb{R}^{n \times r}_{\ge 0}$ e $r \ll n$. A restrição de não negatividade incentiva fatores aditivos baseados em partes, que são frequentemente mais interpretáveis do que os componentes subtrativos da PCA.
• Tratamento de Dados Incompletos: Diferentemente da fatoração de matriz padrão, a SRF opera diretamente nas entradas observadas sem imputar valores faltantes. Ela define uma máscara binária $M$ onde $M_{ij}=1$ se a similaridade $S_{ij}$ for observada. A função objetivo minimiza a norma de Frobenius do erro de reconstrução apenas sobre as entradas observadas: $\min_{W \ge 0} \frac{1}{2} \| M \odot (S - WW^\top) \|_F^2$. Isso permite que o modelo aprenda a partir de grafos esparsos (por exemplo, associações de palavras) e preveja similaridades não observadas.
• Otimização: Os autores empregam o Método Alternado dos Multiplicadores de Direção (ADMM) para resolver o problema de otimização. Eles fornecem provas teóricas sobre a convergência do algoritmo e a estabilidade da solução sob especificação incorreta do posto.
• Seleção de Dimensionalidade: Para abordar a dimensionalidade desconhecida $r$, a SRF utiliza um protocolo de validação cruzada especializado. Como as entradas em uma matriz de similaridade são estatisticamente dependentes (acopladas pela estrutura de baixo posto), a validação cruzada padrão entrada a entrada pode levar a vazamento de informações e estimativas de posto infladas. A SRF usa um esquema de "retenção restrita" que garante que o conjunto de treinamento permaneça abaixo do limite de conclusão de matriz, impedindo que o conjunto de validação seja implicitamente determinado pelo conjunto de treinamento. O posto ótimo é selecionado no mínimo da curva de erro de validação.

Principais Resultados
O artigo valida a SRF por meio de simulações e aplicações em diversos conjuntos de dados empíricos:

1. Desempenho em Simulação:

   • Precisão de Recuperação: A SRF recupera com precisão as dimensões latentes verdadeiras de matrizes de similaridade sintéticas, mesmo quando as dimensões são difusas ou sobrepostas.
   • Robustez ao Ruído: O método mantém alta precisão de recuperação sob níveis moderados de ruído de medição.
   • Dados Faltantes: A SRF supera significativamente as bases de imputação padrão (vizinho mais próximo e imputação mediana) na previsão de similaridades retidas e na recuperação de dimensões subjacentes, particularmente em regimes subdeterminados onde as observações são menores que os parâmetros.
   • Detecção de Posto: A abordagem de validação cruzada para seleção de posto supera métodos tradicionais como o teste Scree e a Análise Paralela de Horn na identificação da dimensionalidade verdadeira.

2. Poder Estatístico:

   • Em testes de hipóteses, a SRF demonstra maior poder estatístico do que a RSA. Ao decompor a matriz de similaridade em dimensões distintas, a SRF permite que os pesquisadores testem hipóteses específicas contra a dimensão que melhor corresponde a elas, em vez de contra a matriz de similaridade completa e ruidosa. Essa vantagem é mais pronunciada para dimensões que contribuem com baixa variância para a estrutura geral, que são frequentemente obscurecidas na RSA.

3. Aplicações Empíricas:

   • Conjuntos de Dados: A SRF foi aplicada a julgamentos comportamentais (THINGS, conjuntos de dados Peterson, Mur-92), gravações neurais (córtex IT de macacos, fMRI humana do NSD), ativações de redes neurais profundas (CLIP) e associações semânticas (Small World of Words, SWOW).
   • Interpretabilidade: O método recuperou dimensões estáveis e interpretáveis em todos os domínios. Exemplos incluem distinções de animacidade/inanimacidade no reconhecimento de objetos, agrupamentos taxonômicos em animais, características perceptivas (cor) e características semânticas (animacidade) no CLIP, e temas abstratos (por exemplo, força física, afeto) em associações de palavras.
   • Generalização: Dimensões derivadas do grafo esparsos de associação de palavras SWOW previram com sucesso classificações comportamentais independentes (por exemplo, valência, excitação, concretude) das Normas de Glasgow, demonstrando que as dimensões recuperadas capturam informações semânticas generalizáveis.
   • Eficiência: Na tarefa de "um diferente dos outros" do THINGS, a SRF alcançou uma precisão de previsão comportamental comparável ao modelo de rede neural SPoSE de última geração, mas com aproximadamente metade do número de dimensões (35 vs. 66).

Significado e Alegações
O artigo posiciona a SRF como um método de propósito geral que preenche a lacuna entre a análise descritiva de similaridade e a compreensão mecânica. Seu significado principal reside na sua capacidade de ir além das comparações escalares de matrizes de similaridade para identificar os fatores específicos que organizam as representações.

• Quadro Unificado: A SRF unifica as forças da análise baseada em similaridade (comparação de sistemas através de um formato comum) com a capacidade de inferir as dimensões latentes que geram essa estrutura.
• Tratamento de Esparsidade: Ao aprender diretamente a partir de dados incompletos sem imputação, a SRF permite a análise de conjuntos de dados que eram anteriormente difíceis de processar, como redes de associação de palavras em grande escala ou julgamentos comportamentais esparsos.
• Inferência Aprimorada: O método oferece uma ferramenta mais sensível para testes de hipóteses confirmatórios em comparação com a RSA, particularmente para a detecção de dimensões de baixa variância.
• Interpretabilidade: A natureza não negativa e baseada em partes das incorporações recuperadas facilita a interpretação direta, apoiando teorias sobre mecanismos cerebrais, propriedades de estímulos e falhas de modelos.

Os autores concluem que a SRF fornece uma abordagem principiante e geral para descobrir, compreender e aproveitar as dimensões subjacentes às representações em cérebros, comportamento e IA, aplicável sempre que relações em pares forem esparsas ou parcialmente observadas.