Quantifying task-relevant representational similarity using decision variable correlation

Resumo Técnico: Quantificando a Similaridade Representacional Relevante para a Tarefa usando Correlação de Variável de Decisão

1. O Problema

A neurociência computacional tem utilizado Redes Neurais Profundas (DNNs) treinadas em classificação de imagens como modelos candidatos para entender o processamento visual no cérebro (especificamente o caminho ventral do primata). No entanto, existe uma contradição na literatura sobre o grau de alinhamento entre as representações internas desses modelos e as do cérebro:

• Alguns estudos sugerem que modelos mais precisos e robustos convergem para representações mais "semelhantes ao cérebro".
• Outros argumentam que a similaridade estagna ou que os modelos divergem fundamentalmente dos sistemas biológicos.

O problema central identificado pelos autores é a falta de uma métrica adequada para comparar modelos e cérebros. Métodos existentes, como a Análise de Similaridade Representacional (RSA) ou métricas de comportamento baseadas em erro (como o Kappa de Cohen), frequentemente falham em:

1. Desembaralhar a precisão da consistência: Métricas comportamentais são sensíveis à diferença de acurácia entre os observadores.
2. Focar em características irrelevantes: Métricas geométricas (RSA) capturam similaridades em dimensões que podem não ser relevantes para a tarefa de decisão.
3. Ignorar vieses de decisão: Métricas como o Kappa de Cohen podem ser infladas por vieses compartilhados na tomada de decisão, em vez de refletir a consistência real das variáveis de decisão subjacentes.

2. Metodologia: Correlação de Variável de Decisão (DVC)

Os autores propõem uma nova métrica chamada Correlação de Variável de Decisão (Decision Variable Correlation - DVC). O método é uma generalização da Teoria de Detecção de Sinais para comparar a consistência trial-a-trial (ensaio a ensaio) de duas representações neurais.

Principais etapas da metodologia:

1. Definição da Variável de Decisão (DV): Para um par de categorias de imagens, utiliza-se um classificador linear ótimo (Análise Discriminante Linear - LDA) para projetar as representações neurais de alta dimensão (do cérebro ou do modelo) em um eixo de decisão unidimensional. Este valor projetado é a "Variável de Decisão".
2. Cálculo da Correlação: Calcula-se a correlação de Pearson entre as DVs de dois observadores (ex: Cérebro A vs. Modelo B) para cada imagem.
3. Correção de Ruído (Split-Half Normalization): Para corrigir a subestimação da correlação devido ao ruído de medição (especialmente crítico em dados neurais com poucos neurônios), os autores utilizam um procedimento de "split-half". Eles dividem os dados em duas metades independentes, calculam correlações cruzadas e internas, e normalizam a correlação observada para estimar a correlação verdadeira subjacente aos sinais latentes.
4. Foco na Tarefa: Ao focar apenas na dimensão que maximiza a separação de classes, o DVC ignora dimensões irrelevantes para a tarefa, capturando apenas a similaridade relevante para a tarefa.

3. Contribuições Principais

• Novo Métrica (DVC): Introdução de uma métrica que quantifica a consistência trial-a-trial das estratégias de decisão baseadas em representações neurais, sendo invariante a vieses de decisão e desacoplada da acurácia bruta.
• Generalização para Representações: Adaptação de conceitos originalmente desenvolvidos para dados comportamentais (escolhas binárias) para dados de representações neurais de alta dimensão.
• Análise Sistemática: Avaliação extensiva de 43 modelos treinados no ImageNet-1k, modelos robustos (adversarialmente treinados) e modelos treinados em grandes datasets (ImageNet-21k, JFT-300M), comparando-os com registros neurais de macacos (áreas V4 e IT).

4. Resultados Chave

Os resultados desafiam a hipótese comum de que "modelos melhores são mais parecidos com o cérebro":

1. Consistência Cérebro-Cérebro vs. Modelo-Modelo:

   • A similaridade DVC entre dois macacos é alta (~0.57).
   • A similaridade DVC entre modelos da mesma família arquitetural é comparável à similaridade entre macacos.
   • A similaridade DVC entre modelos e macacos é consistentemente baixa (~0.29 em média).

2. Correlação Negativa com Desempenho:

   • Existe uma forte correlação negativa (r = -0.70) entre a acurácia no ImageNet-1k e a similaridade DVC com o cérebro. Ou seja, quanto melhor o modelo performa na tarefa de classificação, menor é a sua similaridade com as representações neurais do primata em dimensões relevantes para a tarefa.

3. Falha de Estratégias de Melhoria:

   • Treinamento Adversarial: Modelos robustos (treinados para resistir a perturbações) não melhoram a similaridade com o cérebro (DVC ~0.27). Eles convergem para uma solução comum entre si, mas divergem tanto dos modelos padrão quanto do cérebro.
   • Datasets Maiores: Modelos treinados em datasets massivos (ImageNet-21k, JFT-300M) também apresentam DVCs mais baixos com o cérebro em comparação aos modelos treinados apenas no ImageNet-1k.

4. Comparação com Kappa de Cohen:

   • O estudo demonstra que o Kappa de Cohen, usado em trabalhos anteriores, é altamente sensível à diferença de acurácia e a vieses de decisão (decodificadores). Quando corrigido para vieses, o Kappa mostra resultados mais alinhados com o DVC, revelando que a alta consistência entre modelos relatada anteriormente era, em parte, um artefato de vieses compartilhados e não de representações neurais verdadeiramente similares.

5. Significado e Implicações

• Divergência Fundamental: Os resultados sugerem uma divergência fundamental entre as representações aprendidas por modelos de classificação de imagem (otimizados para acurácia em datasets artificiais) e as representações no córtex visual de primatas (V4/IT).
• Limitações do "Scaling": Aumentar o tamanho do modelo, a robustez adversarial ou a quantidade de dados de treinamento não parece ser a solução para criar modelos mais "biológicos" em termos de representações de decisão.
• Direções Futuras: O trabalho sugere que para alinhar melhor modelos e cérebros, é necessário focar em:
  • Dados de treinamento que reflitam as estatísticas de estímulos da evolução e desenvolvimento do sistema visual primata.
  • Incorporação de ruído de estímulo e ruído interno biológico nos processos de treinamento.
  • Propriedades de baixo nível do sistema visual (óptica, foveação).
• Ferramenta para a Comunidade: O DVC oferece uma ferramenta principial e robusta para avaliar a convergência de modelos e cérebros, evitando armadilhas de métricas que confundem acurácia com consistência de estratégia.

Em suma, o artigo argumenta que a busca por modelos de IA mais "biológicos" não deve ser guiada apenas pela maximização da acurácia em benchmarks padrão, mas sim pela otimização da consistência das estratégias de decisão em dimensões relevantes para a tarefa, algo que os modelos atuais, paradoxalmente, pioram à medida que se tornam mais precisos.