Interpreting V1 Population Activity via Image-Neural Latent Representation Alignment

Resumo Técnico: Alinhamento Imagem–Neural de Dupla Torre (DINA)

Declaração do Problema
Compreender os mecanismos neurais subjacentes ao processamento visual no córtex visual primário (V1) permanece um desafio central. Embora abordagens baseadas em alinhamento recentes tenham melhorado a precisão na decodificação de estímulos visuais a partir da atividade cerebral, elas frequentemente tratam o processo de alinhamento como uma "caixa preta" otimizada exclusivamente para o desempenho preditivo. Consequentemente, esses métodos fornecem insights limitados sobre os cálculos neurais específicos e as representações de características intermediárias que dão origem à decodificação bem-sucedida. Modelos de codificação e decodificação existentes operam tipicamente no nível de imagens brutas, falhando em modelar explicitamente os mapas de características intermediárias que as populações neurais realmente codificam. Há uma necessidade de um framework que não apenas decodifique estímulos com precisão, mas também forneça acesso interpretável aos mapas de características latentes para investigar princípios computacionais em nível de população.

Metodologia: Alinhamento Imagem–Neural de Dupla Torre (DINA)
Para abordar isso, os autores propõem o DINA, um framework contrastivo interpretável que alinha estímulos visuais e respostas populacionais correspondentes do V1 em um espaço latente compartilhado no nível de mapas de características intermediárias. A arquitetura consiste em duas torres motivadas biologicamente treinadas conjuntamente:

1. Torre de Imagem: Projetada para espelhar o processamento visual cortical, esta torre emprega uma arquitetura de dupla corrente inspirada no processamento paralelo de informações locais e globais.

   • Corrente Local: Processa entradas de alta resolução usando convoluções profundas (depth-wise) para extrair padrões espacialmente localizados.
   • Corrente Global: Processa entradas de baixa resolução usando mecanismos de autoatenção para capturar dependências contextuais de longo alcance.
   • Co-Atenção: Um mecanismo de co-atenção inter-escala permite a troca bidirecional de informações entre as correntes local e global, integrando estrutura de alta granularidade com contexto global.
   • Saída: A torre produz um mapa de características compacto e de canal único (1×16×64) que preserva a estrutura espacial.

2. Torre Neural: Esta torre reconstrói uma representação latente a partir de respostas neurais em nível de população (por exemplo, dados de imagem de cálcio de dois fótons) que corresponde à dimensionalidade da saída da torre de imagem.

   • Embedding: Neurônios individuais são mapeados para vetores de embedding aprendíveis para capturar propriedades de resposta específicas do neurônio.
   • Autoatenção: Um módulo de autoatenção modela interações dentro da população neural, permitindo que respostas informativas sejam integradas e amplificadas.
   • Agregação: Camadas de agregação específicas do neurônio projetam as representações conscientes de interação em valores escalares, que são então passados por uma Rede Neural Perceptron Multicamada (MLP) para gerar o mapa de características latente final (16×64).

3. Objetivo de Treinamento: As duas torres são treinadas usando um objetivo contrastivo (perda InfoNCE) sobre lotes de pares imagem–neural. Isso incentiva o alinhamento de pares imagem–neural correspondentes no espaço latente compartilhado, enquanto separa pares incompatíveis.

Resultados Principais
Avaliado em dados de imagem de cálcio de dois fótons em grande escala do V1 de camundongos (envolvendo ~10.000 neurônios e 2.800 estímulos), o DINA demonstra o seguinte:

• Desempenho de Decodificação: O DINA alcança decodificação baseada em neural confiável, com uma precisão média de recuperação top-1 de 36,8% e precisão top-5 de 60,5% em quatro camundongos. Ele supera modelos de linha de base usando codificadores visuais padrão (VGG-16 e ViT) acoplados a leitores MLP.
• Natureza das Representações Alinhadas: A análise dos mapas de características alinhados revela que a decodificação bem-sucedida é apoiada principalmente por estrutura visual grosseira e de baixo nível em vez de informações de categoria semântica ou detalhes de alta granularidade. Isso é evidenciado por:
  • Alta similaridade estrutural (SSIM) e baixa distância perceptual (LPIPS) entre mapas de características de imagem e neural.
  • Espectros de variância mostrando decaimento rápido em componentes de ordem superior, semelhantes a imagens naturais, mas dominados por estrutura de baixa frequência.
  • Manipulações controladas de estímulos: A precisão de recuperação cai drasticamente quando a estrutura de baixa dimensão é removida (imagens branqueadas), mas permanece alta para imagens de baixa dimensão (8D) que retêm estrutura grosseira.
• Contribuições Espaciais: Análises de interpretabilidade da torre de imagem mostram que os mapas de características alinhados surgem de múltiplas regiões distribuídas espacialmente ("manchas") em vez de integração uniforme. Essas regiões capturam tanto pistas de forma quanto de textura, sendo as representações mistas as mais comuns.
• Mecanismos de Leitura Neural: Estudos de ablação na torre neural revelam que os mapas de características alinhados são predominantemente reconstruídos por subconjuntos esparsos de neurônios fortemente responsivos (aproximadamente 12% da população é suficiente para recuperar alta similaridade). Além disso, as interações funcionais (modeladas via pontuações de atenção) são altamente enviesadas, com uma pequena fração de conexões carregando pesos desproporcionalmente grandes, consistente com codificação cortical esparsa e eficiente.

Contribuições Principais

1. Framework Analítico: Os autores formulam o alinhamento imagem–neural contrastivo não meramente como uma ferramenta de decodificação, mas como um framework analítico geral para investigar a computação neural em nível de população.
2. Arquitetura Fundamentada Biologicamente: Eles propõem um modelo de dupla torre inspirado no processamento visual cortical (caminhos locais/globais paralelos e interações populacionais) que produz mapas de características alinhados no V1 enquanto alcança decodificação confiável.
3. Insights Mecanísticos: Análises de interpretabilidade multinível revelam que a codificação populacional do V1 é impulsionada por estrutura visual de baixo nível, contribuições de estímulos distribuídos espacialmente e mecanismos de leitura neural esparsos envolvendo neurônios altamente responsivos e interações funcionais não uniformes.

Significado e Afirmações
O artigo afirma que o DINA fornece um framework principiado para investigar os mecanismos computacionais subjacentes ao processamento visual no V1. Ao alinhar representações no nível do mapa de características intermediário, o framework vai além da simples precisão de decodificação para revelar como a informação visual é representada. Os resultados confirmam que a atividade populacional do V1 codifica estruturas grosseiras e de baixa dimensão e que essa codificação depende de mecanismos neurais esparsos e distribuídos. Os autores posicionam este trabalho como uma ferramenta para investigação mecanicista em neurociência, oferecendo um caminho para estender tais frameworks de alinhamento a outras regiões cerebrais para investigar a organização hierárquica, em vez de ser uma ferramenta direta para tomada de decisão no mundo real ou interfaces cérebro-computador.