🧬 biology

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

O artigo apresenta o WiCAT, um modelo de fundação multissujeito para imagem de cálcio de campo amplo que utiliza tokenização espaço-temporal alinhada ao atlas e pré-treinamento autossupervisionado para alcançar um desempenho superior sobre as linhas de base de sessão única, ao mesmo tempo em que possibilita a decodificação de comportamento zero-shot e a reconstrução de regiões cerebrais em sujeitos não vistos.

Autores originais: Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que o seu céreico é uma cidade enorme e movimentada. Normalmente, quando os cientistas querem estudar como essa cidade funciona, eles olham para apenas um bairro de cada vez, ou talvez estudem o trajeto específico de uma pessoa. Eles constroem um mapa para aquela pessoa, naquele dia, para aquela tarefa específica. Mas e se você quisesse um mapa que funcionasse para todos na cidade, instantaneamente, sem precisar reaprender as ruas toda vez que uma nova pessoa chega? Esse é o grande sonho e, até agora, tem sido um pouco um quebra-cabeça.

Apresentamos o WiCAT, um novo "tradutor cerebral" criado por pesquisadores da USC. Pense no WiCAT como um guia turístico superinteligente que estudou as plantas de toda a cidade (a anatomia do cérebro) em vez de apenas memorizar os hábitos de turistas individuais.

O Problema: Excesso de Ruído, Muitos Mapas

O imageamento de cálcio de campo amplo (widefield calcium imaging) é como uma câmera de drone de alta definição voando sobre a superfície do cérebro. Ela captura a atividade brilhante de milhões de neurônios de uma só vez, criando um vídeo massivo e turbulento do cérebro em ação. Mas aqui está o problema: esses vídeos são enormes, bagunçados e cheios de "ruído de fundo" — como o cérebro zumbindo para si mesmo ou reagindo a coisas que não têm nada a ver com a tarefa em questão.

Devido a essa bagunça, os cientistas geralmente tinham que descartar os dados de uma sessão e começar do zero para a próxima. Eles não conseguiam combinar facilmente dados de 38 camundongos diferentes, 378 sessões de gravação diferentes e dois tipos diferentes de tarefas para construir um modelo único, gigante e poderoso. Era como tentar aprender uma língua lendo apenas uma frase de um livro, depois jogando o livro fora e começando novamente com um livro diferente.

A Solução: O Truque do "Atlas"

Os pesquisadores perceberam que, embora cada camundongo seja único, seus "mapas de cidade" cerebrais são, na verdade, construídos sobre a mesma planta. Para resolver o problema, eles inventaram uma maneira de forçar os dados cerebrais de cada camundongo a se ajustarem a um mesmo mapa padrão, chamado Allen Brain Atlas.

Pense nisso desta forma: Imagine que você tem 38 pessoas diferentes desenhando mapas de suas próprias casas. Uma usa uma grade de 10x10 quadrados, outra usa 20x20, e todas desenham suas cozinhas em lugares ligeiramente diferentes. O WiCAT pega todos esses desenhos bagunçados e os encaixa em uma única grade pré-desenhada e perfeita. De repente, a "cozinha" do Camundongo A se alinha exatamente com a "cozinha" do Camundongo B.

Uma vez que tudo esteja alinhado, o WiCAT fatia o vídeo do cérebro em pequenos pedaços de quebra-cabeça (tokens) e os alimenta em um cérebro de IA gigante (um Transformer) que aprende a prever como as peças ausentes se parecem. É como jogar um jogo onde você cobre 90% de um vídeo cerebral e pede à IA para adivinhar o que está escondido por baixo. Para vencer, a IA tem que aprender as regras de como o cérebro se move e pensa, não apenas memorizar os rostos específicos dos camundongos que ela viu antes.

A Magia: Superpoderes Zero-Shot

A verdadeira magia acontece quando eles testam o WiCAT em um camundongo que o sistema nunca viu antes.

No passado, se você mostrasse um novo camundongo para um modelo antigo, o modelo ficaria confuso e falharia. Mas o WiCAT é diferente. Como ele aprendeu as "regras universais" da cidade cerebral durante seu treinamento, ele pode olhar para um novo camundongo e imediatamente começar a decodificar seu comportamento.

Decodificação de Comportamento Zero-Shot: O modelo pode observar um novo camundongo e adivinhar o que ele está fazendo (como alcançar uma alavanca ou virar a cabeça) com uma precisão surpreendente, sem precisar de nenhum dado de prática desse camundongo específico primeiro. É como conhecer um estranho e saber instantaneamente como ele caminha, apenas porque você estudou a planta das pernas humanas.
Preenchendo as Lacunas: O modelo pode até adivinhar o que está acontecendo em uma parte do cérebro que ele não consegue "ver" (uma região que foi mascarada), apenas observando a atividade no resto do cérebro. É como ser capaz de ouvir uma conversa em uma sala que você não consegue ver, apenas ouvindo os sons abafados do corredor.

O Que o WiCAT NÃO É (e o que ele descarta)

É importante saber o que este modelo não faz, pois o artigo é muito claro sobre isso.

Não é uma varinha mágica de "tamanho único" que ignora a anatomia. O artigo argumenta explicitamente contra modelos que tentam aprender sem um mapa. Se você tentar treinar um modelo sem alinhar os cérebros ao atlas, ele falha em generalizar para novos sujeitos. O "mapa" é essencial.
Não precisa ser retreinado para cada novo camundongo. O artigo testou modelos que tentavam aprender detalhes "específicos da sessão" (como um ID exclusivo para cada camundongo). Esses modelos falharam quando confrontados com um novo camundongo. O WiCAT prova que você não precisa retreinar todo o sistema para cada novo animal; a "linguagem cerebral" compartilhada é suficiente.
Não é uma solução "perfeita" ainda. O artigo sugere que, embora os resultados sejam fortes, o modelo ainda depende de o cérebro estar alinhado corretamente. Se o mapa estiver torcido ou desalinhado, o desempenho do modelo cai. É robusto, mas não invencível.

Os Números (A Prova)

Os pesquisadores não apenas adivinharam; eles mediram.

Eles treinaram com dados de 38 sujeitos em 378 sessões.
Quando testado em novos camundongos não vistos, o WiCAT alcançou um escore de decodificação de comportamento (R²) de 0,3274 no conjunto de dados Musall e 0,1840 no conjunto de dados Kondo.
Compare isso com os antigos modelos de "sessão única", que pontuaram cerca de 0,0477 e 0,0573, respectivamente, nesses mesmos novos camundongos. Esse é um salto enorme!
Melhor ainda, se você der ao modelo apenas uma pequena ajuda (cerca de 16 tentativas ou aproximadamente 100 segundos de gravação), ele pode se adaptar e melhorar ainda mais, atingindo escores de 0,4336 e 0,2869.

A Conclusão

O WiCAT é um passo importante em direção a um "modelo de fundação" para o cérebro — uma IA poderosa e única que entende a linguagem geral da atividade cerebral através de diferentes animais e tarefas. Ele sugere que, se alinharmos nossos dados corretamente e ensinarmos a IA a procurar padrões universais em vez de detalhes específicos, podemos construir modelos que generalizam para novos sujeitos instantaneamente.

O artigo não afirma que isso resolve tudo ou que funciona para todo tipo de dado cerebral (como gravações de partes profundas do cérebro) ainda. Mas para o imageamento de cálcio de campo amplo, sugere um novo caminho: pare de tratar cada cérebro como um quebra-cabeça único e comece a ensinar à IA a planta compartilhada que os conecta a todos. E a melhor parte? O código é aberto, então qualquer pessoa pode tentar construir algo baseado neste "tradutor cerebral" por conta própria.

Resumo Técnico: Modelagem Trans-Sujeito para Imagem de Cálcio de Campo Amplo via Tokenização Espaçotemporal Alinhada ao Atlas

Declaração do Problema
A imagem de cálcio de campo amplo oferece um acesso sem precedentes à dinâmica cortical em todo o cérebro de animais em comportamento, fornecendo atividade neural em mesoescala com alta resolução temporal e ampla cobertura espacial. No entanto, a alta dimensionalidade, a estrutura espaço-temporal complexa e a substancial atividade irrelevante à tarefa nessas gravações têm restringido historicamente os esforços de modelagem a análises de sessão única ou de sujeito único. As abordagens existentes dependem tipicamente de parâmetros ou etapas de pré-processamento específicos de cada sessão (ex: PCA, LocaNMF) que limitam a escalabilidade e a generalização entre sujeitos. Embora modelos pré-treinados multisujeito tenham mostrado promessa em outras modalidades neurais (ex: disparos, LFP), eles ainda não foram demonstrados para a imagem de cálcio de campo amplo. Além disso, alcançar a decodificação de comportamento e a reconstrução neural zero-shot invariantes ao sujeito em sujeitos não vistos permanece um desafio em aberto.

Metodologia: WiCAT
Os autores apresentam o WiCAT (Widefield Calcium imaging Atlas-aligned Tokenizer model), um modelo de fundação multisujeito projetado para aprender representações espaço-temporais compartilhadas entre diversos sujeitos, sessões e conjuntos de dados. A arquitetura consiste em três componentes principais:

Tokenização Baseada em Atlas: Para permitir o compartilhamento de parâmetros entre sujeitos com morfologias corticais e configurações de gravação variadas, todas as gravações de campo amplo são registradas espacialmente a um referencial anatômico comum (o Allen Brain Atlas Common Coordinate Framework) e redimensionadas para uma resolução espacial unificada (128 × 128). Os quadros alinhados são particionados em patches espaço-temporais não sobrepostos. Crucialmente, o modelo utiliza embeddings espaciais globais associados ao índice de cada patch alinhado ao atlas. Esses embeddings são compartilhados entre todos os sujeitos, sessões e conjuntos de dados, fornecendo uma representação consistente da localização cortical sem componentes específicos da sessão.
Backbone Transformer Espaço-Temporal: Os dados tokenizados são processados por um codificador Transformer que aplica atenção espacial e temporal conjunta. Embeddings posicionais rotativos (RoPE) são usados para codificar informações temporais relativas. O modelo opera em uma sequência unificada de tokens, permitendo que capture interações entre regiões corticais e tempo dentro de um único mecanismo de atenção.
Pré-treinamento Autossupervisionado (MAE): O modelo é pré-treinado usando um objetivo de Autoencoder de Máscara (Masked Autoencoder - MAE). Durante o pré-treinamento, 90% dos tokens espaço-temporais são mascarados aleatoriamente no espaço e no tempo. O codificador processa apenas os tokens não mascarados, enquanto um decodificador Transformer leve reconstrói os patches mascarados usando uma perda de Erro Quadrático Médio (MSE). Crucialmente, nenhum identificador de sujeito, sessão ou conjunto de dados é fornecido durante o pré-treinamento; o modelo deve depender exclusivamente do contexto esparso e dos embeddings espaciais globais compartilhados para reconstruir a atividade neural.

Principais Contribuições

Modelagem Multisujeito: O WiCAT é o primeiro modelo que mapeia gravações neurais de diferentes sujeitos em um espaço de representação compartilhado para imagem de cálcio de campo amplo, indo além das limitações de sessão única de trabalhos anteriores.
Tokenização Baseada em Atlas: Os autores propõem um esquema de tokenização usando embeddings espaciais globais que capturam a organização anatômica invariante ao sujeito, permitindo a modelagem entre sujeitos sem parâmetros específicos de sessão.
Estrutura de Pré-treinamento Desafiadora: Um framework de MAE autossupervisionado é projetado para aprender representações espaço-temporais que reconstroem a atividade neural sem acesso a identificadores de sujeito, forçando o modelo a aprender a dinâmica global em vez do ruído específico da sessão.
Capacidades Zero-Shot: O modelo demonstra uma robusta decodificação de comportamento contínuo zero-shot e adaptação few-shot eficiente em sujeitos não vistos. Ele também alcança a reconstrução zero-shot de regiões cerebrais deixadas de fora, indicando que as representações aprendidas capturam dependências entre regiões que se generalizam entre sujeitos.
Transferência entre Conjuntos de Dados: As representações pré-treinadas transferem-se efetivamente entre conjuntos de dados com diferentes configurações de gravação, resoluções espaciais e tarefas comportamentais.

Resultados
Avaliado em dois conjuntos de dados de larga escala (Musall e Kondo) abrangendo 38 sujeitos e 378 sessões, o WiCAT superou os modelos de base, incluindo modelos dinâmicos de sessão única (SBIND), regressão linear em características PCA/LocaNMF e extensões multissessão do SBIND.

Decodificação de Comportamento: O WiCAT alcançou um desempenho de decodificação de comportamento ( $R^2$ ) significativamente superior tanto nos conjuntos de finetune quanto nos zero-shot em comparação com todos os modelos de base. Notavelmente, no conjunto zero-shot (sujeitos não vistos), o linear probing do WiCAT alcançou pontuações de $R^2$ de 0,3274 (Musall) e 0,1840 (Kondo), superando substancialmente o próximo melhor modelo de base multissessão.
Generalização Zero-Shot: O modelo manteve um forte desempenho em sujeitos não vistos sem quaisquer atualizações de gradiente no backbone ou no decodificador.
Reconstrução Neural: Em tarefas de reconstrução de região deixada de fora zero-shot, o WiCAT consistentemente alcançou menor erro de reconstrução (MSE) do que um modelo de base de decodificador de região cruzada linear através de grandes áreas corticais (ex: SS, VIS, MO), preservando a estrutura temporal específica da região.
Estudos de Ablação: Remover os embeddings espaciais globais ou introduzir parâmetros específicos de sessão degradou significativamente o desempenho zero-shot, confirmando a necessidade da arquitetura proposta para a transferência entre sujeitos. Além disso, o pré-treinamento MAE superou o pré-treinamento estilo JEPA para esta modalidade.
Escalabilidade: O desempenho melhorou com o aumento do volume de dados de pré-treinamento e da capacidade do modelo, sugerindo que o framework pode aproveitar conjuntos de dados maiores de forma eficaz.

Significância
O artigo posiciona o WiCAT como um passo fundamental em direção à modelagem "estilo fundação" para a imagem de cálcio de campo amplo. Ao demonstrar que representações compartilhadas podem ser aprendidas entre sujeitos e sessões sem ajuste específico de sessão, este trabalho aborda barreções críticas para a escalabilidade e generalização. A capacidade de realizar decodificação de comportamento zero-shot e reconstrução neural em sujeitos não vistos indica que o modelo captura dinâmicas espaço-temporais fundamentais e invariantes ao sujeito da atividade cortical. Esta abordagem facilita o reuso de representações aprendidas entre animais, sessões e condições experimentais, potencialmente acelerando a pesquisa sobre dinâmicas populacionais distribuídas e organização funcional em larga escala. Os autores observam que, embora a escala atual de dados públicos de campo amplo seja menor do que outras modalidades, o framework foi projetado para escalar conforme conjuntos de dados maiores e mais diversos tornem-se disponíveis.