Resumo Técnico: A Visualização de Recursos Recupera a Seletividade Cortical Conhecida do TRIBE v2

Declaração do Problema

Modelos de codificação cerebral, que preveem respostas fMRI corticais a partir das ativações internas de redes pré-treinadas de visão e linguagem, são atualmente avaliados quase exclusivamente pela precisão de previsão em dados retidos (hold-out) (por exemplo, $R^2$). Embora essa métrica seja eficaz para o treinamento, ela é insuficiente para interpretação. Alta precisão confirma que um codificador se ajusta aos dados, mas não verifica se o modelo internalizou a organização funcional do cérebro. Dois codificadores com precisão idêntica em dados retidos podem fazer previsões sistematicamente diferentes sobre o pré-imagem do lado da entrada de uma região cortical. Consequentemente, há necessidade de uma técnica de interpretabilidade complementar que possa avaliar qualitativamente se um codificador recuperou a seletividade funcional específica de regiões cerebrais (por exemplo, bordas para V1, rostos para FFA, movimento para MT).

Metodologia

Os autores propõem a visualização de recursos como uma sonda para codificadores cerebrais. Esta técnica envolve realizar ascensão de gradiente na ativação prevista pelo codificador para uma Região de Interesse (ROI) alvo para sintetizar um estímulo de entrada que maximize a ativação dessa região.

Configuração Experimental:

• Modelos: O estudo aplica essa sonda ao TRIBE v2, um codificador cerebral composto com V-JEPA 2 (uma espinha dorsal visual ViT-G de 40 camadas pré-treinada em vídeo com um objetivo preditivo de incorporação conjunta). Ambos os modelos estão congelados; apenas os parâmetros da imagem de entrada são otimizados.
• ROIs Alvo: Sete regiões corticais abrangendo a hierarquia visual foram selecionadas com base na parcellação HCP-MMP1: V1, V2, V3, V4, MT (área temporal média), FFA (área fusiforme de faces) e PPA (área parahipocampal de lugares).
• Processo de Otimização:
  • Parametrização de Entrada: Imagens são parametrizadas como um espectro de Fourier 2-D de valor real em canais de cor decorrelacionados, mapeados para o intervalo de pixels $[0, 1]$ via FFT inversa e sigmoide.
  • Otimização Estática: Apesar de o V-JEPA 2 ser um modelo de vídeo, a otimização sintetiza um único quadro estático repetido em 64 quadros idênticos. Isso reduz o custo computacional enquanto testa se pistas estáticas são suficientes para ativar regiões seletivas a movimento.
  • Função de Perda: O objetivo é uma perda de "elevação global": $L = -\frac{1}{|R|}\sum_{v \in R} \hat{y}_v + \beta \cdot \frac{1}{|\bar{R}|}\sum_{v \in \bar{R}} \hat{y}_v + \lambda_{fft} \|S\|^2$. Isso maximiza a ativação média da ROI alvo enquanto subtrai a ativação média do resto do córtex (para incentivar seletividade sobre condução genérica) e inclui um regularizador de energia espectral para suprimir texturas patológicas de alta frequência.
  • Hiperparâmetros: A otimização executa por 3.000 passos de gradiente. Cinco reinícios com semente aleatória são realizados por ROI para avaliar estabilidade.

Principais Resultados

1. Recuperação Qualitativa da Seletividade Cortical

Os estímulos sintetizados demonstram uma recuperação clara da anatomia funcional conhecida:

• Progressão V1 $\to$ V4: Há uma progressão visível de aumento de escala espacial e complexidade de recursos. V1 produz campos densos de bordas orientadas em pequena escala (semelhantes a Gabor); V2 e V3 mostram contornos e junções maiores; V4 exibe curvas organizadas em escala média.
• MT (Área de Movimento): Apesar de otimizar apenas imagens estáticas, todos os cinco reinícios para MT produzem padrões nítidos de raios radiais ou diagonais que se assemelham a "fluxo óptico congelado" ou fotografia de longa exposição. Isso indica que o codificador aprendeu a associar pistas estáticas de movimento (riscos, orientações alongadas) à região MT.
• FFA (Área de Faces): A sonda gera recursos variados, mas reconhecíveis, semelhantes a rostos (regiões dos olhos, cristas do nariz, contornos da boca) entre os reinícios.
• PPA (Área de Lugares): Os estímulos produzem texturas retilíneas consistentes (linhas paralelas, predominantemente horizontais e diagonais). Embora menos específicas de categoria do que a FFA, isso alinha-se com a sensibilidade da região a layouts de cena e arquitetura.

2. Seletividade Quantitativa e "Super-Estímulos"

• Elevação de Ativação: Os estímulos otimizados ativam suas ROIs alvo significativamente acima de uma linha de base de ruído aleatório. Notavelmente, o estímulo otimizado para FFA ativa a ativação prevista da FFA em $\sim4\times$ mais do que uma fotografia natural de rosto (+0,339 vs. +0,080). Isso confirma o fenômeno de "super-estímulo", onde a ascensão de gradiente encontra padrões adversariais que excedem os limites da distribuição natural.
• Estrutura Cruzada entre ROIs: A matriz de ativação revela relações anatômicas esperadas. Áreas visuais iniciais (V1–V3) mostram forte ativação cruzada. FFA e PPA são mutuamente supressivas. V4 atua como uma ponte, ativando a FFA mais fortemente do que as áreas visuais iniciais.
• Linha de Base MT: MT mostra a maior elevação de ativação (+0,70), em parte porque sua linha de base de ruído aleatório é fortemente negativa (indicando desativação para estímulos não relacionados a movimento).

3. Estabilidade e Limitações

• Estabilidade: As assinaturas qualitativas (por exemplo, recursos de rosto para FFA, riscos para MT) são estáveis em todos os cinco sementes aleatórias, com variação restrita a geometria específica e não a categoria.
• Reprodutibilidade: Os autores observam que a não determinação do CUDA fp16 causa divergência de trajetória, o que significa que o reinício com maior ativação nem sempre é o mais visualmente interpretável (por exemplo, a imagem de rosto mais clara não foi o máximo de ativação).
• Ambiguidade PPA: Os autores afirmam explicitamente que estão menos confortáveis interpretando os resultados da PPA, pois os estímulos parecem padrões de linhas em vez de cenas reconhecíveis, destacando uma limitação na capacidade atual da sonda de resolver rótulos em nível de categoria para todas as regiões.

Significado e Alegações

O artigo alega que a visualização de recursos serve como um teste qualitativo necessário e complementar à precisão de previsão para codificadores cerebrais.

• Internalização vs. Ajuste: Os resultados sugerem que o TRIBE v2 não apenas ajustou as séries temporais fMRI de treinamento, mas internalizou a organização funcional da hierarquia visual. A capacidade de inverter o codificador para recuperar assinaturas de sintonia específicas (bordas, movimento, rostos) a partir de um pipeline de otimização estática é apresentada como evidência dessa internalização.
• Alcance Metodológico: A recuperação de "movimento implícito" na MT a partir de entradas estáticas é destacada como uma demonstração chave da capacidade do método, mostrando que a leitura de movimento do codificador pode ser invertida em imagens evocadoras de movimento reconhecíveis, mesmo sem otimização no eixo temporal.
• Aplicabilidade Geral: A sonda é descrita como simples, diferenciável e aplicável a qualquer codificador cerebral com uma espinha dorsal diferenciável, oferecendo um "teste qualitativo barato e padrão" para distinguir codificadores que recuperaram princípios de neurociência daqueles que simplesmente preveem dados.

Os autores permanecem modestos, reconhecendo que estímulos otimizados são extremos da superfície de resposta e podem conter recursos adversariais. Eles enfatizam que, embora a sonda revele o que o codificador acha que uma região procura, ela não resolve completamente se esses recursos mapeiam perfeitamente para a realidade biológica sem validação adicional (por exemplo, otimização no eixo de vídeo ou estudos com observadores humanos).