What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval

Resumo Técnico: Atribuição de Fonte para Recuperação Não Invasiva de Cérebro para Linguagem

Declaração do Problema
A decodificação neural não invasiva de linguagem avançou rapidamente com modelos pré-treinados de fala e linguagem, contudo, a precisão relatada frequentemente confunde evidência neural genuína evocada por estímulos com artefatos estruturais não neurais. O artigo identifica três fontes primárias de desempenho inflado:

1. Priors do Decodificador e Atalhos de Avaliação: Modelos podem explorar durações de entrada variáveis, limites de preenchimento ou padrões de máscara em vez de conteúdo neural.
2. Limitações de Métricas Baseadas em Embeddings: Métricas como BERTScore recompensam similaridade semântica ou fluência, permitindo que saídas cegas ao sinal (por exemplo, preenchimentos genéricos) pareçam bem-sucedidas mesmo quando falham em recuperar conteúdo específico do estímulo.
3. Vazamento de Dados: Divisões inadequadas entre treino e teste (por exemplo, por sujeito em vez de identidade do estímulo) permitem que conteúdo de estímulo repetido vaze para conjuntos de avaliação.

O desafio metodológico central é a atribuição: distinguir se um ganho relatado decorre de informação linguística decodificável no sinal neural ou desses artefatos estruturais e de avaliação.

Metodologia
Os autores reformulam o problema usando um framework de recuperação de áudio a partir de MEG travado ao estímulo como ferramenta de auditoria. Em vez de geração de texto aberta, a tarefa envolve recuperar uma janela de áudio alinhada no tempo a partir de um pool explícito de candidatos para cada janela neural. Esta configuração torna observáveis os níveis de acaso, conjuntos de candidatos e erros de classificação.

A metodologia decompõe o desempenho em três fontes distintas:

1. Atalhos Estruturais: Controlados pela imposição de janelas de duração fixa e divisões por identidade do estímulo (garantindo que o mesmo conteúdo de áudio não apareça tanto no conjunto de treino quanto no de teste).
2. Evidência Travada ao Estímulo ao Nível da Janela: Medida via recuperação independente de janela fixa, isolando a discriminabilidade de janelas neurais individuais contra o pool de áudio.
3. Agregação Contextual Entre Janelas: Abordada através de uma nova intervenção no tempo de inferência chamada Viés de Contexto de Grupo (GCB).

Contribuições Principais

• Quantificação de Ruídos Estruturais: Os autores demonstram que, sob decodificação de comprimento variável, substituir MEG real por ruído gaussiano resulta em 66,3% de precisão Rank@1 (R@1) devido a atalhos de comprimento de sequência. A imposição de janelas de duração fixa e divisões por identidade do estímulo colapsa essa linha de base de ruído para níveis próximos ao acaso, isolando efetivamente o vazamento estrutural não neural.
• Isolamento de Evidência Local: Sob esses controles estritos, a recuperação independente de janela fixa recupera discriminabilidade mensurável entre MEG e áudio (por exemplo, 44,4% R@1 no conjunto de dados Gwilliams), provando que sinais neurais ao nível da janela são decodificáveis. No entanto, a análise de erros revela que 95,7% dos erros Top-1 envolvem a seleção de um candidato da frase errada, indicando um gargalo na competição ao nível da frase em vez de ambiguidade dentro da frase.
• Auditoria da Agregação Contextual (GCB): O artigo introduz o GCB, um viés de logits aditivo aplicado no tempo de inferência. O GCB agrega evidências através de janelas pertencentes à mesma frase de consulta para identificar os "buckets de frase" mais apoiados e aplica um viés suave aos candidatos dentro desses buckets. Crucialmente, o GCB deixa o codificador neural congelado, os embeddings de áudio e o pool de candidatos inalterados, permitindo que a contribuição contextual seja medida independentemente da evidência local.
• Controles Diagnósticos: O estudo emprega controles rigorosos para validar a atribuição:
  • Diagnóstico Oráculo: Restringir candidatos à frase de verdade fundamental eleva o R@1 de 44% para 88%, confirmando a existência de "margem contextual".
  • Testes de Perturbação: Randomizar agrupamentos de frases elimina o ganho do GCB, provando que o efeito depende de uma estrutura de frase coerente.
  • Atenuação de Evidência: Misturar MEG real com ruído incompatível com o estímulo mostra que os ganhos do GCB desaparecem à medida que a evidência local travada ao estímulo se aproxima do acaso, confirmando que o GCB amplifica evidência existente em vez de gerá-la.
  • Controles Negativos: No conjunto de dados EEG de Brennan (onde a recuperação local está próxima do acaso), o GCB não produz ganho positivo, apoiando ainda mais que a agregação contextual requer evidência local confiável.

Resultados Experimentais

• Vazamento Estrutural: Decodificação de comprimento variável com ruído gaussiano alcança 66,3% R@1; controles de comprimento fixo reduzem isso para 1,53% (próximo ao aleatório).
• Desempenho Local vs. Contextual:
  • Gwilliams (MEG): Linha de base local R@1 = 44,4%. Com GCB, R@1 aumenta para 52,1% (+7,7 pp).
  • MOUS (MEG): Linha de base local R@1 = 21,7%. Com GCB, R@1 aumenta para 28,6% (+6,9 pp).
  • Brennan (EEG): Linha de base local R@1 < 1%. O GCB não proporciona melhoria, confirmando a dependência do método na qualidade do sinal.
• Correção de Erros: O GCB corrige principalmente erros de "quase-acerto" onde o bucket de frase correto não foi selecionado pelo modelo local, mas é apoiado pela consistência entre janelas. Ele recupera aproximadamente 18% da margem teórica exposta pelo diagnóstico oráculo.
• Robustez: Os ganhos são estáveis em diferentes arquiteturas de backbone temporal (Dense-TCNN vs. CNN Expandida por Dilatação) e transferem-se entre conjuntos de dados sem reajuste.

Significado e Alegações
O artigo argumenta que a decodificação neural não invasiva de linguagem deve ser tratada como um problema de atribuição em vez de um simples benchmark de desempenho. Os autores alegam que:

1. O Desempenho é Multi-Fonte: Pontuações relatadas frequentemente refletem uma mistura de atalhos estruturais, evidência neural local e agregação contextual.
2. Recuperação como Auditoria: A recuperação travada ao estímulo fornece um ponto final controlado para separar essas fontes, ao contrário de pipelines generativos onde esses fatores estão emaranhados.
3. A Agregação Contextual é Mensurável: O GCB demonstra que informações contextuais entre janelas podem ser isoladas e quantificadas como uma fonte distinta de ganho de desempenho, separada do aprendizado do codificador.
4. Dependência de Evidência: A agregação contextual não é uma "bala de prata"; ela amplifica evidência local confiável e travada ao estímulo. Quando a evidência local é fraca (como em EEG ou MEG atenuado), a agregação contextual falha em melhorar o desempenho.

Os autores concluem que uma decodificação neural-linguística convincente deve não apenas mostrar qual saída foi produzida, mas também até que ponto essa saída é apoiada por evidência neural travada ao estímulo versus priors do decodificador ou artefatos de avaliação. Eles defendem o uso de sondas estilo recuperação e controles específicos da tarefa sobre segmentação, contexto e estrutura de candidatos para estabelecer essa atribuição em trabalhos futuros.