Resumo Técnico: NeuroRVQ: Tokenização de Biosinais Multiescala para Modelos Fundacionais Generativos

Declaração do Problema

Biosinais como eletroencefalografia (EEG), eletrocardiografia (ECG) e eletromiografia (EMG) codificam atividade fisiológica através de diversas escalas temporais e espectrais. Embora modelos fundacionais treinados com aprendizado mascarado auto-supervisionado tenham demonstrado promessa na aprendizagem de representações generalizáveis, sua eficácia é limitada pela qualidade do tokenizador. Os tokenizadores existentes frequentemente lutam para preservar informações estruturais completas, particularmente dinâmicas de alta frequência e características morfológicas sutis, que são críticas para a modelagem mascarada generativa robusta. Abordagens atuais dependem frequentemente de arquiteturas de escala única ou de livros de códigos (codebooks) únicos que falham em capturar a natureza multiescala dos biosinais, ou empregam funções de perda de treinamento que não respeitam as propriedades de processamento de sinal (por exemplo, a topologia circular da fase de Fourier) dos alvos de reconstrução. Consequentemente, os tokens gerados frequentemente carecem da fidelidade necessária para um desempenho eficaz em tarefas subsequentes.

Metodologia

Os autores introduzem o NEURORVQ, uma família adaptativa a modalidades de tokenizadores de biosinais projetada para reconstrução de sinal de alta fidelidade. A arquitetura e a estratégia de treinamento são definidas por três componentes principais:

1. Arquitetura Temporal Multiescala

O NEURORVQ decompõe biosinais brutos em representações específicas de frequência antes da discretização.

• Geração de Patches: Séries temporais multivariadas de entrada são segmentadas em patches temporais de comprimento $w$.
• Codificador Multiescala: Um módulo estilo Inception processa cada patch através de $S$ ramos temporais distintos. Cada ramo utiliza convoluções temporais 1-D com tamanhos de kernel variados ($K_{temporal}$) para capturar características em diferentes resoluções.
• Integração com Transformer: Embeddings temporais e espaciais treináveis são adicionados às características multiescala, que são então processadas por camadas de transformer compartilhadas para produzir representações de patches multiescala.
• RVQ Hierárquica: Em vez de um único livro de códigos, o modelo emprega $S$ livros de códigos de Quantização Vetorial Residual (RVQ), um por ramo temporal. Cada ramo quantiza iterativamente o resíduo da representação do patch, produzindo uma sequência de tokens neurais ($z_1, \dots, z_N$) que coletivamente reconstroem o patch. Esta abordagem hierárquica permite a preservação de detalhes em nível fino.

2. Função de Perda Consciente de Fase

Para abordar a instabilidade e a subotimalidade da reconstrução direta de formas de onda ou fases brutas, o NEURORVQ opera no domínio de Fourier com uma função de perda novel composta por três componentes:

• Perda de Fase: Em vez de minimizar o Erro Quadrático Médio (MSE) em ângulos de fase brutos (que sofre de descontinuidade nas fronteiras de $\pm\pi$), o modelo prevê componentes seno e cosseno ($\hat{c}, \hat{s}$) da fase. A perda é computada via similaridade de cosseno entre o vetor previsto $(\hat{c}, \hat{s})$ e o vetor unitário alvo $(\cos \phi, \sin \phi)$. Isso respeita a topologia circular da fase e garante gradientes contínuos.
• Perda de Log-Amplitude: O modelo reconstrói $\log(1 + A)$ em vez da amplitude bruta $A$. Esta escala logarítmica comprime a faixa dinâmica e coloca maior ênfase em componentes de alta frequência.
• Regularização Temporal: Uma perda MSE no domínio temporal é aplicada à forma de onda reconstruída (derivada do espectro previsto) para fornecer orientação adicional no domínio do tempo.

3. Configuração Adaptativa à Modalidade

Embora a arquitetura seja unificada, os hiperparâmetros são ajustados por modalidade para corresponder às características espectro-temporais:

• EEG: Reamostrado para 200 Hz; comprimento de patch $w=1$s; 4 ramos; 8 livros de códigos RVQ por ramo.
• ECG: Reamostrado para 200 Hz; comprimento de patch $w=200$ms (para isolar complexos QRS); 4 ramos; 8 livros de códigos RVQ por ramo.
• EMG: Reamostrado para 1000 Hz (para capturar conteúdo de banda larga até 500 Hz); comprimento de patch $w=200$ms; 4 ramos; 16 livros de códigos RVQ por ramo.

Principais Contribuições

1. Tokenizador Multiescala Adaptativo à Modalidade: Uma arquitetura novel que decompõe biosinais em representações específicas de frequência via convoluções temporais e as codifica em livros de códigos RVQ hierárquicos, permitindo reconstrução de alta fidelidade através de EEG, ECG e EMG.
2. Função de Perda Consciente de Fase: Um objetivo de treinamento que reconstrói o espectro de Fourier usando uma perda de log-amplitude e uma perda de fase baseada em similaridade de cosseno, lidando efetivamente com a topologia circular dos ângulos de fase e enfatizando conteúdo de alta frequência.
3. Modelos Fundacionais NEURORVQ-FM: O treinamento de modelos fundacionais mascarados simples de tokens para cada modalidade usando os tokenizadores propostos. Estes modelos demonstram que a tokenização de alta fidelidade, em vez de escala massiva do modelo ou complexidade arquitetural, é o principal motor do desempenho em tarefas subsequentes.

Resultados

Os autores validam o NEURORVQ através de métricas de reconstrução de sinal e desempenho em tarefas subsequentes:

• Fidelidade de Reconstrução: O NEURORVQ alcança desempenho de reconstrução state-of-the-art. Estudos de ablação mostram que a combinação de arquitetura multiescala e a perda consciente de fase produz reduções dramáticas no erro de reconstrução (por exemplo, uma redução de 43$\times$ no MSE de EEG comparado a uma linha de base simples). O NEURORVQ supera tokenizadores baseados em livros de códigos existentes (LaBraM, BrainOmni) em todas as bandas de frequência.
• Desempenho em Tarefas Subsequentes:
  • EEG: O NEURORVQ-EEG alcança a maior precisão balanceada média em cinco tarefas de classificação (Motor, ERP, Memória, Sono, Olhos), superando o próximo melhor modelo em +4,2 pontos percentuais.
  • ECG: No benchmark PTB-XL, o NEURORVQ-ECG duplica a precisão balanceada do HuBERT-ECG na desafiadora tarefa de classificação fina de 43 classes.
  • EMG: O NEURORVQ-EMG supera modelos fundacionais existentes (PhysioWave, TinyMyo) em quatro benchmarks de classificação (Gestos Discretos, EPN-612, NinaPro DB5, UCI-EMG).
• Eficiência: Os modelos NEURORVQ-FM alcançam esses resultados com backbones compactos (por exemplo, ~5,9M de parâmetros para EEG/EMG, ~264K para ECG), significativamente menores que modelos concorrentes como NeuroGPT (79,5M) ou ECGFounder (30,7M).

Significado e Alegações

O artigo postula que a tokenização de alta fidelidade é um ingrediente crítico para modelos fundacionais eficazes de biosinais. Os autores afirmam que o sucesso da modelagem mascarada generativa neste domínio depende menos do aumento da escala do modelo ou da complexidade arquitetural e mais da capacidade do tokenizador de preservar a informação estrutural completa do sinal, incluindo dinâmicas de alta frequência e relações de fase.

Ao demonstrar que uma arquitetura simples de modelo fundacional, quando emparelhada com um tokenizador de alta fidelidade, pode superar modelos existentes maiores e mais complexos, o trabalho sugere um novo princípio de design para IA de biosinais: priorizar a qualidade da representação discreta (a "gramática" do sinal) sobre o tamanho do modelo generativo. Os autores concluem que o NEURORVQ abre caminho para um uso mais amplo e eficiente de modelos fundacionais no espaço de biosinais.