Resumo Técnico: PAMF (Prior-Aware Multimodal Fusion for Incomplete Time Series Data)

Definição do Problema

A análise de séries temporais multimodais na área da saúde enfrenta um desafio crítico: a presença onipresente de dados ausentes que degradam o desempenho preditivo a jusante. O artigo identifica dois padrões estruturalmente distintos de ausência que os métodos existentes não conseguem abordar simultaneamente:

1. Ausência dentro da modalidade (Within-modality missing): Pontos temporais individuais estão ausentes dentro de uma modalidade que, de outra forma, estaria observada (ex: uma queda de sensor durante uma gravação).
2. Ausência ao nível da modalidade (Modality-level missing): Uma modalidade inteira está indisponível (ex: um paciente não pode realizar um teste específico como o ECG).

As abordagens existentes geralmente se dividem em duas categorias, ambas com limitações:

• Fusão Consciente de Ausências (Missing-Aware Fusion): Métodos como FuseMoE, FlexMoE e Maestro lidam com a ausência usando máscaras, mecanismos de portão (gating) ou embeddings de preenchimento aprendidos. No entanto, eles não reconstroem explicitamente os valores de sinal ausentes, tratando a ausência frequentemente como um problema de robustez de representação em vez de um problema de recuperação de sinal.
• Imputação Explícita (Explicit Imputation): Métodos como CSDI e SSSD utilizam modelos generativos (ex: difusão) para reconstruir valores ausentes. Contudo, eles tipicamente tratam toda ausência de forma uniforme, ignorando as diferenças estruturais entre lacunas dentro da modalidade e lacunas ao nível da modalidade. Além disso, a imputação é frequentemente desacoplada da tarefa a jusante, o que significa que os sinais imputados não são otimizados para o objetivo de predição específico.

Metodologia: Estrutura PAMF

Os autores propõem o PAMF, uma estrutura unificada que lida explicitamente com ambos os padrões de ausência enquanto acopla a imputação com a predição a jusante. A estrutura consiste em quatro componentes principais: um codificador de imputação ($h_{imp}$), um codificador de fusão ($h_{fus}$), um módulo de correspondência de fluxo ($ffm$) e uma cabeça de tarefa a jusante ($f_{ds}$).

1. Correspondência de Fluxo Consciente de Priores (Prior-Aware Flow Matching)

Em vez de iniciar o processo generativo a partir de uma distribuição Gaussiana fixa e agnóstica ao domínio (como nos modelos de difusão padrão), o PAMF utiliza Correspondência de Fluxo (Flow Matching) com inicialização consciente de priores (prior-aware initialization). Isso permite que o estado de origem ($x_0$) seja projetado com base no tipo específico de ausência, reduzindo a distância de transporte para a distribuição de dados alvo.

• Para Ausência Dentro da Modalidade: A inicialização aproveita a continuidade temporal local. O estado de origem é construído usando uma combinação convexa do vizinho temporal observado mais próximo e a média por canal do lote (batch mean). O peso decai exponencialmente com a lacuna temporal, garantindo que o ponto de partida permaneça dentro de um intervalo de observação local plausível.
• Para Ausência ao Nível da Modalidade: Como a evidência da mesma modalidade está ausente, a inicialização depende do contexto cross-modal. O estado de origem é derivado da média do lote ou de amostras com contexto similar, condicionado às representações das modalidades observadas.

O módulo de correspondência de fluxo aprende um campo de velocidade condicional $v_\theta$ que transporta este estado de origem estruturado $x_0$ para o sinal alvo $x_1$ ao longo de caminhos de ODE retilíneos, condicionado ao contexto de imputação $c_{imp}$.

2. Compartilhamento de Pesos e Treinamento em Três Fases

Para abordar o descompasso entre a imputação e as tarefas a jusante, o PAMF emprega um mecanismo de compartilhamento de pesos e uma estratégia de treinamento de três fases:

• Fase 1 (Aquecimento a Jusante - Downstream Warmup): O codificador de fusão ($h_{fus}$) e a cabeça de tarefa são treinados em dados brutos e incompletos usando uma perda de classificação. Isso força o codificador a aprender representações robustas à ausência de dados.
• Fase 2 (Treinamento de Correspondência de Fluxo): O codificador de imputação ($h_{imp}$) é inicializado copiando os pesos de $h_{fus}$. O módulo de correspondência de fluxo é então treinado para imputar sinais ausentes condicionado a $c_{imp}$ (que codifica o contexto relevante para a tarefa aprendido na Fase 1). Isso transfere a estrutura relevante para a tarefa para o processo de imputação.
• Fase 3 (Ajuste Fino Conjunto - Joint Fine-tuning): O ramo de imputação é congelado para gerar dados completados ($x_{complete}$). O codificador de fusão e a cabeça de tarefa são então ajustados finamente sobre esses dados completados para refinar o desempenho preditivo final.

Principais Contribuições

1. Estrutura Unificada para Dupla Ausência: O PAMF é o primeiro método que aborda simultaneamente a ausência dentro da modalidade e a ausência ao nível da modalidade, reconstruindo explicitamente os sinais ausentes com priores específicos de tipo.
2. Inicialização Consciente de Priores: Os autores introduzem um módulo generativo baseado em correspondência de fluxo onde o estado de origem é inicializado com priores estruturais (vizinhos temporais para lacunas locais, estatísticas cross-modais para lacunas globais) em vez de ruído fixo. Este design reduz o overhead de inferência em comparação com as alternativas baseadas em difusão.
3. Imputação Guiada pela Tarefa: Através do compartilhamento de pesos e de um cronograma de treinamento de três fases, a estrutura conecta a imputação e a classificação. Representações relevantes para a tarefa, aprendidas para a predição a jusante, guiam o processo de imputação, garantindo que os sinais recuperados sejam informativos para a tarefa específica.

Resultados Experimentais

Os autores avaliaram o PAMF em quatro benchmarks fisiológicos: Sleep-EDF (estadiamento do sono), PTB-XL (diagnóstico de ECG), PPG-DaLiA (reconhecimento de atividade vestível) e Chapman-Shaoxing (ritmo de ECG).

• Desempenho: O PAMF alcançou o melhor desempenho geral a jusante em todos os conjuntos de dados e configurações de ausência (tanto 20% de ausência dentro da modalidade quanto ausência ao nível da modalidade). Ele superou consistentemente bases fortes como FuseMoE, FlexMoE, Maestro e MIRA em termos de Macro-F1 e AUROC.
• Robustez: Sob ausência mista (lacunas simultâneas dentro da modalidade e ao nível da modalidade) e testes de estresse de alta taxa de ausência (50%), o PAMF manteve um desempenho superior, enquanto bases como o Maestro mostraram degradação significativa.
• Eficiência: Comparado aos baselines de imputação baseados em difusão (CSDI, SSSD), o PAMF alcançou pontuações de Macro-F1 mais altas com latência de inferência significativamente menor (menos avaliações de função) devido à eficiência da correspondência de fluxo e à natureza informativa da inicialização consciente de priores.
• Estudos de Ablação: A remoção de qualquer componente chave (imputação, inicialização consciente de priores, condicionamento de contexto ou compartilhamento de pesos) resultou em quedas de desempenho, confirmando que o pipeline completo é necessário para resultados ótimos.

Significância e Alegações

O artigo alega que o principal obstáculo na análise de séries temporais multimodais não é apenas a presença de dados ausentes, mas a heterogeneidade estrutural dessa ausência e o desacoplamento da recuperação de sinal das tarefas a jusante.

O PAMF demonstra que:

1. A reconstrução explícita de sinais ausentes é superior ao mero ato de tolerar entradas ausentes via máscaras ou placeholders.
2. Distinguir os tipos de ausência é crucial; tratar todos os dados ausentes de forma uniforme (ex: com um único prior Gaussiano) é suboptimal.
3. Acoplar a imputação com o aprendizado a jusante via compartilhamento de pesos permite que o modelo aprenda representações que são especificamente adaptadas à tarefa de predição, em vez de gerar sinais "plausíveis" genéricos.

Os autores posicionam o PAMF como um método em estágio de pesquisa que melhora a robustez em ambientes de saúde onde falhas de sensores ou exames incompletos são comuns. Eles reconhecem limitações, observando que o método requer dados de treinamento suficientes para aprender estruturas temporais e cross-modais confiáveis, e que a imputação explícita carrega riscos de gerar sinais fisiológicos plausíveis, porém incorretos, se não forem validados.