Resumo Técnico: LONGMOE

Definição do Problema

O aprendizado clínico multimodal enfrenta dois desafios fundamentais e intersectados que os métodos existentes não conseguem abordar conjuntamente:

1. Ausência de Modalidades: Em coortes clínicas do mundo real, subconjuntos arbitrários de modalidades (por exemplo, imagem, texto, dados genéticos) costumam estar indisponíveis em uma determinada visita ao paciente devido a protocolos de aquisição heterogêneos e restrições de recursos.
2. Dinâmica Longitudinal: A significância diagnóstica de uma observação é inseparável da trajetória evolutiva da doença do paciente. O valor de um biomarcador depende de sua posição ao longo da trajetória de declínio de um indivíduo, em vez de seu valor absoluto em um único instantâneo estático.

As abordagens existentes tratam esses desafios de forma isolada. Estruturas de modalidades ausentes (por exemplo, Flex-MoE, FuseMoE) tipicamente tratam cada visita como um instantâneo estático independente, descartando o contexto temporal. Por outro lado, modelos longitudinais (por exemplo, abordagens baseadas em GRU) frequentemente assumem a disponibilidade completa de modalidades em cada visita e degradam-se sob ausência sistemática. Nenhum modelo existente lida efetivamente com o desafio conjunto de espaçamento irregular de visitas, combinações arbitrárias de modalidades e heterogeneidade populacional.

Metodologia: Arquitetura LONGMOE

Os autores propõem o LONGMOE (Longitudinal Mixture-of-Experts), uma estrutura unificada projetada para abordar conjuntamente a ausência de modalidades e a dinâmica longitudinal. A arquitetura processa a sequência de visitas longitudinais de um paciente através de quatro módulos sequenciais:

1. Embeddings Específicos de Modalidade

Cada modalidade $m_l$ é processada por um codificador dedicado $\phi_l$, adaptado às suas propriedades estruturais:

• MRI: Um codificador convolucional 3D seguido por uma projeção MLP.
• Escores Clínicos, Biomarcadores e Genética: MLPs específicas para cada modalidade.
• Embedding Temporal: Os carimbos de data/hora (timestamps) das visitas são codificados como embeddings aprendidos que capturam o tempo absoluto e os intervalos entre as visitas.
  Modalidades não observadas são inicialmente definidas como vetores zero.

2. Imputação de Modalidade e Tokenização

Este módulo lida com dados ausentes e cria um token de visita unificado:

• Imputação Consciente de Contexto:
  • Carry-Forward (Transporte à Frente): Se uma modalidade foi observada em uma visita anterior, o embedding mais recente é replicado (motivado pela forte autocorrelação de curto prazo de biomarcadores).
  • Imputação Contextual: Se não houver observação prévia, uma rede aprendida condiciona-se às modalidades disponíveis na visita atual para gerar um embedding, utilizando mascaramento zero para evitar a contaminação por sinais ausentes.
• Tokenização Atencional:
  • Fusão de Modalidades: A atenção de múltiplas cabeças (multi-head self-attention) é aplicada sobre os embeddings de modalidades imputados para aprender dependências inter-modais.
  • Codificação Viscode: Uma codificação posicional senoidal de frequência múltipla e tempo contínuo mapeia os timestamps das visitas para um vetor de dimensão fixa. Esta codificação é provadamente injetiva para sequências amostradas de forma não uniforme, capturando tanto tendências longitudinais lentas quanto mudanças rápidas de taxa sem assumir um espaçamento de visita uniforme.
  • Fusão: O embedding da modalidade e a codificação viscode são fundidos via adição elemento a elemento para produzir o token da visita $z_t$.

3. Modelagem Longitudinal Consciente de Trajetória

Um empilhamento de blocos de codificador Transformer processa a sequência de tokens de visita $\{z_t\}$.

• Mascaramento Causal: Um máscara de atenção causal garante que a representação na visita $t$ dependa apenas do histórico $\{v_1, \dots, v_t\}$, evitando o vazamento de informações futuras.
• Saída: Isso produz um embedding contextualizado $h_t$ que integra a trajetória completa de progressão da doença do paciente, servindo como uma entrada rica para o módulo de roteamento.

4. Roteamento SMoE Consciente de Contexto

A camada final emprega uma arquitetura de Mistura de Especialistas Esparsa (Sparse Mixture-of-Experts - SMoE) para lidar com a heterogeneidade específica do paciente e padrões de modalidade:

• Arquitetura de Especialistas: A camada contém $K=8$ especialistas particionados em:
  • Especialistas Individuais: Sub-redes especializadas para distintas subpopulações de pacientes.
  • Especialistas Compartilhados: Acessíveis a todas as entradas para capturar padrões comuns ao nível populacional e evitar a especialização excessiva.
• Roteamento: Uma rede de roteamento mapeia o embedding da trajetória $h_t$ para um vetor de pontuação. O roteamento hard top-1 seleciona o especialista mais relevante (além dos especialistas compartilhados que são sempre ativados).
• Agregação: As predições finais são obtidas via agregação atencional das saídas dos especialistas em todas as visitas, ponderadas pela confiança do roteador.
• Regularização: Uma perda de balanceamento de carga (load-balancing loss) evita o colapso do roteador, garantindo a utilização uniforme dos especialistas.

Principais Contribuições

1. Estrutura Unificada: O LONGMOE é o primeiro modelo a abordar conjuntamente a ausência de modalidades e a dinâmica temporal longitudinal no aprendizado clínico multimodal.
2. Componentes Arquiteturais Inovadores:
   • Um módulo de imputação consciente de contexto que aproveita tanto dados históricos quanto o contexto atual.
   • Um módulo de tokenização atencional combinando atenção cross-modal com uma codificação temporal de frequência múltipla e provadamente injetiva para sequências irregulares.
   • Um codificador consciente de trajetória que modela a progressão da doença.
   • Uma camada de roteamento SMoE condicionada ao contexto que seleciona dinamicamente especialistas com base na combinação de modalidades observada e na trajetória do paciente.
3. Robustez: A estrutura demonstra robustez sob condições de modalidades ausentes ou fracas, permanecendo competitiva em configurações de modalidade total.

Resultados Experimentais

Os autores avaliaram o LONGMOE em três conjuntos de dados: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3 e MIMIC-IV.

• Desempenho: O LONGMOE alcançou o melhor AUC-ROC em todas as combinações de modalidades no ADNI e MIMIC-IV. No OASIS-3, liderou em quatro de sete combinações, particularmente em cenários dominados por imagem e genética, onde outros modelos de base colapsaram.
• Robustez à Ausência de Modalidade:
  • No ADNI, o LONGMOE manteve um alto desempenho (AUC $\approx$ 0,94–0,97) mesmo quando apenas uma única modalidade estava presente, enquanto baselines como o TF colapsaram para o acaso (0,50) e outros degradaram significativamente.
  • O codificador consciente de trajetória substituiu efetivamente o contexto longitudinal pelas informações de modalidade contemporâneas ausentes, resultando em curvas de degradação quase planas conforme as modalidades eram removidas.
• Estudos de Ablação: A remoção do Codificador Longitudinal (LE) ou da Codificação Viscode (VE) resultou nas maiores quedas de desempenho, confirmando seu papel crítico. Os Especialistas Compartilhados e os mecanismos de Balanceamento de Carga também se mostraram vitais, particularmente em cenários com ausência severa ou coortes menores.
• Complexidade: O LONGMOE possui contagens de parâmetros e latência de passagem direta (forward-pass) mais altas em comparação com baselines estáticos (por exemplo, 4,4M de parâmetros contra 183K para o Flex-MoE) devido ao Transformer consciente de trajetória. No entanto, os autores observam que isso é prático para inferência em lote offline, embora impeça o uso em tempo real à beira do leito.

Significância e Alegações

O artigo afirma que o LONGMOE estabelece uma base sólida para o aprendizado clínico multimodal com consciência longitudinal. Sua principal significância reside em unir o tratamento de dados ausentes e a modelagem da progressão da doença. Ao tratar a história do paciente como uma trajetória contínua e irregular, em vez de uma série de instantâneos independentes, o modelo pode extrair sinais discriminativos mesmo quando as visitas atuais carecem de modalidades críticas.

Os autores declaram explicitamente que, embora o modelo seja altamente eficaz para inferência em lote offline e para lidar com registros clínicos complexos e incompletos, o aumento do custo computacional do codificador consciente de trajetória limita sua aplicabilidade para suporte em tempo real à beira do leito. Além disso, o modelo não consegue aproveitar o contexto longitudinal para pacientes de primeiro contato sem histórico de visitas anteriores, pois o codificador requer pelo menos uma observação passada para gerar embeddings significativos.