Resumo Técnico: MuteBench

Declaração do Problema

Dados fisiológicos multimodais (por exemplo, ECG, EEG, PPG, registros estruturados) são fundamentais para sistemas de IA clínica, contudo falhas de sensores são rotineiras na prática. Essas falhas manifestam-se em dois modos distintos:

1. Ausência de Modalidade: Um canal inteiro ou fluxo de sensor está ausente (por exemplo, um eletrodo desconectado).
2. Ausência Dentro da Modalidade: Um segmento contíguo de tempo é perdido dentro de um canal ativo (por exemplo, artefatos de movimento ou erros de transmissão).

Apesar da prevalência desses problemas, os benchmarks existentes falham em avaliar conjuntamente múltiplas arquiteturas de fusão sob ambos os modos de falha em níveis de severidade controlados através de diversos conjuntos de dados clínicos. A maioria dos modelos é treinada assumindo disponibilidade completa de modalidades, levando a uma lacuna na compreensão de como escolhas arquiteturais interagem com a incompletude dos dados e a estrutura do sinal.

Metodologia

Os autores introduzem o MuteBench, um benchmark abrangente projetado para avaliar a robustez de arquiteturas de fusão multimodal contra dados incompletos.

Escopo do Benchmark

• Conjuntos de Dados: 9 conjuntos de dados abrangendo 7 domínios clínicos (UTI, cardiologia, atividade vestível, sono, detecção de afeto), totalizando mais de 125.000 amostras.
• Diversidade de Dados: Os conjuntos de dados variam significativamente em contagem de canais (2 a 78), comprimentos de sequência (48 a 3.000 passos de tempo) e taxas de amostragem (observações horárias a formas de onda de 4.000 Hz). Eles são categorizados em três tipos de alinhamento de modalidades:
  • Tipo 1: Homogêneo e Alinhado (por exemplo, ECG de 12 derivações).
  • Tipo 2: Heterogêneo e Alinhado (por exemplo, EEG + Respiração).
  • Tipo 3: Heterogêneo e Não Alinhado (por exemplo, séries temporais + metadados estáticos).
• Modelos: 6 arquiteturas de fusão representativas de três famílias:
  • Independentes de Canal: CLIMB, MIRA.
  • Decomposição Compartilhada-Específica: ShaSpec.
  • Fusão Mixture-of-Experts (MoE): Flex-MoE, FuseMoE, Maestro.
• Protocolo Experimental:
  • Injeção de Ausência: Uma biblioteca agnóstica ao framework injeta padrões de ausência determinísticos.
    • Ausência de Modalidade: Canais são descartados independentemente com probabilidade $p \in \{0.2, 0.5\}$.
    • Ausência Dentro da Modalidade: Blocos contíguos não sobrepostos (5–10% do comprimento da sequência) são mascarados por canal para cobrir frações $b \in \{0.2, 0.5\}$.
  • Avaliação: Os modelos são testados em 270 configurações (6 modelos × 9 conjuntos de dados × 5 condições) replicadas em 3 sementes aleatórias, totalizando 810 execuções. As métricas incluem Macro-AUROC e Macro-F1.
  • Estudo de Imputação: Um estudo de caso no PTB-XL avalia a imputação baseada em difusão como um possível remédio.

Principais Contribuições

1. Primeiro Benchmark Unificado: O MuteBench é o primeiro benchmark a cruzar simultaneamente múltiplos eixos: múltiplos conjuntos de dados clínicos, arquiteturas de fusão diversas e tanto a ausência de modalidade quanto a ausência dentro da modalidade em níveis de severidade controlados.
2. Insights Empíricos sobre Motores de Robustez:
   • Família Arquitetural > Contagem de Parâmetros: A escolha da família arquitetural é o preditor mais forte de robustez, superando a escala do modelo.
   • Sensibilidade ao Modo de Falha: Modelos independentes de canal (por exemplo, CLIMB, MIRA) são mais estáveis sob ausência de modalidade. Modelos compartilhados-específicos (por exemplo, ShaSpec) lidam melhor com a ausência dentro da modalidade em sinais homogêneos.
   • Estrutura do Conjunto de Dados: A severidade da degradação depende da interação entre propriedades do conjunto de dados (contagem de canais, comprimento da sequência) e o modo de falha. Conjuntos de dados curtos e com muitos canais sofrem mais com a ausência de modalidade, enquanto conjuntos de dados de sequência longa são mais vulneráveis à ausência dentro da modalidade.
   • Limites do Dropout de Currículo: Modelos treinados com dropout de modalidade de currículo (por exemplo, Maestro) mostram robustez apenas até a taxa máxima de dropout encontrada durante o treinamento; o desempenho degrada-se abruptamente se a ausência no momento do teste exceder esse limite.
3. Análise de Imputação: Um estudo de caso no PTB-XL revela que a imputação baseada em difusão melhora a classificação a jusante sob ausência dentro da modalidade (os ganhos escalonam com a severidade e são mais altos para modelos sensíveis a entradas corrompidas). No entanto, oferece benefícios negligenciáveis ou negativos sob ausência de modalidade, onde a ausência de um canal inteiro fornece sinal de condicionamento insuficiente para reconstrução.

Resultados

• Dados Limpos: Nenhum modelo único domina em todos os conjuntos de dados; o desempenho varia conforme a tarefa e a estrutura dos dados.
• Ausência de Modalidade: Modelos independentes de canal exibem as menores quedas de desempenho (por exemplo, CLIMB em Chapman com 50% de queda: $\Delta$AUROC $\approx -0.014$). Modelos de fusão MoE (por exemplo, FuseMoE) e modelos compartilhados-específicos frequentemente sofrem degradação maior, com alguns experimentando falha catastrófica (por exemplo, ShaSpec em Challenge-2012 com 20% de queda).
• Ausência Dentro da Modalidade: Modelos compartilhados-específicos (ShaSpec) demonstram alta estabilidade em conjuntos de dados de ECG (por exemplo, PTB-XL com taxa de bloco de 50%: $\Delta$AUROC $\approx -0.007$). No entanto, modelos que dependem de dropout de currículo (Maestro) mostram degradação significativa em sequências longas (por exemplo, Sleep-EDF) quando os blocos ausentes interrompem a continuidade temporal.
• Imputação: A imputação por difusão recupera com sucesso o desempenho para ausência dentro da modalidade no PTB-XL (por exemplo, Flex-MoE ganha +0.038 AUROC com 50% de ausência), mas falha em melhorar o desempenho quando modalidades inteiras estão ausentes.

Significado e Alegações

O artigo afirma que o MuteBench fornece orientação concreta, consciente do conjunto de dados, para praticantes selecionando arquiteturas de fusão para implantação clínica no mundo real. Ao identificar propriedades estruturais (alinhamento de modalidade, contagem de canais, comprimento da sequência) que governam a sensibilidade a modos de falha específicos, o benchmark informa o design de futuros sistemas multimodais robustos.

Os autores enfatizam que a robustez não é uma propriedade genérica, mas é contingente ao alinhamento entre o design arquitetural e a natureza específica dos dados e das falhas de sensores esperadas. Eles concluem que tratar propriedades do conjunto de dados como entradas de design de primeira classe é essencial, em vez de depender exclusivamente de estratégias genéricas de dados ausentes post-hoc. O lançamento da suíte de benchmarks, da biblioteca de ausência e dos checkpoints pré-treinados visa estabelecer uma base reproduzível para o desenvolvimento da próxima geração de IA clínica robusta.