Resumo Técnico: Rede de Representação Robusta à Ausência de Modalidades (MMR-Net) para Ressonância Magnética Cerebral de Múltiplas Sequências

1. Definição do Problema

A ressonância magnética (RM) cerebral de múltiplas sequências oferece informações anatômicas e fisiológicas complementares, essenciais para uma caracterização cerebral robusta. No entanto, tanto em contextos clínicos quanto de pesquisa, a ausência de modalidades é frequente devido a restrições de aquisição, movimento do paciente ou variações nos desenhos dos estudos. Os modelos de aprendizagem profunda existentes tipicamente assumem entradas completas; quando mesmo uma única sequência está ausente, esses modelos sofrem uma degradação substancial de desempenho. As estratégias de mitigação comuns, como o preenchimento com zeros (zero-padding) ou imputação pela média, frequentemente introduzem artefatos e correlações espúrias, comprometendo ainda mais a precisão da predição. Além disso, as arquiteturas atuais raramente impõem estabilidade representacional em diferentes cenários de disponibilidade de modalidades, o que significa que a representação de características de um sujeito muda significativamente dependendo de quais sequências estão presentes.

2. Metodologia

Os autores propõem a Rede de Representação Robusta à Ausência de Modalidades (MMR-Net), um framework projetado para manter o desempenho estável tanto em condições de modalidades completas quanto incompletas, utilizando o conjunto de dados IXI publicamente disponível. A arquitetura consiste em cinco componentes primários:

• Codificadores Específicos por Modalidade: Um conjunto de redes neurais convolucionais (CNNs) 3D com backbones compartilhados, mas com normalização de lote (batch normalization) e camadas iniciais específicas para cada modalidade. Esses codificadores preservam as características distintas de imagem das sequções ponderadas em T1, T2, densidade de prótons (PD) e angiografia por ressonância magnética de fluxo de tempo (TOF-MRA). Os dois primeiros blocos convolucionais são específicos da modalidade, enquanto os dois blocos finais compartilham pesos para impor a comunalidade na extração de características de alto nível.
• Tokenização de Modalidade: Mapas de características de alta dimensão de cada codificador são particionados em regiões não sobrepostas e agrupados (pooled) para gerar um conjunto compacto de tokens (64 tokens por modalidade), projetados em uma dimensão de incorporação (embedding) comum de 256.
• Fusão de Tokens Cross-Modal: Uma inovação central que utiliza um mecanismo de atenção ciente da disponibilidade. Este módulo agrega dinamicamente a informação com base no conjunto de modalidades atualmente disponíveis. Ele computa consultas (queries), chaves (keys) e valores (values) apenas a partir das modalidades presentes, impedindo que entradas ausentes contribuam para o processo de fusão. Isso permite que o modelo se adapte a padrões arbitrários de ausência sem mudanças arquiteturais no momento da inferência.
• Projeção de Espaço Latente Compartilhado: Um perceptron multicamadas (MLP) mapeia os tokens fundidos cross-modais em um vetor de características de 128 dimensões. Esta representação é projetada para ser invariante à disponibilidade de modalidades, garantindo que o vetor latente de um sujeito permaneça consistente, quer as modalidades estejam ausentes ou completas.
  organização de tarefas: Cabeças de predição específicas para tarefas: cabeças separadas lidam com regressão de idade (camada linear), classificação de sexo (ativação sigmoide) e debiasagem (debiasing) adversária de sítio. A cabeça de debiasagem emprega uma camada de reversão de gradiente para prever o centro de aquisição, penalizando o codificador por aprender informações específicas do sítio para melhorar a generalização entre centros.

Estratégia de Treinamento e Objetivos:
A rede é treinada usando uma estratégia de dropout de modalidade, onde subconjuntos aleatórios de modalidades são omitidos durante cada época para simular cenários reais de ausência. O objetivo de otimização é uma soma ponderada de:

1. Perda de Regressão de Idade: Perda Smooth L1 para robustez contra outliers.
2. Perda de Classificação de Sexo: Entropia cruzada binária.
3. Perda de Sítio Adversária: Entropia cruzada para classificação de sítio, revertida durante a retropropagação.
4. Perda de Consistência de Representação: Distância euclidiana ao quadrado entre as representações latentes das passagens de modalidades completas e ausentes para o mesmo sujeito.
5. Perda de Consistência de Predição: Diferença absoluta entre as predições de idade das passagens de modalidades completas e ausentes.

3. Principais Contribuições

• Arquitetura Robusta: A introdução de um módulo de fusão de tokens cross-modal com atenção ciente da disponibilidade que lida dinamicamente com padrões arbitrários de ausência sem exigir imputação ou modificação arquitetural na inferência.
• Restrições de Consistência: A imposição explícita de consistência representacional e de predição entre entradas de modalidades completas e ausentes, garantindo a extração de características estável, independentemente da disponibilidade de dados.
• Treinamento com Dropout de Modalidade: Uma estratégia de treinamento que força a rede a aprender representações robustas ao simular todos os subconjuntos não vazios possíveis de modalidades durante o treinamento.
• Debiasagem de Sítio Adversária: Integração de uma camada de reversão de gradiente para reduzir vieses específicos de scanners, aumentando a generalização entre diferentes centros de aquisição.
• Reprodutibilidade: O estudo utiliza apenas o conjunto de dados público IXI, evitando novas exigências de aprovação ética e garantindo a reprodutibilidade total de métodos e resultados.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados IXI (aproximadamente 600 sujeitos saudáveis) em quatro configurações: modalidade completa, ausência de uma modalidade, ausência de duas modalidades e apenas uma modalidade disponível. As tarefas incluíram regressão de idade (primária) e classificação de sexo (auxiliar).

• Modalidade Completa: A MMR-Net alcançou um Erro Médio Absoluto (MAE) de 3,42 anos para regressão de idade, superando o próximo melhor baseline (Fusão Transformer) que obteve 3,78 anos.
• Ausência de uma Modalidade: O método demonstrou robustez superior. Por exemplo, quando o T1 estava ausente, o MAE da MMR-Net aumentou em apenas 8,5% (para 3,71 anos), comparado a uma queda de 19,6% para o baseline de Fusão Transformer e uma queda de 28,7% para o baseline de preenchimento com zeros.
• Ausência de Duas Modalidades: No cenário mais desafiador (ausência de T1 e T2), a MMR-Net alcançou um MAE de 4,45 anos (queda relativa de 30,1%), superando significativamente o baseline de Fusão Transformer (queda de 62,0%) e o baseline de preenchimento com zeros (queda de 95,2%).
• Apenas uma Modalidade: Mesmo quando testada com apenas uma modalidade disponível, a MMR-Net superou os baselines treinados exclusivamente naquela única modalidade (ex: 4,18 anos de MAE com apenas T1 vs. 4,85 para o baseline de apenas T1).
• Generalização entre Centros: Em experimentos de "deixar um centro de fora" (leave-one-center-out), o componente de debiasagem adversária reduziu o MAE no centro retido de 4,67 anos para 3,98 anos (uma melhoria de 14,8%).

A análise estatística (testes t pareados) confirmou que a MMR-Net superou significativamente todos os baselines em configurações de ausência de modalidade (p < 0,01), com tamanhos de efeito variando de médio a muito grande.

5. Significância e Alegações

O artigo afirma que a MMR-Net fornece uma ferramenta generalizável para análise de RM cerebral de múltiplas sequências que aborda efetivamente o desafio crítico, muitas vezes negligenciado, da ausência de modalidades. Ao manter o desempenho estável sob padrões arbitrários de ausência, o framework oferece valor prático para ambientes clínicos onde os protocolos de aquisição variam ou estão incompletos.

Os autores declaram explicitamente que, embora o estudo se concentre em dados cerebrais saudáveis do conjunto de dados IXI e não envolva intervenções de acupuntura, a metodologia é relevante para pesquisas futuras sobre neuromodulação não farmacológica, incluindo investigações longitudinais de múltiplas sequências sobre os efeitos da acupuntura. Nesses estudos, onde os sujeitos podem perder sequências devido a desafios de aquisição, a MMR-Net poderia permitir análises abrangentes sem excluir sujeitos com dados incompletos. O uso de dados públicos garante que o trabalho esteja alinhado com os princípios de ciência aberta e evite a necessidade de novas aprovações éticas.

Os autores reconhecem limitações, incluindo a restrição a sujeitos saudáveis, a subutilização de imagens ponderadas em difusão nos experimentos principais e a suposição de ausência aleatória em vez de ausência não aleatória correlacionada com características do paciente. Trabalhos futuros são propostos para abordar estes pontos, estendendo a validação para coortes de doenças e incorporando métricas de difusão.