Resumo Técnico: TIER-MoE

Definição do Problema

A classificação biomédica multimodal visa melhorar o diagnóstico e o prognóstico de doenças combinando evidências complementares de diversas fontes (ex: RM, DTI, metadados clínicos). No entanto, os métodos de fusão existentes enfrentam um compromisso fundamental entre confiabilidade e complementaridade.

As abordagens atuais frequentemente falham em distinguir entre dois cenários distintos:

1. Uma modalidade que é genuinamente não confiável para um sujeito específico.
2. Uma modalidade que é fraca isoladamente, mas que fornece informações únicas e não redundantes quando fundida.

Arquiteturas de fusão padrão (ex: modelos com portões/gated, mecanismos de atenção) tendem a depender excessivamente de modalidades globalmente dominantes, potencialmente descartando evidências complementares mais fracas. Por outro lado, métodos de fusão adaptativos que utilizam escores de incerteza, qualidade ou confiança não predizem diretamente a perda de predição esperada que uma modalidade específica incorrerá em um determinado exemplo. Além disso, modelos de Mistura de Especialistas (MoE) existentes frequentemente desacoplam a confiabilidade da modalidade da especialização do especialista, falhando em rotear a evidência para os subespaços de especialistas que são mais adequados para processá-la.

Metodologia: TIER-MoE

Os autores propõem o TIER-MoE (Trust-Informed Expert Routing via Conditional Modality Risk), um framework hierárquico que integra a estimativa de risco de modalidade específica do sujeito com a afinidade de subespaço do especialista para roteamento esparso. A arquitetura consiste em três componentes primários:

1. Risco de Modalidade Condicional Cross-Fitted

A inovação central é definir a confiabilidade da modalidade por exemplo não como um escore de qualidade estático, mas como a perda de predição condicional esperada de um preditor unimodal para aquele sujeito específico.

• Definição de Risco: $R_m(V_i) = E[L_{i,m} | V_i]$, onde $L_{i,m}$ é a perda do preditor unimodal para a modalidade $m$ no sujeito $i$.
• Alvos Honestos em relação ao Rótulo (Label-Honest): Para evitar vazamento de dados (data leakage), os alvos de risco são derivados de predições Out-of-Fold (OOF). Os modelos são treinados em todos os sujeitos exceto o sujeito alvo, e suas predições calibradas geram a perda de Brier realizada, usada como a verdade fundamental para a estimativa de risco.
• Estimador: Uma rede neural compartilhada sensível à máscara estima este risco com base em evidências locais (distribuições calibradas, incerteza, indicadores de qualidade) e contexto agrupado de todas as modalidades disponíveis.
• Recalibração: Um mapa monotônico de baixa capacidade é ajustado no conjunto de validação para corrigir o desvio entre as estimativas OOF e as predições do modelo refit final.

2. Âncora de Confiabilidade

Os riscos estimados formam uma "âncora de confiabilidade" que gera uma predição unimodal ponderada pelo risco ($p^{rel}_i$). Este ramo garante que a evidência unimodal confiável seja preservada e não descartada, atuando como uma base que impede que a fusão tenha um desempenho inferior ao da melhor modalidade individual.

3. Roteamento de Subespaço de Especialista Guiado por Risco

Paralelamente à âncora de confiabilidade, o modelo emprega um mecanismo de MoE esparso para capturar interações cross-modais:

• Caminho Compartilhado: Uma representação compartilhada sempre ativa ($h^{shared}_i$) é computada via autoatenção com máscara, mantendo a interação cross-modal independente das decisões de roteamento.
• Subespaços de Especialistas: Um banco de $E$ especialistas é associado a subespaços de baixo posto ($B_e$).
• Pontuação de Compatibilidade: Uma pontuação de compatibilidade ($\psi_{i,m,e}$) mede a afinidade entre um token de modalidade e o subespaço de um especialista.
• Critério de Roteamento Conjunto: A decisão de roteamento combina a compatibilidade com o risco condicional:
  $$G_{i,m,e} = \psi_{i,m,e} - \eta \hat{R}_{i,m}$$
  onde $\eta$ controla a penalidade de risco. As rotas são selecionadas apenas se o escore for positivo, e as top-$K$ rotas são escolhidas. Isso garante que uma modalidade moderadamente arriscada ainda possa ser roteada se alinhar fortemente com um especialista adequado, enquanto modalidades de baixo risco não são forçadas para especialistas inadequados.
• Correção Esparsa: Os especialistas selecionados processam suas modalidades atribuídas através de transformações residuais de baixo posto. Esses resíduos são adicionados à representação compartilhada para formar a predição de interação ($p^{int}_i$).

4. Predição Final

A saída final é uma combinação convexa da âncora de confiabilidade e do ramo de interação:
$$p^{final}_i = (1-\gamma)p^{rel}_i + \gamma p^{int}_i$$
onde $\gamma$ é um coeficiente travado na validação.

Principais Contribuições

1. Formulação de Confiabilidade Baseada em Tarefa: Os autores formulam a confiabilidade da modalidade como a perda de predição condicional esperada de um preditor unimodal, aprendida diretamente de predições OOF ao nível do sujeito. Isso fornece uma medida de confiabilidade direta e avaliável contra erros em dados não vistos.
2. Mecanismo de Roteamento Integrado: O TIER-MoE introduz uma estratégia de roteamento que acopla conjuntamente o risco de modalidade condicional com a afinidade de subespaço do especialista. Este design preserva a evidência unimodal confiável enquanto retém o valor complementar de modalidades mais fracas via um caminho compartilhado e resíduos de especialistas esparsos.
3. Avaliação Abrangente: O framework é avaliado em quatro coortes biomédicas (ADNI, OASIS-3, PAD-UFES-20, FPRM) cobrindo Alzheimer, malignidade de lesões cutâneas e classificação de retina.

Resultados

Experimentos demonstram a superioridade do TIER-MoE sobre os baselines de estado da arte (incluindo GMU, QF, PDF, Flex-MoE e I2MoE) em múltiplas métricas:

• Desempenho In-Domain: O TIER-MoE alcançou o melhor Macro-F1 e escore de Brier em todos os três conjuntos de dados in-domain. No ADNI, melhorou o Macro-F1 em 3,4 pontos percentuais em relação ao comparador publicado mais forte.
• Calibração de Risco: O risco condicional estimado mostrou concordância superior com as perdas de Brier unimodais realizadas (menor ERCE, maior correlação de Spearman) e melhor discriminação de casos de alta perda em comparação com baselines baseados em incerteza ou qualidade.
• Robustez: Sob condições de degradação de modalidade, ausência de dados e conflito cross-modal, o TIER-MoE manteve uma maior retenção de desempenho e reduziu significativamente a "Taxa de Dano" (a proporção de predições fundidas incorretas quando pelo menos um preditor unimodal estava correto).
• Generalização Zero-Shot: Sem adaptação, o TIER-MoE transferiu-se efetivamente para a coorte externa OASIS-3, alcançando a melhor acurácia balanceada e calibração de probabilidade. Crucialmente, a semântica de risco aprendida (calibração e discriminação) permaneceu válida sob este deslocamento de coorte.
• Estudos de Ablação: A remoção de qualquer um dos elementos — o roteamento guiado por risco ou a supervisão OOF — resultou em quedas mensuráveis de desempenho, confirmando que tanto o roteamento condicionado ao risco quanto a supervisão OOF honesta em relação ao rótulo são necessários para o sucesso do modelo.

Significância

O artigo argumenta que a confiabilidade da modalidade, a complementaridade cross-modal e a compatibilidade do especialista são fatores distintos, porém coordenados. Ao desacoplar esses fatores e modelá-los explicitamente — usando o risco derivado de OOF para confiabilidade, afinidade de subespaço para compatibilidade de especialista e um caminho compartilhado para complementaridade — o TIER-MoE aborda as limitações dos métodos de fusão existentes que confundem esses conceitos. Os resultados sugerem que definir a confiabilidade como a perda de predição esperada, em vez de incerteza ou qualidade, fornece uma base mais robusta para a fusão adaptativa em dados biomédicos heterogêneos.