Resumo Técnico: Together, Then Apart (TTA) para Análise de Sobrevivência Multimodal

1. Definição do Problema

A análise de sobrevivência multimodal visa melhorar o prognóstico do câncer integrando dados biomédicos heterogêneos, especificamente imagens de lâminas inteiras (WSIs) de histopatologia e perfis genômicos. Embora os métodos atuais de estado da arte frequentemente dependam do alinhamento dessas modalidades em um espaço latente compartilhado para capturar correlações cross-modais, os autores identificam uma limitação crítica: o colapso por sobre-alinhamento (over-alignment collapse).

O alinhamento agressivo força sinais heterogêneos (por exemplo, padrões morfológicos espaciais em WSIs e variações esparsas em nível de genes) a um único espaço de representação prematuramente. Esse processo pode suprimir evidências específicas de cada modalidade que são críticas para a predição de sobrevivência. Observações empíricas indicam que tal sobre-alinhamento pode fazer com que modelos multimodais tenham desempenho inferior a bases de referência (baselines) unimodais fortes (particularmente modelos apenas de WSI) ao diluir sinais distintivos e reduzir a diversidade representacional. Métodos existentes que tentam desentranhar representações compartilhadas e específicas frequentemente tratam esses objetivos de forma independente, carecendo de um princípio unificado para incentivar conjuntamente o acordo semântico enquanto preservam a identidade da modalidade.

2. Metodologia: O Framework TTA

Os autores propõem o Together, Then Apart (TTA), um framework de aprendizado de representação baseado no princípio de que modelos eficazes devem primeiro descobrir padrões compartilhados entre as modalidades e, então, preservar sinais específicos de cada modalidade. O framework consiste em quatro componentes principais:

2.1 Tokenização

• WSIs: As imagens são divididas em patches e codificadas usando um codificador de imagem pré-treinado (ex: UNI ou ResNet50) para gerar tokens de patologia.
• Genômica: Perfis de expressão gênica são agregados em tokens de nível de via (ex: vias Hallmark) para criar fatores genômicos compactos e interpretáveis.

2.2 A Etapa "Together": Alinhamento de Protótipos Guiado por UOT

Nesta etapa, ambas as modalidades são alinhadas a um conjunto compartilhado de protótipos ($K$ vetores aprendíveis) para capturar estruturas comuns relacionadas à sobrevivência.

• Transporte Ótimo Desbalanceado (UOT): Em vez de um pareamento direto token-a-token, o modelo mapeia tokens de ambas as modalidades para o banco de protótipos compartilhado usando UOT. Isso permite que tokens incertos ou ruidosos permaneçam difusos ou sejam direcionados para um "sumidouro" (sink) em vez de forçar um pareamento prematuro.
• Massa de Currículo ($\rho$): Para lidar com a instabilidade do treinamento, uma estratégia de currículo é empregada, onde a massa total transportada para protótipos reais ($\rho$) é aumentada gradualmente de um valor pequeno até 1.0. Isso garante que, no início do treinamento, o modelo seja tolerante à incerteza, enquanto as etapas posteriores impõem um pareamento decisivo.
• Atribuição Conjunta: Tokens de patologia e genômica são concatenados e atribuídos aos protótipos compartilhados através de um plano de transporte único, permitindo que a evidência cross-modal interaja sob uma geometria unificada.
• Supervisão ao Nível de Instância: As atribuições de UOT servem como pseudo-rótulos suaves para regularizar as predições de token-para-protótipo via uma perda de entropia cruzada ($\mathcal{L}_{instance}$).

2.3 A Etapa "Apart": Diversificação Contrastiva

Após o alinhamento, o modelo separa explicitamente as modalidades para preservar suas características únicas e evitar o colapso representacional.

• Âncoras Específicas de Modalidade: Âncoras aprendíveis ($a^p$ para patologia, $a^g$ para genômica) são introduzidas para servir como identificadores de modalidade.
• Refinamento de Âncora: Um módulo de auto-atenção leve refina os tokens de protótipo anexando a âncora específica da modalidade, garantindo que as representações mantenham a identidade da modalidade.
• Regularização Contrastiva: Uma perda do tipo InfoNCE ($\mathcal{L}_{contrast}$) é aplicada para incentivar as características a permanecerem próximas de sua própria âncora de modalidade e distantes da âncora da outra modalidade. Isso evita que as modalidades colapsem em uma representação homogênea.

2.4 Cabeça de Predição

Os fluxos de modalidade refinados são combinados usando um módulo de co-atenção (estilo transformer) que permite que a patologia consulte a genômica e vice-versa no nível de protótipo. A representação conjunta resultante é mapeada para um escore de risco de sobrevivência usando uma cabeça linear, treinada com a verossimilhança parcial de Cox ($\mathcal{L}_{surv}$).

O objetivo total de treinamento é:
$$\mathcal{L}_{total} = \mathcal{L}_{surv} + \lambda_{contrast}\mathcal{L}_{contrast} + \lambda_{inst}\mathcal{L}_{instance}$$

3. Principais Contribuições

1. Identificação do Colapso por Sobre-Alinhamento: O artigo destaca que o alinhamento cross-modal agressivo pode suprimir sinais específicos de cada modalidade, levando à degradação do desempenho em comparação com baselines de uma única modalidade.
2. O Framework TTA: Uma arquitetura inovadora que operacionaliza o princípio "Together-Then-Apart". Ela equilibra o alinhamento cross-modal (via protótipos compartilhados e UOT) com a distintividade específica da modalidade (via âncoras e regularização contrastiva).
3. Mecanismo de Alinhamento Robusto: O uso de transporte ótimo desbalanceado com um cronograma de massa de currículo permite que o modelo lide com correspondências ruidosas, heterogeneidade intra-amostra e desequilíbrio de modalidades de forma eficaz.
4. Interpretabilidade: As estruturas de protótipos aprendidas revelam padrões cross-modais interpretáveis associados a desfechos clínicos.

4. Resultados Experimentais

Os autores avaliaram o TTA em cinco coortes de câncer do TCGA (BLCA, BRCA, STAD, CRC, KIRC) usando dados pareados de WSI e genômica.

• Desempenho: O TTA alcançou o Índice de Concordância (C-Index) geral mais alto de 0,693, superando o segundo melhor método multimodal (MMP) em 2,6% e superando significativamente as bases de referência unimodais.
• Estudos de Ablação:
  • A remoção da etapa "Apart" causou uma queda significativa no desempenho na coorte CRC (de 0,685 para 0,587), demonstrando que preservar sinais específicos de WSI é crucial quando as pistas morfológicas são dominantes.
  • Tanto a etapa "Together" (alinhamento) quanto a etapa "Apart" (diversificação) mostraram-se complementares; habilitar ambas resultou em uma melhoria de 5,0% sobre o baseline sem essas etapas.
  • O cronograma de massa de currículo ($\rho$) e as atribuições suaves de UOT foram críticos para a estabilidade e o desempenho em comparação com o agrupamento rígido (KMeans) ou transporte de massa fixa.
• Estratificação: A análise de Kaplan-Meier confirmou a separação estatisticamente significativa entre os grupos de alto risco e baixo risco em todas as cinco coortes ($p < 0,05$).

5. Significância e Alegações

O artigo afirma que modelos de sobrevivência multimodais eficazes não devem forçar sinais heterogêneos em um único espaço de representação indiscriminadamente. Em vez disso, devem adotar uma estratégia que primeiro alinhe as modalidades para capturar estruturas prognósticas compartilhadas e, depois, separe-as para reter evidências distintas e específicas de cada modalidade.

Os autores posicionam o TTA como uma solução para a tensão entre o alinhamento cross-modal e a preservação de informações específicas da modalidade. Ao demonstrar melhorias consistentes sobre métodos recentes de estado da arte em diversos tipos de câncer, o trabalho sugere que equilibrar o alinhamento semântico compartilhado com a distintividade específica da modalidade é um princípio de design crítico para o aprendizado de representação biomédica multimodal. O código foi disponibilizado para facilitar pesquisas futuras nesta direção.