Resumo Técnico: ProMoE-FL

Declaração do Problema

O artigo aborda o desafio do Aprendizado Federado (FL) Multimodal com Modalidades Ausentes em ambientes de saúde. Em ambientes clínicos reais, os dados são fragmentados entre instituições devido a regulamentações de privacidade e disponibilidade variável de equipamentos. Consequentemente, os clientes participantes possuem conjuntos incompletos de modalidades (por exemplo, alguns possuem apenas Raios-X, outros apenas relatórios de texto, e alguns possuem ambos).

Abordagens existentes para este problema enfrentam limitações significativas:

• Métodos centralizados (ex: baseados em prompts, generativos ou de dropout) são impraticáveis para FL devido a restrições estritas de privacidade e requisitos de eficiência de comunicação.
• Dependência de Dados Públicos: Métodos como o CAR-MFL exigem conjuntos de dados multimodais públicos adicionais para compensar os dados ausentes dos clientes, o que é muitas vezes irrealista na área da saúde devido a questões de privacidade e lacunas de domínio.
• Imputação Ingênua: Abordagens como o preenchimento com zeros (zero-filling) distorcem o espaço de características conjunto e enviesam os modelos para as modalidades observadas com maior frequência.
• Limitações de Síntese de Características: Métodos como o FeatImp sintetizam características exclusivamente a partir das modalidades observadas, sem modelar informações complementares, enquanto métodos baseados em protótipos como o PmcmFL atribuem representações idênticas a todas as amostras dentro de uma classe, falhando em capturar a variabilidade intra-classe crucial para dados médicos.

Metodologia: ProMoE-FL

Os autores propõem o ProMoE-FL (Prototype-conditioned Mixture-of-Experts for Federated Learning), um framework projetado para a síntese robusta de características de modalidades ausentes sem depender de dados públicos externos.

1. Banco de Protótipos Globais Ciente do Cliente

Para lidar com a heterogeneidade dos clientes e desvios de distribuição, o framework constrói um banco de protótipos globais que captura priors de modalidade clinicamente significativos através das instituições.

• Construção de Protótipos: Cada cliente mantém protótipos aprendíveis e específicos de cada modalidade ($P^k_m$) para cada classe. Estes são atualizados localmente via uma perda de alinhamento de protótipo ($L_{proto}$) que alinha as representações de características projetadas com os centroides de classe.
• Agregação Global: Ao contrário da média simples, o servidor acumula os protótipos dos clientes para formar um banco global ($P^{global}_m$). Este banco serve como um "client-aware prior" no espaço latente, guiando a síntese de características para considerar a variabilidade de distribuição entre os clientes.

2. Mistura de Especialistas Condicionada por Protótipo (MoE)

Para clientes com modalidades ausentes, um Decodificador Condicionado por Protótipo (PCD) sintetiza as características faltantes.

• Arquitetura: O PCD é implementado como um decodificador Transformer. Ele utiliza as características latentes da modalidade disponível como query e atende ao banco de protótipos globais da modalidade alvo (ausente) para recuperar o contexto necessário.
• Mistura de Especialistas (MoE): Para lidar com as relações complexas e não lineares entre pares de modalidades heterogêneas, o sistema emprega uma Mistura de Especialistas ($\Phi_{MoE}$). Esta consiste em múltiplos PCDs independentes ($\phi_e$).
• Roteamento Orientado por Direção: Um Roteador de Sensibilidade à Modalidade ($R$) calcula uma distribuição de gating condicionada ao contexto da instância e aos índices das modalidades (origem $i$, alvo $j$). Isso roteia dinamicamente os dados para a combinação ideal de especialistas, permitindo que a rede selecione adaptativamente a melhor estratégia de síntese para cenários específicos de modalidade ausente.

3. Protocolo de Treinamento Federado

• Treinamento Local: Os clientes otimizam um objetivo combinado de perda de tarefa ($L_{task}$) e perda de alinhamento de protótipo ($L_{proto}$).
• Reconstrução Simétrica: Clientes multimodais treinam a rede de síntese usando um objetivo de reconstrução simétrica, aprendendo a reconstruir características ausentes a partir das disponíveis e vice-versa.
• Comunicação: Os clientes transmitem parâmetros de modelo atualizados, cabeças de projeção e protótipos locais. O servidor agrega estes via FedAvg. O overhead de comunicação é negligenciável (~0,3% do total de parâmetros).

Principais Contribuições

1. Proposta de Framework: Introdução do ProMoE-FL, um framework de geração de características condicionado por protótipo que permite a síntese de modalidades ausentes em aprendizado federado multimodal sem dados públicos externos.
2. Arquitetura Inovadora: A integração de atenção de protótipo ciente do cliente para lidar com a heterogeneidade entre clientes e uma arquitetura de Mistura de Especialistas (MoE) para síntese orientada por direção dentro de uma parametrização compartilhada, evitando o crescimento combinatório de parâmetros.
3. Validação de Robustez: Experimentos extensivos demonstrando melhoria na robustez em configurações heterogêneas (não-IID) que espelham silos de dados clínicos do mundo real, apoiados por análises quantitativas e qualitativas.

Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados públicos de radiografia de tórax: MIMIC-CXRs, NIH Open-I, PadChest e CheXpert.

• Desempenho: O ProMoE-FL superou consistentemente os principais baselines (Zero-filling, Uniform-filling, FeatImp, PmcmFL e CAR-MFL) tanto em configurações homogêneas quanto heterogêneas.
  • Em configurações homogêneas, alcançou o melhor desempenho em 6 de 9 configurações.
  • Em configurações heterogêneas (representando cenários federados realistas), superou consistentemente todos os baselines em todas as configurações. Notavelmente, mostrou ganhos significativos sobre o PmcmFL, que sofreu degradação devido à sua dependência de protótipos únicos por classe.
• Comparação com Dados Públicos: Mesmo quando comparado ao CAR-MFL (que utiliza dados públicos), o ProMoE-FL alcançou um desempenho competitivo, demonstrando que seu mecanismo interno de protótipos compensa efetivamente a falta de dados externos.
• Análise Qualitativa:
  • t-SNE/UMAP: O ProMoE-FL demonstrou uma integração mais estreita entre as características sintetizadas e as reais (ground-truth) com um alinhamento de centroide de classe mais preciso em comparação ao FeatImp.
  • Patologias Raras: O método manteve uma separação clara entre os centroides de classe para patologias raras (ex: Cardiomediastino Alargado, Fratura, Lesão Pulmonar), enquanto o FeatImp exibiu colapso de modo, onde diferentes patologias convergiam.
  • Utilização de Especialistas: As distribuições de gating mostraram uma utilização equilibrada dos especialistas (centrada próximo a 0,5), indicando uma colaboração estável entre múltiplos especialistas em vez de colapso para um único especialista.
• Heterogeneidade Linguística: O estudo notou a inclusão de relatórios radiológicos em espanhol (PadChest) ao lado de conjuntos de dados em inglês, marcando uma primeira vez ao considerar a heterogeneidade de domínio linguístico neste contexto específico de FL.

Significância e Alegações

O artigo afirma que o ProMoE-FL fornece uma abordagem prática para enfrentar a heterogeneidade de dados no aprendizado federado multimodal do mundo real. Ao ir além da simples imputação de características em direção à síntese adaptativa condicionada por protótipo, o framework:

• Preserva estruturas diagnósticas, incluindo patologias raras, garantindo que os dados sintetizados mantenam sinais discriminativos necessários para um diagnóstico confiável.
• Opera efetivamente sem a suposição irrealista de disponibilidade de conjuntos de dados multimodais públicos.
• Navega com sucesso pelos desafios de dados não-IID e variabilidade de disponibilidade de modalidades entre centros médicos, oferecendo uma solução robusta para IA de saúde multimodal preservando a privacidade.