FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

Resumo Técnico: FDRMFL – Extração de Características Multimodais Federadas Baseada em Maximização de Informação e Aprendizado Contrastivo

Definição do Problema
O artigo aborda o desafio de extrair características preditivas de entradas multimodais de alta dimensão (ex: imagens, espectros, texto) em um cenário de aprendizado federado (FL) caracterizado por dados não-IID (não identicamente distribuídos). Neste cenário, os dados brutos não podem deixar os clientes locais, as amostras são escassas e as distribuições variam significativamente entre as instituições. As abordagens existentes enfrentam limitações críticas: métodos lineares não supervisionados (PCA, TSVD, RP) ignoram rótulos relevantes para a tarefa e falham sob condições não-IID; Autoencoders Variacionais (VAEs) otimizam a reconstrução em vez da predição; e algoritmos federados padrão (FedAvg, FedProx, etc.) carecem de mecanismos para alinhamento cross-modal ou retenção de características orientadas à tarefa em regressão multimodal. Consequentemente, esses métodos sofrem com deriva de representação, desalinhamento cross-modal e perda de informação preditiva.

Metodologia: FDRMFL
Os autores propõem o FDRMFL (Extração de Características e Aprendizado Multimodal de Redução de Dimensionalidade Federada), um framework que otimiza conjuntamente a precisão da predição e a qualidade da representação. A arquitetura consiste em codificadores específicos por modalidade (ex: CNNs, LSTMs, Transformers), uma rede de fusão por atenção cruzada (cross-attention) e uma cabeça de regressão. A inovação central reside em uma função de objetivo local unificada composta por quatro termos:

1. Perda de Predição MSE ($\mathcal{L}_{pred}$): Minimiza o erro entre a representação fundida e a variável alvo contínua.
2. Regularização de Informação Mútua ($\mathcal{R}_{mi}$): Um substituto baseado em correlação que maximiza a dependência entre a representação fundida e o alvo. Motivado pela identidade Gaussiana $I(X;Y) = -\frac{1}{2}\log(1-\rho^2)$, este termo incentiva a representação latente a reter informações relevantes para a tarefa ao maximizar a correlação de Pearson absoluta ($|\hat{\rho}|$) entre uma representação projetada e o alvo.
3. Alinhamento KL Simétrico ($\mathcal{R}_{kl}$): Uma penalidade que alinha as distribuições latentes de diferentes modalidades antes da fusão. Assumindo uma distribuição Gaussiana homocedástica para as características das modalidades, este termo simplifica-se para a minimização da distância euclidiana ao quadrado entre as médias das características de diferentes modalidades, fechando assim o "gap de modalidade".
4. Perda Contrastiva Federada ($\mathcal{R}_{fcl}$): Uma perda do tipo InfoNCE que ancora as representações locais ao consenso global. Ela trata a representação da rodada global anterior como uma amostra positiva e as representações de rodadas anteriores (armazenadas em um buffer de histórico temporal) como amostras negativas. Isso restringe as atualizações locais para permanecerem próximas ao manifold de características global, mitigando a deriva de representação.

O objetivo global é uma soma ponderada desses quatro termos. O treinamento segue um loop federado padrão onde os clientes realizam o gradiente descendente local sobre esta perda composta, e o servidor agrega os parâmetros via ponderação pelo tamanho da amostra.

Principais Contribuições

• Framework Unificado: O FDRMFL é apresentado como o primeiro framework unificado para abordar conjuntamente a redução de dimensionalidade orientada à tarefa para alvos contínuos, o alinhamento de distribuição cross-modal e a estabilidade de representação entre rodadas dentro de um único cenário de regressão federada.
• Substituto de MI Baseado em Correlação: A introdução de um substituto de informação mútua baseado em correlação e de baixa variância, especificamente adequado para regimes federados de pequenas amostras, evitando a instabilidade de estimadores de MI neurais de alta variância.
• Mecanismo Contrastivo Federado: Uma adaptação inovadora do aprendizado contrastivo para o espaço multimodal fundido, utilizando um buffer de histórico temporal para fornecer sinais negativos mais ricos do que as abordagens anteriores de modalidade única (ex: MOON).
• Alinhamento Cross-Modal: Uma penalidade KL simétrica projetada para alinhar as distribuições latentes entre as modalidades antes da fusão, abordando o desafio específico de dados multimodais não-IID.

Resultados Experimentais
O framework foi avaliado em três conjuntos de dados sintéticos (com processos geradores de verdade fundamental conhecidos) e dois conjuntos de dados reais de espectroscopia de infravermelho próximo (NIR) (Tecator e Corn) sob partições não-IID.

• Desempenho vs. Baselines Tradicionais: O FDRMFL reduziu o Erro Quadrático Médio (MSE) médio em 33,8% em relação ao melhor baseline tradicional (PCA) e em 43,0% em relação ao VAE em simulação. Nos conjuntos de dados reais, alcançou consistentemente o menor MSE entre todos os clientes e alvos.
• Desempenho vs. Baselines Federados: Em comparações com cinco algoritmos federados estabelecidos (FedAvg, FedProx, SCAFFOLD, MOON, FedBN), o FDRMFL obteve o menor MSE médio global em todas as tarefas.
• Análise de Ablação: A remoção de qualquer um dos três componentes de regularização ($\mathcal{R}_{mi}$, $\mathcal{R}_{kl}$, $\mathcal{R}_{fcl}$) resultou em aumento do erro, sendo que a remoção da perda contrastiva ($\mathcal{R}_{fcl}$) causou a maior degradação (+7,8%), confirmando a necessidade de todos os componentes para estabilidade e precisão.
• Robustez: A análise de sensibilidade demonstrou que o desempenho permanece estável através de uma variação de ordem de magnitude nos coeficientes de regularização, indicando que o framework não depende de hiperparâmetros finamente ajustados.

Significância e Alegações
O artigo afirma que o FDRMFL mitiga efetivamente o "triplo desafio" dos dados não-IID, alta dimensionalidade e desalinhamento multimodal na regressão federada. Ao acoplar explicitamente a representação ao alvo (via MI), alinhar as modalidades (via KL) e estabilizar as atualizações (via aprendizado contrastivo), o framework alcança uma precisão preditiva superior e menor variância entre clientes em comparação com métodos existentes. Os autores posicionam este trabalho como um passo fundamental para o aprendizado federado multimodal robusto, particularmente em domínios como a espectroscopia, onde a privacidade dos dados e a heterogeneidade são primordiais. O artigo observa explicitamente que, embora forneça privacidade federada básica (localidade de dados), ainda não incorpora privacidade diferencial formal, identificando isso como uma direção para trabalhos futuros.