FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Resumo Técnico: FedHyperM

Definição do Problema
O Aprendizado Federado (FL - Federated Learning) permite que dispositivos de borda treinem modelos colaborativamente sem compartilhar dados brutos, abordando preocupações de privacidade na Inteligência de Borda (EC - Edge Intelligence). No entanto, implantações práticas de borda enfrentam uma significativa heterogeneidade de modalidades: os dispositivos frequentemente possuem subconjuntos diferentes de sensores (por exemplo, alguns possuem câmeras RGB, enquanto outros possuem apenas sensores térmicos ou de áudio) devido a diferenças de hardware, condições de detecção variáveis ou falhas de sensores.

Nesses cenários heterogêneos, as estratégias de agregação de FL convencionais (como o FedAvg) tornam-se não confiáveis. Elas assumem que os parâmetros do modelo são aprendidos a partir de espaços de entrada comparáveis. Quando os dispositivos treinam em diferentes combinações de modalidades, seus parâmetros aprendidos representam fontes de evidência distintas, fazendo com que a agregação direta introduza ruído e degrade o desempenho do modelo global. Além disso, os métodos existentes de FL multimodal frequentemente tratam modalidades ausentes como dados a serem reconstruídos ou alinhados, em vez de projetar estruturas que operem nativamente em conjuntos variados de modalidades disponíveis enquanto preservam as correlações de alta ordem entre elas.

Metodologia: FedHyperM
Os autores propõem o FedHyperM, um framework de aprendizado multimodal federado preservador de privacidade, projetado especificamente para dispositivos de borda sob heterogeneidade de modalidade. O framework opera através de três processos principais:

1. Extração de Características Multimodais Locais e Congelamento:
   Cada dispositivo de borda inicializa um extrator de características multimodais usando modelos pré-treinados específicos para suas modalidades disponíveis (por exemplo, BERT para texto, CLIP para imagens, LSTM para sinais, BEATS para áudio). Durante a fase de aprendizado colaborativo, esses extratores são congelados. Isso garante que o espaço de representação de características permaneça consistente enquanto o modelo foca em aprender as relações entre as modalidades.

2. Predição Multimodal Baseada em Hipergrafos (Lado da Borda):
   Em vez de tratar as modalidades como entradas independentes, o FedHyperM as modela como um hipergrafo onde as características específicas de cada modalidade são nós.

   • Construção Adaptativa: O framework constró de forma dinâmica hiperarestas para capturar correlações de alta ordem. Ele define "nós âncora" (representando uma modalidade específica) e os conecta dinamicamente a "nós associados" (outras modalidades) com base em coeficientes de reconstrução aprendidos.
   • Objetivo de Aprendizado: O sistema minimiza uma perda de reconstrução (medindo quão bem um nó âncora pode ser reconstruído a partir de seus nós associados) regularizada por normas $L_1$ e $L_2$ para controlar a esparsidade e o impacto de outliers.
   • Predição: Um mecanismo de atenção de múltiplas cabeças (multi-head attention) agrega embeddings de hiperarestas para atualizar os embeddings dos nós, que são então passados por um Perceptron Multicamadas (MLP) para predição. Isso permite que o modelo aprenda relações complexas e de nível de grupo entre as modalidades específicas disponíveis naquele dispositivo.

3. Agregação Sensível à Modalidade (Lado do Servidor):
   Para enfrentar o desafio de agregar modelos treinados em diferentes conjuntos de modalidades, o FedHyperM introduz um mecanismo de Agregação Sensível à Modalidade (MSA).

   • Estratégia de Ponderação: Em vez de uma média uniforme, o servidor calcula pesos de agregação baseados na Distância de Edição Mínima (MinED - Minimum Edit Distance) entre os conjuntos de nomes das modalidades disponíveis dos dispositivos vizinhos.
   • Lógica: Um MinED menor implica maior similaridade na disponibilidade de modalidades, levando a um peso de agregação mais alto. Isso garante que os parâmetros de dispositivos com configurações de modalidade semelhantes contribuam mais significativamente para a atualização global, mitigando o ruído causado pela agregação de evidências incompatíveis.

Principais Contribuições

• Framework Inovador: A proposta do FedHyperM, um framework colaborativo projetado especificamente para facilitar o aprendizado multimodal federado entre dispositivos de borda com disponibilidade de modalidade heterogênea.
• Módulo de Aprendizado de Hipergrafo: O design de um módulo de predição baseado em hipergrafos que trata as características das modalidades como nós e constrói adaptativamente hiperarestas para capturar correlações de alta ordem e não pareadas entre características multimodais.
• Mecanismo MSA: O desenvolvimento de uma estratégia de agregação sensível à modalidade usando Distância de Edição Mínima (MinED) para ponderar atualizações de modelos, garantindo que a agregação leve em conta a composição de modalidade específica de cada dispositivo de borda.
• Validação Empírica: Experimentos extensos demonstrando que o framework lida efetivamente com a heterogeneidade de modalidades sem exigir o compartilhamento de dados brutos ou imputação complexa de modalidades ausentes.

Resultados Experimentais
Os autores avaliaram o FedHyperM no dataset UR-FALL (detecção de queda usando vídeo RGB-profundidade) sob três diferentes Taxas de Existência de Modalidade (MER: $\rho = 0,5, 0,7, 0,8$), simulando graus variados de ausência de modalidade. Eles compararam o framework contra cinco baselines: FedAvg, FedCor, FedProx, AutoFed e FedInMM.

• Ganhos de Desempenho: O FedHyperM superou consistentemente todos os baselines em todas as configurações de MER.
  • Acurácia: Melhorou a acurácia média entre 3,64% e 22,33% em comparação aos baselines.
  • F1-Score: Melhorou o F1-score médio entre 2,91% e 26,82%.
  • Robustez: O framework mostrou força particular nas métricas de "Pior Acurácia" (W. Acc) e "Pior F1" (W. F1), indicando que ele estabiliza o desempenho mesmo para dispositivos com os conjuntos de modalidades mais limitados.
• Estudos de Ablação:
  • Remover o módulo de hipergrafo (w/o HyperG) resultou em uma queda de desempenho de ~6,6% na acurácia média, confirmando a necessidade de capturar correlações de alta ordem.
  • Substituir o MSA por uma média simples (w/o MSA) causou uma queda mais significativa (~9,15% na acurácia média), validando que a ponderação consciente da modalidade é crítica para a agregação heterogênea.
• Sensibilidade de Hiperparâmetros: O modelo demonstrou estabilidade, com desempenho ideal observado em $\alpha = 0,3$ e $\beta = 0,5$ (hiperparâmetros para regularização $L_1$ e $L_2$).

Significância
O artigo afirma que o FedHyperM aborda uma lacuna fundamental na Inteligência de Borda: a capacidade de aprender colaborativamente a partir de dados de sensores distribuídos e heterogêneos sem comprometer a privacidade ou exigir imputação de dados. Ao tratar a heterogeneidade de modalidade como uma característica estrutural a ser modelada via hipergrafos e ponderada via distância de edição, em vez de um defeito a ser corrigido, o framework permite modelos globais mais robustos e precisos em cenários reais de borda onde a disponibilidade de sensores é inconsistente. Os resultados sugerem que modelar explicitamente as correlações de modalidade de alta ordem e respeitar os pesos de agregação específicos de cada modalidade são essenciais para a próxima geração de sistemas multimodais federados.