Resumo Técnico: Rumo a Aprendizado de Grafos Multimodais Federados Robusto sob Heterogeneidade de Modalidades

1. Formulação do Problema

O artigo aborda o desafio do aprendizado robusto com modalidades ausentes em grafos multimodais federados (FMG). Em sistemas distribuídos do mundo real, dados estruturados em grafos (por exemplo, redes sociais, sistemas de recomendação) são frequentemente isolados entre múltiplos clientes devido a restrições de privacidade, competição comercial ou propriedade de plataformas, tornando o treinamento centralizado inviável. Além disso, esses grafos frequentemente sofrem de incompletude de modalidades, onde os nós carecem de certos atributos (por exemplo, texto, imagens, vídeo) devido à coleta heterogênea, limites de armazenamento ou comportamento do usuário.

As abordagens existentes falham em abordar essa interseção de forma eficaz:

• Aprendizado de Grafos Multimodais Centralizado: Métodos que lidam com modalidades ausentes assumem acesso centralizado aos dados e ignoram os desafios de compartilhamento de conhecimento entre clientes e generalização em ambientes federados.
• Aprendizado Multimodal Federado: Embora maduro para dados não gráficos, esses métodos tipicamente ignoram a topologia do grafo e dependências estruturais, tratando amostras como independentes.
• Aprendizado de Grafos Federado: A maioria dos métodos existentes assume recursos de nós completos e não modela explicitamente a ausência de modalidades em múltiplas granularidades.

Os autores identificam dois gargalos críticos em um pipeline de geração-agregação ingênuo para este problema:

1. Completude Local Isolada por Topologia: A geração de modalidades no lado do cliente depende exclusivamente de subgrafos locais, lutando para aproveitar semânticas globais. Isso leva a recursos inconsistentes com semânticas estruturais entre clientes, potencialmente enganando a passagem de mensagens do grafo.
2. Agregação Global com Desbalanço de Confiabilidade: Os clientes variam em disponibilidade de modalidades e confiabilidade de recuperação. A agregação padrão baseada em tamanho de dados (por exemplo, FedAvg) pode enviesar o modelo global para atualizações de clientes com sinais recuperados não confiáveis ou padrões de modalidades dominantes, mas incompletos.

2. Metodologia: FEDMPO

Os autores propõem o FEDMPO, um framework unificado projetado para melhorar a confiabilidade da geração local de modalidades e a robustez global através de um pipeline de quatro estágios:

Estágio 1: Codificação de Contexto de Recursos e Grafo

• Desentrelaçamento de Máscaras: O framework distingue entre ausência natural (não existe verdade fundamental) e mascaramento durante o treinamento (modalidades observadas artificialmente ocultas). Apenas modalidades observadas naturalmente são artificialmente mascaradas para fornecer alvos de reconstrução confiáveis.
• Âncoras Estruturais: Para abordar a falta de contexto global, o modelo constrói âncoras estruturais por modalidade para recursos ausentes agregando representações de nós vizinhos onde a modalidade é visível. Isso fornece um prior derivado da topologia para a geração.
• Codificação de Contexto: Os nós são codificados usando um codificador de grafo que incorpora embeddings brutos ou âncoras estruturais, garantindo que a representação seja aprimorada pelo contexto local do grafo.

Estágio 2: Geração Cross-Modal Consciente de Topologia

• Banco de Contexto: Em vez de depender apenas das modalidades restantes do próprio nó, o gerador consulta um banco de contexto contendo as outras modalidades visíveis do nó e representações de modalidades visíveis vizinhas.
• Mecanismo de Atenção: Um mecanismo de atenção multi-cabeça consulta esse banco para recuperar evidências cross-modais e de vizinhança.
• Estratégia de Aquecimento: Um fator de aquecimento linear ($\gamma_t$) é empregado. As primeiras rodadas de treinamento dependem mais fortemente de âncoras estruturais estáveis (priors de topologia de baixa variância) para reduzir a instabilidade do gradiente, mudando gradualmente para a geração cross-modal aprendida à medida que o treinamento progride.
• Objetivos: O gerador é supervisionado por uma perda de reconstrução em modalidades artificialmente mascaradas e uma perda de alinhamento cross-modal para garantir consistência semântica entre modalidades observadas e recuperadas.

Estágio 3: Fusão de Mixture-of-Experts (MoE) Consciente de Ausência

• Estimativa de Incerteza: O modelo estima uma pontuação de incerteza de recuperação para recursos gerados com base na representação gerada, contexto cross-modal e âncoras estruturais. Modalidades observadas recebem incerteza zero.
• Roteamento de Especialistas: Um roteador pondera dinamicamente dois especialistas: um Especialista Observado (semânticas brutas confiáveis) e um Especialista Recuperado (semânticas geradas). A decisão de roteamento considera visibilidade, incerteza e taxas de ausência em níveis de nó e cliente.
• Fusão Consciente de Confiabilidade: As modalidades são fundidas com base em seus pesos de confiabilidade. Crucialmente, um especialista de fallback estrutural é introduzido. Se um nó tiver uma alta taxa de ausência ou alta incerteza média, o modelo muda adaptativamente da fusão multimodal para uma representação apenas estrutural, impedindo que sinais recuperados ruidosos se propaguem através do grafo.

Estágio 4: Predição de Tarefa e Agregação Consciente de Confiabilidade

• Objetivo Local: Os clientes otimizam uma perda combinada incluindo desempenho da tarefa, reconstrução, alinhamento e regularização de roteamento.
• Agregação Consciente de Confiabilidade: Diferentemente do FedAvg padrão, o servidor agrega atualizações usando pesos conscientes de confiabilidade. Os clientes enviam estatísticas escalares leves (incerteza média de recuperação, erro de reconstrução e taxa de ausência no nível do cliente) juntamente com parâmetros do modelo.
• Mecanismo de Ponderação: O servidor calcula uma pontuação de confiabilidade que penaliza exponencialmente clientes com alta incerteza, alto erro de reconstrução ou altas taxas de ausência. Isso impede que atualizações de clientes não confiáveis dominem o modelo global, mitigando o viés de agregação sem excluir clientes inteiramente.

3. Contribuições Principais

1. Nova Definição de Problema: O artigo formaliza o problema do aprendizado robusto com modalidades ausentes para grafos multimodais federados, destacando os desafios acoplados de estrutura de grafo, incompletude de modalidades e heterogeneidade federada.
2. Framework Inovador (FEDMPO): Introduz um fluxo de trabalho unificado integrando:
   • Geração Cross-Modal Consciente de Topologia: Aproveitando a estrutura de vizinhança do grafo para recuperar recursos ausentes.
   • Roteamento de Especialistas Consciente de Ausência: Filtrando sinais recuperados ruidosos via estimativa de incerteza e fallback estrutural.
   • Agregação Consciente de Confiabilidade: Penalizando atualizações de clientes não confiáveis com base em estatísticas de qualidade de recuperação.
3. Desempenho Empírico: Extensos experimentos em 6 conjuntos de dados através de 3 tarefas (Classificação de Nós, Predição de Links, Recuperação de Modalidade) demonstram que o FEDMPO supera bases fortes (incluindo métodos avançados de FGL e FL multimodal).
   • Alcança ganho de desempenho de até 4,10% em cenários de alta ausência.
   • Alcança ganho de desempenho de até 5,65% em cenários altamente não-IID.
   • Demonstra robustez a taxas de ausência variáveis (30%–70%) e heterogeneidade de clientes.

4. Significado e Alegações

O artigo afirma que o FEDMPO é significativo porque vai além de tratar recuperação de modalidades, raciocínio em grafos e otimização federada como componentes separados. Em vez disso, acopla-os em um único ciclo fechado onde:

• Qualidade de Recuperação é explicitamente modelada e usada para guiar a fusão.
• Contexto de Grafo é utilizado para informar a completude de modalidades, abordando a limitação "isolada por topologia" dos métodos existentes.
• Estatísticas de Confiabilidade são usadas para estabilizar a agregação global, abordando a limitação "desbalanceada em confiabilidade" do aprendizado federado padrão.

Os autores enfatizam que, embora o FEDMPO introduza uma sobrecarga computacional moderada (operando em representações ocultas compactas em vez de dados brutos), ele alcança um compromisso favorável entre precisão, robustez e custo de comunicação. O trabalho sugere que modelar explicitamente a confiabilidade de recuperação é essencial para aprendizado robusto de grafos multimodais em ambientes federados, particularmente quando atualizações locais são afetadas por disponibilidade heterogênea de modalidades.

O artigo conclui observando limitações, como a necessidade de modelagem mais especializada para padrões complexos de ausência do mundo real (por exemplo, ausência não aleatória) e o potencial para trabalhos futuros em agregação preservadora de privacidade de estatísticas de confiabilidade.