Resumen Técnico: Hacia un Aprendizaje de Grafos Multimodales Federados Robusto bajo Heterogeneidad de Modalidades

1. Formulación del Problema

El artículo aborda el desafío del aprendizaje robusto ante modalidades faltantes en grafos multimodales federados (FMG). En sistemas distribuidos del mundo real, los datos con estructura de grafo (por ejemplo, redes sociales, sistemas de recomendación) a menudo están aislados entre múltiples clientes debido a restricciones de privacidad, competencia comercial o propiedad de plataformas, lo que hace inviable el entrenamiento centralizado. Además, estos grafos frecuentemente sufren de incompletitud de modalidades, donde los nodos carecen de ciertos atributos (por ejemplo, texto, imágenes, video) debido a la recolección heterogénea, límites de almacenamiento o comportamiento del usuario.

Los enfoques existentes no abordan esta intersección de manera efectiva:

• Aprendizaje de Grafos Multimodales Centralizado: Los métodos que manejan modalidades faltantes asumen acceso a datos centralizados e ignoran los desafíos del intercambio de conocimiento y la generalización entre clientes en entornos federados.
• Aprendizaje Multimodal Federado: Aunque están maduros para datos no gráficos, estos métodos suelen ignorar la topología del grafo y las dependencias estructurales, tratando las muestras como independientes.
• Aprendizaje de Grafos Federado: La mayoría de los métodos existentes asumen características de nodos completas y no modelan explícitamente la falta de modalidades a múltiples granularidades.

Los autores identifican dos cuellos de botella críticos en un pipeline de generación-agregación ingenuo para este problema:

1. Completación Local Aislada de la Topología: La generación de modalidades en el lado del cliente depende exclusivamente de subgrafos locales, luchando para aprovechar la semántica global. Esto conduce a características inconsistentes con las semánticas estructurales entre clientes, lo que podría inducir a error en el paso de mensajes del grafo.
2. Agregación Global Desequilibrada en Fiabilidad: Los clientes varían en disponibilidad de modalidades y fiabilidad de recuperación. La agregación estándar basada en tamaño de datos (por ejemplo, FedAvg) puede sesgar el modelo global hacia actualizaciones de clientes con señales recuperadas poco fiables o patrones de modalidades dominantes pero incompletas.

2. Metodología: FEDMPO

Los autores proponen FEDMPO, un marco unificado diseñado para mejorar la fiabilidad de la generación local de modalidades y la robustez global mediante un pipeline de cuatro etapas:

Etapa 1: Codificación de Contexto de Características y Grafo

• Desenmascaramiento de Máscaras: El marco distingue entre ausencia natural (no existe una verdad fundamental) y enmascaramiento durante el entrenamiento (modalidades observadas ocultas artificialmente). Solo las modalidades observadas naturalmente se enmascaran artificialmente para proporcionar objetivos de reconstrucción fiables.
• Anclajes Estructurales: Para abordar la falta de contexto global, el modelo construye anclajes estructurales por modalidad para las características faltantes agregando representaciones de nodos vecinos donde la modalidad es visible. Esto proporciona un prior derivado de la topología para la generación.
• Codificación de Contexto: Los nodos se codifican utilizando un codificador de grafo que incorpora ya sea incrustaciones crudas o anclajes estructurales, asegurando que la representación se vea potenciada por el contexto local del grafo.

Etapa 2: Generación Transmodal Consciente de la Topología

• Banco de Contexto: En lugar de depender únicamente de las modalidades restantes de un nodo, el generador consulta un banco de contexto que contiene las otras modalidades visibles del nodo y las representaciones de modalidades visibles de los vecinos.
• Mecanismo de Atención: Un mecanismo de atención multi-cabeza consulta este banco para recuperar evidencia transmodal y de vecindad.
• Estrategia de Calentamiento: Se emplea un factor de calentamiento lineal ($\gamma_t$). Las rondas tempranas de entrenamiento dependen más fuertemente de anclajes estructurales estables (priors topológicos de baja varianza) para reducir la inestabilidad del gradiente, desplazándose gradualmente hacia la generación transmodal aprendida a medida que avanza el entrenamiento.
• Objetivos: El generador es supervisado mediante una pérdida de reconstrucción en modalidades artificialmente enmascaradas y una pérdida de alineación transmodal para asegurar la consistencia semántica entre las modalidades observadas y recuperadas.

Etapa 3: Fusión de Mezcla de Expertos (MoE) Consciente de la Ausencia

• Estimación de Incertidumbre: El modelo estima una puntuación de incertidumbre de recuperación para las características generadas basándose en la representación generada, el contexto transmodal y los anclajes estructurales. A las modalidades observadas se les asigna una incertidumbre cero.
• Enrutamiento de Expertos: Un enrutador pondera dinámicamente dos expertos: un Experto Observado (semánticas crudas fiables) y un Experto Recuperado (semánticas generadas). La decisión de enrutamiento considera la visibilidad, la incertidumbre y las proporciones de ausencia a nivel de nodo y de cliente.
• Fusión Consciente de la Fiabilidad: Las modalidades se fusionan basándose en sus pesos de fiabilidad. Crucialmente, se introduce un experto de respaldo estructural. Si un nodo tiene una alta proporción de ausencia o una alta incertidumbre promedio, el modelo cambia adaptativamente de la fusión multimodal a una representación solo estructural, evitando que las señales recuperadas ruidosas se propaguen a través del grafo.

Etapa 4: Predicción de Tareas y Agregación Consciente de la Fiabilidad

• Objetivo Local: Los clientes optimizan una pérdida combinada que incluye el rendimiento de la tarea, la reconstrucción, la alineación y la regularización de enrutamiento.
• Agregación Consciente de la Fiabilidad: A diferencia del FedAvg estándar, el servidor agrega actualizaciones utilizando pesos conscientes de la fiabilidad. Los clientes cargan estadísticas escalares ligeras (incertidumbre promedio de recuperación, error de reconstrucción y proporción de ausencia a nivel de cliente) junto con los parámetros del modelo.
• Mecanismo de Ponderación: El servidor calcula una puntuación de fiabilidad que penaliza exponencialmente a los clientes con alta incertidumbre, alto error de reconstrucción o altas proporciones de ausencia. Esto evita que las actualizaciones de clientes poco fiables dominen el modelo global, mitigando el sesgo de agregación sin excluir completamente a los clientes.

3. Contribuciones Clave

1. Nueva Definición del Problema: El artículo formaliza el problema del aprendizaje robusto ante modalidades faltantes para grafos multimodales federados, destacando los desafíos acoplados de la estructura del grafo, la incompletitud de modalidades y la heterogeneidad federada.
2. Marco Novel (FEDMPO): Introduce un flujo de trabajo unificado que integra:
   • Generación Transmodal Consciente de la Topología: Aprovechando la estructura de vecindad del grafo para recuperar características faltantes.
   • Enrutamiento de Expertos Consciente de la Ausencia: Filtrando señales recuperadas ruidosas mediante estimación de incertidumbre y respaldo estructural.
   • Agregación Consciente de la Fiabilidad: Penalizando actualizaciones de clientes poco fiables basándose en estadísticas de calidad de recuperación.
3. Rendimiento Empírico: Experimentos extensos en 6 conjuntos de datos a través de 3 tareas (Clasificación de Nodos, Predicción de Enlaces, Recuperación de Modalidades) demuestran que FEDMPO supera a líneas base sólidas (incluyendo métodos avanzados de FGL y FL multimodal).
   • Logra una ganancia de rendimiento de hasta 4.10% en configuraciones de alta ausencia.
   • Logra una ganancia de rendimiento de hasta 5.65% en configuraciones altamente no IID.
   • Demuestra robustez ante tasas de ausencia variables (30%–70%) y heterogeneidad de clientes.

4. Significado y Afirmaciones

El artículo afirma que FEDMPO es significativo porque va más allá de tratar la recuperación de modalidades, el razonamiento de grafos y la optimización federada como componentes separados. En su lugar, los acopla en un único ciclo cerrado donde:

• La Calidad de Recuperación se modela explícitamente y se utiliza para guiar la fusión.
• El Contexto del Grafo se utiliza para informar la completación de modalidades, abordando la limitación "aislada de la topología" de los métodos existentes.
• Las Estadísticas de Fiabilidad se utilizan para estabilizar la agregación global, abordando la limitación "desequilibrada en fiabilidad" del aprendizaje federado estándar.

Los autores enfatizan que, aunque FEDMPO introduce una sobrecarga computacional moderada (operando sobre representaciones ocultas compactas en lugar de datos crudos), logra una compensación favorable entre precisión, robustez y costo de comunicación. El trabajo sugiere que modelar explícitamente la fiabilidad de recuperación es esencial para el aprendizaje robusto de grafos multimodales en entornos federados, particularmente cuando las actualizaciones locales se ven afectadas por la disponibilidad heterogénea de modalidades.

El artículo concluye señalando limitaciones, como la necesidad de un modelado más especializado para patrones de ausencia complejos del mundo real (por ejemplo, ausencia no aleatoria) y el potencial de trabajos futuros en la agregación que preserve la privacidad de las estadísticas de fiabilidad.