Résumé Technique : CoMAG (Context-aware Modality-Topology Co-Alignment)

1. Définition du Problème

Les Graphes Multimodaux Attribués (MAG - Multimodal Attributed Graphs) représentent des entités du monde réel en couplant la topologie du graphe avec des attributs sémantiques hétérogènes (ex. : texte, images). Bien que les MAG permettent de supporter à la fois des tâches centrées sur le graphe (classification de nœuds, prédiction de liens, clustering) et des tâches centrées sur la modalité (recherche croisée, mise en correspondance, génération conditionnée par le graphe), les méthodes existantes font face à deux limitations critiques :

1. Propagation de Contexte Agnostique à la Tâche : Les approches actuelles propagent souvent l'information sur une topologie fixe ou apprise uniformément. Cela ne permet pas de distinguer les arêtes qui sont fiables pour des tâches spécifiques (ex. : voisins cohérents avec les labels pour la classification vs nœuds structurellement complémentaires pour la prédiction de liens) et peut amplifier les arêtes bruitées ou négliger des relations sémantiques manquantes.
2. Fusion Cross-Modale Sur-Compressée : Les mécanismes de fusion standards compressent souvent différentes modalités dans un espace de représentation partagé unique. Bien que cela mette en évidence les sémantiques partagées, cela efface les preuves spécifiques à chaque modalité essentielles pour des tâches fines comme la recherche, la mise en correspondance et la génération.

La question de recherche centrale est : Comment un backbone de MAG peut-il apprendre des contextes fiables pour différentes tâches tout en alignant les modalités sans effacer leurs informations distinctives ?

2. Méthodologie : Le Framework CoMAG

Les auteurs proposent CoMAG, un backbone unifié qui apprend des contextes adaptatifs aux tâches et effectue un alignement préservant les modalités au sein de ces contextes. Le framework opère à travers quatre étapes intégrées :

A. Apprentissage de Contexte Fiable

Au lieu d'utiliser le graphe brut directement, CoMAG construit un graphe de contexte adaptatif à la tâche ($Q_\tau$) via trois étapes :

1. Estimation de la Fiabilité des Arêtes : Il évalue les arêtes observées $(i, j)$ sur la base de la cohérence sémantique multimodale (intra-modalité et cross-modalité). Un réseau de scoring léger paramètre la fiabilité $R_{ij}$, réduisant le poids des arêtes où les modalités entrent en conflit.
2. Récupération du Contexte Sémantique : Pour traiter les relations manquantes dans la topologie brute, un graphe de complément sémantique ($A_{sem}$) est construit en utilisant des similitudes cross-modales à haute confiance, récupérant ainsi des voisins absents du graphe original.
3. Portage (Gating) Adaptatif à la Tâche : Une porte sensible à la tâche mélange dynamiquement la topologie fiable ($A_{rel}$), le complément sémantique ($A_{sem}$) et l'auto-information ($I$) en fonction de la tâche descendante spécifique $\tau$.

B. Trajectoire de Contexte Multi-hop Spécifique à la Modalité

CoMAG propage chaque modalité le long du graphe de contexte appris $Q_\tau$ en tant que trajectoire multi-hop distincte.

• Coefficients Spécifiques à la Modalité : Pour chaque tâche, le modèle génère des coefficients $(\gamma, \alpha, \beta)$ qui contrôlent l'équilibre entre la ré-injection du signal de la modalité originale, la propagation du contexte de même modalité et l'incorporation du contexte cross-modal.
• Rétention de Trajectoire : Contrairement aux méthodes qui n'utilisent que la couche finale, CoMAG conserve la séquence des états cachés $H^{(m)}_{\tau, k}$ pour tous les sauts (hops) $k=0 \dots K$. Cela préserve les preuves locales de la modalité (sauts précoces) tout en encodant un contexte de graphe plus large (sauts tardifs).

C. Alignement Cross-Modal par Token de Hop

Pour aligner les modalités sans les forcer dans un seul embedding, CoMAG traite chaque état de hop de modalité comme un token d'alignement.

• Construction de Tokens : Les tokens $u^{(m,k)}_i$ sont formés en combinant l'état caché avec des embeddings de modalité et de position de hop apprenables.
• Attention Pénalisée par la Distance de Hop : Un mécanisme d'attention cross-modale fait correspondre les tokens à travers les modalités. Crucialement, il applique une pénalité de distance de hop ($\lambda_h |k-l|$) au score d'attention. Cela permet l'appariement entre différents profondeurs de hop (ex. : un nœud de texte à 1-hop correspondant à un nœud d'image à 2-hops) mais pénalise les hops distants à moins que la preuve sémantique ne soit forte.

D. Découplage de Représentation Partagé-Privé

L'étape finale sépare la représentation en deux composantes pour servir les deux familles de tâches :

1. Consensus Partagé ($s_i$) : Une fusion pondérée des tokens alignés, représentant l'accord cross-modal. Cela sert de représentation centrée sur le graphe ($z^g_i$) pour les tâches structurelles.
2. Résidus Privés ($p^{(m)}_i$) : La différence entre la trajectoire de la modalité originale et le consensus partagé. Ces résidus capturent les preuves spécifiques à la modalité.
3. Génération de Sortie : La représentation centrée sur la modalité ($e^{(m)}_i$) est construite en combinant le consensus partagé avec le résidu privé. Une perte d'orthogonalité ($L_\perp$) garantit que les sous-espaces partagés et privés restent distincts, empêchant l'effondrement de la modalité.

3. Analyse Théorique

Le papier fournit des garanties théoriques pour l'architecture proposée :

• Propagation Stable : L'opérateur de propagation est prouvé comme étant contractif, assurant la convergence vers un point fixe unique.
• Atténuation de l'Over-smoothing : En conservant le signal initial (injection de résidu) à travers la trajectoire, le modèle empêche la disparition des composantes propres centrées, atténuant l'over-smoothing dans la propagation profonde.
• Régularisation de la Distance de Hop : L'analyse théorique montre que la pénalité de distance de hop agit comme un a priori, contrôlant le compromis entre l'appariement synchrone de hop et l'appariement cross-hop.
• Contrôle de l'Effondrement de Modalité : La contrainte d'orthogonalité limite la projection des résidus privés sur les directions partagées, garantissant que l'information spécifique à la modalité est préservée.

4. Résultats Expérimentaux

Les auteurs ont évalué CoMAG sur neuf jeux de données OpenMAG (couvrant l'e-commerce, les réseaux sociaux, la recommandation vidéo et les réseaux artistiques) contre des baselines basées uniquement sur les caractéristiques, uniquement sur le graphe, multimodales et unifiées.

• Tâches Centrées sur le Graphe : CoMAG a atteint des performances de pointe (SOTA) dans la classification de nœuds, la prédiction de liens et le clustering de nœuds. Par exemple, sur le dataset Grocery, il a atteint une précision de 87,75 (contre 84,78 pour le second meilleur), et sur DY, il a atteint 95,75 (contre 92,51).
• Tâches Centrées sur la Modalité : CoMAG a surpassé les baselines dans la recherche cross-modale (AUC/AP) et la génération conditionnée par le graphe (BLEU-4, CIDEr, CLIP-S, DINO-S). Sur KU, il a obtenu un AUC de 93,81 pour le matching, surpassant significativement LGMRec (90,64).
• Études d'Ablation : Le retrait de la fiabilité des arêtes, de la récupération du graphe sémantique ou des résidus privés a systématiquement dégradé les performances, confirmant que les trois composants sont complémentaires.
• Robustesse : CoMAG a démontré une robustesse supérieure face au bruit de texte, d'image, de label et d'arête par rapport aux baselines, particulièrement dans les scénarios de bruit d'arête où le filtrage fiable s'est avéré critique.
• Complexité : Le modèle maintient une complexité linéaire par rapport aux arêtes ($O(M(|E| + |Q_\tau|)d)$), évitant les coûts de mémoire denses en $O(|V|^2)$ associés à certaines méthodes d'apprentissage de structure.

5. Signification et Contributions

Le papier revendique les contributions suivantes :

1. Recadrage du Problème : Il redéfinit l'apprentissage unifié de MAG non pas comme une extension directe de l'agrégation de graphe ou de la fusion multimodale, mais comme un problème de construction de contexte adaptatif à la tâche et d'alignement préservant les modalités.
2. Framework Novel : CoMAG intègre l'apprentissage de contexte fiable, les trajectoires de hop spécifiques à la modalité, le matching cross-modal par token de hop et le découplage partagé-privé dans un seul backbone unifié.
3. Performance de Pointe (SOTA) : Des évaluations étendues démontrent que CoMAG atteint les meilleures performances rapportées à travers diverses tâches de niveau graphe et de niveau modalité, validant l'hypothèse que les contextes adaptatifs aux tâches et l'alignement préservant les modalités renforcent conjointement la prédiction structurelle et le matching cross-modal.

Les auteurs concluent que CoMAG offre une approche robuste et théoriquement fondée pour l'apprentissage de MAG qui équilibre le raisonnement structurel avec la correspondance sémantique fine, tout en préservant une complexité linéaire par arête et en évitant les pièges de l'over-smoothing et de l'effondrement de modalité.