Technische Samenvatting: CoMAG (Context-aware Modality-Topology Co-Alignment)

1. Probleemdefinitie

Multimodale Geattribueerde Grafen (Multimodal Attributed Graphs, MAGs) representeren real-world entiteiten door grafentopologie te koppelen aan heterogene semantische attributen (bijv. tekst, afbeeldingen). Hoewel MAG's zowel grafencentrische taken (node classificatie, link voorspelling, clustering) als modaliteitscentrische taken (cross-modale retrieval, matching, graaf-geconditioneerde generatie) ondersteunen, kampen bestaande methoden met twee kritieke beperkingen:

1. Taak-agnostische Contextpropagatie: Huidige benaderingen propageren informatie vaak over een vaste of uniform geleerde topologie. Dit faalt in het onderscheiden tussen randen die betrouwbaar zijn voor specifieke taken (bijv. label-consistente buren voor classificatie versus structureel complementaire knopen voor link voorspelling) en kan ruisgevoelige randen versterken of ontbrekende semantische relaties over het hoofd zien.
2. Over-gecomprimeerde Cross-modale Fusie: Standaard fusiemechanismen comprimeren verschillende modaliteiten vaak tot een enkele gedeelde representatieruimte. Hoewel dit gedeelde semantiek benadrukt, wist het de modaliteit-specifieke bewijslast uit die essentieel is voor fijnmazige taken zoals retrieval, matching en generatie.

De kernonderzoeksvraag is: Hoe kan een MAG-backbone betrouwbare contexten leren voor verschillende taken terwijl modaliteiten worden uitgelijnd zonder hun onderscheidende informatie uit te wissen?

2. Methodologie: CoMAG Framework

De auteurs stellen CoMAG voor, een verenigde backbone die taak-adaptieve betrouwbare contexten leert en modaliteit-preserverende uitlijning uitvoert binnen die contexten. Het framework werkt via vier geïntegreerde stadia:

A. Betrouwbaar Context Leren

In plaats van de ruwe graaf direct te gebruiken, construeert CoMAG een taak-adaptieve contextgraaf ($Q_\tau$) via drie stappen:

1. Schatting van Randbetrouwbaarheid: Het evalueert geobserveerde randen $(i, j)$ op basis van multimodale semantische consistentie (zowel binnen- als cross-modaal). Een lichtgewicht score-netwerk parametriseert de betrouwbaarheid $R_{ij}$, waarbij randen waar modaliteiten conflicteren, worden afgewogen.
2. Semantische Context Herstel: Om ontbrekende relaties in de ruwe topologie aan te pakken, wordt een semantische complement-graaf ($A_{sem}$) geconstrueerd met behulp van hoog-betrouwbare cross-modale gelijkenissen, waardoor buren worden hersteld die niet aanwezig zijn in de originele graaf.
3. Taak-adaptieve Gating: Een taak-bewuste gate mengt dynamisch de betrouwbare topologie ($A_{rel}$), de semantische complement ($A_{sem}$) en zelfinformatie ($I$) op basis van de specifieke downstream taak $\tau$.

B. Modaliteit-Specifieke Multi-hop Context Trajectorie

CoMAG propageert elke modaliteit langs de geleerde contextgraaf $Q_\tau$ als een apart multi-hop traject.

• Modaliteit-Specifieke Coëfficiënten: Voor elke taak genereert het model coëfficiënten $(\gamma, \alpha, \beta)$ die de balans controleren tussen het herinjecteren van het originele modaliteitssignaal, het propageren van dezelfde-modaliteit context, en het incorporeren van cross-modale context.
• Trajectie Behoud: In tegenstelling tot methoden die alleen de laatste laag gebruiken, behoudt CoMAG de sequentie van verborgen toestanden $H^{(m)}_{\tau, k}$ voor alle hops $k=0 \dots K$. Dit bewaart lokale modaliteit-bewijslast (vroege hops) terwijl bredere graafcontext wordt gecodeerd (latere hops).

C. Hop-Token Cross-modale Uitlijning

Om modaliteiten uit te lijnen zonder ze in één enkele embedding te dwingen, behandelt CoMAG elke modaliteit-hop toestand als een uitlijningstoken.

• Token Constructie: Tokens $u^{(m,k)}_i$ worden gevormd door de verborgen toestand te combineren met leerbare modaliteit- en hop-positie embeddings.
• Afstand-gestrafte Attention: Een cross-modaal attention mechanisme koppelt tokens over modaliteiten heen. Cruciaal is dat het een hop-afstand straf ($\lambda_h |k-l|$) toepast op de attention score. Dit maakt matching mogelijk over verschillende hop-dieptes (bijv. een 1-hop tekst knoop die matcht met een 2-hop afbeelding knoop), maar straft verre hops af tenzij het semantische bewijs sterk is.

D. Shared-Private Representatie Decoupling

De laatste fase scheidt de representatie in twee componenten om beide taakfamilies te dienen:

1. Gedeelde Consensus ($s_i$): Een gewogen fusie van uitgelijnde tokens, die cross-modale overeenstemming vertegenwoordigt. Dit dient als de graaf-centrische representatie ($z^g_i$) voor structurele taken.
2. Private Residuen ($p^{(m)}_i$): Het verschil tussen het originele modaliteitstraject en de gedeelde consensus. Deze residuen vangen modaliteit-specifiek bewijs op.
3. Output Generatie: De modaliteit-centrische representatie ($e^{(m)}_i$) wordt geconstrueerd door de gedeelde consensus te combineren met het private residu. Een orthogonaliteitsverlies ($L_\perp$) zorgt ervoor dat de gedeelde en private subruimtes onderscheidend blijven, wat modaliteit-instorting voorkomt.

3. Theoretische Analyse

Het paper biedt theoretische garanties voor de voorgestelde architectuur:

• Stabiele Propagatie: De propagatie-operator wordt bewezen contractief te zijn, wat convergentie naar een uniek vast punt garandeert.
• Mitigatie van Over-smoothing: Door het initiële signaal (residuele injectie) over het traject te behouden, voorkomt het model het verdwijnen van gecentreerde eigencomponenten, wat over-smoothing in diepe propagatie tegengaat.
• Hop-Afstand Regularisatie: Theoretische analyse toont aan dat de hop-afstand straf fungeert als een prior, die de trade-off tussen hop-synchrone en cross-hop matching controleert.
• Controle van Modaliteit-instorting: De orthogonaliteitsrestrictie begrenst de projectie van private residuen op gedeelde richtingen, waardoor wordt gegarandeerd dat modaliteit-specifieke informatie behouden blijft.

4. Experimentele Resultaten

De auteurs hebben CoMAG geëvalueerd op negen OpenMAG datasets (dekend e-commerce, sociale media, video-recommends en kunstnetwerken) tegenover feature-only, graph-only, multimodal en unified baselines.

• Grafencentrische Taken: CoMAG bereikte state-of-the-art prestaties in node classificatie, link voorspelling en node clustering. Bijvoorbeeld, op de Grocery dataset bereikte het een nauwkeurigheid van 87,75 (vs. 84,78 voor de op één na beste), en op DY behaalde het 95,75 (vs. 92,51).
• Modaliteitscentrische Taken: CoMAG presteerde beter dan baselines in cross-modale matching (AUC/AP) en graaf-geconditioneerde generatie (BLEU-4, CIDEr, CLIP-S, DINO-S). Op KU behaalde het 93,81 AUC voor matching, wat LGMRec (90,64) aanzienlijk overtreft.
• Ablatie Studies: Het verwijderen van randbetrouwbaarheid, semantische graafherstel of private residuen leidde consequent tot verminderde prestaties, wat bevestigt dat alle drie de componenten complementair zijn.
• Robuustheid: CoMAG demonstreerde superieure robuustheid onder tekst-, afbeelding-, label- en randruis vergeleken met baselines, met name in scenario's met randruis waar betrouwbare filtering cruciaal bleek.
• Complexiteit: Het model behoudt een edge-lineaire complexiteit ($O(M(|E| + |Q_\tau|)d)$), waardoor de dichte $O(|V|^2)$ geheugenkosten van sommige structurele leer-methoden worden vermeden.

5. Significantie en Bijdragen

Het paper claimt de volgende bijdragen:

1. Probleem Herformulering: Het herdefinieert unified MAG learning niet als een directe uitbreiding van graafaggregatie of multimodale fusie, maar als een probleem van taak-adaptieve contextconstructie en modaliteit-preserverende uitlijning.
2. Nieuw Framework: CoMAG integreert betrouwbaar context-leren, modaliteit-specifieke hop-trajecten, hop-token cross-modale matching en shared-private decoupling in één enkel verenigd backbone.
3. State-of-the-Art Prestaties: Uitgebreide evaluaties tonen aan dat CoMAC de beste gerapporteerde prestaties behaalt over diverse graaf-niveau en modaliteit-niveau taken, wat de hypothese valideert dat taak-adaptieve contexten en modaliteit-preserverende uitlijning gezamenlijk structurele voorspelling en cross-modale matching versterken.

De auteurs concluderen dat CoMAG een robuuste, theoretisch gefundeerde aanpak biedt voor MAG-leren die een balans vindt tussen structurele redenering en fijnmazige semantische correspondentie, waarbij een schrale edge-lineaire complexiteit wordt behouden en de valkuilen van over-smoothing en modaliteit-instorting worden vermeden.