Technische Samenvatting: RHEA – Betrouwbaarheid-geharmoniseerde Reconstructie en Toewijzing voor Robuuste Multimodale-Attribuut Graafclustering

1. Probleemstelling

Multimodale-attribuut grafen (MAG's) representeren knopen met heterogene attributen (bijv. tekst en afbeeldingen) over een relationele structuur, wat dient als basis voor taken zoals community discovery en productsegmentatie. Hoewel bestaande methoden voor multimodale graafclustering goed presteren wanneer attributen schoon en compleet zijn, verslechteren ze aanzienlijk onder realistische omstandigheden waarbij attributen ruis bevatten, gecorrumpeerd zijn of ontbreken.

De kernbeperking van huidige benaderingen is hun impliciete aanname dat de betrouwbaarheid van modaliteiten uniform is over alle knopen. In de praktijk is betrouwbaarheid knopspecifiek: een afbeelding kan gecorrumpeerd zijn voor één knoop, terwijl de tekst voor diezelfde knoop incompleet is, of vice versa. Bestaande methoden slagen er niet in om onderscheid te maken tussen betrouwbare en onbetrouwbare modaliteiten op individueel knoogniveau, wat leidt tot gefuseerde representaties die besmet zijn met ruis of niet in staat zijn om ontbrekende gegevens te compenseren. Bovendien zijn er in ongesuperviseerde settings geen labels om deze betrouwbaarheid af te leiden, wat een fundamentele uitdaging vormt: hoe schat men knopspecifieke modaliteitsbetrouwbaarheid in zonder supervisie?

2. Methodologie: RHEA

De auteurs stellen RHEA voor (Reliability-Harmonized rEconstruction and Assignment), een framework dat gebruikmaakt van het principe van attribuut-homofilie — de observatie dat naburige knopen de neiging hebben om vergelijkbare semantische attributen te delen — om betrouwbaarheid te schatten en clustering te sturen.

2.1 Buurt-consensus Betrouwbaarheidsschatting

RHEA schat een knopspecifieke modaliteitsbetrouwbaarheidsveld $\rho_{i,m} \in [0, 1]$ op een volledig ongesuperviseerde wijze.

• Mechanisme: Voor elke knoop $i$ en modaliteit $m$ berekent de methode een intra-modale buurtovereenstemming-score $a_{i,m}$ op basis van de cosinusgelijkenis tussen de embedding van de knoop en de embeddings van zijn buren in die specifieke modaliteit.
• Betrouwbaarheidsveld: Deze overeenstemming-scores worden via een softmax-functie met een temperatuurparameter $\tau$ omgezet in een waarschijnlijkheidsverdeling over de modaliteiten voor elke knoop. Een modaliteit die consistent is met zijn buurt krijgt een hoge betrouwbaarheid toegewezen; een modaliteit die hiervan afwijkt krijgt een lage betrouwbaarheid toegewezen.

2.2 Betrouwbaarheidsbewuste Representatie-lering

Zodra de betrouwbaarheid is ingeschat, reconstrueert en fuseert RHEA representaties adaptief:

• Reconstructie: Als een modaliteit ontbreekt of als de betrouwbaarheidsscore onder een drempelwaarde $\gamma$ valt, wordt de representatie gereconstrueerd door de embeddings van naburige knopen te aggregeren die wel over geobserveerde, betrouwbare gegevens beschikken. Dit voorkomt de propagatie van ontbrekende of gecorrumpeerde signalen.
• Vertrouwensinschatting: Een reconstructie-vertrouwensscore $c_i$ wordt berekend op basis van het aantal beschikbare buren en de variantie van hun embeddings. Dit dient als een absolute maatstaf voor betrouwbaarheid.
• Adaptieve Fusie: De uiteindelijke gefuseerde embedding $z_i$ is een gewogen som van de modaliteitsspecifieke embeddings, waarbij de gewichten worden bepaald door de geschatte betrouwbaarheid $\rho_{i,m}$. Als een modaliteit gereconstrueerd is, wordt de gereconstrueerde embedding gebruikt; anders wordt de oorspronkelijke geobserveerde embedding behouden.

2.3 Betrouwbaarheidsbewuste Clustering

De clusteringfase maakt gebruik van de betrouwbaarheidsinformatie om cluster-toewijzingen te optimaliseren via Optimal Transport (OT) en Toewijzingsdistillatie:

• Betrouwbaarheidsbewuste OT: De transportkosten tussen knoop-embeddings en cluster-prototypes worden berekend. Cruciaal is dat de rij-marginals van het transportplan worden gewogen door de reconstructie-vertrouwensscore $c_i$. Dit zorgt ervoor dat knopen met onzekere reconstructies minder massa bijdragen aan het transportplan, waardoor hun invloed op de uiteindelijke toewijzing wordt verminderd.
• Buurt-consensus Toewijzingsdistillatie (NCRC): Om toewijzingen verder te regulariseren, wordt een zachte cluster-toewijzing over de graaf gepropageerd over $L$ stappen (hops). Deze buurt-consensus doelstelling wordt aangescherpt en gebruikt als distillatie-objectief om lokaal consistente cluster-toewijzingen te stimuleren, met name voor knopen waar direct bewijs zwak is.

2.4 Optimalisatie

Het model wordt end-to-end getraind door een gezamenlijke objectieffunctie te minimaliseren die bestaat uit:

1. Clustering Verlies ($L_{clu}$): De optimal transport kosten.
2. Distillatie Verlies ($L_{ncrc}$): Het buurt-consensus toewijzingsverlies.
3. Auxiliaire Contrastieve Verliezen: Een graph-walk contrastief verlies ($L_{nbr}$) om topologie-bewuste invariantie te behouden en een cross-modaal uitlijningsverlies ($L_{mod}$) om de modaliteitsspecifieke representaties uit te lijnen met de gefuseerde embedding.

3. Belangrijkste Bijdragen

Het artikel identificeert drie primaire bijdragen:

1. Waardevolle Inzichten: De auteurs identificeren knopspecifieke modaliteitsbetrouwbaarheid als een ontbrekend component voor robuuste MAG-clustering. Ze demonstreren dat graaf-nabijheden voorzien in bewijs zonder supervisie voor het schatten van deze betrouwbaarheid onder de conditie van attribuut-homofilie.
2. Nieuwe Methode: RHEA wordt voorgesteld als een verenigd framework waarbij een gedeeld buurt-consensus betrouwbaarheidssignaal gelijktijdig stuurt:
   • Graaf-gebaseerde modaliteitsreconstructie.
   • Adaptieve multimodale fusie.
   • Topologie-bewuste optimal transport clustering.
3. State-of-the-Art Prestaties: Uit uitgebreide experimenten blijkt dat RHEA consistent verbeteringen laat zien ten opzichte van bestaande methoden, waarbij de winsten duidelijker worden naarmate de kwaliteit van de attributen verslechtert.

4. Experimentele Resultaten

RHEA werd geëvalueerd op vier MAG-benchmarks (RedditS, Toys, Grocery, Amazon) onder vijf attribuutcondities: standaard (schoon), beeldcorruptie, ontbrekende afbeeldingen, tekstcorruptie en ontbrekende tekst.

• Standaard Setting: RHEA behaalde de beste prestaties over alle vier de datasets en alle metrieken (NMI, ACC, ARI, F1), waarbij het sterke baselines zoals DGF en DMGC overtrof.
• Robuustheid tegen Perturbatie: Onder gecorrumpeerde of ontbrekende modaliteiten presteerde RHEA consequent beter dan alle baselines. Het prestatieverschil werd groter naarmate de ernst van de perturbatie toenam. Zo behield RHEA op de RedditS-dataset met 80% ontbrekende afbeeldingen een NMI van 0,729, terwijl de op één na beste methode (DGF) daalde naar 0,647.
• Betrouwbaarheidsdetectie: Het geleerde betrouwbaarheidsveld bleek de synthetisch geïnjecteerde corruptie accuraat te detecteren, met een AUROC die consequent boven de 0,95 uitkwam over alle datasets.
• Ablatie-studies: Het verwijderen van de reconstructiemodule veroorzaakte de grootste prestatiedaling onder ontbrekende data, terwijl het verwijderen van de betrouwbaarheids-gating de grootste daling veroorzaakte onder gecorrumpeerde data. Dit bevestigt dat reconstructie ontbrekende gegevens afhandelt, terwijl gating de injectie van ruis voorkomt bij gecorrumpeerde data.

5. Betekenis en Claims

Het artikel claimt dat RHEA het belang aantoont van het modelleren van knopspecifieke, graaf-geïnduceerde betrouwbaarheid voor robuuste multimodale representatie-lering. Door betrouwbaarheid te behandelen als een latente variabele die varieert over knopen en modaliteiten, in plaats van een globale eigenschap, herstelt het framework effectief onbetrouwbare observaties met behulp van de lokale structurele context.

De auteurs positioneren RHEA als een oplossing voor de "schone data aanname" die gangbaar is bij huidige MAG-clustering methoden. Zij stellen dat de lokale structurele context een effectief signaal biedt voor het identificeren van onbetrouwbare observaties, wat robuuste clustering mogelijk maakt, zelfs wanneer de datakwaliteit heterogeen is. Het artikel concludeert door te merken dat toekomstig werk zal onderzoeken hoe het framework kan worden uitgebreid naar low-homophily en heterofiele grafen, waarbij erkend wordt dat de huidige methode steunt op de aanname dat buren vergelijkbare attributen delen.