Sintesi Tecnica: RHEA – Ricostruzione e Assegnazione Armonizzata per la Affidabilità nella Clustering di Grafi Multimodali Robusti

1. Definizione del Problema

I grafi con attributi multimodali (MAG) rappresentano i nodi attraverso attributi eterogenei (ad esempio, testo e immagini) su una struttura relazionale, fungendo da base per compiti come la scoperta di comunità e la segmentazione dei prodotti. Sebbene gli attuali metodi di clustering di grafi multimodali funzionino bene quando gli attributi sono puliti e completi, le loro prestazioni degradano significativamente in condizioni reali dove gli attributi sono rumorosi, corrotti o mancanti.

Il limite fondamentale degli approcci attuali è la loro assunzione implicita che l'affidabilità della modalità sia uniforme per tutti i nodi. Nella pratica, l'affidabilità è specifica per ogni nodo: un'immagine può essere corrotta per un nodo, mentre il suo testo è incompleto, o viceversa. I metodi esistenti non riescono a distinguere tra modalità affidabili e inaffidabili a livello di singolo nodo, portando a rappresentazioni fuse contaminate dal rumore o incapaci di compensare i dati mancanti. Inoltre, in contesti non supervisionati, non esistono etichette per inferire questa affidabilità, il che pone una sfida fondamentale: come stimare l'affidabilità della modalità specifica per nodo senza supervisione.

2. Metodologia: RHEA

Gli autori propongono RHEA (Reliability-Harmonized rEconstruction and Assignment), un framework che sfrutta il principio dell'omofilia degli attributi — l'osservazione che i nodi vicini tendono a condividere attributi semantici simili — per stimare l'affidabilità e guidare il clustering.

2.1 Stima dell'Affidabilità tramite Consenso dei Vicini

RHEA stima un campo di affidabilità della modalità specifico per nodo $\rho_{i,m} \in [0, 1]$ in modo completamente non supervisionato.

• Meccanismo: Per ogni nodo $i$ e modalità $m$, il metodo calcola un punteggio di accordo intra-modale $a_{i,m}$ basato sulla similarità del coseno tra l'embedding del nodo e gli embedding dei suoi vicini in quella modalità.
• Campo di Affidabilità: Questi punteggi di accordo vengono convertiti in una distribuzione di probabilità sulle modalità per ogni nodo utilizzando una funzione softmax con un parametro di temperatura $\tau$. Una modalità coerente con il proprio vicinato riceve un'alta affidabilità; una che devia riceve un'affidabilità bassa.

2.2 Apprendimento delle Rappresentazioni Consapevole dell'Affidabilità

Una volta stimata l'affidabilità, RHEA ricostruisce e fonde le rappresentazioni in modo adattivo:

• Ricostruzione: Se una modalità è mancante o il suo punteggio di affidabilità scende al di sotto di una soglia $\gamma$, la rappresentazione viene ricostruita aggregando gli embedding dei nodi vicini che hanno dati osservati e affidabili. Ciò evita la propagazione di segnali mancanti o corrotti.
• Stima della Confidenza: Un punteggio di confidenza della ricostruzione $c_i$ viene calcolato in base al numero di vicini disponibili e alla varianza dei loro embedding. Questo funge da misura di affidabilità assoluta.
• Fusione Adattiva: L'embedding fuso finale $z_i$ è una somma pesata degli embedding specifici per modalità, dove i pesi sono determinati dall'affidabilità stimata $\rho_{i,m}$. Se una modalità è ricostruita, viene utilizzato l'embedding ricostruito; altrimenti, viene mantenuto l'embedding originale osservato.

2.3 Clustering Consapevole dell'Affidabilità

La fase di clustering utilizza le informazioni sull'affidabilità per ottimizzare le assegnazioni ai cluster tramite Trasporto Ottimo (OT) e Distillazione dell'Assegnazione:

• OT Consapevole dell'Affidabilità: Il costo di trasporto tra gli embedding dei nodi e i prototipi dei cluster viene calcolato. Fondamentalmente, i marginali di riga del piano di trasporto sono pesati dalla confidenza di ricostruzione $c_i$. Ciò assicura che i nodi con ricostruzioni incerte contribuiscano meno massa al piano di trasporto, riducendo la loro influenza sull'assegnazione finale.
• Distillazione dell'Assegnazione tramite Consenso dei Vicini (NCRC): Per regolarizzare ulteriormente le assegnazioni, un'assegnazione di cluster "soft" viene propagata sul grafo per $L$ salti. Questo target di consenso tra i vicini viene affinato e utilizzato come obiettivo di distillazione per incoraggiare assegnazioni di cluster localmente coerenti, in particolare per i nodi in cui l'evidenza diretta è debole.

2.4 Ottimizzazione

Il modello viene addestrato end-to-end minimizzando una funzione obiettivo congiunta che comprende:

1. Perdita di Clustering ($L_{clu}$): Il costo del trasporto ottimo.
2. Perdita di Distillazione ($L_{ncrc}$): La perdita di assegnazione del consenso tra i vicini.
3. Perdite Contrastive Ausiliarie: Una perdita contrastiva di cammino sul grafo ($L_{nbr}$) per preservare l'invarianza consapevole della topologia e una perdita di allineamento cross-modale ($L_{mod}$) per allineare le rappresentazioni specifiche per modalità con l'embedding fuso.

3. Contributi Chiave

Il documento identifica tre contributi primari:

1. Insight di Valore: Gli autori identificano l'affidabilità della modalità specifica per nodo come un componente mancante per un clustering di MAG robusto. Dimostrano che i vicinati dei grafi forniscono prove senza supervisione per stimare questa affidabilità sotto l'omofilia degli attributi.
2. Metodo Novelloso: Viene proposto RHEA come un framework unificato in cui un segnale di affidabilità condiviso basato sul consenso del vicinato guida simultaneamente:
   • La ricostruzione della modalità basata sul grafo.
   • La fusione multimodale adattiva.
   • Il clustering tramite trasporto ottimo consapevole della topologia.
3. Prestazioni allo Stato dell'Arte: Esperimenti estesi mostrano miglioramenti costanti rispetto ai metodi esistenti, con guadagni che diventano più pronunciati man mano che la qualità degli attributi peggiora.

4. Risultati Sperimentali

RHEA è stato valutato su quattro benchmark MAG (RedditS, Toys, Grocery, Amazon) sotto cinque condizioni di attributo: standard (pulito), corruzione dell'immagine, mancanza dell'immagine, corruzione del testo e mancanza del testo.

• Scenario Standard: RHEA ha ottenuto le migliori prestazioni su tutti e quattro i dataset e su tutte le metriche (NMI, ACC, ARI, F1), superando i forti baseline come DGF e DMGC.
• Robustezza alle Perturbazioni: In presenza di modalità corrotte o mancanti, RHEA ha superato costantemente tutti i baseline. Il divario di prestazione si è ampliato all'aumentare della severità della perturbazione. Ad esempio, sul dataset RedditS con l'80% di mancanza di immagini, RHEA ha mantenuto un NMI di 0,729, mentre il secondo miglior metodo (DGF) è sceso a 0,647.
• Rilevamento dell'Affidabilità: Si è dimostrato che il campo di affidabilità appreso rileva accuratamente la corruzione iniettata sinteticamente, ottenendo un AUROC costantemente superiore a 0,95 in tutti i dataset.
• Studi di Ablazione: La rimozione del modulo di ricostruzione ha causato il calo di prestazioni più significativo in caso di mancanza di dati, mentre la rimozione del gating dell'affidabilità ha causato il calo maggiore in caso di corruzione. Ciò conferma che la ricostruzione gestisce i dati mancanti, mentre il gating impedisce l'iniezione di rumore nei dati corrotti.

5. Significato e Rivendicazioni

Il documento sostiene che RHEA dimostra l'importanza di modellare l'affidabilità specifica per nodo e indotta dal grafo per un apprendimento di rappresentazioni multimodali robuste. Trattando l'affidabilità come una variabile latente che varia tra nodi e modalità, anziché come una proprietà globale, il framework ripara efficacemente le osservazioni inaffidabili utilizzando il contesto strutturale locale.

Gli autori posizionano RHEA come una soluzione all'assunzione di "dati puliti" prevalente nei metodi attuali di clustering MAG. Argomentano che il contesto strutturale locale fornisce un segnale efficace per identificare le osservazioni inaffidabili, consentendo un clustering robusto anche quando la qualità dei dati è eterogenea. Il documento conclude notando che i lavori futuri indagheranno l'estensione del framework a grafi a bassa omofilia e eterofili, riconoscendo che l'attuale metodo si basa sull'assunzione che i vicini condividano attributi simili.