Dual-Attention Convolution Experts for Sparse Tensor Completion

Sintesi Tecnica: Dual-Attention Convolution Experts per la Completamento di Tensori Sparsi

Definizione del Problema
La fattorizzazione tensoriale (TF) è uno strumento fondamentale per il recupero di voci mancanti in dati ad alta dimensionalità e sparsi, presenti in applicazioni come i sistemi di raccomandazione e le previsioni spazio-temporali. Tuttavia, gli approcci esistenti affrontano due sfide primarie:

1. Modellazione delle Interazioni Complesse: I metodi di decomposizione lineari o multi-lineari tradizionali faticano a catturare le interazioni non lineari tra i fattori latenti dei vari modi. Sebbene i metodi di TF basati su reti neurali (basati su MLP o CNN) offrano capacità di modellazione non lineare, le architetture basate su CNN spesso non riescono a catturare le interazioni fini tra i fattori latenti e possono comunque soffrire di overfitting o di un rigido intreccio delle rappresentazioni.
2. Scarsità dei Dati: La severa scarsità dei dati limita i segnali di addestramento disponibili per le reti neurali profonde. Le soluzioni esistenti spesso si affidano a informazioni ausiliarie (ad esempio, matrici di similarità, reti sociali), che possono introdurre rumore se i dati ausiliari non sono affidabili o sono adattati a scenari specifici.

Metodologia: DCGC
Gli autori propongono Dual-Attention Convolution Expert Networks with Group-Level Contrastive Learning (DCGC), un framework di TF neurale progettato per modellare in modo robusto le interazioni non lineari in condizioni di scarsità. L'architettura è composta da tre componenti principali:

1. Embedding e Interazioni di Secondo Ordine:

   • Il modello mappa gli indici discreti in matrici di fattori latenti ($U, P, W$).
   • A differenza degli approcci lineari standard, DCGC costruisce esplicitamente caratteristiche incrociate di secondo ordine calcolando i prodotti di Hadamard a coppie tra i fattori latenti (ad esempio, $u_i \odot p_j$). Questi vettori di interazione vengono concatenati con gli embedding originali per formare una rappresentazione 2D unificata ($H_{emb}$).

2. Mixture-of-Convolution-Experts con Dual-Attention e Gating:

   • Mixture-of-Experts (MoE): Ispirato a MMoE, il modello impiega molteplici esperti convoluzionali ($C$) per eseguire allineamenti non lineari pesati dei fattori latenti. Ciò consente a diversi esperti di specializzarsi in pattern sottostanti eterogenei pur condividendo i parametri per mitigare l'overfitting.
   • Meccanismo di Dual-Attention: Per dare priorità dinamica alle informazioni critiche, il modello calcola due tipi di punteggi di attenzione dagli output degli esperti:
     • Expert Attention ($A_{exp}$): Pesa l'importanza dei singoli canali di convolzione (esperti).
     • Feature Attention ($A_{fea}$): Pesa l'importanza degli elementi delle caratteristiche allineate all'interno dei canali.
     • Questi vengono fusi additivamente per modulare gli embedding dei valori, permettendo al modello di concentrarsi sia sugli esperti critici che sulle caratteristiche critiche.
   • Gating Personalizzato: Per affrontare la polarizzazione dell'attenzione (dove pochi esperti dominano) e l'eventuale trascuratezza dei fattori osservati raramente, un meccanismo di gating personalizzato genera pesi di routing dipendenti dall'input. Questo rialloca la capacità di modellazione verso le interazioni sparse, superando le strategie di dropout standard nel bilanciamento del carico.

3. Group-Level Contrastive Learning (GLCL):

   • Per alleviare la scarsità dei dati senza affidarsi a dati ausiliari rumorosi, DCGC introduce una strategia contrastiva auto-supervisionata.
   • Raggruppamento (Grouping): Le triplette osservate sono categorizzate in distinti livelli di feedback (ad esempio, Alto, Medio, Basso) in base ai loro valori tensoriali originali.
   • Obiettivo Contrastivo: Il modello aggrega i campioni positivi all'interno dello stesso livello di feedback, separando al contempo i campioni negativi provenienti dai livelli di feedback inferiori.
   • Funzione di Perdita: Una perdita InfoNCE viene applicata al compito ausiliario, incoraggiando lo spazio di rappresentazione a raggruppare i campioni con livelli di feedback identici e a separare quelli con livelli differenti. Ciò fornisce segnali auto-supervisionati di alta qualità per stabilizzare l'apprendimento dei fattori latenti per sensori o utenti sparsi.

Contributi Chiave

1. Architettura Innovativa: La proposta di una rete di mixture-of-convolution-experts potenziata con un meccanismo di dual-attention e gating personalizzato, che consente una modellazione fine delle interazioni incrociate non lineari tra i modi.
2. Mitigazione della Scarsità tramite Auto-Supervisione: Lo sviluppo di una strategia di Group-Level Contrastive Learning (GLCL) in-batch efficiente che sfrutta la coerenza del livello di feedback per generare segnali auto-supervisionati, riducendo la dipendenza da dati ausiliari inaffidabili.
3. Validazione Empirica: Esperimenti estesi su cinque dataset reali (previsione del traffico e raccomandazione) che dimostrano una superiorità costante rispetto ai metodi di TF allo stato dell'arte (ad esempio, CoATF, HOCTC) e prestazioni competitive rispetto ai metodi specializzati basati su GNN.

Risultati Sperimentali
Gli autori hanno valutato DCGC su cinque dataset: GZspeed e PEMS (traffico), e Movielens-100k, Movielens-1M e AmazonBeauty (raccomandazione).

• Prestazioni: DCGC ha superato i migliori baseline del 3,34%–5,06% in RMSE/MAE sui dataset del traffico e ha ottenuto miglioramenti del 1,44%–3,56% (RMSE) e del 1,32%–7,43% (MAE) sui dataset di raccomandazione.
• Confronto: Il metodo ha superato significativamente i metodi lineari tradizionali (P-Tucker) e i recenti approcci neurali (CoSTCo, MDMTF, HOCTC). Ha inoltre mantenuto prestazioni competitive rispetto ai metodi basati su GNN progettati per scenari di cold-start (ad esempio, LightGCN, MetaHIN).
• Studi di Ablazione:
  • Rimuovendo il meccanismo di dual-attention o sostituendolo con rami di singola attenzione, si è verificato un degrado delle prestazioni, confermando la necessità di modellare sia l'importanza dell'esperto che quella della caratteristica.
  • Sostituendo il meccanismo di gating personalizzato con il dropout standard, si sono registrati tassi di errore più elevati, in particolare in scenari altamente sparsi (ad esempio, AmazonBeauty), e si è verificata una polarizzazione del carico degli esperti.
  • Sostituendo il GLCL con il vanilla contrastive learning o rimuovendolo completamente, le prestazioni sono diminuite, validando l'efficacia del raggruppamento per livelli di feedback.
• Efficienza: Il modello mantiene prestazioni competitive anche con un numero ridotto di canali di convoluzione e un rango ridotto, indicando che i meccanismi di attenzione permettono un uso efficiente dei parametri.

Significatività e Rivendicazioni
Il documento sostiene che DCGC affronti le doppie sfide del catturare interazioni non lineari complesse e del gestire l'estrema scarsità dei dati nel completamento di tensori. Integrando un mixture di esperti convoluzionali fine-grained con un meccanismo di dual-attention, il modello raggiunge una robusta modellazione non lineare senza un eccessivo aumento dei parametri. Inoltre, la strategia di Group-Level Contrastive Learning offre un modo innovativo per iniettare segnali auto-supervisionati direttamente dalla distribuzione dei dati, mitigando la scarsità senza il rumore associato alle informazioni ausiliarie esterne. Gli autori posizionano DCGC come un framework robusto e general-purpose per il completamento di tensori sparsi sia nei domini spazio-temporali che in quelli di raccomandazione.

Limitazioni
Gli autori riconoscono due limitazioni per il lavoro futuro:

1. L'attuale modulo di dual-attention utilizza una semplice fusione additiva per i punteggi di esperto e di caratteristica, il che potrebbe non catturare appieno le informazioni complementari; si suggeriscono meccanismi di fusione più adattivi.
2. La strategia GLCL si basa su intervalli di feedback predefiniti; il lavoro futuro potrebbe esplorare la costruzione di intervalli adattivi basati sulla distribuzione dei dati o sulla densità di interazione.