Dual-Attention Convolution Experts for Sparse Tensor Completion

Technische Samenvatting: Dual-Attention Convolution Experts voor Sparse Tensor Completion

Probleemstelling
Tensorfactorisatie (TF) is een fundamentele tool voor het herstellen van ontbrekende waarden in hoogdimensionale, ijle (sparse) data die voorkomen in toepassingen zoals aanbevelingssystemen en spatiotemporele voorspelling. Bestaande benaderingen worden echter geconfronteerd met twee primaire uitdagingen:

1. Modelleren van complexe interacties: Traditionele lineaire of multilineaire decompositiemethoden hebben moeite om zeer niet-lineaire cross-mode interacties tussen latente factoren te vangen. Hoewel neurale TF-methoden (gebaseerd op MLP of CNN) wel de mogelijkheid bieden tot niet-lineaire modellering, schieten CNN-gebaseerde architecturen vaak tekort in het vastleggen van fijnmazige interacties tussen latente factoren en kunnen ze nog steeds lijden onder overfitting of rigide representatie-verstrengeling.
2. Data-ijlheid (Sparsity): Extreme data-ijlheid beperkt de trainingssignalen die beschikbaar zijn voor diepe neurale netwerken. Bestaande oplossingen vertrouwen vaak op hulpinformatie (bijv. gelijkenismatrices, sociale netwerken), wat ruis kan introduceren als de hulpdata onbetrouwbaar is of specifiek voor bepaalde scenario's is afgestemd.

Methodologie: DCGC
De auteurs stellen Dual-Attention Convolution Expert Networks with Group-Level Contrastive Learning (DCGC) voor, een neurale TF-framework die is ontworpen om niet-lineaire interacties robuust te modelleren onder ijle condities. De architectuur bestaat uit drie kerncomponenten:

1. Embedding en Tweede-Orde Interacties:

   • Het model brengt discrete indices in kaart naar latente factor-matrices ($U, P, W$).
   • In tegenstelling tot standaard lineaire benaderingen, construeert DCGC expliciet tweede-orde cross-features door paarwijze Hadamard-producten tussen latente factoren te berekenen (bijv. $u_i \odot p_j$). Deze interactieve vectoren worden geconcateneerd met de originele embeddings om een verenigde 2D-representatie ($H_{emb}$) te vormen.

2. Mixture-of-Convolution-Experts met Dual-Attention en Gating:

   • Mixture-of-Experts (MoE): Geïnspireerd door MMoE, gebruikt het model meerdere convolutionele experts ($C$) om gewogen niet-lineaire uitlijningen van de latente factoren uit te voeren. Dit stelt verschillende experts in staat om te specialiseren in heterogene onderliggende patronen, terwijl ze parameters delen om overfitting te beperken.
   • Dual-Attention Mechanisme: Om dynamisch prioriteit te geven aan cruciale informatie, berekent het model twee soorten attention-scores uit de expert-outputs:
     • Expert Attention ($A_{exp}$): Weegt het belang van individuele convolutiekanalen (experts).
     • Feature Attention ($A_{fea}$): Weegt het belang van uitgelijnde feature-elementen binnen de kanalen.
     • Deze worden additief gefuseerd om de waarde-embeddings te moduleren, waardoor het model zich kan richten op zowel cruciale experts als cruciale features.
   • Gepersonaliseerde Gating: Om attention-polarisatie (waarbij enkele experts domineren) en de verwaarlozing van schaars geobserveerde factoren aan te pakken, genereert een gepersonaliseerd gating-mechanisme input-afhankelijke routing-gewichten. Dit herverdeelt de modelleringscapaciteit naar ijle interacties, wat beter presteert dan standaard dropout-strategieën in termen van load balancing.

3. Group-Level Contrastive Learning (GLCL):

   • Om data-ijlheid te verlichten zonder afhankelijk te zijn van ruisgevoelige hulpdata, introduceert DCGC een zelf-gesuperviseerde contrastieve strategie.
   • Groepering: Geobserveerde triplets worden gecategoriseerd in verschillende feedback-niveaus (bijv. Hoog, Medium, Laag) op basis van hun oorspronkelijke tensorwaarden.
   • Contrastieve Doelstelling: Het model aggregeert positieve samples binnen hetzelfde feedback-niveau en scheidt negatieve samples van lagere feedback-niveaus.
   • Loss Functie: Een InfoNCE loss wordt toegepast op de auxiliary taak, wat het model stimuleert om de representatieruimte te laten clusteren voor samples met identieke feedback-niveaus en ze te scheiden van samples met verschillende niveaus. Dit levert hoogwaardige zelf-gesuperviseerde signalen om het leren van latente factoren voor ijle sensoren of gebruikers te stabiliseren.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: De voorstel van een mixture-of-convolution-experts netwerk, versterkt met een dual-attention mechanisme en gepersonaliseerde gating, wat fijnmazige modellering van niet-lineaire cross-mode interacties mogelijk maakt.
2. Zelf-gesuperviseerde Mitigatie van Ijlheid: De ontwikkeling van een efficiënte in-batch Group-Level Contrastive Learning (GLCL) strategie die de consistentie van feedback-niveaus exploiteert om zelf-gesuperviseerde signalen te genereren, waardoor de afhankelijkheid van onbetrouwbare hulpdata wordt verminderd.
3. Empirische Validatie: Uitgebreide experimenten op vijf real-world datasets (verkeersvoorspelling en aanbeveling) tonen een consistente superioriteit aan ten opzichte van state-of-the-art TF-methoden (bijv. CoATF, HOCTC) en competitieve prestaties tegenover gespecialiseerde GNN-gebaseerde methoden.

Experimentele Resultaten
De auteurs evalueerden DCGC op vijf datasets: GZspeed en PEMS (verkeer), en Movielens-100k, Movielens-1M, en AmazonBeauty (aanbeveling).

• Prestaties: DCGC presteerde beter dan de beste baselines met 3,34%–5,06% in RMSE/MAE op verkeersdatasets en behaalde verbeteringen van 1,44%–3,56% (RMSE) en 1,32%–7,43% (MAE) op aanbevelingsdatasets.
• Vergelijking: De methode presteerde significant beter dan traditionele lineaire methoden (P-Tucker) en recente neurale benaderingen (CoSTCo, MDMTF, HOCTC). Het behield ook een competitieve prestatie ten opzichte van GNN-gebaseerde methoden die ontworpen zijn voor cold-start scenario's (bijv. LightGCN, MetaHIN).
• Ablatie-studies:
  • Het verwijderen van het dual-attention mechanisme of het vervangen ervan door single-attention branches leidde tot prestatievermindering, wat de noodzaak bevestigt om zowel expert- als feature-belang te modelleren.
  • Het vervangen van het gepersonaliseerde gating-mechanisme door standaard dropout leidde tot hogere foutpercentages, vooral in zeer ijle scenario's (bijv. AmazonBeauty), en veroorzaakte expert load polarisatie.
  • Het vervangen van GLCL door vanilla contrastive learning of het volledig verwijderen ervan verslechterde de prestaties, wat de effectiviteit van groepering op basis van feedback-niveaus valideert.
• Efficiëntie: Het model behoudt competitieve prestaties, zelfs met een laag aantal convolutiekanalen en een gereduceerde rank, wat aangeeft dat de attention-mechanismen een efficiënt gebruik van parameters mogelijk maken.

Betekenis en Claims
Het artikel beweert dat DCGC de dubbele uitdagingen aanpakt van het vastleggen van complexe niet-lineaire interacties en het omgaan met extreme data-ijlheid in tensor completion. Door een fijnmazige mixture-of-experts met een dual-attention mechanisme te integreren, bereikt het model een robuuste niet-lineaire modellering zonder excessieve groei van het aantal parameters. Verder biedt de Group-Level Contrastive Learning strategie een nieuwe manier om zelf-gesuperviseerde signalen direct uit de datadistributie te injecteren, waardoor de ijle data wordt gemitigeerd zonder de ruis die gepaard gaat met externe hulpinformatie. De auteurs positioneren DCGC als een robuust, algemeen bruikbaar framework voor sparse tensor completion in zowel spatiotemporele als aanbevelingsdomeinen.

Beperkingen
De auteurs erkennen twee beperkingen voor toekomstig werk:

1. De huidige dual-attention module gebruikt een eenvoudige additieve fusie voor expert- en feature-scores, wat mogelijk niet alle complementaire informatie volledig kan vastleggen; meer adaptieve fusiemechanismen worden gesuggereerd.
2. De GLCL-strategie is afhankelijk van vooraf gedefinieerde feedback-intervallen; toekomstig werk zou adaptieve intervalconstructie kunnen verkennen op basis van datadistributie of interactiedichtheid.