Technische Samenvatting: Adaptieve Lange-termijn Embedding met Dentraining en Augmentatie voor Aanbeveling (ALDA4Rec)

Probleemstelling

Op grafen gebaseerde sequentiële aanbevelingssystemen, met name die die Graph Neural Networks (GNN's) gebruiken, hebben succes getoond in het vastleggen van complexe interacties tussen gebruikers en items. De paper identificeert echter drie kritieke beperkingen die hun effectiviteit in real-world toepassingen belemmeren:

1. Gevoeligheid voor Ruis: Interactiedata uit de echte wereld bevat aanzienlijke ruis (bijvoorbeeld willekeurige klikken, tijdelijke interesses). Bestaande technieken voor ruisreductie vertrouwen vaak op aanvullende zelftoezichtsverliezen tijdens het trainen, wat de modelcomplexiteit en trainingsduur verhoogt zonder proactief het interactiegraf te verrijken.
2. Statische Representaties: Conventionele modellen vertrouwen vaak op statische datarepresentaties en hebben moeite om zich aan te passen aan de dynamische en evoluerende aard van gebruikersvoorkeuren.
3. Bias in Lange-termijn Modellering: Hoewel modellen proberen lange-termijnvoorkeuren vast te leggen met Recurrent Neural Networks (RNN's/GRU's) en attentiemechanismen, lijden ze aan specifieke architecturale gebreken:
   • Verdwijnende Gradiënten: Beperken het vermogen van GRU's om lange-afstandsafhankelijkheden vast te leggen.
   • U-vormige Attentie Bias: Attentiemechanismen hebben de neiging tokens aan het begin en einde van sequenties disproportioneel te benadrukken, waardoor tussenliggende tijdstappen worden verwaarloosd.
   • Gebrek aan Adaptiviteit: Bestaande methoden slagen er vaak niet in om op per-user basis dynamisch verschillende soorten lange-termijnrepresentaties in evenwicht te brengen (bijvoorbeeld sequentiële dynamiek versus uniforme aggregatie).

De paper stelt dat geen enkele bestaande aanpak op effectieve wijze lichtgewicht, op pre-processing gebaseerde graaf-dentraining, graafaugmentatie met vergelijkbare items en een adaptief lange-termijn embedding-mechanisme integreert dat deze biasen mitigeert.

Methodologie: ALDA4Rec

Het voorgestelde ALDA4Rec-framework adresseert deze uitdagingen via een drie-fasen proces: graafconstructie en detraining, embedding-leren en adaptieve optimalisatie.

1. Preprocessing: Graafconstructie, Dentraining en Augmentatie

In tegenstelling tot methoden die ruis tijdens het trainen behandelen, voert ALDA4Rec detraining en augmentatie uit als een offline preprocessing-stap.

• Op Similariteit Gebaseerde Graafconstructie: De auteurs stellen een nieuwe item-similariteitsmetriek voor (Vergelijking 2) die rekening houdt met zowel directe co-occurrentie als twee-staps paden (via een gemeenschappelijke buur) terwijl ze normaliseren voor itempopulariteit. Deze formulering beoogt populariteitsbias te verminderen en directionele voorkeuren vast te leggen.
• Community-detectie voor Dentraining: Met behulp van het Louvain-algoritme construeert de methode een gebruikersspecifiek subgraf van geïnterageerde items voor elk tijdsinterval. Items die niet tot een gedetecteerde community behoren, worden geïdentificeerd als ruis. Hun randgewichten in de interactiematrix worden verlaagd in plaats van strikt verwijderd, waardoor data behouden blijft terwijl de invloed van ruis wordt geminimaliseerd.
• Randaugmentatie: Om datasparsiteit aan te pakken, verrijkt de methode de graaf door interacties met vergelijkbare items toe te voegen. Voor inactieve gebruikers simuleert het potentieel gedrag op basis van eerdere interacties; voor actieve gebruikers worden genegeerde maar sterk vergelijkbare items opgenomen.

2. Embedding-leren: Korte-termijn en Lange-termijn Representaties

Het model leert embeddings via onderscheiden mechanismen voor korte-termijn en lange-termijn voorkeuren.

• Korte-termijn Embeddings: Met behulp van een vereenvoudigd Graph Convolutional Network (GCN) geïspireerd door LightGCN, propageert het model collaboratieve signalen binnen tijdspecifieke gebruikers-item-grafen om korte-termijn embeddings te genereren.
• Lange-termijn Embeddings: Het model construeert lange-termijn representaties via drie parallelle fasen om verschillende temporele dynamieken vast te leggen:
  1. Interval-niveau: Een GRU verwerkt sequenties van korte-termijn embeddings, gevolgd door zelf-attentie om temporele afhankelijkheden over intervallen te vangen.
  2. Instant-niveau: Zelf-attentie wordt direct toegepast op sequenties van geïnterageerde items om fijne sequentiële patronen te modelleren.
  3. Gemiddeld-niveau: Om de U-vormige attentiebias en verdwijnende gradiënten te counteren, berekent het model een eenvoudig gemiddelde van de korte-termijn embeddings over alle tijdstappen. Dit biedt een uniforme, globale samenvatting die alle tijdstappen gelijk behandelt.

3. Adaptieve Lange-termijn Embedding Optimalisatie

Een kerninnovatie is het op MLP gebaseerde adaptieve wegingsmechanisme.

• In plaats van standaard attentie te gebruiken om gewichten over tijdstappen te normaliseren, neemt een MLP de concatenatie van de gemiddeld-niveau en interval-niveau embeddings voor elke gebruiker.
• De MLP voert een scalair gewicht ($w_i$) uit voor elke gebruiker, wat dynamisch de belangrijkheid bepaalt van de sequentiële (GRU/Attentie) voorspelling versus de op gemiddelde gebaseerde voorspelling.
• Dit stelt het model in staat om een gepersonaliseerde afweging te leren tussen het vastleggen van sequentiële dynamiek en het benutten van uniforme temporele aggregatie, waardoor de U-vormige bias wordt mitigeerd door de effectieve attentieverdeling te effenen.

4. Verliesfunctie

Het optimalisatiedoel combineert twee onderscheiden verlies termen gewogen door de geleerde gebruikersspecifieke coëfficiënten ($w_i$ en $1-w_i$). De ene term optimaliseert de op GRU gebaseerde embeddings, en de andere optimaliseert de op gemiddelde gebaseerde embeddings, naast standaard L2-regularisatie.

Belangrijkste Bijdragen

De paper claimt de volgende bijdragen:

1. Nieuwe Graaf Preprocessing: Introductie van een op similariteit gebaseerde item-item graafconstructiemethode gekoppeld aan community-detectie om ruis te filteren en data aan te vullen met relevante items voorafgaand aan het trainen.
2. Adaptief Lange-termijn Framework: Een aanbevelingsframework dat periodieke collaboratief leren (GCN), attentieve sequentiële modellering (GRU/Attentie) en gemiddelde collaboratieve relaties (Mean pooling) integreert.
3. Bias Mitigatie: Het gebruik van gemiddeld-niveau embeddings en een adaptief wegingsmechanisme om specifiek de U-vormige attentiebias en problemen met verdwijnende gradiënten aan te pakken die inherent zijn aan eerdere sequentiële modellen.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat ALDA4Rec state-of-the-art baselines (inclusief SelfGNN, SASRec en LightGCN) overtreft op vier real-world datasets.

Experimentele Resultaten

Het model werd geëvalueerd op vier datasets: Amazon-Book, Gowalla, Movielens en Yelp.

• Prestaties: ALDA4Rec presteerde consistent beter dan alle baselines wat betreft Hit Ratio (HR) en Normalized Discounted Cumulative Gain (NDCG) bij verschillende cutoffs (N=5, 10, 20).
  • Opmerkelijk is dat op de Movielens-dataset ALDA4Rec een verbetering van 18,96% in HR@10 behaalde ten opzichte van de beste baseline (SelfGNN).
  • Op Amazon toonde het een verbetering van 11,74% in HR@10.
• Robuustheid: Experimenten met synthetische ruis (5% tot 20%) toonden aan dat ALDA4Rec superieure prestaties behield ten opzichte van baselines, toegeschreven aan zijn op preprocessing gebaseerde ruisfiltering.
• Ablatiestudies:
  • Het verwijderen van de gemiddeld-niveau embedding (terugkeren naar gedrag vergelijkbaar met SelfGNN) resulteerde in prestatieverlies, wat de effectiviteit van de gemiddelingsstrategie bevestigt in het mitigeren van U-vormige bias.
  • De voorgestelde similariteitsmetriek presteerde beter dan Cosine- en Jaccard-similariteiten, met name bij het aanbevelen van "staart" (minder populaire) items, wat een verminderde populariteitsbias aantoont.
• Efficiëntie: Hoewel de preprocessing-stap een tijdscomplexiteit heeft van $O(|A| + |J|^3)$, merken de auteurs op dat de gehele preprocessing-fase voor de geteste datasets binnen een uur wordt voltooid, en deze kosten slechts één keer worden gemaakt voorafgaand aan het trainen.

Betekenis en Claims

De paper positioneert ALDA4Rec als een robuuste oplossing die de last van ruisbehandeling verplaatst van de complexe trainingsfase naar een gestructureerde preprocessing-fase. Door architecturale beperkingen van GRU's en attentiemechanismen (verdwijnende gradiënten en U-vormige bias) expliciet aan te pakken via de integratie van gemiddeld-niveau embeddings en adaptieve weging, claimen de auteurs een nauwkeurigere en stabielere representatie van lange-termijn gebruikersvoorkeuren te bieden. Het werk suggereert dat het combineren van graafaugmentatie met adaptieve temporele modellering aanzienlijke winsten oplevert in aanbevelingsnauwkeurigheid en robuustheid zonder complexe aanvullende verliesfuncties tijdens het trainen te vereisen.