LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

Dit artikel introduceert LLM-EMF, een geavanceerde methode voor cross-domein sequentiële aanbevelingen die Large Language Models en multimodale fusie van visuele en tekstuele gegevens combineert om complexe gebruikersvoorkeuren effectiever te modelleren dan bestaande technieken.

De kern

Stel je voor dat je een super-reisgids hebt die niet alleen weet wat je leuk vindt, maar ook begrijpt waarom je het leuk vindt, zelfs als je van onderwerp wisselt.

Dit is wat het wetenschappelijke artikel "LLM-EMF" doet. Het is een slimme manier om aan te raden wat je als volgende wilt kopen of bekijken, door te kijken naar al je eerdere activiteiten in verschillende werelden (zoals winkelen voor eten én boeken).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Adviseur

Stel je voor dat je een adviseur hebt die alleen kijkt naar je ID-kaart (een nummer) van de dingen die je koopt.

• Als je een iPhone koopt, weet hij alleen: "Ah, nummer 12345."
• Als je een kookpan koopt, weet hij alleen: "Ah, nummer 67890."

Hij ziet niet dat je misschien van tech houdt én van koken. Hij ziet ook niet dat de pan van roestvrijstalen is (visueel) of dat de iPhone een "slimme camera" heeft (tekst).
Bovendien, als je veel koopt in de "kook"-wereld en weinig in de "boeken"-wereld, luistert de adviseur alleen naar de kook-wereld en negeert hij de boeken. Dat is ongewenst onevenwichtig.

2. De Oplossing: De "Meester-Vertaler" (LLM-EMF)

De auteurs van dit artikel hebben een nieuw systeem bedacht, genaamd LLM-EMF. Ze gebruiken drie krachtige hulpmiddelen om de adviseur slimmer te maken:

A. De Creatieve Schrijver (De LLM)

Stel je voor dat je een boektitel hebt: "De Grote Kookgids".
Een gewone computer ziet alleen de woorden. Maar dit systeem gebruikt een LLM (een super-slimme taalcomputer, zoals een zeer creatieve schrijver).

• De computer vraagt de LLM: "Vertel me meer over dit boek. Wat zijn de smaken? Voor wie is het? Is het voor een beginnende kok of een chef?"
• De LLM schrijft een kort, rijk verhaal over het boek.
• De analogie: Het is alsof je van een saaie stempel op een pakketje ("Boek") overschakelt naar een gedetailleerde beschrijving die de geur, het gevoel en de sfeer van het boek beschrijft. Dit helpt de computer om te zien dat een kookboek en een kookpan eigenlijk "verwant" zijn, ook al zijn ze in verschillende categorieën.

B. De Oog- en Taal-Scanner (CLIP)

Het systeem kijkt niet alleen naar de tekst, maar ook naar de foto's.

• Het gebruikt een slimme "oog" (een model genaamd CLIP) die foto's van producten kan "begrijpen".
• Het combineert dit met de tekst die de schrijver (LLM) heeft gemaakt.
• De analogie: Het is alsof je een product niet alleen leest, maar ook ruikt en voelt. Als je een foto van een zachte trui ziet, weet de computer dat hij "warm" en "comfortabel" is, zelfs zonder dat er woorden op staan.

C. De Slimme Dirigent (De Hierarchische Aandacht)

Dit is het belangrijkste deel om het onevenwichtige probleem op te lossen.
Stel je voor dat je in een kamer zit met twee mensen die praten:

1. De Kook-Luisteraar (die heel hard praat, want je koopt veel kookspullen).
2. De Boek-Luisteraar (die fluistert, want je leest weinig boeken).

In oude systemen zou de dirigent alleen naar de harde stem luisteren. Maar in dit nieuwe systeem is er een Slimme Dirigent.

• Deze dirigent weet: "Oké, de kook-stem is luid, maar we moeten ook naar de fluisterende boek-stem luisteren, want misschien wil de klant nu juist een kookboek!"
• Hij houdt de volumes in balans zodat geen enkel onderwerp de andere volledig overstemt.

3. Hoe werkt het in de praktijk?

Wanneer je een nieuwe aanbeveling nodig hebt, doet dit systeem het volgende:

1. Verzamelen: Het kijkt naar alles wat je hebt gekocht (koken, boeken, films).
2. Verrijken: Het laat de "Creatieve Schrijver" (LLM) de beschrijvingen van die producten opfleuren met extra details.
3. Vergelijken: Het gebruikt de "Oog- en Taal-Scanner" om te zien of de foto's en teksten van nieuwe producten lijken op wat je eerder leuk vond.
4. Balanceren: De "Slimme Dirigent" zorgt dat de aanbeveling niet alleen uit kookspullen bestaat, maar ook verrassende boeken of films kan voorstellen die bij je smaak passen.

Waarom is dit cool?

In de echte wereld (zoals op Amazon of Bol.com) hebben mensen vaak interesses in heel verschillende dingen. Oude systemen faalden hier vaak omdat ze te star waren.

Dit nieuwe systeem is als een goede vriend die je kent:

• Hij weet dat je van pizza houdt (koken).
• Maar hij weet ook dat je van Italiaanse films houdt (films).
• Dus als je een pizza bestelt, raadt hij niet alleen nog een pizza aan, maar misschien ook een Italiaanse film, omdat hij de sfeer en de context begrijpt dankzij de slimme taal- en beeldanalyse.

Kortom: Ze hebben een systeem gebouwd dat niet alleen naar nummers kijkt, maar de verhalen en beelden achter de producten begrijpt, en dat doet het op een manier waarbij geen enkel onderwerp de overhand krijgt. Hierdoor zijn de aanbevelingen veel persoonlijker en accurater.

Technische samenvatting

Probleemstelling

Traditionele Sequentiële Aanbeveling (SR) modellen zijn effectief in het voorspellen van de volgende interactie binnen één domein, maar lijden aan data-schaarste en domein-bias. Cross-Domain Sequentiële Aanbeveling (CDSR) probeert dit op te lossen door kennis over te dragen tussen domeinen, maar bestaande methoden hebben drie belangrijke tekortkomingen:

1. Ze focussen voornamelijk op intra-domein afhankelijkheden en onderzoeken inter-domein relaties onvoldoende.
2. Ze maken onvoldoende gebruik van multimodale informatie (zoals afbeeldingen en tekst).
3. Bestaande LLM-gebaseerde benaderingen negeren vaak de domein-ongelijkheid (domain imbalance), waarbij domeinen met meer interacties de aanbevelingen onterecht domineren.

Methodologie: LLM-EMF

De auteurs stellen LLM-EMF (LLM-Enhanced Multimodal Fusion) voor, een raamwerk dat Large Language Models (LLM), multimodale fusie en een hiërarchische aandachtmechanisme combineert. Het proces verloopt als volgt:

1. Prompt-gebaseerde LLM Augmentatie:

   • Voor elk item wordt een vooraf gedefinieerde prompt gebruikt (bijv. met titel en domein) om een LLM (Deepseek-r1) te instrueren tot het genereren van extra contextuele kennis.
   • Dit resulteert in domein-agnostische semantische attributen die de tekstuele representatie van het item verrijken en de semantische uitlijning tussen verschillende domeinen verbeteren.

2. Multimodale Inbedding (Embeddings):

   • Het model gebruikt drie soorten inbeddingen voor elk item:
     • ID-embeddings: Leerbaar semantisch matrix.
     • Visuele embeddings: gegenereerd door een bevroren CLIP-beeldencoder.
     • Tekstuele embeddings: gegenereerd door de CLIP-tekstencoder, verrijkt met de door de LLM gegenereerde context.
   • Deze worden verwerkt voor drie sequenties: domein X, domein Y, en een samengevoegde sequentie (X+Y).

3. Hiërarchische Aandacht (Hierarchical Attention):

   • Om het probleem van domein-ongelijkheid aan te pakken, worden de sequenties ($S_X$, $S_Y$, en $S_{X+Y}$) afzonderlijk verwerkt via een zelf-aandacht mechanisme (Self-Attention).
   • Dit zorgt voor een gebalanceerde representatie van gebruikersvoorkeuren, waarbij frequente domeinen niet de zeldzamere domeinen overstemmen.
   • De uiteindelijke voorspelling is een gewogen som van de voorspellingen gebaseerd op ID, afbeeldingen en tekst, waarbij gewichten ($\alpha, \beta$) de bijdrage van elke modus regelen.

4. Verliesfunctie en Optimalisatie:

   • Het model wordt getraind door het verlies te minimaliseren voor elk domein en de gecombineerde sequentie, met gewichten ($\lambda_1, \lambda_2$) die het belang van de bron- en doel-domeinen regelen tijdens de evaluatie.

Belangrijkste Bijdragen

• Prompt-gebaseerde LLM-strategie: Een innovatieve aanpak om domein-agnostische tekstuele attributen te genereren, wat de semantische uitlijning tussen domeinen verbetert zonder dat fine-tuning van de LLM nodig is.
• Unificatie van Modaliiteiten: Het eerste CDSR-raamwerk dat systematisch LLM-gegenereerde tekstkennis combineert met visuele (CLIP) en ID-embeddings binnen één hiërarchisch aandachtmechanisme.
• Domein-balancering: Een expliciete hiërarchische aandachtmechanisme die de invloed van elk domein reguleert, waardoor het probleem van dominante, hoge-frequentie domeinen wordt opgelost.

Resultaten

De methode is geëvalueerd op twee CDSR-scenario's met Amazon-e-commerce data: "Food-Kitchen" en "Movie-Book". De prestaties werden gemeten met MRR (Mean Reciprocal Rank) en NDCG (Normalized Discounted Cumulative Gain).

• Superieure Prestaties: LLM-EMF presteerde consistent beter dan state-of-the-art baselines (zoals SASRec, SR-GNN, MAN, LLMRec en IFCDSR) op alle metrieken.
  • Voorbeeld Food-Kitchen: LLM-EMF behaalde een MRR van 9.24% (Food) en 5.13% (Kitchen), wat significant hoger is dan de tweede beste methode (MIFN: 8.55% en 4.09%).
  • Voorbeeld Movie-Book: LLM-EMF behaalde een MRR van 6.32% (Movie) en 2.86% (Book), opnieuw een duidelijke verbetering ten opzichte van concurrenten.
• Ablatie-studies: Deze bevestigden dat elke component bijdraagt aan de prestaties. De combinatie van tekstuele fusie, LLM-verrijking en visuele fusie leverde de grootste winst op, wat aantoont dat multimodale signalen complementair werken.

Betekenis en Impact

Dit onderzoek markeert een belangrijke stap in de evolutie van aanbevelingssystemen door:

1. Multimodaliteit effectief te benutten: Het toont aan dat het combineren van visuele en tekstuele data (verrijkt door LLM's) essentieel is voor het modelleren van complexe gebruikersvoorkeuren.
2. Kennisoverdracht te verbeteren: Door domein-agnostische attributen te genereren, overbrugt het model de kloof tussen verschillende productcategorieën, wat leidt tot betere aanbevelingen in situaties met schaarse data.
3. Balans te creëren: Het biedt een oplossing voor het veelvoorkomende probleem van domein-dominantie, waardoor aanbevelingssystemen eerlijker en nauwkeuriger worden voor gebruikers met diverse interesses.

Samenvattend bewijst LLM-EMF dat de integratie van Large Language Models met multimodale fusie en geavanceerde aandachtmechanismen de staat van de kunst voor cross-domein sequentiële aanbeveling aanzienlijk kan verbeteren.