DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

Het artikel introduceert DeepInterestGR, een generatief aanbevelingsframework dat gebruikmaakt van multi-modale LLMs en versterkte leerling om diepe, semantisch rijke gebruikersinteresses te ontginnen en zo de beperkingen van bestaande methoden die zich beperken tot oppervlakkige teksteigenschappen, te overwinnen.

De kern

Stel je voor dat je een reislustige vriend hebt die altijd de perfecte reisinstructies voor je moet bedenken.

In de oude manier van werken (de "oude school" aanbevelingsystemen), was deze vriend een beetje oppervlakkig. Als je vroeg: "Wat moet ik kopen?", keek hij alleen naar de etiket op de doos.

• "Oh, je kocht een koptelefoon? Dan moet je ook een koptelefoon kopen."
• "Je kocht een hardloopshirt? Dan nog een hardloopshirt."

Hij zag alleen wat er op de verpakking stond (de titel en beschrijving), maar hij begreep niet waarom je het kocht. Misschien kocht je die koptelefoon niet omdat je van muziek houdt, maar omdat je een focustrijd hebt en in een drukke trein wilt werken. Of misschien kocht je het hardloopshirt omdat je een gezonde levensstijl nastreeft, niet omdat je van hardlopen houdt.

Deze oppervlakkige vriend noemen de auteurs van dit paper het "Oppervlakkig Interesse"-probleem. Hij raakt de diepere drijfveren van mensen nooit.

De Nieuwe Oplossing: DeepInterestGR

De auteurs hebben een nieuwe, super-slimme vriend bedacht: DeepInterestGR. Deze vriend is niet alleen slim, hij heeft ook een superkracht: hij kan denken als een mens en begrijpt de wereld.

Hoe werkt dit? Het is alsof je drie nieuwe trucs hebt toegevoegd aan je vriend:

1. De "Gedachtenlezer" (Multi-LLM Interest Mining)

In plaats van alleen naar het etiket te kijken, vraagt deze nieuwe vriend aan vier verschillende super-slimme AI-experts (zoals GPT, Gemini, Kimi en Grok) om samen te denken.

• Ze kijken naar de foto's, de tekst en de context.
• Ze gebruiken een trucje genaamd "Chain-of-Thought" (een keten van gedachten). Ze vragen zichzelf: "Waarom zou iemand dit kopen? Wat zegt dit over hun levensstijl?"
• Voorbeeld: In plaats van "koptelefoon", denken ze: "Ah, deze persoon is een 'focustrijdende reiziger' die waarde hecht aan geluidskwaliteit."
• Omdat ze met vier experts praten, krijgen ze een completer en dieper beeld dan één expert alleen.

2. De "Kwaliteitscontroleur" (Reward-Labeled Deep Interest)

Niet alle gedachten van de experts zijn even goed. Soms zeggen ze iets vaags als "leuk product".

• Daarom hebben ze een kleine, snelle controleur (een classifier) ingeschakeld.
• Deze controleur kijkt naar de gedachten van de experts en zegt: "Ja, dit is een echt, bruikbaar inzicht!" (Positief) of "Nee, dit is te vaag, weggooien." (Negatief).
• Alleen de beste, scherpste inzichten krijgen een sterrenstempel.

3. De "Vertaler" (Interest-Enhanced Item Discretization)

Nu hebben we diep inzicht, maar de computer moet dit kunnen gebruiken.

• De nieuwe vriend vertaalt deze complexe menselijke inzichten (zoals "focustrijdende reiziger") naar een speciale code (een soort geheime taal van nummers en symbolen).
• Hierdoor worden producten die op diepe interesses lijken, ook dicht bij elkaar in de geheime taal gezet. Een "focustrijdende reiziger" met een koptelefoon en een "focustrijdende reiziger" met een laptopzakje komen nu dicht bij elkaar te staan, ook al lijken de producten zelf totaal verschillend.

Het Opleidingsproces: Twee Stappen

Om deze vriend echt goed te maken, trainen ze hem in twee fases:

1. De Schoolfase (Supervised Fine-Tuning): Hier leert de vriend eerst de basis. Hij kijkt naar wat mensen hebben gekocht en leert de verbanden tussen de producten en de diepe inzichten. Hij leert de "taal" van de geheime codes.
2. De Coachfase (Reinforcement Learning): Nu komt de echte magie. De coach (het systeem) zegt: "Goed zo! Je hebt een product aanbevolen dat past bij de 'focustrijdende reiziger'. Dat is een goed advies!" of "Nee, dat past niet bij zijn interesses."
   • De coach geeft beloningen (rewards) op basis van de diepe inzichten, niet alleen op basis van of het product wel of niet gekocht is. Hierdoor leert de vriend echt begrijpen wat mensen willen, in plaats van alleen maar te raden.

Waarom is dit zo geweldig?

De auteurs hebben dit getest op echte data (zoals Amazon-producten voor beauty, sport en muziekinstrumenten). Het resultaat?

• Beter advies: De nieuwe vriend raadt veel vaker het juiste product raak dan de oude systemen.
• Beter begrip: Hij begrijpt dat mensen die "sportkleding" kopen, misschien ook "gezonde snacks" willen, omdat ze een gezonde levensstijl nastreven, niet omdat ze van sportkleding houden.
• Overal bruikbaar: Omdat hij de diepe interesses begrijpt (bijv. "ik wil er chique uitzien"), werkt hij ook goed in een heel andere wereld. Als hij iemand heeft geholpen met make-up (Beauty), kan hij diezelfde "chic-zoekende" instelling gebruiken om goede schoenen (Sports) of een gitaar (Instruments) aan te raden.

Kortom:
Deze paper zegt: "Stop met alleen naar de verpakking te kijken. Gebruik slimme AI's om te begrijpen wie de mens is en waarom hij koopt. Als je dat doet, wordt de aanbeveling niet alleen beter, maar voelt het ook alsof je een echte vriend hebt die je kent."

Technische samenvatting

Probleemstelling: Het "Ondiepe Interesse"-probleem

Bestaande methoden voor generatieve aanbeveling (generative recommendation) hebben een fundamentele beperking: ze lijden aan het "Shallow Interest" (Ondiepe Interesse) probleem.

• Huidige aanpak: Bestaande systemen coderen items uitsluitend op basis van oppervlakkige tekstuele kenmerken zoals titels en beschrijvingen.
• Het gevolg: De modellen falen in het vastleggen van de latente, semantisch rijke interesses die onderliggend zijn aan gebruikersinteracties. Bijvoorbeeld, de aankoop van "draadloze oordopjes" wordt gezien als een technisch product, terwijl de onderliggende interesse misschien "fitness levensstijl" of "reistijd-efficiëntie" is.
• Beperkingen: Dit leidt tot beperkte personalisiediepte, gebrek aan interpretbaarheid van de aanbevelingen en suboptimale supervisie voor Reinforcement Learning (RL), omdat beloningen vaak gebaseerd zijn op simpele regels of collaboratieve signalen zonder semantische richting.

Methodologie: Het DeepInterestGR Framework

DeepInterestGR lost dit probleem op door diepe interesse-mining te integreren in een generatief aanbevelingspipeline die werkt met semantische ID's (SID). Het framework bestaat uit drie kerninnovaties en een tweestaps trainingsproces.

1. Kerncomponenten

• Multi-LLM Interest Mining (MLIM):

  • In plaats van één model te gebruiken, maakt het systeem gebruik van meerdere geavanceerde LLM's (zoals GPT-5.1, Gemini-3-Pro, Kimi-K2-Thinking, Grok-4) en hun multi-modale varianten.
  • Via Chain-of-Thought (CoT) prompting worden deze modellen gevraagd om niet alleen de tekst, maar ook visuele content (productafbeeldingen) te analyseren.
  • Het doel is het extraheren van interpreteerbare, diepe interesse-beschrijvingen (bijv. "aesthetic preference" of "productivity-focused") die verder gaan dan de item-metadata.
  • Een ensemble-strategie combineert de output van meerdere LLM's om consensus-interesses te vinden en semantisch vergelijkbare interesses te samenvoegen.

• Reward-Labeled Deep Interest (RLDI):

  • Om de kwaliteit van de geminede interesses te waarborgen voor de RL-fase, wordt een lichtgewicht binaire classifier (gebaseerd op Qwen-Chat) gebruikt.
  • Deze classifier labelt geminede interesses als positief (specifiek, actiegericht) of negatief (vaag, generiek).
  • Deze labels dienen als supervisiessignalen voor de beloningsfunctie.

• Interest-Enhanced Item Discretization (IEID):

  • De gecurateerde diepe interesses worden omgezet in semantische embeddings (met Qwen-Embedding).
  • Vervolgens worden deze embeddings gekwantiseerd naar Semantic ID (SID) tokens via RQ-VAE (Residual Quantization Variational Autoencoder).
  • Dit zorgt ervoor dat items met vergelijkbare onderliggende interesses dicht bij elkaar in de SID-ruimte worden gepositioneerd, in plaats van alleen op basis van oppervlakkige tekst.

2. Trainingspipeline

Het model wordt getraind in twee fasen:

1. Supervised Fine-Tuning (SFT): Het generatieve model wordt gefinetuned om SID-sequenties te voorspellen op basis van gebruikersgeschiedenis. Dit aligneert het model met zowel de diepe interessesignalen als collaboratieve filterpatronen.
2. Reinforcement Learning (RL) met Interest-Aware Reward:
   • Er wordt gebruikgemaakt van GRPO (Group Relative Policy Optimization).
   • De beloningsfunctie combineert de basis-aanbevelingsnauwkeurigheid met een Interest-Aware Reward. Als het gegenereerde item correleert met een positief gelabelde interesse (via RLDI), krijgt het model een extra bonus.
   • Dit stuurt het beleid (policy) aan naar meer gepersonaliseerde en semantisch coherente itemreeksen.

Kernbijdragen

1. Identificatie van het "Shallow Interest" probleem: Het paper benoemt en adresseert de beperkingen van bestaande generatieve systemen die geen diepte in gebruikersintenties leggen.
2. Nieuw Framework: Introductie van DeepInterestGR, dat diepe interesse-mining integreert in de generatieve pipeline.
3. Drie Innovaties:
   • MLIM: Systematisch gebruik van multi-LLM en multi-modale prompting voor interesse-extractie.
   • RLDI: Kwaliteitscontrole van interesses via classificatie voor effectieve RL-supervisie.
   • IEID: Het coderen van diepe interesses in SID-tokens voor interpreteerbare itemrepresentaties.
4. Interest-Aware Reward: Een nieuwe beloningsmechaniek die semantische interesses gebruikt om RL te sturen, wat leidt tot betere personalisatie.

Resultaten

De methode is getest op drie grote Amazon Review-benchmarks: Beauty, Sports en Musical Instruments.

• Prestatie: DeepInterestGR presteert consequent beter dan state-of-the-art baselines (zoals SASRec, BERT4Rec, TIGER, LC-Rec) op de metrics HR@K (Hit Rate) en NDCG@K.
  • De verbetering varieert van 9,2% tot 15,1% ten opzichte van de beste bestaande methoden.
  • Op de Beauty-dataset werd bijvoorbeeld een verbetering van +10,8% in HR@5 en +12,1% in NDCG@5 behaald ten opzichte van de beste concurrent.
• Ablatie-studies:
  • Het verwijderen van MLIM veroorzaakte de grootste prestatiedaling (ca. 11,8%), wat aantoont dat diepe interesse-mining de hoeksteen is.
  • RL (Reinforcement Learning) was essentieel voor de finale prestatie; zonder RL (alleen SFT) daalde de prestatie met 16,4%.
• Multi-modale impact: Het toevoegen van visuele informatie (via multi-modale LLM's) verbeterde de prestaties met 5,0% - 5,8%, vooral in visueel gevoelige domeinen zoals Beauty.
• Cross-domein generalisatie: Het model toonde superieure transferbaarheid tussen domeinen (bijv. getraind op Beauty, getest op Sports), met gemiddelde verbeteringen van 24,8% in HR@10. Dit komt doordat diepe interesses (zoals "kwaliteitsbewust") universeel zijn, terwijl oppervlakkige kenmerken domeinspecifiek zijn.

Betekenis en Impact

DeepInterestGR markeert een belangrijke stap in de evolutie van aanbevelingssystemen:

• Van Oppervlak naar Diepte: Het verschuift de focus van het analyseren van wat een product is (titel/description) naar wat een product betekent voor de gebruiker (onderliggende levensstijl en intenties).
• Schalbaarheid: Door de integratie van LLM's en generatieve paradigmas, maakt het systeem gebruik van de schaalwetten van taalmodellen, waarbij grotere diepte en capaciteit leiden tot consistente prestatiewinsten.
• Interpreteerbaarheid: Door interesses expliciet te modelleren en te labelen, wordt het "black box"-karakter van aanbevelingen doorbroken, wat inzicht geeft in waarom een item wordt aanbevolen.
• Toekomstperspectief: De succesvolle toepassing van multi-modale LLM's en RL voor interesse-mining opent nieuwe wegen voor de ontwikkeling van uiterst gepersonaliseerde en contextbewuste aanbevelingssystemen.