DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

Der Artikel stellt DeepInterestGR vor, ein neuartiges generatives Empfehlungssystem, das durch den Einsatz multi-modaler LLMs tiefgreifende Benutzerinteressen extrahiert, diese mittels Belohnungs-Labels und RQ-VAE in semantische IDs kodiert und durch eine zweistufige Trainingspipeline mit Reinforcement Learning die Personalisierung und Interpretierbarkeit von Empfehlungen signifikant verbessert.

Das Wesentliche

Stell dir vor, ein Empfehlungsalgorithmus ist wie ein persönlicher Butler, der dir Vorschläge macht, was du als Nächstes kaufen oder ansehen sollst.

Bisher waren diese Butler ziemlich oberflächlich. Wenn du dir zum Beispiel Kopfhörer gekauft hast, sagten sie: „Ah, du hast Kopfhörer gekauft, also magst du Kopfhörer." Sie schauten nur auf das Etikett des Produkts (den Titel, die Beschreibung). Sie verstanden nicht, warum du sie gekauft hast. War es, weil du ein Fitness-Fan bist? Weil du viel reist? Oder weil du einfach nur Ruhe brauchst?

Das neue Papier stellt einen Butler vor, der viel tiefer gräbt. Er heißt DeepInterestGR. Hier ist die Erklärung, wie er funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Oberflächen-Butler"

Die alten Systeme waren wie ein Koch, der nur die Zutatenliste liest. Wenn du „Erdbeeren" kaufst, denkt er nur an „Erdbeeren". Er weiß nicht, ob du sie für einen Kuchen, für einen Smoothie oder einfach nur zum Naschen willst. Das nennt die Forscher das „Flache Interesse"-Problem. Sie sehen nur die Hülle, nicht den Kern.

2. Die Lösung: Der „Detektiv-Butler" (DeepInterestGR)

DeepInterestGR ist wie ein hochintelligenter Detektiv, der nicht nur die Zutatenliste liest, sondern deine ganze Lebensweise analysiert. Er nutzt drei magische Werkzeuge:

Werkzeug A: Das „Super-Gehirn-Team" (Multi-LLM Interest Mining)

Stell dir vor, statt nur einem Butler hast du ein Team aus vier der klügsten Detektive der Welt (die sogenannten KI-Modelle wie GPT, Gemini, Kimi, Grok).

• Wie es funktioniert: Wenn du ein Produkt ansiehst, geben diese Detektive nicht nur eine trockene Beschreibung ab. Sie nutzen ihre „Gedankenketten" (Chain-of-Thought), um zu rätseln: „Hmm, dieser Nutzer kauft oft Laufschuhe und Sport-Apps. Er ist wahrscheinlich kein Sportler, der Wettkämpfe sucht, sondern jemand, der Gesundheit und Stressabbau sucht."
• Der Clou: Sie nutzen auch Bilder. Wenn du ein Kleidungsstück ansiehst, sagen sie nicht nur „rotes Kleid", sondern „rotes Kleid im Vintage-Stil für jemanden, der künstlerischen Ausdruck liebt". Sie kombinieren Text und Bilder, um das wahre Interesse hinter dem Kauf zu finden.

Werkzeug B: Der „Qualitäts-Filter" (Reward-Labeled Deep Interest)

Manchmal kann ein Detektiv auch mal quatschen oder etwas zu Allgemein halten.

• Wie es funktioniert: Bevor diese neuen, tiefen Interessen genutzt werden, wirft ein kleiner, schneller Filter (ein einfacher KI-Prüfer) einen Blick darauf. Er fragt: „Ist diese Idee wirklich gut und spezifisch, oder ist sie nur schwammig?"
• Das Ergebnis: Nur die besten, klarsten Interessen (z. B. „Liebe für minimalistisches Design") bekommen ein grünes Licht. Die schlechten (z. B. „mag Dinge") werden aussortiert. Das sorgt dafür, dass der Butler nur hochwertige Hinweise bekommt.

Werkzeug C: Der „Übersetzer" (Interest-Enhanced Item Discretization)

Jetzt haben wir diese tollen, tiefen Interessen, aber der Computer muss sie verstehen.

• Wie es funktioniert: Der Butler übersetzt diese komplexen Gedanken in eine Art Geheimsprache (Semantische IDs). Statt nur „Kopfhörer" zu sagen, sagt er: „Kopfhörer für Reisende, die Ruhe suchen".
• Der Effekt: Das System lernt, dass ein Buch über „Reisen" und Kopfhörer für „Reisende" eigentlich das gleiche tiefe Interesse haben, auch wenn die Produkte völlig unterschiedlich aussehen.

3. Das Training: Lernen durch Lob und Tadel

Wie lernt der Butler, besser zu werden?

• Schritt 1 (Lernen): Er schaut sich an, was Leute gekauft haben, und versucht, die Muster zu verstehen.
• Schritt 2 (Verfeinerung): Hier kommt der spannende Teil. Wenn der Butler eine Empfehlung abgibt, die zu den tiefen Interessen passt (z. B. er empfiehlt ein Reisebuch, weil er weiß, dass du gerne reist), bekommt er einen Bonus-Punkt. Wenn er nur auf den Oberflächennamen schaut, bekommt er keinen Bonus.
• Das Ergebnis: Der Butler lernt schnell, dass es nicht reicht, das Richtige zu raten, sondern er muss das Richtige aus dem richtigen Grund raten.

Warum ist das so cool?

Die Forscher haben das an echten Daten getestet (z. B. aus dem Amazon-Bereich für Schönheit, Sport und Musikinstrumente).

• Ergebnis: Der neue Butler war deutlich besser als alle anderen. Er traf die Empfehlungen genauer.
• Der größte Vorteil: Er ist übertragbar. Wenn er gelernt hat, dass du „Qualität über alles" stellst (ein tiefes Interesse), kann er das auch auf eine völlig andere Kategorie anwenden. Er weiß, dass du nicht nur „gute Schuhe" willst, sondern auch „gute Kaffeemaschinen", weil du einfach Wert auf Qualität legst.

Zusammengefasst:
DeepInterestGR verwandelt den Empfehlungsalgorithmus von einem oberflächlichen Verkäufer, der nur nach Preisschildern schaut, in einen einfühlsamen Freund, der versteht, wer du wirklich bist und was du wirklich brauchst – und das alles durch die Nutzung von Super-KIs, die wie menschliche Denker funktionieren.

Technische Zusammenfassung

1. Problemstellung: Das „Shallow Interest"-Problem

Trotz des Erfolgs generativer Empfehlungssysteme, die die Vorhersage von Artikeln in eine autoregressive Generierung von semantischen IDs (Semantic IDs, SIDs) umwandeln, leiden bestehende Methoden unter einem kritischen Mangel: dem „Shallow Interest"-Problem.

• Oberflächliche Kodierung: Herkömmliche Ansätze kodieren Artikel ausschließlich basierend auf oberflächlichen Textmerkmalen wie Titeln und Beschreibungen.
• Fehlende Tiefe: Diese Methoden erfassen nicht die latenten, semantisch reichen Interessen, die hinter den Nutzerinteraktionen stehen (z. B. den Unterschied zwischen dem Kauf von „Kopfhörern" als technischem Produkt vs. dem Interesse an „Reisekomfort" oder „Fokus im Büro").
• Folgen: Dies führt zu einer begrenzten Personalisierungstiefe, mangelnder Interpretierbarkeit des Empfehlungsprozesses und suboptimalen Belohnungssignalen für Reinforcement Learning (RL), da diese oft nur auf regelbasierten oder rein kollaborativen Signalen basieren.

2. Methodik: DeepInterestGR Framework

DeepInterestGR löst dieses Problem durch die Integration von Deep Interest Mining direkt in die generative Empfehlungspipeline. Das Framework besteht aus drei Hauptkomponenten und einem zweistufigen Trainingsprozess.

A. Multi-LLM Interest Mining (MLIM)

Um tiefe Interessen zu extrahieren, nutzt das System mehrere fortschrittliche Large Language Models (LLMs) (z. B. GPT-5.1, Gemini-3-Pro, Kimi-K2, Grok-4) und deren multimodale Varianten.

• Chain-of-Thought (CoT) Prompting: Die LLMs werden angewiesen, nicht nur Attribute zu listen, sondern durch CoT-Prompts tiefe Nutzerabsichten und Lebensstil-Präferenzen (z. B. „fitness-orientierter Lebensstil") aus Artikelmetadaten (Text + Bild) zu inferieren.
• Ensemble-Ansatz: Da verschiedene LLMs unterschiedliche Stärken haben, werden die extrahierten Interessen mehrerer Modelle aggregiert. Konsistente Interessen (die von ≥2 Modellen genannt werden) werden priorisiert, semantisch ähnlichere Interessen werden gemittelt und nach Konfidenz gewichtet.
• Multimodalität: Für Artikel mit Bildern werden visuelle LLM-Varianten eingesetzt, um ästhetische und stilistische Signale zu erfassen, die rein textbasierte Modelle verpassen.

B. Reward-Labeled Deep Interest (RLDI)

Um die Qualität der extrahierten Interessen für das Reinforcement Learning zu sichern, wird ein leichtgewichtiger binärer Klassifikator (basierend auf Qwen-Chat) eingesetzt.

• Dieser Klassifizierer weist jedem extrahierten Interesse ein Label zu: positiv (spezifisch, handlungsrelevant) oder negativ (vage, generisch).
• Diese Labels dienen als Supervisionssignal für die spätere RL-Phase.

C. Interest-Enhanced Item Discretization (IEID)

Die extrahierten tiefen Interessen werden in die Repräsentation der Artikel integriert:

1. Embedding: Die konsolidierten Interessenbeschreibungen werden mittels eines Embedding-Modells (Qwen3-Embedding-4B) in semantische Vektoren kodiert.
2. Quantisierung: Diese Vektoren werden mittels RQ-VAE (Residual Quantization Variational Autoencoder) in diskrete SID-Token umgewandelt.
3. Ergebnis: Artikel mit ähnlichen latenten Interessen (nicht nur ähnlichen Titeln) erhalten benachbarte SID-Token, was dem generativen Modell hilft, interessensbasierte Beziehungen zu lernen.

D. Zwei-Stufen-Trainingspipeline

1. Supervised Fine-Tuning (SFT): Das generative Modell wird auf die Vorhersage der SID-Sequenzen trainiert, wobei es sowohl die tiefen Interessen-Signale als auch kollaborative Filtermuster lernt.
2. Reinforcement Learning (RL) mit GRPO:
   • Es wird Group Relative Policy Optimization (GRPO) verwendet.
   • Interest-Aware Reward: Die Belohnungsfunktion kombiniert die Basis-Trefferquote (Hit Rate) mit einem Bonus, wenn das generierte Item mit einem positiven, durch RLDI gelabelten Interesse übereinstimmt. Dies steuert die Policy hin zu semantisch kohärenteren und persönlicheren Empfehlungen.

3. Schlüsselbeiträge

1. Identifikation des Problems: Die systematische Benennung und Analyse des „Shallow Interest"-Problems in bestehenden generativen Empfehlungssystemen.
2. Neues Framework: Die Entwicklung von DeepInterestGR, das tiefes Interesse-Mining mit generativer Empfehlung vereint.
3. Innovative Komponenten:
   • MLIM: Nutzung eines LLM-Ensembles mit CoT für die Extraktion interpretierbarer Interessen.
   • RLDI: Ein Mechanismus zur Qualitätskontrolle von Interessen mittels binärer Klassifikation.
   • IEID: Eine Methode zur Kodierung von Interessen in SID-Token für eine semantisch angereicherte Diskretisierung.
4. Neuer Reward-Mechanismus: Die Einführung einer „Interest-Aware Reward", die semantisches Wissen als Supervision für RL nutzt, anstatt sich nur auf Verhaltensdaten zu verlassen.

4. Ergebnisse

Die Methode wurde auf drei großen Amazon-Review-Datensätzen (Beauty, Sports, Instruments) evaluiert und mit State-of-the-Art-Baselines (einschließlich TIGER, LC-Rec, SASRec, BERT4Rec) verglichen.

• Überlegene Leistung: DeepInterestGR übertrifft alle Baselines konsistent. Die Verbesserungen liegen bei 9,2 % bis 15,1 % in den Metriken HR@K und NDCG@K.
• Ablationsstudie:
  • Das Entfernen von MLIM führt zum stärksten Leistungsabfall (~11,8 %), was die Bedeutung des tiefen Interest-Minings unterstreicht.
  • Das Entfernen von RL (nur SFT) führt zu einem Abfall von ~16,4 %, was die Notwendigkeit der RL-Optimierung zeigt.
• Multimodalität: Die Nutzung multimodaler LLMs (Text + Bild) verbessert die Ergebnisse um ca. 5–6 %, insbesondere in visuell geprägten Domänen wie „Beauty".
• LLM-Vergleich: Ein Ensemble verschiedener LLMs erzielt bessere Ergebnisse als einzelne Modelle, da es komplementäre Aspekte der Nutzerinteressen abdeckt.
• Generalisierung: DeepInterestGR zeigt eine deutlich bessere domänenübergreifende Generalisierung (+24,8 % bis +27,3 % in HR@10), da extrahierte tiefe Interessen (z. B. „Qualitätsbewusstsein") über verschiedene Produktkategorien hinweg transferierbar sind, während oberflächliche Merkmale dies nicht sind.

5. Bedeutung und Fazit

DeepInterestGR markiert einen Paradigmenwechsel in der generativen Empfehlungsforschung. Es beweist, dass die reine Nutzung von Oberflächenmerkmalen für die Generierung von SIDs nicht ausreicht. Durch die Integration von Weltwissen und Schlussfolgerungsfähigkeiten moderner LLMs können latente Nutzerbedürfnisse erschlossen werden.

Die Arbeit zeigt, dass die Kombination aus tiefem Interest-Mining, semantisch angereicherter Diskretisierung und RL mit semantischen Belohnungen nicht nur die Genauigkeit steigert, sondern auch die Interpretierbarkeit von Empfehlungen verbessert und robustere Modelle über verschiedene Domänen hinweg ermöglicht. Dies ebnet den Weg für zukünftige Empfehlungssysteme, die echte Nutzerintentionen verstehen und nicht nur historische Interaktionen nachahmen.