MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

1. Problemstellung

Das Papier adressiert eine kritische Inkonsistenz in Generativen Empfehlungssystemen (Systeme, die Large Language Models nutzen, um direkt Item-IDs zu generieren). Während diese Systeme die推理sfähigkeiten von Sprachmodellen (LMs) nutzen, ist ihre Leistung stark von zwei Faktoren abhängig:

1. Prompt-Templates: Variationen in den natürlichen Sprachanweisungen (z. B. „nächstes Item vorhersagen" vs. „ein anderes Item empfehlen") führen zu unterschiedlichen Ausgabe-Verteilungen.
2. Item-Index-Typen: Unterschiedliche Methoden zur Kodierung von Items in Tokens (z. B. Kollaborative IDs basierend auf Nutzerverhalten vs. Semantische IDs basierend auf Textmetadaten) erfassen verschiedene Aspekte des Item-Wissens.

Das Kernproblem: Selbst bei identischem Verlauf der Nutzerinteraktionen führen Änderungen im Prompt oder im Index-Typ zu signifikant unterschiedlichen Top-$k$-Vorhersagen. Eine vorläufige Analyse zeigt, dass diese Variationen nicht bloß Rauschen sind; sie kodieren ergänzendes Wissen. Beispielsweise überschneiden sich weniger als 50 % der korrekt vorhergesagten Items zwischen verschiedenen Index-Typen, und unterschiedliche Prompts erfassen distincte kontextuelle Nuancen. Bestehende Methoden verlassen sich entweder auf eine einzelne Ansicht (und verpassen ergänzende Informationen) oder fügen Indizes naiv zusammen (und versagen darin, die probabilistische Beziehung zwischen den Ansichten zu modellieren), was zu suboptimalen und inkonsistenten Empfehlungen führt.

2. Methodik: MVIGER

Die Autoren schlagen MVIGER (Multi-View Variational Integration of GEnerative Recommender) vor, ein einheitliches variationsbasiertes Framework, das entwickelt wurde, um diese diversen Ansichten systematisch zu integrieren.

A. Heterogene Item-Index-Generierung

MVIGER konstruiert für jedes Item zwei unterschiedliche Typen von Item-Indizes, um verschiedene Wissensquellen zu erfassen:

• Kollaborativer Index (CeID): Abgeleitet aus Embeddings der Nutzer-Item-Interaktionen (unter Verwendung von LightGCN).
• Semantischer Index (SeID): Abgeleitet aus Item-Metadaten (Titel, Beschreibungen), kodiert via Sentence-T5.
• Quantisierung: Beide Embeddings werden unter Verwendung eines Residual Quantized Variational Autoencoder (RQ-VAE) in hierarchische diskrete Token-Sequenzen umgewandelt. Dies ermöglicht dem LLM, Item-IDs autoregressiv tokenweise zu generieren.

B. Multi-View Variations-Framework

MVIGER behandelt die Kombination eines spezifischen Prompt-Templates und eines Item-Index-Typs als eine distincte „Ansicht".

• Latente Variable: Eine kategorische latente Variable $z$ wird eingeführt, um die Auswahl einer spezifischen Ansicht (Template + Index) für einen gegebenen Nutzer darzustellen.
• Probabilistische Formulierung: Das Ziel ist es, die marginale Wahrscheinlichkeit des Ziel-Items $y^*$ gegeben den Nutzerverlauf $H(u)$ zu maximieren:
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  Wobei:
  • $p_\theta(y^*|z)$: Das Likelihood-Netzwerk (der generative Empfehlungssystem) ist, das das Item unter einer spezifischen Ansicht vorhersagt.
  • $p_\psi(z|H(u))$: Das Prior-Netzwerk ist, eine lernbare Funktion, die die Wahrscheinlichkeit schätzt, dass eine Ansicht basierend auf dem Nutzerverlauf relevant ist.

C. Trainingsverfahren (Variations-EM-Stil)

Das Modell wird trainiert, um die Evidence Lower Bound (ELBO) zu optimieren.

1. Posterior-Berechnung: Der optimale variationsbasierte Posterior $q^*(z|H(u), y^*)$ wird in geschlossener Form als Produkt aus Likelihood und Prior abgeleitet, normalisiert über alle Ansichten.
2. Entkoppelte Optimierung:
   • Das Likelihood-Netzwerk ($\theta$) wird aktualisiert, um die erwartete Log-Likelihood unter dem festen optimalen Posterior $q^*$ zu maximieren.
   • Das Prior-Netzwerk ($\psi$) wird aktualisiert, um die KL-Divergenz zwischen dem gelernten Prior und dem optimalen Posterior zu minimieren.
   • Schlüsselinnovation: Da $q^*$ in geschlossener Form berechnet wird, fließen keine Gradienten durch sie hindurch, was stabile und entkoppelte Updates der beiden Netzwerke ermöglicht.

D. Flexible Inferenz

Zum Zeitpunkt der Inferenz ist das Ziel-Item unbekannt, sodass der Posterior nicht zugänglich ist. MVIGER nutzt das gelernte Prior-Netzwerk, um die Integration zu steuern:

1. Single-View-Auswahl: Auswahl der wahrscheinlichsten Ansicht $z^* = \arg\max_z p_\psi(z|H(u))$ für eine effiziente Vorhersage.
2. Multi-View-Aggregation: Aggregation der Vorhersagen über alle Ansichten hinweg, gewichtet mit dem gelernten Prior: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$. Dies nutzt ergänzendes Wissen für eine höhere Genauigkeit.

3. Hauptbeiträge

1. Neuartige Problemformulierung: Das Papier zeigt empirisch, dass Variationen in Prompts und Indizes in generativen Empfehlungssystemen nicht nur Quellen von Instabilität sind, sondern ergänzendes Wissen kodieren, das bei Integration die Leistung signifikant steigert.
2. Einheitliches Variations-Framework: MVIGER führt ein probabilistisches Modell ein, das diverse Template-Index-Kombinationen als latente Ansichten behandelt. Es lernt einen nutzerbedingten Prior, um diese Ansichten adaptiv auszuwählen oder zu aggregieren, und überwindet so die Einschränkungen von Fixed-Index- oder einfachen Konkatentionsansätzen.
3. Flexibles Inferenzmechanismus: Das Framework unterstützt einen Kompromiss zwischen Effizienz und Genauigkeit. Nutzer können wählen, eine einzelne Ansicht auszuführen (schnell) oder mehrere Ansichten zu aggregieren (genau), ohne neu trainieren zu müssen; dies wird durch die gelernte Prior-Verteilung gesteuert.
4. State-of-the-Art-Leistung: Umfangreiche Experimente zeigen, dass MVIGER bestehende Baselines (einschließlich P5, TIGER, EAGER und LLM-basierter Methoden) über mehrere Datensätze hinweg übertrifft.

4. Experimentelle Ergebnisse

• Datensätze: Evaluiert auf Amazon Beauty, Amazon Sports und Yelp.
• Leistung: MVIGER erzielte über alle Datensätze hinweg die höchste Hit Ratio (H@5, H@10) und NDCG (N@5, N@10).
  • Bemerkenswert ist, dass MVIGER größere LLM-basierte Baselines (wie EAGER-LLM, basierend auf Llama-7B) übertraf, obwohl es einen kleineren Backbone (T5-small) verwendete. Dies beweist, dass in diesem Kontext die effektive Integration ergänzenden Wissens kritischer ist als die Modellgröße.
• Ablationsstudien:
  • Index-Auswahl: Single-View-Modelle (nur CeID oder nur SeID) schnitten signifikant schlechter ab als das integrierte MVIGER, was die Komplementarität von kollaborativen und semantischen Signalen bestätigt.
  • Aggregation: Die gelernte Prior-Aggregation von MVIGER übertraf einfache Baselines wie „Self-Consistency" (Mehrheitsvoting) und „Uniform Prior" (gleiche Gewichtung) und demonstriert den Wert des Lernens nutzerspezifischer Ansichtsgewichte.
• Prior-Analyse: Die Visualisierung des gelernten Priors zeigte, dass Cold-Start-Nutzer tendenziell stärker auf Semantische IDs (textbasiert) angewiesen sind, während Nutzer mit reichen Interaktionsverläufen stärker auf Kollaborative IDs (verhaltensbasiert) vertrauen. Dies bestätigt, dass das Modell sinnvolle, kontextbewusste Gewichtsstrategien lernt.
• Effizienz: Der Inferenz-Overhead für das Prior-Netzwerk ist vernachlässigbar (~0,01 s pro Nutzer), und die Batch-Verarbeitung ermöglicht eine effiziente Multi-Prompt-Inferenz.

5. Bedeutung

• Stabilität in Generativen Empfehlungssystemen: MVIGER löst das „Instabilitäts"-Problem generativer Empfehlungssysteme, das durch Prompt-/Index-Sensitivität verursacht wird, indem es es zu einem Feature (ergänzende Ansichten) und nicht zu einem Bug macht.
• Probabilistische Integration: Es geht über heuristische Konkatination oder einfache Ensemble-Methoden hinaus und bietet ein rigoroses probabilistisches Framework (Variations-Inferenz) zur Fusion heterogener Informationsquellen.
• Skalierbarkeit und Anpassungsfähigkeit: Das Framework ist nicht an spezifische Index-Typen gebunden (funktioniert mit CeID/SeID oder P5's CID/SemID) und kann sich an verschiedene Rechenbudgets anpassen, indem die Anzahl der zu aggregierenden Ansichten gewählt wird.
• Zukünftige Richtung: Die Arbeit hebt hervor, dass „Multi-View"-Lernen eine vielversprechende Richtung für Empfehlungssysteme der nächsten Generation ist, und legt nahe, dass zukünftige Arbeiten visuelle, preisbezogene oder externe Wissensquellen als zusätzliche Ansichten einbeziehen könnten.