Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

1. Problemstellung: Das „False Negative"-Dilemma in Empfehlungssystemen

Das Paper adressiert ein fundamentales Problem bei der Anwendung von Direct Preference Optimization (DPO) – einer Methode, die ursprünglich aus dem Bereich der NLP (Natural Language Processing) stammt, um Modelle an menschliche Präferenzen anzupassen – auf multimodale sequenzielle Empfehlungssysteme (MSR).

• Herausforderung: In NLP sind negative Beispiele (z. B. falsche Antworten eines Modells) strikt unerwünscht. In Empfehlungssystemen mit implizitem Feedback (z. B. Klicks oder Käufe) ist ein nicht beobachteter Artikel jedoch nicht zwangsläufig negativ; er könnte einfach nur unbeobachtet sein („unobserved positive").
• Das Dilemma: Herkömmliche DPO-Ansätze nutzen oft „Hard Negatives" (die Artikel mit der höchsten Vorhersagewahrscheinlichkeit, die nicht der Zielartikel sind). Im Empfehlungskontext führt dies dazu, dass das Modell unbeobachtete positive Artikel fälschlicherweise als negative Beispiele behandelt und aggressiv unterdrückt. Dies erzeugt fehlerhafte Gradienten, verzerrt den Lernraum und verschlechtert die Ranking-Leistung erheblich.
• Ziel: Die Autoren untersuchen, wie DPO unter implizitem Feedback robust gemacht werden kann, ohne dass die Leistung durch diese falschen Negativ-Beispiele beeinträchtigt wird.

2. Methodik: RoDPO Framework

Die Autoren schlagen RoDPO (Robust Direct Preference Optimization) vor, ein Framework, das die DPO-Optimierung für multimodale sequenzielle Empfehlungen anpasst.

A. Stochastisches Top-K-Negativ-Sampling (Kerninnovation)

Anstatt deterministisch den einzigen „härtesten" Negativartikel (Argmax) als negatives Beispiel ($y_l$) zu wählen, führt RoDPO einen stochastischen Ansatz ein:

1. Dynamischer Kandidatenpool: Es wird eine Top-K-Liste der am höchsten bewerteten Artikel (außer dem positiven Zielartikel $y_w$) gebildet.
2. Stochastische Auswahl: Das negative Beispiel $y_l$ wird zufällig (uniform) aus diesem Top-K-Pool gezogen.
3. Vorteil: Dies behält die informativen „harten" Signale bei (da die Kandidaten hoch bewertet sind), reduziert aber das Risiko, wiederholt denselben „False Negative" zu bestrafen. Die Stochastik glättet den Optimierungsprozess und macht ihn robuster gegenüber unbeobachteten Positiven.

B. Multimodaler Encoder mit Sparse MoE

• Das System nutzt einen Transformer-basierten Encoder, der Item-IDs sowie multimodale Merkmale (Text und Bilder) verarbeitet.
• Zur effizienten Skalierung der Modellkapazität wird optional eine Sparse Mixture-of-Experts (MoE)-Schicht integriert. Diese aktiviert nur eine Teilmenge von Experten pro Eingabe, was die Kapazität erhöht, ohne die Inferenzkosten signifikant zu steigern.

C. Zwei-Phasen-Trainingsprotokoll

1. Phase 1 (Warm-up): Das Modell wird zunächst mit einem Standard Cross-Entropy (CE) Verlust für die nächste-Artikel-Vorhersage trainiert, um eine stabile Referenzpolitik ($\pi_{ref}$) zu etablieren.
2. Phase 2 (DPO-Feinabstimmung): Das Modell wird mit einem kombinierten Verlust optimiert: $L_{total} = L_{CE} + \lambda L_{DPO}$. Dabei bleibt die Referenzpolitik eingefroren. Der DPO-Loss nutzt die Logits des positiven und des stochastisch gewählten negativen Artikels, um die Präferenzgrenzen anzupassen.

3. Hauptbeiträge

1. Identifikation des Kernproblems: Die Autoren zeigen systematisch, dass die Anfälligkeit von DPO in Empfehlungssystemen primär auf die Strategie der Negativ-Auswahl und das „False Negative"-Dilemma zurückzuführen ist, nicht auf die Architektur selbst.
2. Stochastisches Top-K-Sampling: Sie schlagen eine einfache, aber effektive Modifikation vor, die die Härte des Lernsignals mit der Toleranz gegenüber falschen Negativen in Einklang bringt.
3. Robustes Framework (RoDPO): Ein plug-and-play Framework, das DPO erfolgreich in multimodale sequenzielle Empfehlung integriert, unterstützt durch Sparse MoE für effizientes Scaling.
4. Umfassende Evaluation: Detaillierte Experimente belegen, dass die Leistungsgewinne direkt auf die verbesserte Negativ-Sampling-Strategie zurückzuführen sind und nicht auf bloße Komplexitätssteigerung.

4. Ergebnisse

Die Methode wurde auf drei Amazon-Benchmarks (Toys and Games, Beauty, Home and Kitchen) evaluiert und mit starken Baselines (einschließlich multimodaler State-of-the-Art-Modelle wie HM4SR) verglichen.

• Leistungssteigerung: RoDPO übertrifft alle Baselines konsistent. Auf dem „Toys and Games"-Datensatz wurde eine Verbesserung von +5,25% bei NDCG@5 und +7,67% bei MRR@5 gegenüber dem besten Baseline-Modell (HM4SR) erzielt.
• Ablationsstudien:
  • Der Vergleich verschiedener Sampling-Strategien zeigt, dass reines „Hard Sampling" (Argmax) nur marginale Verbesserungen bringt und oft schlechter abschneidet als das vorgeschlagene Top-K-Sampling.
  • Der Einsatz von Sparse MoE führt zu weiteren Leistungssteigerungen, da die erhöhte Kapazität hilft, komplexe Präferenzgrenzen besser zu modellieren.
• Effizienz:
  • Training: Der Overhead durch das DPO-Framework ist vernachlässigbar (ca. 9,84s vs. 9,81s pro Epoche), da die Referenzpolitik eingefroren ist.
  • Inferenz: Die Inferenz-Latenz bleibt nahezu unverändert (0,45s vs. 0,42s pro Batch), da das Referenzmodell beim Deployment verworfen wird und MoE nur einen Teil der Experten aktiviert.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Schnittstelle zwischen Large Language Models (LLMs) und Empfehlungssystemen. Es demonstriert, dass Techniken wie DPO erfolgreich auf Empfehlungssysteme übertragen werden können, aber nur, wenn die spezifischen Eigenschaften von implizitem Feedback (insbesondere die Unsicherheit über nicht beobachtete Items) berücksichtigt werden.

• Paradigmenwechsel: Statt nur auf Wahrscheinlichkeiten (Likelihood) zu optimieren, erzwingt RoDPO explizite relative Präferenzen, was zu besseren Ranking-Grenzen führt.
• Robustheit: Die vorgeschlagene stochastische Sampling-Strategie bietet einen neuen Standard für das Training von Empfehlungssystemen, die mit unvollständigen Daten umgehen müssen.
• Zukunftsperspektive: Die Arbeit ebnet den Weg für die Anwendung von Foundation-Model-Techniken auf große Empfehlungssysteme, wobei die Balance zwischen Modellkapazität (MoE) und Trainingsstabilität (DPO) entscheidend ist.

Zusammenfassend zeigt RoDPO, dass durch eine intelligente Anpassung der Negativ-Sampling-Strategie die Leistung von multimodalen Empfehlungssystemen signifikant gesteigert werden kann, ohne dabei die Effizienz zu opfern.