Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

1. Problématique : Le Dilemme des Faux Négatifs en Recommandation

Le domaine de la Recommandation Séquentielle Multimodale (MSR) vise à prédire les prochains items d'un utilisateur en exploitant des données riches (images, texte, historique d'interactions). Bien que les méthodes existantes (comme SASRec ou HM4SR) soient performantes, elles reposent souvent sur des objectifs d'apprentissage point-wise (ex: Entropie Croisée) qui traitent tous les items non observés comme des négatifs égaux.

Le papier identifie un problème critique lors de l'application des techniques d'alignement basées sur les préférences, comme l'Optimisation Directe des Préférences (DPO), au domaine de la recommandation :

• Le Dilemme des Faux Négatifs : Contrairement aux modèles de langage (LLM) où les réponses négatives sont strictement incorrectes, dans les systèmes de recommandation avec feedback implicite, un item non cliqué n'est pas nécessairement un item détesté. Il peut simplement être un positif non observé.
• L'Échec du DPO Naïf : Les stratégies traditionnelles de DPO utilisent souvent un "Hard Negative Mining" (sélectionner l'item non cible avec le score le plus élevé). En recommandation, cela conduit à sélectionner et à pénaliser agressivement des items qui sont en réalité pertinents mais non observés. Cela introduit des gradients d'apprentissage erronés, déforme l'espace de classement et dégrade les performances.

2. Méthodologie : RoDPO

Les auteurs proposent RoDPO (Robust Direct Preference Optimization), un cadre conçu pour aligner les recommandateurs séquentiels multimodaux sur les préférences implicites des utilisateurs tout en atténuant le risque de faux négatifs.

A. Échantillonnage Stochastique des Négatifs Top-K (Cœur de la méthode)

Au lieu de pénaliser de manière déterministe un seul "négatif dur" (l'item avec le score maximal), RoDPO introduit une modification simple mais cruciale :

1. Construction du Pool : Pour un contexte donné, le modèle génère les scores pour tous les items. On extrait le pool dynamique des Top-K candidats les mieux notés (en excluant l'item positif réel $y_w$).
2. Échantillonnage Stochastique : L'item négatif ($y_l$) n'est pas fixe ; il est échantillonné uniformément à l'intérieur de ce pool Top-K.
3. Avantage : Cette approche maintient la "dureté" informative des négatifs (car ils proviennent des meilleurs candidats) tout en introduisant une stochasticité contrôlée. Cela réduit la probabilité de pénaliser systématiquement le même faux négatif, lissant ainsi l'optimisation et améliorant la robustesse.

B. Architecture et Mise à l'Échelle

• Encodeur Multimodal : Le modèle utilise des Transformers spécifiques à chaque modalité (ID, texte, image) fusionnés via une pondération apprenable.
• Sparse Mixture-of-Experts (MoE) : Pour gérer la complexité des préférences fines sans augmenter excessivement le coût d'inférence, le modèle intègre optionnellement une couche MoE clairsemée. Un routeur sélectionne un sous-ensemble d'experts (MLP) pour chaque entrée, permettant une mise à l'échelle efficace de la capacité du modèle.

C. Protocole d'Entraînement en Deux Étapes

1. Phase 1 (Warm-up) : Entraînement standard avec une perte d'Entropie Croisée (SFT) pour initialiser une politique de référence fiable ($\pi_{ref}$).
2. Phase 2 (Optimisation DPO) : Gel de la politique de référence et optimisation conjointe d'une perte d'Entropie Croisée et d'une perte DPO. La fonction objectif DPO utilise les marges de logits entre l'item gagnant ($y_w$) et l'item perdant échantillonné ($y_l$) :
   $$\mathcal{L}_{DPO} = -\log \sigma \left( \beta [ \Delta s_\theta(x, y_w, y_l) - \Delta s_{ref}(x, y_w, y_l) ] \right)$$
   Où $\beta$ contrôle la force de l'alignement.

3. Contributions Clés

1. Identification du Goulot d'Étranglement : Démonstration que la fragilité du DPO en recommandation provient principalement de la stratégie d'échantillonnage des négatifs face aux faux négatifs, et non de la complexité architecturale.
2. Nouvelle Stratégie d'Échantillonnage : Proposition de l'Échantillonnage Stochastique Top-K, une méthode plug-and-play qui équilibre la difficulté des négatifs et la tolérance aux faux négatifs.
3. Cadre RoDPO Intégré : Combinaison de cette stratégie avec un encodeur MoE clairsemé pour une capacité accrue et un coût d'inférence négligeable.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks Amazon (Toys and Games, Beauty, Home and Kitchen).

• Performance Globale : RoDPO surpasse systématiquement les méthodes de l'état de l'art (y compris HM4SR, le meilleur baseline multimodal).
  • Gain maximal de +5,25% sur le NDCG@5 et +7,67% sur le MRR@5 sur le jeu de données "Toys and Games".
• Analyse de l'Échantillonnage (Ablation) :
  • L'échantillonnage "Hard" (Argmax) performe à peine mieux que l'échantillonnage aléatoire, confirmant le problème des faux négatifs.
  • L'échantillonnage Top-K Stochastique de RoDPO obtient les meilleurs résultats, prouvant que l'équilibre entre dureté et stochasticité est optimal.
• Efficacité :
  • Coût d'Inférence : Négligeable. Le temps d'inférence par lot est quasi identique à celui du baseline (0,45s vs 0,42s), car le modèle de référence est gelé et le MoE n'active qu'une partie des experts.
  • Coût d'Entraînement : Très faible surcharge (9,84s/epoch vs 9,81s/epoch) grâce au partage de l'architecture de base.

5. Signification et Conclusion

Ce travail est significatif car il adapte avec succès les techniques d'alignement avancées (DPO) du NLP au domaine de la recommandation, en résolvant le problème fondamental des faux négatifs inhérent aux données implicites.

• Impact Théorique : Il démontre que la simple application de DPO échoue sans une adaptation de la stratégie de négatifs, et que la stochasticité est un outil puissant pour la robustesse.
• Impact Pratique : RoDPO offre une méthode efficace pour améliorer la précision du classement (ranking) sans pénaliser la latence de déploiement, ouvrant la voie à l'utilisation de modèles de fondation plus grands et mieux alignés pour les systèmes de recommandation multimodaux.

En résumé, RoDPO transforme le DPO d'une méthode fragile en recommandation en une approche robuste, capable de distinguer les préférences réelles des artefacts de données non observées.