LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

Cet article propose LLM-EMF, une approche novatrice de recommandation séquentielle inter-domaines qui améliore les performances en fusionnant des données multimodales enrichies par des modèles de langage (LLM) et en utilisant un mécanisme d'attention multiple pour capturer les préférences complexes des utilisateurs.

L'essentiel

🌟 Le Concept : Un Détective Polyglotte et Multisensoriel

Imaginez que vous êtes un grand libraire qui doit deviner quel livre vous allez aimer lire ensuite.

• L'approche traditionnelle : Elle regarde seulement l'historique de vos achats (ex: "Vous avez acheté un roman policier, donc je vais vous en proposer un autre"). C'est comme si le libraire ne connaissait que le titre du livre, sans jamais avoir vu la couverture ni lu l'histoire.
• Le problème : Si vous achetez aussi des produits de cuisine, le libraire traditionnel est perdu. Il ne sait pas que votre amour pour les romans policiers pourrait vous faire aimer un livre de cuisine sur les "meurtres culinaires". De plus, il ignore souvent les images et les descriptions détaillées.

LLM-EMF, c'est le nouveau super-libraire qui résout ce problème en utilisant trois super-pouvoirs combinés :

---

1. Le "Traducteur Magique" (Le LLM) 🧠

Imaginez que le libraire a un assistant très intelligent (un LLM, ou Grand Modèle de Langage) qui a lu des millions de livres.

• Ce qu'il fait : Quand vous regardez un produit (disons, une poêle), le libraire traditionnel voit juste "Poêle".
• La magie : L'assistant demande au LLM : "Décris cette poêle comme si tu parlais à un ami, en ajoutant des détails sur son style, son usage et qui l'aimerait."
• Le résultat : Au lieu de juste "Poêle", le système reçoit une description riche : "Poêle en fonte robuste, idéale pour les chefs amateurs qui aiment les plats mijotés, avec un design vintage."
• L'avantage : Cela permet de faire le lien entre des domaines différents. Si vous aimez les romans historiques "vintage", le système comprendra que vous aimerez aussi cette poêle, même si l'un est un livre et l'autre un objet de cuisine.

2. Les "Yeux et Oreilles" (La Fusion Multimodale) 👁️👂

Le système ne se contente pas de lire le texte. Il utilise aussi :

• Les Yeux (Vision) : Il regarde la photo du produit (comme un humain qui juge un livre par sa couverture).
• Les Oreilles (Texte) : Il lit la description enrichie par l'assistant magique.
• L'Identité (ID) : Il connaît le code-barres unique du produit.

L'analogie : C'est comme si vous deviez choisir un film. Vous ne regardez pas seulement le titre (le code-barres), vous regardez l'affiche (l'image) et vous lisez la critique détaillée (le texte). En combinant tout cela, vous avez une idée beaucoup plus précise de ce que vous allez aimer.

3. Le "Chef d'Orchestre Équilibré" (L'Attention Hiérarchique) 🎻

C'est le plus grand défi : comment écouter à la fois vos achats de livres et vos achats de cuisine sans que l'un n'écrase l'autre ?

• Le problème : Si vous achetez 100 livres et seulement 2 poêles, un système bête pensera que vous n'aimez que les livres et ignorera totalement la cuisine.
• La solution : Le système utilise un "Chef d'Orchestre" intelligent. Il écoute la section "Livres" et la section "Cuisine" séparément, mais il s'assure que la section "Cuisine" n'est pas étouffée par le volume de la section "Livres".
• Le but : Il trouve l'équilibre parfait pour vous recommander un livre de cuisine ou un livre de cuisine, en fonction de ce qui est le plus pertinent à l'instant T, sans laisser une catégorie dominer l'autre.

---

🏆 Le Résultat : Pourquoi c'est génial ?

Les chercheurs ont testé ce système sur de vraies données d'achat (Amazon).

• Avant : Les systèmes classiques faisaient des erreurs grossières en ne voyant pas les liens entre les catégories.
• Aujourd'hui (LLM-EMF) : Le système devine mieux vos envies. Il comprend que si vous aimez les films d'horreur, vous aimerez peut-être aussi les livres d'histoires vraies effrayantes, ou même certains accessoires de maison sombres.

En résumé :
Ce papier présente un système de recommandation qui ne se contente pas de regarder ce que vous avez acheté, mais qui comprend ce que vous aimez en utilisant :

1. Un cerveau artificiel pour enrichir les descriptions.
2. Des yeux artificiels pour voir les images.
3. Un chef d'orchestre pour équilibrer vos différents centres d'intérêt.

C'est comme passer d'un libraire qui lit juste les codes-barres à un ami très cultivé qui connaît vos goûts profonds et vous recommande exactement ce qu'il vous faut, même si c'est dans une catégorie que vous n'avez jamais explorée !

Résumé technique

1. Problématique et Contexte

La Recommandation Séquentielle (SR) vise à prédire le prochain article d'un utilisateur en analysant ses interactions historiques. Cependant, les méthodes SR traditionnelles souffrent de deux limitations majeures :

• Sparsité des données et biais de domaine : Les interactions sont souvent limitées à un seul domaine, ce qui entraîne un surapprentissage aux motifs spécifiques à ce domaine et une mauvaise généralisation.
• Sous-exploitation des données multimodales : Les approches existantes de Recommandation Séquentielle Transversale (CDSR) ne tirent pas pleinement parti des informations visuelles (images) et textuelles (titres, descriptions), se concentrant souvent uniquement sur les identifiants (IDs) des articles.

De plus, même les approches récentes intégrant des Modèles de Langage (LLM) négligent souvent le déséquilibre entre les domaines (par exemple, un domaine ayant beaucoup plus d'interactions qu'un autre), ce qui peut fausser les préférences de l'utilisateur en favorisant le domaine dominant.

2. Méthodologie : Le Framework LLM-EMF

Les auteurs proposent LLM-EMF, un cadre innovant qui intègre l'enrichissement par LLM, la fusion multimodale et une attention hiérarchique équilibrée. L'architecture se compose de trois modules principaux :

A. Enrichissement Textuel par LLM (Prompt-based Augmentation)

• Approche : Pour chaque article, un modèle LLM (Deepseek-r1) est sollicité via un prompt conçu spécifiquement.
• Fonctionnement : Le prompt demande au LLM de générer des attributs sémantiques supplémentaires et des mots-clés basés sur le titre et le domaine de l'article.
• Objectif : Créer des attributs textuels agnostiques au domaine (domain-agnostic) qui améliorent l'alignement sémantique entre différents domaines (ex: entre "Alimentation" et "Cuisine"), comblant ainsi les lacunes des métadonnées brutes.

B. Intégration des Caractéristiques Multimodales

Le framework encode les articles sous trois formes parallèles :

1. Embeddings ID : Une matrice d'embeddings apprenable ($E_{id}$) pour les identifiants des articles.
2. Embeddings Visuels : Utilisation d'un encodeur CLIP (gelé) pour extraire les caractéristiques des images des articles ($E_{img}$).
3. Embeddings Textuels : Utilisation du même encodeur CLIP pour traiter les descriptions enrichies par le LLM ($E_{tex}$).

Ces trois vecteurs sont combinés pour former une représentation d'article riche, simulant la capacité humaine à intégrer l'information visuelle, sémantique et linguistique.

C. Mécanisme d'Attention Hiérarchique et Équilibrage de Domaine

Pour gérer les séquences d'interactions dans deux domaines (X et Y) et leur séquence fusionnée (X+Y), le modèle utilise une attention hiérarchique :

• Traitement Séparé : Les sous-séquences $S_X$, $S_Y$ et $S_{X+Y}$ sont traitées séparément pour capturer à la fois les dépendances intra-domaine et inter-domaine.
• Fusion des Prédictions : Le modèle génère des scores de prédiction basés sur les IDs, les images et le texte pour chaque domaine.
• Équilibrage : Une fonction de perte pondérée et des facteurs de pondération ($\lambda_1, \lambda_2$) sont utilisés pour réguler l'influence de chaque domaine. Cela empêche le domaine avec le plus grand volume de données de dominer les recommandations, assurant un apprentissage équilibré.

3. Contributions Clés

1. Stratégie d'Augmentation par LLM : Conception d'une stratégie de prompting pour générer des attributs textuels supplémentaires agnostiques au domaine, améliorant l'alignement sémantique transversal.
2. Fusion Multimodale Unifiée : Proposition d'un cadre qui fusionne simultanément les embeddings ID, visuels et textuels via un mécanisme d'attention hiérarchique, capturant des préférences complexes.
3. Gestion du Déséquilibre de Domaine : Introduction d'un mécanisme d'attention explicite qui régule l'influence des domaines, évitant que les domaines à haute fréquence ne dominent le modèle.
4. Performance État-de-l'Art : Démonstration empirique que LLM-EMF surpasse les méthodes existantes sur plusieurs jeux de données.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Amazon, configuré en deux scénarios CDSR :

• Food-Kitchen (Alimentation - Cuisine)
• Movie-Book (Films - Livres)

Métriques utilisées : MRR (Mean Reciprocal Rank) et NDCG@5 / NDCG@10.

Résultats Principaux :

• Supériorité globale : LLM-EMF a obtenu les meilleurs scores sur tous les métriques pour les deux scénarios.
  • Exemple (Food-Kitchen) : MRR de 9.24% (Food) et 5.13% (Kitchen), surpassant le modèle le plus proche (MIFN) qui obtient 8.55% et 4.09%.
  • Exemple (Movie-Book) : MRR de 6.32% (Movie) et 2.86% (Book), contre 5.05% et 2.51% pour le meilleur concurrent.
• Étude Ablative : L'analyse a confirmé l'apport de chaque composant :
  • L'ajout de la fusion textuelle a augmenté le MRR de +0.85.
  • L'ajout de la fusion visuelle a apporté un gain significatif (+0.85 points par rapport à la base textuelle seule).
  • L'intégration complète (LLM + Visuel + Texte) a permis d'atteindre le score optimal, prouvant la complémentarité des modalités.

5. Signification et Impact

Ce travail est significatif car il est, à la connaissance des auteurs, le premier cadre CDSR à intégrer systématiquement trois piliers :

1. La connaissance générée par les LLM pour l'enrichissement sémantique.
2. La fusion multimodale (Image + Texte + ID) via CLIP.
3. Un mécanisme explicite d'équilibrage des domaines pour contrer les biais de données.

L'article démontre que l'exploitation conjointe des capacités de compréhension sémantique des LLM et des représentations visuelles de CLIP permet de modéliser les préférences utilisateurs de manière beaucoup plus holistique et robuste, dépassant les limites des méthodes basées uniquement sur les IDs ou les modèles de transfert de domaine classiques. Cela ouvre la voie à des systèmes de recommandation plus précis et adaptatifs dans des environnements e-commerce complexes.