🤖 machine learning

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

Cet article propose SharpRec, un nouveau cadre pour la recommandation séquentielle cross-domaine basée sur les LLM qui traite les conflits de connaissances et la saturation des performances dans la fusion de modèles grâce à un alignement géométrique sensible à la netteté et à une activation de la saillance des préférences afin de surpasser de manière significative les bases de référence de l'état de l'art existantes.

Auteurs originaux : Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un bibliothécaire essayant de recommander le livre parfait à un visiteur. Si vous savez seulement qu'il aime la science-fiction, vous pourriez lui suggérer une space opera. Mais et si vous saviez aussi qu'il aime secrètement la cuisine ? Un bibliothécaire vraiment intelligent pourrait faire le lien entre ces points, en suggérant un roman de science-fiction situé dans une cuisine futuriste. C'est le rêve de la « Recommandation Séquentielle Trans-Domaine » : utiliser ce qu'une personne aime dans un domaine (comme les films) pour deviner ce qu'elle pourrait apprécier dans un autre (comme les livres), même si elle ne vous a pas explicitement fait part de ses nouveaux intérêts.

Pour ce faire, les ordinateurs modernes utilisent des « Grands Modèles de Langage » (LLM). Considérez-les comme des cerveaux super-intelligents et très cultivés qui comprennent le sens profond des mots, et pas seulement une liste de mots-clés. Ils peuvent comprendre que « Star Wars » et la « cuisine » peuvent partager un thème de « voyage épique », même si l'utilisateur n'a jamais acheté de livre de cuisine. Cependant, apprendre à ces cerveaux à jongler avec plusieurs intérêts à la fois est délicat. Si vous essayez de mélanger leurs connaissances sur le sport et les jouets, ils pourraient s'embrouiller, mélangeant les règles du football avec les règles des blocs de construction. Ce document s'attaque au problème de savoir comment combiner ces différents « cerveaux experts » en un seul super-cerveau sans qu'ils ne se marchent sur les pieds ou n'oublient leurs compétences uniques.

Les chercheurs, Huwei Ji et son équipe de l'Université de Zhejiang et de l'Université de Hangzhou, ont découvert que le simple fait d'écraser différents modèles de recommandation ensemble ne fonctionne pas bien. Ils ont identifié deux problèmes principaux. Premièrement, les modèles présentent souvent une « incompatibilité géométrique ». Imaginez que vous essayiez de fusionner deux pièces de puzzle qui ont été sculptées pour s'insérer dans des trous très différents et dentelés ; si vous les forcez ensemble, l'image se déforme. Deuxièmement, ils ont remarqué un effet de « saturation ». Si vous continuez à ajouter de plus en plus de sources de connaissances (comme ajouter des livres, des films, du sport et des jouets), les performances du modèle atteignent un mur et cessent de s'améliorer. C'est comme mélanger trop de peintures ensemble ; finalement, on obtient un brun boueux au lieu d'une nouvelle couleur vibrante. L'équipe appelle cela l'« homogénéisation statistique », où les détails uniques et tranchants de chaque intérêt sont lissés en une moyenne ennuyeuse.

Pour corriger cela, l'équipe a construit un nouveau cadre appelé SharpRec. Ils n'ont pas simplement fusionné les modèles ensemble ; ils leur ont offert une cure de rajeunissement. D'abord, ils ont utilisé une technique d'« Alignement Géométrique de Netteté » (Sharpness-aware Geometric Alignment). Considérez cela comme le ponçage des bords dentelés des pièces de puzzle avant de les coller. En poussant doucement les modèles à trouver des zones « plates » dans leur paysage d'apprentissage (des endroits où de petits changements ne gâchent pas le résultat), ils ont fait en sorte que les différents domaines puissent s'emboîter harmonieusement sans s'entrechoquer.

Deuxièmement, ils ont introduit une « Activation de la Saillance des Préférences ». Lorsque les modèles étaient fusionnés, les détails uniques et de haute valeur (comme un amour spécifique pour les jouets vintage) se perdaient dans la foule. SharpRec agit comme un surligneur, trouvant ces détails importants et rares qui ont été lissés et les boostant à nouveau. C'est comme prendre une photo floue et utiliser un logiciel pour accentuer les parties les plus importantes, garantissant que le modèle se souvienne des choses spécifiques qui rendent un utilisateur unique, plutôt que d'une moyenne générique.

L'équipe a testé SharpRec sur des données réelles provenant d'Amazon, en examinant des paires comme Livres et Films, ou Sport et Jouets. Ils ont constaté que leur méthode surpassait systématiquement toutes les autres méthodes de pointe. En fait, alors que d'autres méthodes atteignaient un mur de performance après avoir combiné seulement trois ou quatre domaines différents, SharpRec continuait de s'améliorer à mesure qu'il ajoutait des sources. Ils ont également montré que cela fonctionne même lorsqu'il y a très peu d'utilisateurs qui se chevauchent entre les deux domaines, prouvant que le système n'a pas besoin d'une foule massive de personnes aimant à la fois les deux pour établir la connexion.

En résumé, l'article suggère qu'en alignant soigneusement la « forme » des modèles et en protégeant activement leurs caractéristiques les plus uniques, nous pouvons construire des systèmes de recommandation qui sont non seulement plus intelligents, mais aussi capables d'apprendre à partir d'un vaste éventail d'intérêts différents sans s'embrouiller ou perdre leur tranchant. Les résultats, mesurés par la fréquence à laquelle le système devinait correctement le prochain article qu'un utilisateur aimerait, montrent que cette approche est une étape significative vers la création de systèmes de recommandation par IA qui comprennent véritablement nos vies complexes et multiformes.

Résumé Technique : SharpRec pour la Recommandation Séquentielle Cross-Domaine basée sur les LLM

1. Énoncé du Problème

La recommandation séquentielle cross-domaine (CDSR - Cross-Domain Sequential Recommendation) vise à améliorer la performance de recommandation dans un domaine cible en exploitant les données d'interaction de domaines auxiliaires. Bien que les grands modèles de langage (LLM) soient devenus un outil puissant pour la CDSR grâce à leur capacité de raisonnement sémantique profond et de pontage entre des utilisateurs non chevauchants, les paradigmes existants font face à des limitations significatives :

Les approches enrichies par LLM souffrent souvent d'un désalignement sémantique-collaboratif, où le fait de forcer les articles dans un espace sémantique unifié déforme la modélisation des préférences dynamiques.
Les approches basées sur les LLM (par exemple, l'ajustement d'instructions unifié) luttent contre les conflits de distribution de données entre les domaines et manquent de flexibilité, car la mise à jour des domaines nécessite un réentraînement complet et coûteux du modèle.
La fusion de modèles (Model Merging), une alternative prometteuse qui intègre des adaptateurs spécifiques au domaine (par exemple, LoRA) sans réentraînement, rencontre deux goulots d'étranglement empiriques critiques lorsqu'elle est appliquée à des scénarios de CDSR réels et hétérogènes :
1. Conflit de Connaissance Cross-Domaine : La fusion de modèles provenant de domaines divergents (par exemple, Sport et Jouets) entraîne une interférence de paramètres sévère. L'analyse empirique révèle que le fine-tuning indépendant piège les modèles dans des « minima tranchants » (sharp minima) qui sont géométriquement incompatibles, causant un transfert négatif qui ne peut être résolu par un simple ajustement linéaire des poids.
2. Saturation de la Performance dans la Fusion Multi-Domaine : À mesure que le nombre de domaines sources augmente, les gains de performance diminuent rapidement. Cela est attribué à l'« homogénéisation statistique », où l'agrégation linéaire agit comme un filtre de moyenne, lissant les paramètres saillants à haute magnitude (outliers) en une distribution gaussienne générique et pauvre en caractéristiques, effaçant ainsi les signaux d'ordre supérieur essentiels pour capturer des préférences cross-domaines complexes.

2. Méthodologie : SharpRec

Pour répondre à ces goulots d'étranglement, les auteurs proposent SharpRec (Sharpness-aware Model Merging with Salience Recovery), un cadre conçu pour élever la limite supérieure de performance des modèles CDSR basés sur les LLM fusionnés. Le cadre se compose de deux modules synergiques :

A. Alignement Géométrique Sensible à la Netteté (SGA - Sharpness-aware Geometric Alignment)

SGA traite l'incompatibilité géométrique (Défi 1) en garantissant que les modèles spécifiques au domaine résident dans des bassins de faible perte connectés avant la fusion.

Mécanisme : Au lieu d'un fine-tuning standard, SGA emploie un objectif d'optimisation sensible à la netteté. Il traite le processus de fusion comme une perturbation stochastique du pire cas, guidant le modèle vers des « minima plats » (flat minima) plutôt que des « minima tranchants ».
Objectif : L'optimisation minimise la différence de perte entre les paramètres originaux et les paramètres perturbés à l'intérieur d'un rayon $\rho$ . Cela garantit que les paramètres agrégés restent stables sous les changements induits par la fusion.
Base Théorique : Les auteurs prouvent que l'erreur d'interférence de fusion est bornée par le produit de la divergence de domaine et de la netteté de la perte. En minimisant la netteté ( $\sigma(\theta)$ ), SGA garantit théoriquement que le chemin de fusion reste dans une région de faible perte, atténuant le transfert négatif.

B. Activation de la Saillance des Préférences (PSA - Preference Salience Activation)

PSA traite l'homogénéisation statistique (Défi 2) en reconstruisant la distribution des paramètres après la fusion.

Mécanisme : Après l'agrégation linéaire initiale des adaptateurs, PSA applique une stratégie de reparamétrage non linéaire. Il introduit d'abord un désenchevêtrement stochastique en soustrayant un bruit gaussien pour éloigner les paramètres de la moyenne de haute densité.
Transformation : Il applique ensuite une fonction de projection non linéaire par élément $T(\cdot)$ qui amplifie les valeurs aberrantes de grande magnitude tout en supprimant le bruit proche de zéro. Cela transforme la distribution d'une Gaussienne étroite vers une distribution à queue lourde (heavy-tailed distribution).
Objectif : Ce processus permet de récupérer les « signaux de préférence saillants » (poids de grande magnitude) qui encodent l'expertise spécifique au domaine, lesquels sont typiquement érodés par la moyenne linéaire.
Base Théorique : Les auteurs démontrent que cette distribution à queue lourde étend la couverture de l'espace fonctionnel du modèle (mesurée par le déterminant jacobien), permettant au modèle fusionné de capturer des intérêts utilisateurs complexes et de longue traîne que la fusion linéaire supprime.

3. Contributions Clés

Nouveau Cadre : La proposition de SharpRec, un nouveau paradigme pour la CDSR basée sur les LLM qui intègre l'optimisation sensible à la netteté et la récupération de distribution pour parvenir à un transfert de connaissances robuste et scalable.
Solutions Techniques :
- SGA : Une méthode pour guider les modèles vers des minima plats, résolvant l'incompatibilité géométrique et atténuant l'interférence de paramètres cross-domaines.
- PSA : Une technique de reparamétrage non linéaire pour réactiver les signaux de préférence saillants, élevant le plafond de performance et atténuant la saturation dans la fusion multi-domaine.
Validation Empirique : Des expériences approfondies sur des scénarios de double domaine et multi-domaine démontrant que SharpRec surpasse systématiquement les bases de référence de l'état de l'art, incluant les méthodes CDSR traditionnelles, les approches enrichies par LLM et les techniques de fusion de modèles existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué SharpRec sur le jeu de données Amazon Review 2023 à travers sept domaines (Livre, Film, Nourriture, Cuisine, Sport, Jouet, Vêtements).

Performance Globale (RQ1) : SharpRec a obtenu des résultats de pointe dans les six tâches cross-domaines (ex: Livre $\to$ Film, Sport $\to$ Jouet), surpassant nettement les bases de référence comme WeaveRec, X-Cross et LLM4CDSR. Par exemple, dans la tâche Livre $\to$ Film, SharpRec a atteint un NDCG@5 de 79,93 %, contre 40,77 % pour WeaveRec.
Scalabilité (RQ2) : Dans les contextes multi-domaines (intégrant jusqu'à 7 domaines sources), les méthodes de base ont montré une saturation rapide de la performance après 3 à 4 domaines. En revanche, SharpRec a maintenu une trajectoire ascendante robuste, atteignant des gains continus (ex: +51,4 % d'amélioration par rapport à WeaveRec pour la tâche Nourriture avec 7 domaines).
Études d'Ablation (RQ3) : Supprimer SGA a entraîné une dégradation sévère des performances due à l'interférence de paramètres, tandis que supprimer PSA a provoqué une saturation des performances dans les contextes multi-domaines, confirmant la nécessité des deux modules.
Robustesse (RQ5) : SharpRec a démontré une performance stable à travers différents ratios de chevauchement d'utilisateurs (20 % à 80 %), contournant efficacement le « dilemme du chevauchement » qui affecte les méthodes CDSR traditionnelles.

5. Signification et Revendications

L'article affirme que l'efficacité des méthodes de fusion de modèles existantes en CDSR est fondamentalement contrainte par l'interférence géométrique des paramètres et l'homogénéisation statistique des signaux de préférence.

La signification de SharpRec réside dans sa capacité à :

Briser le Plafond de Scalabilité : En traitant les causes profondes de la saturation et du conflit, SharpRec permet l'intégration efficace d'un grand nombre de domaines auxiliaires diversifiés, une capacité auparavant limitée en CDSR.
Découpler la Performance de la Densité de Données : En exploitant l'alignement sémantique et la récupération géométrique, le cadre assure un transfert de connaissances efficace même dans des scénés avec un chevauchement d'utilisateurs minimal, réduisant la dépendance aux signaux de cooccurrence explicites.
Fournir un Paradigme Robuste : Ce travail offre une solution scalable et efficace pour l'utilisation des connaissances du monde ouvert dans les systèmes de recommandation, allant au-delà des limitations de l'agrégation linéaire et de l'alignement de représentation rigide.

Les auteurs concluent que SharpRec ouvre la voie à une utilisation plus efficace des LLM dans les scénarios cross-domaines en garantissant que les modèles fusionnés conservent les caractéristiques distinctes de haut ordre nécessaires au raisonnement complexe et à la modélisation des préférences.