🤖 machine learning

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

Dit artikel stelt SharpRec voor, een nieuw framework voor LLM-gebaseerde cross-domein sequentiële aanbeveling dat kennisconflicten en prestatiesatutatie in modelmerging aanpakt door middel van sharpness-aware geometrische uitlijning en voorkeurssalientie-activatie om bestaande state-of-the-art baselines significant te overtreffen.

Oorspronkelijke auteurs: Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die probeert de perfecte boekentip aan een bezoeker te geven. Als je alleen weet dat ze van sciencefiction houden, zou je misschien een space opera suggereren. Maar wat als je ook wist dat ze stiekem van koken houdt? Een echt slimme bibliothecaris zou die punten kunnen verbinden door een sciencefictionroman voor te stellen die zich afspeelt in een futuristische keuken. Dit is de droom van "Cross-Domain Sequential Recommendation": het gebruiken van wat iemand leuk vindt in één gebied (zoals films) om te raden wat ze in een ander gebied zouden kunnen waarderen (zoals boeken), zelfs als ze niet expliciet hebben verteld over hun nieuwe interesses.

Om dit te doen, gebruiken moderne computers "Large Language Models" (LLM's). Denk aan deze als superintelligente, veelgelezen breinen die de diepe betekenis van woorden begrijpen, niet alleen een lijst met trefwoorden. Ze kunnen uitzoeken dat "Star Wars" en "koken" misschien een thema delen van "epische reizen", zelfs als de gebruiker nooit een kookboek heeft gekocht. Echter, het aanleren van deze breinen om meerdere interesses tegelijk te jongleren is lastig. Als je probeert hun kennis van sport en speelgoed te mengen, kunnen ze in de war raken en de regels van voetbal mengen met de regels van bouwblokken. Dit artikel behandelt het probleem van hoe je deze verschillende "expertbreinen" kunt combineren tot één superbrein zonder dat ze over elkaar struikelen of hun unieke vaardigheden vergeten.

De onderzoekers, Huwei Ji en hun team van Zhejiang University en Hangzhou Dianzi University, ontdekten dat het simpelweg bij elkaar rammen van verschillende aanbevelingsmodellen niet goed werkt. Ze ontdekten twee hoofdproblemen. Ten eerste hebben de modellen vaak een "geometrische incompatibiliteit". Stel je voor dat je probeert twee verschillende puzzelstukjes samen te voegen die zo zijn gesneden dat ze in heel andere, grillige gaten passen; als je ze met geweld samenvoegt, raakt het plaatje vervormd. Ten tweede merkten ze een "verzadigingseffect" op. Als je steeds meer bronnen van kennis blijft toevoegen (zoals boeken, films, sport en speelgoed), loopt de prestatie van het model tegen een muur aan en stopt het met verbeteren. Het is alsof je te veel kleuren mengt; uiteindelijk krijg je een modderig bruin in plaats van een levendige nieuwe kleur. Het team noemt dit "statistische homogenisering", waarbij de unieke, scherpe details van elk belang worden gladgestreken tot een saai gemiddelde.

Om dit op te lossen, bouwde het team een nieuw framework genaamd SharpRec. Ze hebben de modellen niet alleen samengevoegd; ze hebben ze een make-over gegeven. Eerst gebruikten ze een techniek genaamd "Sharpness-aware Geometric Alignment". Denk hierbij aan het schuren van de grillige randen van de puzzelstukjes voordat je ze vastlijmt. Door de modellen voorzichtig te sturen naar "vlakke" plekken in hun leerlandschap (plekken waar kleine veranderingen het resultaat niet verpesten), zorgden ze ervoor dat de verschillende domeinen soepel in elkaar pasten zonder te botsen.

Ten tweede introduceerden ze "Preference Salience Activation". Wanneer de modellen werden samengevoegd, dreigden de unieke, hoogwaardige details (zoals een specifieke liefde voor vintage speelgoed) in de massa verloren te gaan. SharpRec werkt als een markeerstift: het vindt die belangrijke, zeldzame details die werden gladgestreken en versterkt ze weer. Het is als het nemen van een wazige foto en software gebruiken om de belangrijkste delen scherp te stellen, zodat het model zich de specifieke dingen herinnert die een gebruiker uniek maken, in plaats van slechts een generiek gemiddelde.

Het team testte SharpRec op echte data van Amazon, kijkend naar paren zoals Boeken en Films, of Sport en Speelgoed. Ze ontdekten dat hun methode consequent beter presteerde dan alle andere topmethoden. Sterker nog, terwijl andere methoden een prestatieplafond bereikten na het combineren van slechts drie of vier verschillende domeinen, bleef SharpRec steeds beter worden naarmate ze meer bronnen toevoegden. Ze toonden ook aan dat het werkt, zelfs wanneer er zeer weinig gebruikers zijn die overlappen tussen de twee domeinen, wat bewijst dat het geen enorme menigte mensen nodig heeft die beide dingen leuk vinden om de connectie te leggen.

Kortom, het artikel suggereert dat door zorgvuldig de "vorm" van de modellen af te stemmen en actief hun meest unieke kenmerken te beschermen, we aanbevelingssystemen kunnen bouwen die niet alleen slimmer zijn, maar ook in staat zijn om te leren van een breed scala aan verschillende interesses zonder in de war te raken of hun scherpte te verliezen. De resultaten, gemeten aan de hand van hoe vaak het systeem correct raadde wat de volgende aanbeveling zou zijn die een gebruiker leuk vindt, laten zien dat deze aanpak een belangrijke stap voorwaarts is in het maken van AI-aanbevelers die ons complexe, veelzijdige leven werkelijk begrijpen.

Technische Samenvatting: SharpRec voor LLM-gebaseerde Cross-Domain Sequentiële Aanbeveling

1. Probleemstelling

Cross-Domain Sequentiële Aanbeveling (CDSR) beoogt de prestaties van aanbevelingen in een doeldomein te verbeteren door gebruik te maken van interactiedata uit hulp-domeinen. Hoewel Large Language Models (LLM's) een krachtig instrument zijn geworden voor CDSR vanwege hun vermogen tot diep semantisch redeneren en het overbruggen van kloven tussen niet-overlappende gebruikers, kampen bestaande paradigma's met aanzienlijke beperkingen:

LLM-versterkte benaderingen lijden vaak aan semantische-collaboratieve misalignement, waarbij het dwingen van items in een verenigde semantische ruimte de dynamische voorkeurenmodellering verstoort.
LLM-gebaseerde benaderingen (bijv. unified instruction tuning) hebben moeite met verschillen in datadistributie over domeinen en missen flexibiliteit, aangezien domeinupdates kostbare volledige model-retraining vereisen.
Model Merging, een veelbelovend alternatief dat domeinspecifieke adapters (bijv. LoRA) integreert zonder opnieuw te trainen, stuit op twee kritieke empirische knelpunten wanneer het wordt toegepast op realistische, heterogene CDSR-scenario's:
1. Cross-Domain Kennisconflict: Het samenvoegen van modellen uit uiteenlopende domeinen (bijv. Sport en Speelgoed) leidt tot ernstige parameterinterferentie. Empirische analyse laat zien dat onafhankelijke fine-tuning modellen gevangen houdt in "scherpe minima" (sharp minima) die geometrisch incompatibel zijn, wat leidt tot negatieve transfer die niet kan worden opgelost door eenvoudige lineaire gewichtstuning.
2. Prestatieverzadiging in Multi-Domein Fusie: Naarmate het aantal bron-domeinen toeneemt, nemen de prestatiewinsten snel af. Dit wordt toegeschreven aan "statistische homogenisering", waarbij lineaire aggregatie fungeert als een gemiddeld filter dat prominente, hoog-magnitude parameters (outliers) gladstrijkt naar een generieke, kenarmde Gaussische distributie, waardoor de hoog-orde signalen die essentieel zijn voor het vastleggen van complexe cross-domein voorkeuren worden uitgewist.

2. Methodologie: SharpRec

Om deze knelpunten aan te pakken, stellen de auteurs SharpRec voor (Sharpness-aware Model Merging with Salience Recovery), een framework ontworpen om de prestatie-bovengrens van samengevoegde LLM-gebaseerde CDSR-modellen te verhogen. Het framework bestaat uit twee synergetische modules:

A. Sharpness-aware Geometric Alignment (SGA)

SGA pakt de geometrische incompatibiliteit (Uitdaging 1) aan door ervoor te zorgen dat domeinspecifieke modellen zich in verbonden, laag-loss basins bevinden vóór het samenvoegen.

Mechanisme: In plaats van standaard fine-tuning gebruikt SGA een sharpness-aware optimalisatie-objectief. Het behandelt het samenvoegingsproces als een worst-case stochastische perturbatie, waarbij het model naar "vlakke minima" (flat minima) wordt geleid in plaats van naar "scherpe minima".
Objectief: De optimalisatie minimaliseert het verschil in loss tussen de originele parameters en de geperturbeerde parameters binnen een straal $\rho$ . Dit zorgt ervoor dat de geaggregeerde parameters stabiel blijven onder de verschuivingen die door het samenvoegen worden geïnduceerd.
Theoretische Basis: De auteurs bewijzen dat de merging interferentie-fout begrensd wordt door het product van domeindivergentie en loss-sharpness. Door de sharpness ( $\sigma(\theta)$ ) te minimaliseren, garandeert SGA theoretisch dat het samenvoegingspad binnen een laag-loss regio blijft, wat negatieve transfer vermindert.

B. Preference Salience Activation (PSA)

PSA pakt de statistische homogenisering (Uitdaging 2) aan door de parameterdistributie na fusie te reconstrueren.

Mechanisme: Na de initiële lineaire aggregatie van adapters, past PSA een niet-lineaire herparameterisatiestrategie toe. Het introduceert eerst stochastische ontkoppeling door Gaussische ruis af te treken om parameters weg te bewegen van het hoge-densiteit gemiddelde.
Transformatie: Vervolgens past het een elementgewijze niet-lineaire projectiefunctie $T(\cdot)$ toe die grote-magnitude outliers versterkt terwijl nabij-nul ruis wordt onderdrukt. Dit transformeert de distributie van een smalle Gaussische naar een heavy-tailed distributie.
Doel: Dit proces herstelt de "salient preference signals" (hoog-magnitude gewichten) die de domeinspecifieke expertise coderen, welke doorgaans worden uitgehold door lineaire middeling.
Theoretische Basis: De auteurs demonstreren dat deze heavy-tailed distributie de functionele ruimte-dekking van het model uitbreidt (gemeten door de Jacobiaan-determinant), waardoor het samengevoegde model complexe, long-tail gebruikersinteresses kan vastleggen die lineaire fusie onderdrukt.

3. Belangrijkste Bijdragen

Nieuw Framework: De voorstel van SharpRec, een nieuw paradigma voor LLM-gebaseerde CDSR dat sharpness-aware optimalisatie en distributieherstel integreert om robuuste en schaalbare kennisoverdracht te bereiken.
Technische Oplossingen:
- SGA: Een methode om modellen naar vlakke minima te leiden, wat geometrische incompatibiliteit oplost en cross-domein parameterinterferentie vermindert.
- PSA: Een niet-lineaire herparameterisatietechniek om prominente voorkeurssignalen te reactiveren, de prestatieplafonds te verhogen en verzadiging in multi-domein fusie te verlichten.
Empirische Validatie: Uitgebreide experimenten in dual-domain en multi-domain scenario's tonen aan dat SharpRec consequent beter presteert dan state-of-the-art baselines, inclusief traditionele CDSR-methoden, LLM-versterkte benaderingen en bestaande model merging technieken.

4. Experimentele Resultaten

De auteurs evalueerden SharpRec op de Amazon Review 2023 dataset over zeven domeinen (Book, Movie, Food, Kitchen, Sport, Toy, Clothing).

Algemene Prestaties (RQ1): SharpRec behaalde state-of-the-art resultaten over alle zes cross-domein taken (bijv. Book $\to$ Movie, Sport $\to$ Toy), waarbij het baselines zoals WeaveRec, X-Cross en LLM4CDSR aanzienlijk versloeg. Bijvoorbeeld, in de Book $\to$ Movie taak behaalde SharpRec een NDCG@5 van 79,93%, vergeleken met 40,77% voor WeaveRec.
Schaalbaarheid (RQ2): In multi-domein instellingen (met integratie van tot 7 bron-domeinen) vertoonden baseline methoden een snelle prestatieverzadiging na 3–4 domeinen. In contrast hiermee behield SharpRec een robuuste opwaartse traject, waarbij het continue winst boekte (bijv. +51,4% verbetering ten op respectievelijk van WeaveRec in de Food taak met 7 domeinen).
Ablatie-studies (RQ3): Het verwijderen van SGA leidde tot ernstige prestatiedegradatie door parameterinterferentie, terwijl het verwijderen van PSA zorgde voor prestatieverzadiging in multi-domein instellingen, wat de noodzaak van beide modules bevestigt.
Robuustheid (RQ5): SharpRec demonstreerde een stabiele prestatie over variërende gebruikers-overlapratio's (20% tot 80%), waardoor het effectief het "overlap-dilemma" omzeilt dat traditionele CDSR-methoden teistert.

5. Betekenis en Claims

Het artikel claimt dat de effectiviteit van bestaande model merging methoden in CDSR fundamenteel wordt beperkt door geometrische parameterinterferentie en de statistische homogenisering van voorkeurssignalen.

De betekenis van SharpRec ligt in het vermogen om:

Het Schaalbaarheidsplafond te Doorbreken: Door de grondoorzaken van verzadiging en conflict aan te pakken, maakt SharpRec de effectieve integratie van een groot aantal diverse hulp-domeinen mogelijk, een capaciteit die voorheen beperkt was in CDSR.
Prestaties los te koppelen van Datadichtheid: Door gebruik te maken van semantische alignment en geometrisch herstel, zorgt het framework voor effectieve kennisoverdracht, zelfs in scenario's met minimale gebruikersoverlap, waardoor de afhankelijkheid van expliciete co-occurrence signalen wordt verminderd.
Een Robuust Paradigma te Bieden: Het werk biedt een schaalbare en efficiënte oplossing voor het benutten van open-world kennis in aanbevelingssystemen, waarbij de beperkingen van lineaire aggregatie en rigide representatie-alignment worden overstegen.

De auteurs concluderen dat SharpRec de weg vrijmaakt voor een efficiënter gebruik van LLM's in cross-domein scenario's door te garanderen dat samengevoegde modellen de onderscheidende, hoog-orde kenmerken behouden die nodig zijn voor complexe redenering en voorkeurenmodellering.