💻 computer science

FedCGR: Federated Cross-Domain Generative Recommendation

FedCGR is een federatief cross-domein generatief aanbevelingsframework dat beperkingen op het gebied van dataprivacy en gegevensschaarsheid overwint door items te representeren als discrete semantische ID's afgeleid van publieke metadata, waardoor cross-domein uitlijning mogelijk wordt via een gedeelde vocabulaire terwijl betrouwbaarheidsbewuste interfaces en prototype-gepersonaliseerde aggregatie worden gebruikt om lokale collaboratieve signalen effectief te integreren en negatieve transfer te mitigeren.

Oorspronkelijke auteurs: Zhuodong Liu, Hugen Lv, Xiangyu Li, Bohan Guo, Peiyu Hu

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuodong Liu, Hugen Lv, Xiangyu Li, Bohan Guo, Peiyu Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een super-slimme aanbevelingsmotor te bouwen, zoals degene die je volgende favoriete film of nummer suggereert. Normaal gesproken moeten deze motoren alles zien waarop je ooit hebt geklikt om je smaak te leren kennen. Maar in de echte wereld is je data verspreid over verschillende apps en bedrijven, en vanwege privacywetgeving (en gezond verstand) kan niemand zomaar jouw persoonlijke geschiedenis uitwisselen met die van een vreemde. Dit creëert een puzzel: hoe leer je een systeem dat iemand die van "pittig eten" houdt, misschien ook van "pittige muziek" houdt, zonder dat je hun privélijsten daadwerkelijk te zien krijgt?

Dit is de uitdaging van Federated Learning (modellen samen trainen zonder ruwe data te delen) en Cross-Domain Recommendation (kennis uit het ene gebied gebruiken om een ander gebied te helpen). Het artikel pakt een specifieke, lastige versie hiervan aan: wat als de "taal" die computers gebruiken om objecten te beschrijven in elk domein anders is? Het is alsof je probeert een recept te vertalen van een Franse chef naar een Japanse chef, terwijl ze totaal verschillende woorden gebruiken voor "zout" en "hitte". De auteurs stellen een nieuwe manier voor om dit op te lossen door een gedeelde, stabiele woordenlijst te creëren waar iedereen het over eens is, terwijl elke chef nog steeds zijn eigen geheime familierecepten privé kan houden.

Het Probleem: Het "Lost in Translation"-dilemma

In de wereld van aanbevelingssystemen proberen computers vaak te leren door te kijken naar patronen in gebruikersgedrag. Maar wanneer je dit leren verdeelt over verschillende bedrijven (federated learning), wordt het een rommeltje. Meestal, om twee verschillende werelden te verbinden (zoals "Boodschappen" en "Sport"), moet het systeem een gemeenschappelijke grond vinden, zoals gebruikers die op beide plaatsen winkelen. Maar in een privacy-georiënteerde omgeving zijn die overlappende gebruikers zeldzaam of verborgen.

Eerdere pogingen om dit op te lossen, probeerden vaak de interne "gedachten" (embeddings) van de computers op één lijn te brengen. Maar de auteurs beargumenteren dat dit is alsozoeken naar het uitlijnen van twee verschillende kaarten door er met samengeknepen ogen naar te kijken tot ze op elkaar lijken — het is fragiel en leidt vaak tot verwarring. Als de "kaarten" iets van elkaar verschillen, raken de aanbevelingen verstoord.

De Oplossing: Een Gedeelde "Geheime Code"

De auteurs, Zhuodong Liu en zijn team, introduceren FedCGR (Federated Cross-Domain Generative Recommendation). Hun grote idee is om te stoppen met het proberen uit te lijnen van de rommelige, private gedachten en in plaats daarvan eerst een gedeelde, stabiele taal af te spreken.

Stel je voor dat elk product in de wereld (een broodrooster, een hardloopschoen, een zak koffie) een unieke, korte code krijgt gemaakt van letters, zoals een streepjescode. Deze code wordt gegenereerd op basis van de publieke beschrijving van het item (de titel, categorie en kenmerken), niet op basis van wie het heeft gekocht. Dit wordt een Semantic ID (SID) genoemd.

De Magie: Omdat de code gebaseerd is op publieke tekst, krijgen de "Broodrooster" in de supermarkt en de "Broodrooster" in de keukenwinkel exact dezelfde code. Dit creëert een universele woordenlijst waar iedereen mee instemt, zonder dat iemand zijn private boodschappenlijsten hoeft te delen.

Hoe FedCGR werkt: Het "Vertrouw maar Verifieer"-systeem

Nu iedereen dezelfde codetaal spreekt, moest het team twee nieuwe problemen oplossen:

Het "Statische Woordenlijst"-probleem: Omdat de woordenlijst (de codes) vaststaat om consistent te blijven, kan het systeem niet nieuwe "nuances" leren van de woordenlijst zelf. Het heeft een manier nodig om lokale kleur toe te voegen.
Het "Slechte Vertaling"-probleem: Als je simpelweg ieders trainingsdata blindelings bij elkaar mixt (een standaardmethode genaamd FedAvg), kunnen de verschillen tussen domeinen (zoals "Sport" versus "Schoonheid") het model in de war brengen, waardoor het slechter wordt dan wanneer het alleen had geleerd. Dit wordt negative transfer genoemd.

FedCGR lost dit op met twee slimme trucs:

1. De "Betrouwbaarheidsbewuste" Injectie
Beschouw de vaste SID-code als het skelet van het item. Maar een skelet vertelt je niet of een gebruiker dat item daadwerkelijk leuk vindt. Om het "vlees" toe te voegen, voegt elke lokale computer (client) een kleine hint toe op basis van zijn eigen private data.

Echter, niet alle hints zijn goed. Als een item erg populair is, is de hint sterk. Als het een vreemd, zelden gekocht item is, kan de hint ruis bevatten.
FedCGR gebruikt een confidence gate (betrouwbaarheidspoort). Het vraagt: "Is deze lokale hint betrouwbaar?" Als een item lokaal populair is, wordt de hint toegelaten. Als het een obscuur item is, wordt de hint gedempt. Dit zorgt ervoor dat het systeem alleen lokale data gebruikt wanneer het betrouwbaar is, wat voorkomt dat "ruis" het gedeelde model verpest.

2. Het "Gepersonaliseerde Team" (Prototype Aggregatie)
In plaats van alle domeinen te dwingen om het eens te worden over één enkel "gemiddeld" model, werkt FedCGR als een slimme teamleider.

Het kijkt naar de "persoonlijkheid" (een wiskundige samenvatting genaamd een prototype) van elk domein.
Als het "Boodschappen"-domein erg lijkt op het "Keuken"-domein, mengt het systeem hun kennis intensief.
Als "Boodschappen" heel verschillend is van "Sport", houdt het systeem hun kennis gescheiden en deelt het alleen de delen die echt universeel zijn.
Dit is als een studiegroep waar studenten van vergelijkbare opleidingen (Biologie en Chemie) diepgaand aantekeningen delen, terwijl de student van Kunstgeschiedenis alleen algemene studietips deelt, waarbij de specifieke kunstkennis privé blijft.

Wat ze vonden

Het team testte FedCGR in zes verschillende scenario's met echte Amazon-data (een mix van domeinen zoals Voedsel, Keuken, Schoonheid, Sport en Boodschappen).

Het werkt beter: FedCiler presteerde consequent beter dan andere federated methoden. In de meest chaotische, gemengde scenario's (waar domeinen zeer verschillend waren), verbeterde het de nauwkeurigheid van de aanbevelingen met bijna 20% vergeleken met standaardmethoden.
Het gaat om met Cold Starts: Voor nieuwe gebruikers met een zeer beperkte geschiedenis (het "cold start"-probleem), bood de gedeelde SID-taal een solide fundament, waardoor het systeem goede gissingen kon doen zelfs zonder veel data.
De Afweging: Het systeem vereist wel wat meer communicatie tussen computers (ongeveer 18% meer verzonden data per ronde) omdat het deze gepersonaliseerde samenvattingen verstuurt. Maar omdat het sneller leert en fouten vermijdt, bereikt het de doelstelling eigenlijk met minder totale communicatie.

De Belangrijkste Les

FedCGR laat zien dat je geen offer hoeft te brengen op privacy om slimme aanbevelingen te krijgen. Door een stabiele, publieke "code" voor objecten af te spreken en vervolgens lokale kennis alleen toe te voegen wanneer deze betrouwbaar is, kun je een systeem bouwen dat van iedereen leert zonder dat iemand zijn geheimen hoeft te onthullen. Het verandert een rommelig, privacygevoelig probleem in een schoon, collaboratief spel waarbij iedereen dezelfde taal spreekt maar zijn eigen geheimen veilig houdt.

Technische Samenvatting: FedCGR

Probleemstelling

Cross-domain aanbeveling (CDR) streeft ernaar om voorkennis tussen gerelateerde domeinen over te dragen om problemen met dataschaarsheid en cold-start te mitigeren. Het implementeren van CDR in een Federated Learning (FL) omgeving introduceert echter een fundamentele spanning. Traditionele CDR vertrouwt op "gedragsankers" — zoals overlappende gebruikers, co-occurrence grafieken of gedeelde interactiesignalen — om de itemruimtes tussen domeinen uit te lijnen. In een federated omgeving zijn deze ankers vaak schaars, niet beschikbaar of privacygevoelig omdat ruwe gebruikersinteracties lokaal worden vastgehouden door verschillende cliënten (bijv. platforms of business units) en niet gecentraliseerd kunnen worden.

Bestaande federated CDR-methoden zijn overwegend discriminatief, waarbij geprobeerd wordt om private, continue representatieruimtes tussen cliënten uit te lijnen. Dit creëert een koppeling tussen privacy en de effectiviteit van de uitlijning: het dwingen van cliënten om private embeddings uit te lijnen leidt vaak tot negatieve transfer onder domeinheterogeniteit of faalt door het gebrek aan gedeelde gedragssignalen. Terwijl Generatieve Aanbeveling met behulp van Semantic IDs (SIDs) een verenigde taal voor items biedt op basis van publieke metadata, introduceert het direct federeren van SID-gebaseerde generatoren twee nieuwe beperkingen:

De Semantic-Only Bottleneck: Om de consistentie van tokens tussen cliënten te handhaven, moet de SID-tokenizer vast blijven. Dit voorkomt het globale delen van domeinspecifieke collaborative filtering (CF) signalen, aangezien lokaal getrainde CF-embeddings onafhankelijk zijn en niet coördinaat-uitgelijnd zijn.
Negatieve Transfer in Aggregatie: Standaard federated averaging (FedAvg) is inadequaat voor autoregressieve SID-generatie onder domeinheterogeniteit. Perturbaties in de vroege tokenverdelingen kunnen door het generatieproces cascadeer effecten veroorzaken, wat leidt tot negatieve transfer wanneer domeinen gedragsmatig verschillend zijn.

Methodologie: FedCGR

De auteurs stellen FedCGR (Federated Cross-Domain Generative Recommendation) voor, een framework ontworpen om de "itemtaal" stabiel te houden terwijl adaptatie expliciet wordt gemaakt. De architectuur bestaat uit twee gekoppelde mechanismen:

1. Betrouwbaarheidsbewuste Semantische Interface

Deze component lost de semantic-only bottleneck op door lokale CF-informatie in de stabiele SID-representaties te injecteren zonder de privacy te schenden.

Stabiele SID-vocabulaire: Een Residual Quantization VAE (RQ-VAE) tokenizer is vooraf getraind op publieke item-zijde metadata (titels, categorieën, beschrijvingen) en is bevroren tijdens de federated training. Dit zorgt ervoor dat hetzelfde SID-token in alle cliënten naar dezelfde semantische regio verwijst.
Lokale CF-extractie: Elke cliënt traint onafhankelijk een lichtgewicht sequentieel model (bijv. SASRec) op zijn private interacties om lokale CF-item embeddings te genereren. Deze embeddings worden nooit gedeeld.
Residuele Fusie: Voor elk item in een gebruikerssequentie wordt de inputrepresentatie geconstrueerd als de som van de SID-token embedding en een residueel CF-signaal.
- Item-niveau Betrouwbaarheid ( $\rho$ ): Een betrouwbaarheidsscore gebaseerd op de lokale interactiefrequentie bepaalt de betrouwbaarheid van de CF-embedding. Items met een hoge frequentie krijgen hogere gewichten; long-tail items worden lager gewogen om ruis te onderdrukken.
- Client-lokale Gate ( $g_i$ ): Een leerbare gate kalibreert de algehele bijdrage van CF-informatie op domeinniveau.
- Adapter: Een lokale gedragsadapter brengt de cliëntspecifieke CF-embeddingruimte in kaart naar de verborgen ruimte van de generator.
Alleen-voor-training Regularisatie: Een lokale dense prediction head wordt gebruikt tijdens de training om de gedeelde encoder aan te moedigen betrouwbare CF-informatie te behouden via een confidence-weighted InfoNCE loss, maar deze head wordt weggegooid tijdens inferentie.

2. Prototype-Gepersonaliseerde Federated Generator

Deze component adresseert negatieve transfer door verder te gaan dan uniforme aggregatie.

Shared-Private Expert Architectuur: De generator maakt gebruik van een Mixture-of-Experts (MoE) blok dat shared experts (die deelnemen aan de federatie) en private experts (lokaal gehouden) bevat. Dit stelt het model in staat om algemene patronen te leren terwijl domeinspecifieke capaciteiten behouden blijven.
Domein Prototypes: Cliënten berekenen een compact domein prototype uit de encoder-geheugens van hun lokale data. Dit prototype dient als een samenvatting van de gedragsverdeling van het domein.
Gelijkenisbewuste Aggregatie: In plaats van FedAvg voert de server een prototype-gepersonaliseerde aggregatie uit. Gedeelde parameters voor een doeldomein worden geaggregeerd als een gewogen som van parameters van alle cliënten, waarbij de gewichten worden bepaald door de cosinus-gelijkenis tussen het prototype van het doeldomein en het prototype van het brondomein, aangepast door het datavolume. Dit zorgt ervoor dat kennis primair wordt overgedragen van gedragsmatig verwante domeinen.

Belangrijkste Bijdragen

Formulering: Het artikel formuleert federated CDR als generatie over een stabiele semantische itemtaal, waarbij publieke metadata een gedeelde vocabulaire definieert en ruwe interacties lokaal blijven.
Framework Design: FedCGR introduceert een betrouwbaarheidsbewuste semantische interface die lokale CF-informatie injecteert via confidence-gated residuen, waarmee de semantic-only bottleneck wordt opgel respecteerd.
Gepersonaliseerde Aggregatie: Het stelt een prototype-gepersonaliseerde generator voor die domeinprototypes gebruikt om gedeelde parameters selectief te aggregeren, wat negatieve transfer in heterogene federated settings mitigeert.
Empirische Validatie: Uitgebreide experimenten op zes Amazon cross-domain scenario's tonen aan dat FedCGR beter presteert dan federated generatieve baselines en concurreert met sterke sequentiële en federated discriminatieve CDR-methoden.

Experimentele Resultaten

De auteurs evalueerden FedCGR op zes scenario's met vijf Amazon-domeinen (Food, Kitchen, Grocery, Beauty, Sports) met variërende niveaus van domein-gerelateerdheid (hoge affiniteit tot lage affiniteit).

Prestaties vs. Federated Baselines: FedCGR presteerde consequent beter dan federated generatieve baselines (TIGER+FedAvg, TIGER+FedProx) en federated discriminatieve methoden (FedDCSR, FedSASRec). In het meest heterogene 4-domein scenario (GKBS) verbeterde FedCGR N@10 met 19,4% ten opzichte van TIGER+FedProx en met 22,4% ten opzichte van FedDCSR.
Prestaties vs. Non-Federated: FedCGR behaalde concurrerende prestaties ten opzichte van non-federated discriminatieve baselines (SASRec, GRU4Rec), en overtrof deze vaak in scenario's met schaarste of hoge heterogeniteit, ondanks de privacybeperkingen.
Cold-Start Analyse: De stabiele SID-vocabulaire bood een sterk fundament voor cold-start gebruikers (weinig interacties), terwijl de betrouwbaarheidsbewuste CF-residuele steeds grotere voordelen bood naarmate de gebruikersactiviteit toenam.
Efficiëntie: Hoewel FedCGR een iets hogere per-ronde communicatiekosten heeft (ongeveer 18% meer parameters door shared experts), convergeert het sneller. Het totale communicatiebudget dat nodig was om een doelaccuratesse te bereiken, werd met 34–45% verminderd vergeleken met de FedAvg-baselines.

Betekenis en Claims

Het artikel claimt dat FedCGR succesvol de spanning tussen federated privacy en cross-domain alignment oplost door de mechanisme van de uitlijning te verschuiven van private gedragsdata naar een publieke, stabiele semantische vocabulaire.

De auteurs benadrukken een specifiek "cross-over patroon" dat aan het licht kwam uit ablatie-studies:

In high-affinity scenario's (gelijkaardige domeinen) is de primaire bottleneck het herstellen van domeinspecifiek collaboratief gedrag; daarom is de betrouwbaarheidsbewuste CF-interface de cruciale component.
In high-heterogeneity scenario's (verschillende domeinen) is de primaire bottleneck negatieve transfer; daarom is prototype-gepersonaliseerde aggregatie de bindende factor.

Het werk demonstreert dat federated generatieve aanbeveling niet alleen een gedeelde tokenruimte vereist, maar ook mechanismen voor betrouwbaarheidsbewuste gedragsinjectie en gelijkenisbewuste parameterdeling om effectief te zijn. De code is publiekelijk beschikbaar en het framework wordt gepresenteerd als een robuuste oplossing voor cross-silo federated aanbeveling waarbij datasilos organisatorisch gescheiden zijn.