🤖 machine learning

Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study

Dit artikel presenteert een end-to-end industriële casestudy over het ranken van heterogene contentfeeds in Google Discover, waarbij de HA-MoE-architectuur voor adaptief multi-task leren en het LENS-observabilityframework worden geïntroduceerd om contentdiversiteit effectief te beheren terwijl zowel offline metrieken als online gebruikersbetrokkenheid worden verbeterd.

Oorspronkelijke auteurs: Di Bai, Jintao Liu, Zhenwei Tang, Peifan Wu, Nada Al-Thawr, Luoshu Wang

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Di Bai, Jintao Liu, Zhenwei Tang, Peifan Wu, Nada Al-Thawr, Luoshu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar de planken constant van plek veranderen. De ene plank bevat serieuze geschiedenisboeken, een andere heeft grappige kattenfilmpjes, een derde bevat recepten en een vierde heeft het laatste nieuws. In een perfecte wereld zou een bibliothecaris precies weten wat je wilt lezen, of je nu in de stemming bent voor een snelle grap of een diepe duik in de geschiedenis. Maar in de echte wereld van het internet is deze "bibliotheek" de Google Discover-feed, en de "bibliothecaris" is een computerprogramma genaamd een aanbevelingssysteem.

De uitdaging voor deze computerbibliothecarissen is dat ze vroeger werkten in zeer georganiseerde bibliotheken met één onderwerp, zoals een plek die alleen muziek heeft of alleen korte video's. Op die plekken zag alles er hetzelfde uit en gedroeg alles zich op dezelfde manier. Maar Google Discover is anders; het haalt content op van het hele open weefsel van het internet. Dit betekent dat de computer moet beslissen tussen een lang artikel, een video van 10 seconden, een persoonlijk bericht van een gebruiker en een door AI gegenereerde samenvatting, allemaal tegelijkertijd. Het is alsof je een enkele chef-kok vraagt om een perfecte biefstuk, een delicate soufflé en een pittige taco te bereiden voor dezelfde klant, terwijl hij dezelfde set ingrediënten en gereedschappen gebruikt. Als de chef te veel op de biefstuk focust, kan de taco verpest worden. Dit artikel behandelt het lastige probleem van het leren aan één computerbrein om al deze verschillende "smaken" aan content te hanteren zonder in de war te raken of de luidruchtigste, meest populaire zaken te bevoordelen.

De auteurs van dit artikel, een team van Google, stuitten op een specif으로 probleem: hun huidige systeem was als een "one-size-fits-all" chef. Het probeerde met één enkele set regels alles te rangschikken, wat leidde tot fouten. Soms pushte het artikelen met een lage kwaliteit en veel clickbait, simpelweg omdat ze veel klikken genereerden, terwijl het hoogwaardige video's die mensen echt wilden bekijken, begroef. Om dit op te lossen, bouwden ze een nieuw systeem genaamd HA-MoE (Heterogeneity-Adaptive Mixture-of-Experts).

Zie HA-MoE niet als een enkele chef, maar als een bruisende keuken met een slimme manager en een team van gespecialiseerde koks. In het oude systeem probeerde één kok alles te doen. In het nieuwe systeem kijkt de "manager" (het gating netwerk) naar de bestelling en het type eten (de content) en beslist welke specialistische kok het moet afhandelen. Als de bestelling voor een video is, stuurt de manager het naar de "Videospecialist". Als het een tekstartikel is, gaat het naar de "Schrijver". Cruciaal is dat de manager niet alleen gokt; het gebruikt een speciaal "heterogeniteitssignaal"—een klein briefje dat zegt: "Hé, dit is een video, behandel dit anders!" Dit zorgt ervoor dat de videospecialist kan schitteren zonder te worden overstemd door de artikel-specialist.

Maar hoe weet je of de keuken eigenlijk goed werkt? Het team realiseerde zich dat alleen kijken naar het totale aantal tevreden klanten niet genoeg was. Je kunt een geweldige dag hebben als geheel, maar als de videospecialist faalt, mis je alsnog kansen. Dus hebben ze een nieuwe manier uitgevonden om succes te meten, genaamd DL-AUC (Dual-Level AUC). Stel je voor dat je de keuken niet alleen beoordeelt op het totale aantal geserveerde maaltijden, maar ook op hoe goed de videospecialist het deed vergeleken met de artikel-specialist. Deze nieuwe score helpt hen problemen te ontdekken waarbij een bepaat type content onrechtmatig wordt genegeerd.

Om ervoor te zorgen dat het systeem in de loop van de tijd gezond blijft, hebben ze ook een hulpmiddel genaamd LENS gebouwd. Dit is als een paar röntgenbrillen voor de keuken. Het laat de engineers in de computerhersenen kijken om te zien welke "specialist" wat doet. Als het systeem lui wordt en alle specialisten hetzelfde gaan doen, merkt LENS dit onmiddellijk op. Dit helpt het team om problemen op te lossen voordat ze de gebruikerservaring verruïneren.

De resultaten waren veelbelovend. Wanneer ze dit nieuwe systeem testten op een enorme dataset van echte gebruikersinteracties, deed het het beter in het rangschikken van zowel positieve acties (zoals klikken en likes) als negatieve acties (zoals het wegklikken van een bericht) vergeleken met het oude systeem. Het slaagde erin om de "meerderheidsbias" te stoppen, waarbij populaire contenttypes voorheen de minder voorkomende types verpletterden. In online tests met echte gebruikers leidde het nieuwe systeem tot meer mensen die de app openden, dieper door de feed scrolden en een grotere variëteit aan content verkenden. Het artikel suggereert dat door de computer expliciet te leren om de verschillen tussen contenttypes te respecteren, in plaats van ze als hetzelfde te behandelen, we slimmere, eerlijkere en leukere feeds voor iedereen kunnen bouwen.

Technische Samenvatting: Heterogene Ranking in Industriële Schaal Recommender Systemen

1. Probleemstelling

Het artikel behandelt de uitdaging van verenigde ranking in Google Discover, een systeem dat zeer heterogene content aggregeert van het gedecentraliseerde open web (bijv. webartikelen, long/short-form video's, door gebruikers gegenereerde content, sportkaarten en AI-samenvattingen) in een enkele gepersonaliseerde feed. In tegenstelling tot platforms met een gesloten ecosysteem (bijv. muziek- of video-only apps) waar de contentmodaliteiten en interactiepatronen uniform zijn, wordt Google Discover geconfronteerd met twee primaire dimensies van heterogeniteit:

Data-heterogeniteit: Content mist uniforme kenmerken, wat leidt tot variaties in feature-densiteit, metadata-structuren en asymmetrische beschikbaarheid van signalen.
Interactie-heterogeniteit: Gebruikersinteractiepatronen en intenties variëren aanzienlijk per type content. Zo drijven "likes" en "dismissals" (verwijderingen) universeel, terwijl artikelen primair clicks drijven, terwijl UGC en sportkaarten juist lange verblijftijden (dwell times) drijven.

Belangrijkste uitdagingen:

Distributie-mismatch: Een model dat is geoptimaliseerd voor globale metrieken (bijv. algemene CTR) kan disproportioneel de voorkeur geven aan dominante, kwalitatief minderwaardige contenttypes (bijv. click-bait artikelen) boven hoogwaardige minderheidstypes (bijv. video's), wat de gebruikerservaring verslechtert.
Negatieve Transfer (Seesaw Fenomeen): Het gezamenlijk optimaliseren van conflicterende doelstellingen (bijv. het maximaliseren van clicks versus het minimaliseren van dismissals) in een gedeelde representatie zorgt er vaak voor dat verbeteringen in één taak ten koste gaan van andere taken.
Minority-Type Collapse: Gedeelde architecturen hebben de neiging om dominante contenttypes met rijkere features of hoger verkeer te bevoordelen, waardoor ondervertegenwoordigde contenttypes worden "overstemd".

De bestaande productie-baseline gebruikt een gedeelde Multi-Layer Perceptron (MLP) backbone met 11 taakspecifieke heads, wat een enkele latente representatie dwingt om alle contenttypes te bedienen, wat faalt in het adequaat aanpakken van deze heterogeniteiten.

2. Methodologie

De auteurs stellen een end-to-end workflow voor bestaande uit een nieuwe modelarchitectuur (HA-MoE), een observabiliteitsframework (LENS) en een gespecialiseerde evaluatiemetriek (DL-AUC).

2.1 HA-MoE: Heterogeniteit-Adaptieve Multi-gated Mixture-of-Experts

Om de uitdagingen aan te pakken zonder strikte industriële beperkingen (modelgrootte, trainingssnelheid en serving-latentie) te schenden, introduceren de auteurs HA-MoE. Deze architectuur integreert expliciete heterogeniteitssignalen ( $h$ ) in zowel de gating-netwerken als de expert-representaties.

Architectuur: Het maakt gebruik van een dichte, op experts gebaseerde multi-task learning framework met $N$ gedeelde experts (Feed-Forward Networks).
Heterogeniteit-bewuste Gating (HA-Gating): Het gating-mechanisme incorporeert expliciet heterogeniteitssignalen ( $h$ ) naast dichte features ( $x$ ) om de benutting van experts voor elke taak te bepalen. Dit stelt het model in staat om specifieke experts naar specifieke contentsegmenten te sturen, waardoor minderheidsegmenten worden beschermd tegen overschaduwing.
$g_t(x, h) = \text{Softmax}(W_t \Phi(x, h) + b_t)$
Heterogeniteit-gestuurde Lineaire Modulatie (HDLM): Om de capaciteit van experts te ontkoppelen van distributie-specifieke biases, wordt de output van elke expert dynamisch aangepast met behulp van schaal ( $\gamma$ ) en shift ( $\beta$ ) vectoren afgeleid van $h$ . Dit stelt het netwerk in staat om "context te wisselen" (bijv. de focus verschuiven van visuele patronen voor video's naar creator-affiniteit voor gevolgde makers) zonder massale parameteruitbreiding.
$\tilde{E}_n(x, h) = \gamma_n(h) \odot E_n(x) + \beta_n(h)$
Optimalisatie: Het model gebruikt een gecombineerde loss-functie die pointwise Binary Cross-Entropy (BCE) en pairwise RankNet loss balanceert om absolute waarschijnlijkheden te kalibreren terwijl de relatieve ordening behouden blijft.

2.2 LENS: Latent Expert Network Specialization

Om het "black box"-karakter van verenigde modellen te verzachten, introduceren de auteurs LENS, een lichtgewicht observabiliteitsframework:

Activation Slicing: Visualiseert de interne taakverdeling van het model door gating-activaties te snijden in content-per-expert matrices, waardoor zichtbaar wordt hoe verschillende experts specialiseren in verschillende contenttypes.
Permutation-Invariant Expert Matching (PIEM): Omdat MoE-experts permutatie-invariant zijn, is directe parametervergelijking onmogelijk. PIEM karakteriseert elke expert door een gedragsprofielvector (relatieve bijdrage over taken) en gebruikt het Hongarijaanse algoritme om de optimale 1-op-1 matching tussen model-snapshots te vinden. Het berekent een score op basis van Jensen-Shannon Divergentie (JSD) om functionele stabiliteit te volgen en "functionele collapse" (verlies van specialisatie) tijdens continue hertraining te detecteren.

2.3 DL-AUC: Dual-Level AUC

Standaard globale AUC kan structurele fouten maskeren waarbij een model scores voor meerderheidssegmenten opblaast terwijl minderheidsegmenten worden onderdrukt. De auteurs stellen DL-AUC voor om globale bruikbaarheid te balanceren met cross-segment correctheid:
$\text{DL-AUC} = \lambda \cdot \text{Micro-AUC} + (1 - \lambda) \cdot \text{Macro-xAUC}$

Micro-AUC: Meet de globale rankingkwaliteit onder de empirische verkeersdistributie.
Macro-xAUC: Het ongegewogen gemiddelde van xAUC over alle paren van contentsegmenten. Dit zorgt ervoor dat een positief item uit een minderheidsegment (bijv. Video) correct hoger wordt gerankt dan een negatief item uit een meerderheidssegment (bijv. Web Article), wat dominantie van de meerderheidsklasse voorkomt.

3. Belangrijkste Bijdragen

HA-MoE Architectuur: Een productie-klare, heterogeniteit-adaptieve MoE-ontwerp die expliciet contentcontext injecteert in gating- en expertlagen, wat effectieve specialisatie mogelijk maakt zonder significante operationele overhead (<5% toename in modelgrootte, <0,5% toename in latentie).
LENS Framework: Een nieuw observabiliteitsinstrument dat de interne modeldynamiek "ontdoos", waardoor ingenieurs de interne expert-specialisatie kunnen interpreteren en functionele heterogeniteit kwantitatief kunnen volgen over trainingscycli via PIEM.
DL-AUC Metriek: Een heterogeniteit-bewuste evaluatiemetriek die voorkomt dat modellen worden uitgerold die globale winsten behalen ten koste van de gezondheid van het ecosysteem (cross-segment correctheid).

4. Resultaten

Offline Evaluatie

Prestaties: Op een grootschalige industriële dataset (10M voorbeelden) behaalde HA-MoE de hoogste geaggregeerde DL-AUC (0,691 voor pInterest, 0,949 voor pDisinterest), waarmee zowel de Shared MLP baseline als de Standaard MMoE werd overtroffen.
Ablatie: Zowel de HA-Gating als de HDLM-componenten droegen bij aan de winst. Het volledige model slaagde erin de negatieve transfer die in baselines werd gezien, te keren, waardoor voorspellingen van negatieve engagement (pDisinterest) verbeterden terwijl positieve winsten behouden bleven.
Cross-Type Correctie: HA-MoE verkleinde de rankingkloof tussen Web Articles en Video's aanzienlijk. De kloof in cross-type xAUC (Vid+ vs. Web−) verbeterde van 0,141 (Shared MLP) naar 0,060 (HA-MoE), wat het vermogen van het model aantoont om te voorkomen dat kwalitatief minderwaardige artikelen hoogwaardige video's onderdrukken.

Online A/B-testen

Gedeployed op 1% van het live verkeer in Google Discover (honderden miljoenen DAU), vertoonde het HA-MoE model statistisch significante stijgingen:

Feed Activiteit: +0,22% DAU en +0,48% Viewed Impressions.
Exploratie: +0,34% Scroll Depth, +0,36% Diverse Feed Rate, en +0,54% Diverse Engagement Rate.
Stabiliteit: Er werden geen regressies waargenomen in kern-operationele metrieken. De resultaten valideerden dat verbeterde heterogene ranking vertaalt naar tastbare voordelen voor de gezondheid van het ecosysteem.

5. Betekenis en Claims

Het artikel claimt een productie-case study te presenteren die de effectiviteit van het expliciet modelleren van heterogeniteit in verenigde rankingsystemen valideert. De betekenis ligt in:

Industriële Schaalbaarheid: Het aantonen dat complexe heterogeniteit-adaptatie kan worden bereikt binnen strikte productiebeperkingen (latentie, opslag, trainingssnelheid), wat verder gaat dan theoretische voorstellen naar de gedeployde realiteit.
Ecosysteemgezondheid: Het bewijzen dat het balanceren van globale bruikbaarheid met cross-segment correctheid (via DL-AUC en HA-MoE) de "meerderheidsbias" voorkomt die typisch de gebruikerservaring in open-web feeds verslechtert.
Operationele Transparantie: Het vestigen van LENS als een cruciaal instrument voor het behoud van structurele stabiliteit in continue trainingspipelines, waardoor wordt gewaarborgd dat modelupdates niet onbedoeld leiden tot een instorting van de functionele specialisatie.

De auteurs concluderen dat hoewel het beheren van heterogeniteit op schaal een evoluerende uitdaging blijft, hun aanpak een robuust ontwerppatroon biedt voor industriële recommender systemen, waarbij de kloof tussen verenigde modellering en de diverse realiteiten van het open web wordt overbrugd. Toekomstig werk richt zich op meer expressieve gating, sparse routing en het uitbreiden van heterogeniteit-modellering naar user-level context en listwise optimalisatie.