🤖 AI

HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent

Dit artikel introduceert HiGR, een hiërarchisch generatief framework op industriële schaal voor slate-recommedatie dat de beperkingen van bestaande methoden aanpakt door een gestructureerde SID-ruimte via PCRQ-VAE te gebruiken, een grofmazige hiërarchische slate-decoder voor efficiënte planning, en een ORPO-gebaseerd aligneringsmechanisme, wat resulteert in significante verbeteringen in de kwaliteit van aanbevelingen, de inferentiesnelheid en de werkelijke gebruikersbetrokkenheid op Tencent-platforms.

Oorspronkelijke auteurs: Yunsheng Pang, Zijian Liu, Yudong Li, Shaojie Zhu, Zijian Luo, Chenyun Yu, Sikai Wu, Shichen Shen, Cong Xu, Bin Wang, Kai Jiang, Chengxiang Zhuo, Zang Li

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunsheng Pang, Zijian Liu, Yudong Li, Shaojie Zhu, Zijian Luo, Chenyun Yu, Sikai Wu, Shichen Shen, Cong Xu, Bin Wang, Kai Jiang, Chengxiang Zhuo, Zang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de redacteur bent van een dagblad. Je taak is niet alleen om het beste verhaal voor de voorpagina te kiezen; je moet een hele voorpagina (een "slate") samenstellen met 10 verschillende verhalen.

Wat is de uitdaging? Als je gewoon de 10 populairste verhalen individueel kiest, eindig je misschien met 10 verhalen over dezelfde beroemdheid, of 10 verhalen over hetzelfde type misdaad. De lezer raakt verveeld, of krijgt het gevoel in een "informatiebubbel" te zitten. Je hebt een mix nodig: een beetje politiek, een beetje sport, een beetje menselijke interesse, allemaal gerangschikt op een manier die de lezer aanzet tot verder lezen.

Dit is precies het probleem dat HiGR oplost voor apps zoals de nieuws- en videoplatforms van Tencent. Het is een nieuwe "AI-redacteur" die niet alleen items één voor één kiest, maar de hele pagina in één keer plant.

Hier is hoe HiGR werkt, onderverdeeld in drie eenvoudige stappen met analogieën:

1. De Bibliotheek van Georganiseerde Boeken (PCRQ-VAE)

Voordat de AI een lijst kan schrijven, moet het een manier hebben om te begrijpen waar elk item (video, nieuwsartikel, roman) over gaat.

De Oude Manier: Stel je een bibliotheek voor waar elk boek een willekeurig nummerlabel heeft. Als je "Sci-Fi" wilt vinden, moet je elk boek controleren om te zien of het nummer overeenkomt. Het is rommelig en inefficiënt.
De HiGR-Manier: HiGR bouwt een slimme bibliotheek. Het geeft elk boek een speciale code (een "Semantic ID") die fungeert als een hiërarchisch adres.
- Het eerste deel van de code vertelt je het Genre (bijv. "Sci-Fi").
- Het tweede deel vertelt je het Subgenre (bijv. "Space Opera").
- Het laatste deel identificeert het Specifieke Boek.
De Magie: HiGR gebruikt een speciale trainingsmethode (genaamd Prefix-Contrastive RQ-VAE) om ervoor te zorgen dat alle "Space Opera"-boeken dezelfde eerste sectie van hun code delen. Dit maakt het voor de AI gemakkelijk om te zeggen: "Ik heb een Space Opera nodig," zonder de hele bibliotheek te hoeven doorzoeken.

2. De Architect in Twee Stappen (Hierarchical Slate Decoder)

Nu moet de AI de voorpagina bouwen.

De Oude Manier (De Langzame Bouwer): Stel je een bouwer voor die elke steen één voor één moet leggen om een heel huis te bouwen. Als hij een fout maakt op de eerste steen, moet hij de hele muur afbreken en opnieuw beginnen. Dit is traag en zorgt voor verwarring over de algehele vorm van het huis.
De HiGR-Manier (De Architect + De Metselaar): HiGR verdeelt de taak in twee rollen:
1. De Architect (Coarse-Grained Planner): Eerst kijkt de Architect naar de gebruiker en zegt: "Oké, voor deze persoon moet de voorpagina zijn: 1. Een sportverhaal, 2. Een tech-verhaal, 3. Een kookverhaal." De architect kiest nog niet de specifieke verhalen, maar plant alleen de vibe en de structuur van de pagina. Dit is snel en zorgt ervoor dat de pagina gebalanceerd oogt.
2. De Metselaar (Fine-Grained Generator): Zodra de Architect zegt: "We hebben een sportverhaal nodig," vindt de Metselaar snel het beste specifieke sportverhaal om die plek in te vullen.
Het Resultaat: Omdat de Architect eerst de hele lay-out plant, raakt de AI niet verstrikt in de details. Het bouwt de pagina veel sneller (5 keer sneller!) terwijl de structuur perfect blijft.

3. De Kritiek van de Redacteur (ORPO Preference Alignment)

Ten slotte moet de AI leren wat een goede voorpagina maakt, en niet alleen een technisch correcte.

Het Probleem: Als je een AI alleen leert om het "volgende woord" te voorspellen, kan het een zin schrijven die grammaticaal perfect is maar saai. Vergelijkbaar daarmee kan een AI 10 items kiezen die allemaal populair zijn, maar repetitief.
De HiGR-Oplossing: HiGR gebruikt een techniek genaamd ORPO (Odds Ratio Preference Optimization). Denk aan dit als een strenge redacteur die twee versies van de voorpagina beoordeelt:
- Versie A (De Winnaar): Een pagina die de gebruiker daadwerkelijk heeft bekeken, leuk vond en helemaal heeft gelezen.
- Versie B (De Verliezer): Een pagina die willekeurig is gehusseld, saaie items bevatte, of te repetitief was.
De Les: De AI leert deze twee te vergelijken. Het leert dat een goede pagina niet alleen over populariteit gaat, maar ook over Ranking (het beste eerst plaatsen), Echte Interesse (dingen kiezen waar de gebruiker echt van houdt) en Diversiteit (zorgen dat de pagina niet alleen over hetzelfde onderwerp gaat).

De Impact in de Praktijk

Het paper meldt dat dit systeem al live is op de Tencent-platformen en honderden miljoenen gebruikers bedient.

Snelheid: Het draait 5 keer sneller dan eerdere methoden, wat betekent dat gebruikers niet hoeven te wachten tot hun feed geladen is.
Kwaliteit: In real-world tests verhoogde het de tijd die mensen besteedden aan het kijken van video's met 1,22% en het aantal afgespeelde video's met 1,73%.
Schaal: Het verwerkt enorme hoeveelheden data zonder moeite, wat bewijst dat deze "Architect + Metselaar"-aanpak werkt voor industriële schaal aanbevelingen.

Kortom: HiGR is een AI die stopt met het proberen te kiezen van items één voor één. In plaats daarvan schetst het eerst een gebalanceerd, divers plan voor de hele lijst, en vult het vervolgens snel de details in, waardoor gebruikers een gepersonaliseerde, boeiende en niet-repetitieve ervaring krijgen.

Technische Samenvatting: HiGR - Een Hiërarchisch Generatief Framework voor Industriële Schaal Slate-aanbevelingen

1. Probleemstelling

Slate-aanbeveling, waarbij gebruikers een gerangschikte lijst met items in één enkele weergave wordt gepresenteerd, is cruciaal voor platforms zoals videofeeds en nieuwsaggregators. Hoewel recente generatieve aanbevelingsmethoden die gebruikmaken van Semantische ID's (SIDs) veelbelovend zijn, stuit de directe toepassing ervan op industriële schaal voor slate-aanbevelingen op drie fundamentele disconnects:

Verstrengelde SID-ruimtes: Bestaande semantische ID-methoden produceren vaak coderuimtes waarin prefixes niet betrouwbaar gedeelde semantiek vastleggen. Deze "verstrengeling" belemmert hoogwaardige lijstplanning en maakt het moeilijk om relevantie en diversiteit te sturen.
Inefficiënt Autoregressief Decoderen: Het genereren van een $M$ -item slate vereist het decoderen van $M \times D$ tokens (waarbij $D$ het aantal SID-tokens per item is). Volledige sequentie-autoregressieve beam search introduceert aanzienlijke latentie en verstrengelt intra-item semantiek met inter-item transities, waardoor de globale slate-structuur wordt vertroebeld.
Niet-afgestemde Doelstellingen: Standaard token-niveau likelihood training optimaliseert niet direct de holistische kwaliteit van de slate. Real-world platforms vereisen het gelijktijdig optimaliseren van meerdere lijst-niveau doelstellingen: rangschikkingsgetrouwheid (ranking fidelity), oprechte gebruikersinteresse en intra-lijst diversiteit.

2. Methodologie: Het HiGR Framework

HiGR (Hierarchical Generative Recommendation) pakt deze uitdagingen aan via een co-ontworpen pipeline bestaande uit drie nauw gekoppelde componenten:

A. Prefix-Contrastive Residual Quantized VAE (PCRQ-VAE)

Om een controleerbare discrete ruimte voor planning te creëren, leert HiGR gestructureerde SIDs met behulp van een aangepaste Residual Quantized VAE.

Globale Kwantisatie: In tegenstelling tot standaard RQ-VAE, dat lagen onafhankelijk optimaliseert, introduceert PCRQ-VAE een globale kwantisatie-doelstelling. Dit stemt de geaggregeerde gekwantiseerde representatie af op de originele latente embedding, waardoor informatieve residuen over codebook-lagen behouden blijven en residu-verdwijning (residual vanishing) wordt voorkomen.
Prefix-niveau Contrastieve Afstemming: Om semantische en collaboratieve signalen te injecteren, past het model contrastief leren (InfoNCE loss) toe op de eerste $D-1$ codebook-lagen (de prefixes). Dit dwingt semantisch of collaboratief vergelijkbare items om dezelfde hoogwaardige SID-prefixes te delen, terwijl de laatste codebook-laag wordt gereserveerd voor fijnmazige item-discriminatie.

B. Hierarchical Slate Decoder (HSD)

HSD verschuift het generatieve proces van token-niveau decoderen naar een coarse-to-fine hiërarchische aanpak om latentie te verminderen en globale planning mogelijk te maken.

Coarse-Grained Slate Planner: In plaats van $M \times D$ tokens sequentieel te decoderen, genereert de planner eerst $M$ "preference embeddings". Elke embedding vertegenwoordigt de beoogde semantiek voor een specifieke positie in de slate. Deze fase modelleert de globale structuur van de lijst.
Fine-Grained Item Generator: Een lichtgewicht generator decodeert vervolgens de specifieke $D$ -token SID-sequentie voor elk item, geconditioneerd op de bijbehorende preference embedding.
Efficiëntie: Door dure beam search te beperken tot korte, item-niveau decoding (geconditioneerd op de vooraf geplande embeddings) in plaats van de volledige slate-sequentie, vermindert HSD de inferentie-latentie aanzienlijk terwijl de globale structuur behouden blijft.
Diversiteitsregularisatie: De planner bevat een intra-list diversiteit (ILD) term om de paarwijze gelijkenis tussen geplande preference embeddings te minimaliseren, wat diverse slates stimuleert zonder post-hoc schatting.

C. Listwise Preference Alignment (ORPO)

Om de kloof tussen token-generatie en gebruikerservaring te overbruggen, gebruikt HiGR een listwise multi-objective alignment mechanisme met behulp van Odds Ratio Preference Optimization (ORPO).

Triple-Objective Optimalisatie: Het model wordt geoptimaliseerd tegen drie complementaire doelstellingen:
1. Ranking Fidelity (O1): Zorgen dat de volgorde overeenkomt met gebruikersbetrokkenheid.
2. Genuine User Interest (O2): Het filteren van exposure noise door te focussen op items met positieve feedback.
3. Slate Diversity (O3): Voorkomen van repetitieve aanbevelingen en "informatie-kokers" (information cocoons).
Constructie van Preference Paren: Positieve slates worden geconstrueerd uit gerangschikte gebruikersbetrokkenheidssequenties. Negatieve slates worden gegenereerd door de volgorde te permuteren, items te vervangen door die met negatieve feedback, of semantisch vergelijkbare items toe te voegen om diversiteitsrestricties te testen.
Reference-Free: ORPO wordt gebruikt als een reference-free methode om computationele kosten te verlagen en objective drift te mitigeren, door het model direct af te stemmen op belangrijke business metrics.

3. Belangrijkste Bijdragen

HiGR Framework: Een end-to-end generatief slate-aanbevelingsframework dat gestructureerde tokenisatie, efficiënte hiërarchische generatie en listwise preference alignment verenigt.
PCRQ-VAE: Een nieuwe tokenisatiemethode die prefix-niveau contrastieve afstemming afdwingt, waardoor een gestructureerde SID-ruimte ontstaat waarin hoogwaardige prefixes betrouwbaar semantiek coderen, wat controleerbare planning faciliteert.
Hierarchical Slate Decoder (HSD): Een twee-fasen decoding architectuur die globale slate-planning ontkoppelt van item-generatie, wat een 5× versnelling in inferentie bereikt ten op respecteerde baselines terwijl de kwaliteit behouden blijft.
Triple-Objective ORPO: Een listwise alignment mechanisme dat ranking, interesse en diversiteit gezamenlijk optimaliseert zonder een hulpmodel (auxiliary reference model) te vereisen.

4. Experimentele Resultaten

Offline Prestaties

Kwaliteit: Op zowel een grootschalige industriële Tencent-dataset als de publieke KuRec-dataset presteert HiGR de state-of-the-art baselines (inclusief ListCVAE, SASRec, TIGER, HSTU en OneRec) met meer dan 10% op aanbevelingskwaliteitsmetrieken (NDCG@5, Hit Rate, Recall).
Ablatie-studies:
- Het verwijderen van de prefix-niveau contrastieve restrictie in PCRQ-VAE verhoogt de SID-collision rates aanzienlijk (van ~2,4% naar ~8,7%), wat bevestigt dat gestructureerde prefixes noodzakelijk zijn.
- Het verwijderen van de intra-list diversiteit (ILD) regularisatie vermindert de diversiteitsmetrieken, terwijl het verwijderen van context embeddings een merkbare prestatiedaling veroorzaakt.
- Het gezamenlijk optimaliseren van alle drie de doelstellingen (Ranking, Interest, Diversity) levert de beste algehele prestaties op, wat aantoont dat nauwkeurigheid en diversiteit complementair zijn.
Scaling Laws: Experimenten over verschillende modelgroottes (0,05B tot 2B parameters) onthullen een duidelijke power-law relatie tussen modelcapaciteit en prestaties, wat voorspelbare winsten door schaling suggereert.

Efficiëntie

Latentie: HiGR bereikt een 5× versnelling in inferentie vergeleken met OneRec (een sterke generatieve baseline) terwijl de hogere nauwkeurigheid behouden blijft.
Resourcegebruik: Bij online implementatie vermindert HiGR de GPU-vraag met ongeveer 60% vergeleken met OneRec, terwijl de P99-latentie onder de 50ms blijft.

Online A/B-tests

Geïmplementeerd op meerdere Tencent platform-oppervlakken (nieuws, video's, webromans) die honderden miljoenen gebruikers bedienen, toonde HiGR significante verbeteringen in de echte wereld:

Watch Time: +1,22%
Video Plays: +1,73%
Stay Time: +1,03%
Request Count: +1,57%

5. Betekenis en Claims

Het paper claimt dat HiGR er succesvol in slaagt de disconnect tussen item-niveau generatie en holistische slate-optimalisatie in industriële omgevingen te overbruggen. Door een gestructureerde SID-ruimte en een hiërarchisch decoding mechanisme te introduceren, lost het de efficiëntie- en controleerbaarheidsbottlenecks van bestaande generatieve recommenders op. Het framework bewijst dat generatieve modellering naar industrieel niveau kan worden geschaald, waarbij zowel superieure aanbevelingskwaliteit als aanzienlijke computationele efficiëntie wordt geleverd. De succesvolle implementatie op de platforms van Tencent valideert de toepasbaarheid voor het bedienen van honderden miljoenen gebruikers met complexe, multi-objective aanbevelingsbehoeften.