💻 computer science

FLUID: From Ephemeral IDs to Multimodal Semantic Codes for Industrial-Scale Livestreaming Recommendation

FLUID is een nieuw, ID-vrij aanbevelingskader voor industriële livestreaming dat traditionele item-embeddings vervangt door discrete hiërarchische multimodale codes (LUCID) om aanhoudende cold-start-uitdagingen te overwinnen, en dat aanzienlijke prestatiewinst behaalt bij een wereldwijde gebruikersbasis van meer dan één miljard.

Oorspronkelijke auteurs: Xinhang Yuan, Zexi Huang, Anjia Cao, Xudong Lu, Zikai Wang, Penghao Zhou, Chang Liu, Wentao Guo, Qinglei Wang

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinhang Yuan, Zexi Huang, Anjia Cao, Xudong Lu, Zikai Wang, Penghao Zhou, Chang Liu, Wentao Guo, Qinglei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, 24/7 wereldwijde talentshow runt. Om de paar minuten stapt een nieuwe act het podium op, treedt ongeveer 45 minuten op en verdwijnt daarna voorgoed. Dit is livestreaming.

Stel je nu voor dat jij de portier bent (het aanbevelingssysteem) die moet beslissen welke act aan de volgende miljoen mensen die door de deur lopen, getoond wordt.

Het oude probleem: Het "naamplaatje" dat te snel verloopt

In de meeste aanbevelingssystemen (zoals voor films of producten) krijgt elk item een uniek ID-nummer (zoals een permanent naamplaatje). Het systeem leert wat mensen over dat ID leuk vinden, over maanden of jaren. Als je veel "Actiefilm #123" bekijkt, leert het systeem je meer daarvan te tonen.

Maar bij livestreaming werkt dit niet. Een livekamer bestaat slechts 45 minuten.

Tegen de tijd dat het systeem genoeg over "Livekamer #999" heeft geleerd om het goed te aanbevelen, is de show al voorbij.
De kamer bevindt zich voortdurend in een staat van "koude start" (onbekend).
Het systeem blijft proberen het ID te onthouden, maar het ID is nutteloos op het moment dat de stream eindigt. Het is als proberen een telefoonnummer te onthouden voor een feestje dat eindigt voordat je klaar bent met bellen.

De oplossing: FLUID (De "contentvertaler")

De auteurs hebben een nieuw systeem ontwikkeld dat FLUID heet. In plaats van te vertrouwen op het vluchtige ID-nummer, negeert FLUID het ID volledig en richt het zich op hoe de inhoud er daadwerkelijk uitziet en klinkt.

Hieronder wordt uitgelegd hoe dit werkt, met een eenvoudige analogie:

1. De "Universele Vertaler" (Cross-Domain Encoder)

Stel je een super slimme vertaler voor die zowel korte, gepolijste films (zoals TikTok-video's) als lange, rommelige live-shows heeft bestudeerd.

Het probleem: Live-shows zijn luidruchtig en chaotisch. Als je de vertaler alleen traint op live-shows, raakt deze in de war.
De oplossing: De auteurs hebben hun vertaler getraind op beide soorten content. Omdat korte video's van hoge kwaliteit en in grote hoeveelheden beschikbaar zijn, leert de vertaler de "taal" van beelden en spraak zeer goed. Deze kennis past hij vervolgens toe op de rommelige live-shows.
De output: In plaats van een rommelig ID-nummer, zet de vertaler elke 2-minutenblok van een live-show om in een semantische code (een set digitale "tags" of "woorden" die de inhoud beschrijven). Ze noemen dit LUCID.
- Voorbeeld: In plaats van "Kamer-ID 555" ziet het systeem: [Zwemmen, Zwembad, Blauw Water, Lachen].

2. De "Stabiele Identiteit" versus het "Flitsmoment"

Een livestream verandert snel. Een minuut later is de host aan het chatten; de volgende minuut zingt hij.

Slice-Level LUCID: Dit vangt het huidige 2-minutenmoment op (bijvoorbeeld "Nu aan het zingen").
Room-Level LUCID: Dit vangt de totale sfeer van de hele show op (bijvoorbeeld "Dit is een komische praatshow").
Het systeem gebruikt beide: het "flitsmoment" om directe interesse te vangen, en de "stabiele identiteit" om te weten wie de host echt is.

3. De "Late Fusion"-strategie (De grote verandering)

In oude systemen was het ID-nummer de baas. De inhoudsbeschrijving was slechts een helper. Het systeem keek naar het ID, negeerde de beschrijving en nam een beslissing.

De zet van FLUID: FLUID ontslaat het ID. Het verwijdert het ID-nummer volledig uit de kandidatenlijst.
In plaats daarvan behandelt het de "Slice-code" en "Room-code" als de hoofdrolspelers.
De metafoor: Stel je voor dat de portier vroeger een gastenlijst (het ID) controleerde. Nu negeert de portier de lijst volledig en kijkt hij alleen naar de kleding en het gedrag van de gast (de contentcodes) om te beslissen of ze bij het feestje passen.

4. De "Gestage Opwarmfase" (Het veiligheidsnet)

Je kunt het ID niet zomaar overnachten ontslaan. Het systeem is eraan gewend om erop te vertrouwen. Als je de vloer eronder wegtrekt, stort het hele gebouw in.

Fase 1: Voeg de "Slice-code" (het huidige moment) toe naast het oude ID. Laat het systeem eraan wennen.
Fase 2: Draai het volume van het oude ID langzaam terug tot het stil is.
Fase 3: Voeg de "Room-code" (de stabiele identiteit) toe om het gat dat door het ID is achtergelaten op te vullen.
Dit zorgt ervoor dat het systeem niet in paniek raakt en soepel blijft leren.

De resultaten: Waarom dit belangrijk is

Toen ze dit testten op een platform met meer dan 1 miljard gebruikers, waren de resultaten duidelijk:

Betere aanbevelingen: Mensen keken meer content van hoge kwaliteit (+0,55% meer "Kwaliteitskijktijd").
Nieuwe sterren gevonden: Nieuwe, onbekende kamers kregen meer views (+2,05% Cold-Start Views) omdat het systeem niet vastzat aan oude, bekende IDs.
Gelukkigere gebruikers: Mensen bleven langer op de app (+0,05% Actieve Uren).

De grote les

Het artikel stelt dat voor dingen die snel verdwijnen (zoals livestreams), het proberen om hun "namen" (IDs) te onthouden, tijdverspilling is. In plaats daarvan moet je het systeem zo goed leren de inhoud zelf te begrijpen dat het het naamplaatje helemaal niet meer nodig heeft. FLUID bewijst dat wanneer je stopt met vertrouwen op het ID, je eigenlijk betere, frischere content voor je gebruikers kunt vinden.

Technische Samenvatting: FLUID

Probleemstelling

Moderne aanbevelingssystemen vertrouwen voornamelijk op ID-gebaseerde collaboratieve filtering, waarbij items worden weergegeven door unieke ID-embeddings die signalen van gebruikersinteracties accumuleren. Dit paradigma loopt echter vast op een fundamentele mismatch bij livestreaming-aanbevelingen. In tegenstelling tot langlevende items in e-commerce of short-video-domeinen, zendt een livestreamkamer typisch slechts ongeveer 45 minuten uit voordat deze verouderd is. Bijgevolg blijft de item-ID-embedding in een persistente cold-start-toestand, waardoor deze niet convergeert binnen de korte levensduur van de kamer.

Dit creëert twee specifieke uitdagingen:

Signaalschaarste: De ID-embeddingstabel kan niet voldoende collaboratieve signalen memoriseren voordat de kamer eindigt, waardoor de ID nutteloos wordt voor generalisatie.
ID-dominantie-effect: In bestaande industriële systemen worden multimodale kenmerken vaak toegevoegd als auxiliaire signalen naast de item-ID. Rankingmodellen neigen echter om standaard terug te vallen op het ID-signaal (memorisatie) en onderbenutten multimodale inputs. Bij livestreaming, waar het ID-signaal vluchtig en ruisachtig is, verspilt deze "ID-dominantie" de capaciteit van het model aan een snel vervagend signaal, waardoor multimodale kenmerken de aanbevelingen niet effectief kunnen sturen.

Methodologie: Het FLUID-kader

FLUID (Framework for Live Universal ID-free Recommendation) is het eerste kader dat de item-ID aan de kandidaat-zijde volledig afschaft in een productieschaal livestreaming-ranker, en deze volledig vervangt door multimodale semantische codes. De pijplijn bestaat uit vier fasen:

1. Cross-Domain Multimodale Encoder

Om de schaarste aan live-data aan te pakken, maakt FLUID gebruik van een single-tower multimodale encoder die gezamenlijk wordt getraind op zowel short videos als livestreams.

Architectuur: Deze combineert een visiemodule (SigLIP2-base ViT), een tekstmodule (tokenisering van titels, OCR, ASR, commentaren, etc.) en een fusiemodule gebaseerd op Qwen3-Embedding-0.6B.
Training: De encoder gebruikt een query-naar-item (Q2I) contrastief doel met InfoNCE-verlies. Het maakt gebruik van een tweestaps trainingsrecept: (1) Alignering (alleen projectoren trainen) om vooringestelde semantics te behouden, gevolgd door (2) Gezamenlijke fine-tuning.
Doel: Deze cross-domain transfer benut de dichtere, minder ruisachtige supervisie van short videos om robuuste semantische representaties te produceren voor het schaarse live-domein.

2. Discrete Representatie (LUCID)

De continue 128-d embedding ( $z$ ) van de encoder wordt gediscretiseerd in LUCID (Live Universal Content IDentifier) codes met behulp van Residual Quantization K-Means (RQ-KMeans).

Structuur: LUCID is een hiërarchische 4-niveau codewoord-tuple ( $c_1, c_2, c_3, c_4$ ).
Granulariteit:
- Slice-level LUCID: Vangt 2-minuten contentdynamiek op (bijvoorbeeld een streamer die overschakelt van chatten naar zingen).
- Room-level LUCID: Verkregen via niveau-gebaseerde meerderheidsstemming over alle slices in een sessie. Dit biedt een stabiele, persistente identiteit voor de kamer, waarbij de identifier wordt ontkoppeld van vluchtige contentveranderingen.

3. Prefix N-gram Embedding

Om de LUCID-tuples in de ranker te mappen, maakt FLUID gebruik van een prefix n-gram embedding-scheme in plaats van eenvoudige niveau-gebaseerde decoding.

Mechanisme: De embedding van elk niveau is geconditioneerd op het volledige prefix-pad ( $\bar{c}_l = \sum c_k \cdot N^{l-k}$ ). Dit zorgt ervoor dat hetzelfde codewoord op een dieper niveau verschillende semantische gebieden vertegenwoordigt, afhankelijk van zijn ouder-pad, waardoor de ambiguïteit inherent aan residual quantization wordt opgelost.
Implementatie: Slice-level en room-level LUCIDs gebruiken afzonderlijke embeddingtabellen om het mengen van stabiele room-semantics met vluchtige slice-dynamiek te voorkomen.

4. Late-Fusion ID-Free Ranker & Gestructureerde Warmup

De uiteindelijke architectuur vervangt de item-ID-token volledig door LUCID-tokens.

Late Fusion: Slice- en Room LUCIDs worden ingebracht als onafhankelijke tokens in de op transformers gebaseerde ranker-ruggengraat. Dit stelt het model in staat om interacties te leren tussen de stabiele room-identiteit en vluchtige slice-dynamiek zonder deze te forceren in een enkele representatie.
Gestructureerde Warmup: Om de overgang van ID-gebaseerde naar ID-vrije training in een online incrementele setting te stabiliseren, hanteert FLUID een drie-fasen warmup:
1. Slice Add-on: Slice LUCID toevoegen als een nieuwe token naast de geconvergeerde item-ID.
2. Item ID Phase-out: De item-ID progressief op nul zetten, waardoor het model gedwongen wordt om te vertrouwen op slice LUCID.
3. Room Add-on: Room-level LUCID introduceren (geïnitialiseerd vanuit de opgewarmde slice-tabellen) om de rol van persistente identiteit over te nemen.

Belangrijkste Bijdragen

Probleemformulering: Het artikel betoogt dat voor vluchtige items het "ID-dominantie"-effect een fundamentele bottleneck is, en geen te tolereren hinder. Het stelt dat de oplossing niet ligt in betere fusietricks, maar in de volledige afschaffing van de item-ID aan de kandidaat-zijde.
Cross-Domain Encoder: Introductie van een multimodale encoder die gezamenlijk wordt getraind op short videos en livestreams om hiërarchische LUCID-codes te produceren, die dienen als de enige kandidaat-zijde content-identifier.
ID-vrije Architectuur: Een late-fusion ranker-ontwerp waarbij LUCID de item-ID vervangt, gestabiliseerd door een gestructureerde warmup-procedure die een veilige overgang tijdens online training garandeert.

Experimentele Resultaten

FLUID werd ingezet op industriële livestreamingplatforms met een gecombineerde gebruikersbasis van meer dan 1 miljard.

Offline Metrieken (CTR AUC):

Het toevoegen van slice LUCID aan de baseline (met ID) leverde een AUC-winst van +0,22% op.
Het verwijderen van de item-ID zonder vervanging veroorzaakte een aanzienlijke daling (-0,47%), wat de afhankelijkheid van het model van ID-memorisatie bevestigt.
De uiteindelijke FLUID-configuratie (Geen ID + Slice & Room LUCID) behaalde een winst van +0,23% ten opzichte van de baseline.

Online A/B-testresultaten:
Vergeleken met de productielijn baseline leverde FLUID significante winsten op over meerdere metrieken:

Betrokkenheidskwaliteit: +0,55% Kwaliteitskijkduur, +0,51% Kwaliteitskijksessie.
Cold-Start & Diversiteit: +2,05% Cold-Start Room Views, +2,87% Niche Room Views, +1,63% Unieke bekeken tags.
Retentie: +0,05% Actieve uren (de enige configuratie die positieve retentiewinsten behaalde; het verwijderen van de ID zonder LUCID-vervanging resulteerde in negatieve retentie).

Ablatie-insights:

Fusie: Vroege fusie (samenvoegen van ID en LUCID) slaagde er niet in de prestaties te verbeteren, omdat het model terugviel op afhankelijkheid van de ID. Late fusie was essentieel.
Training: Naïeve training van LUCID zonder gestructureerde warmup faalde. De gestructureerde warmup was cruciaal om te voorkomen dat het model instortte op het ID-signaal tijdens de overgang.
Embedding: Prefix n-gram embeddings presteerden beter dan niveau-gebaseerde decoding, en onafhankelijke tabellen voor slice/room-codes presteerden beter dan gedeelde tabellen.

Betekenis en Claims

Het artikel claimt dat FLUID een nieuw principe demonstreert voor kortlevende aanbevelingsdomeinen: wanneer items inherent vluchtig zijn, is het afschaffen van de item-ID een meer principieel remedie dan het proberen multimodale signalen te fuseren met een vervagende ID.

Door de ID succesvol te vervangen door multimodale semantische codes (LUCID) en de overgang te stabiliseren via gestructureerde warmup, bereikt FLUID:

Herstelde Matchkwaliteit: Het model kan gebruikers effectief matchen met content zonder te vertrouwen op onvoldoende ID-geschiedenis.
Echte Diversiteit: Verbeteringen in niche- en cold-start views worden gedreven door beter contentbegrip, en niet slechts door passieve herverdeling van verkeer door slechte matching.
Gebruikersretentie: Het kader zet deze diversiteits- en betrokkenheidswinsten om in daadwerkelijke gebruikersretentie, wat bewijst dat content-gegronde ranking ID-gebaseerde memorisatie kan overtreffen in de context van livestreaming.

Het werk positioneert zichzelf als een stap richting content-gegronde ranking in domeinen waar de itemsleeftijden te kort zijn voor traditionele collaboratieve filtering om te functioneren.