💻 computer science

FLUID: From Ephemeral IDs to Multimodal Semantic Codes for Industrial-Scale Livestreaming Recommendation

FLUID ist ein neuartiges, ID-freies Empfehlungssystem für Livestreaming im industriellen Maßstab, das traditionelle Item-Embeddings durch diskrete hierarchische multimodale Codes (LUCID) ersetzt, um anhaltende Cold-Start-Herausforderungen zu bewältigen und signifikante Leistungssteigerungen bei einer globalen Nutzerbasis von über einer Milliarde zu erzielen.

Ursprüngliche Autoren: Xinhang Yuan, Zexi Huang, Anjia Cao, Xudong Lu, Zikai Wang, Penghao Zhou, Chang Liu, Wentao Guo, Qinglei Wang

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinhang Yuan, Zexi Huang, Anjia Cao, Xudong Lu, Zikai Wang, Penghao Zhou, Chang Liu, Wentao Guo, Qinglei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige, rund um die Uhr stattfindende globale Talentshow. Alle paar Minuten betritt ein neuer Akt die Bühne, tritt etwa 45 Minuten lang auf und verschwindet dann für immer. Das ist Livestreaming.

Stellen Sie sich nun vor, Sie sind der Türsteher (das Empfehlungssystem), der entscheiden muss, welcher Akt den nächsten Million Menschen gezeigt wird, die durch die Tür kommen.

Das alte Problem: Der „Namensschild", der zu schnell verfällt

In den meisten Empfehlungssystemen (wie für Filme oder Produkte) erhält jeder Artikel eine eindeutige ID-Nummer (wie ein dauerhaftes Namensschild). Das System lernt über Monate oder Jahre hinweg, was Menschen an dieser ID mögen. Wenn Sie viele „Action-Film #123" ansehen, lernt das System, Ihnen mehr davon zu zeigen.

Beim Livestreaming funktioniert dies jedoch nicht. Ein Live-Raum existiert nur für 45 Minuten.

Bis das System genug über „Live-Raum #999" gelernt hat, um es gut zu empfehlen, ist die Show bereits vorbei.
Der Raum befindet sich ständig im Zustand eines „Cold Start" (Unbekanntes).
Das System versucht weiterhin, die ID auswendig zu lernen, doch die ID ist nutzlos, sobald der Stream endet. Es ist, als würde man versuchen, eine Telefonnummer für eine Party auswendig zu lernen, die endet, bevor Sie die Nummer gewählt haben.

Die Lösung: FLUID (Der „Inhaltstranslator")

Die Autoren entwickelten ein neues System namens FLUID. Anstatt sich auf die flüchtige ID-Nummer zu verlassen, ignoriert FLUID die ID vollständig und konzentriert sich darauf, wie der Inhalt tatsächlich aussieht und klingt.

So funktioniert es, anhand einer einfachen Analogie:

1. Der „Universalübersetzer" (Cross-Domain Encoder)

Stellen Sie sich einen superklugen Übersetzer vor, der sowohl kurze, polierte Filme (wie TikTok-Videos) als auch lange, chaotische Live-Shows studiert hat.

Das Problem: Live-Shows sind verrauscht und chaotisch. Wenn man den Übersetzer nur auf Live-Shows trainiert, gerät er in Verwirrung.
Die Lösung: Die Autoren trainierten ihren Übersetzer auf beide Arten von Inhalten. Da Kurzvideos hochwertig und reichlich vorhanden sind, lernt der Übersetzer die „Sprache" von Bildern und Sprache sehr gut. Er wendet dieses Wissen dann auf die chaotischen Live-Shows an.
Die Ausgabe: Anstelle einer chaotischen ID-Nummer wandelt der Übersetzer jeden 2-Minuten-Abschnitt einer Live-Show in einen semantischen Code um (eine Reihe digitaler „Tags" oder „Wörter", die den Inhalt beschreiben). Sie nennen dies LUCID.
- Beispiel: Anstatt „Raum-ID 555" sieht das System: [Schwimmen, Pool, blaues Wasser, Lachen].

2. Die „stabile Identität" vs. der „flüchtige Moment"

Ein Livestream ändert sich schnell. Eine Minute plaudert der Gastgeber, die nächste singt er.

Slice-Level LUCID: Dies erfasst den aktuellen 2-Minuten-Moment (z. B. „Gerade singend").
Room-Level LUCID: Dies erfasst die gesamte Stimmung der gesamten Show (z. B. „Dies ist eine Comedy-Talkshow").
Das System nutzt beides: den „flüchtigen Moment", um sofortiges Interesse zu wecken, und die „stabile Identität", um zu wissen, wer der Gastgeber wirklich ist.

3. Die „Late Fusion"-Strategie (Die große Veränderung)

In alten Systemen war die ID-Nummer der Boss. Die Inhaltsbeschreibung war nur ein Sidekick. Das System würde sich die ID ansehen, die Beschreibung ignorieren und eine Entscheidung treffen.

FLUIDs Zug: FLUID entlässt die ID. Es entfernt die ID-Nummer vollständig aus der Kandidatenliste.
Stattdessen behandelt es den „Slice-Code" und den „Room-Code" als Hauptakteure.
Die Metapher: Stellen Sie sich vor, der Türsteher prüfte früher eine Gästeliste (die ID). Jetzt ignoriert der Türsteher die Liste vollständig und schaut nur auf das Outfit und das Verhalten des Gastes (die Inhaltscodes), um zu entscheiden, ob er zur Party passt.

4. Das „gestaffelte Warmup" (Das Sicherheitsnetz)

Man kann die ID nicht über Nacht feuern. Das System ist es gewohnt, sich darauf zu verlassen. Wenn man den Teppich unter ihm wegreißt, stürzt das ganze Gebäude zusammen.

Phase 1: Fügen Sie den „Slice-Code" (den aktuellen Moment) neben die alte ID hinzu. Lassen Sie das System sich daran gewöhnen.
Phase 2: Drehen Sie die Lautstärke der alten ID langsam herunter, bis sie verstummt.
Phase 3: Fügen Sie den „Room-Code" (die stabile Identität) hinzu, um die Lücke zu füllen, die die ID hinterlassen hat.
Dies stellt sicher, dass das System nicht in Panik gerät und weiterhin reibungslos lernt.

Die Ergebnisse: Warum es wichtig ist

Als sie dies auf einer Plattform mit mehr als 1 Milliarde Nutzern testeten, waren die Ergebnisse klar:

Bessere Empfehlungen: Menschen schauten mehr hochwertige Inhalte (+0,55 % mehr „Quality Watch Duration").
Neue Stars entdeckt: Neue, unbekannte Räume bekamen mehr Aufrufe (+2,05 % Cold-Start Views), weil das System nicht an alten, vertrauten IDs festhing.
Glücklichere Nutzer: Menschen blieben länger in der App (+0,05 % Active Hours).

Die große Erkenntnis

Die Arbeit argumentiert, dass es für Dinge, die schnell verschwinden (wie Livestreams), eine Verschwendung von Zeit ist, ihre „Namen" (IDs) auswendig zu lernen. Stattdessen sollte man das System so gut darin unterrichten, den Inhalt selbst zu verstehen, dass es das Namensschild überhaupt nicht mehr benötigt. FLUID beweist, dass man, wenn man aufhört, sich auf die ID zu verlassen, tatsächlich bessere, frischere Inhalte für seine Nutzer finden kann.

Technische Zusammenfassung: FLUID

Problemstellung

Moderne Empfehlungssysteme stützen sich überwiegend auf ID-basierte kollaborative Filterung, bei der Items durch eindeutige ID-Embeddings repräsentiert werden, die Signale aus Nutzerinteraktionen akkumulieren. Dieses Paradigma stößt jedoch bei der Livestream-Empfehlung auf eine fundamentale Diskrepanz. Im Gegensatz zu langlebigen Items im E-Commerce oder im Bereich kurzer Videos wird ein Livestream-Raum typischerweise nur etwa 45 Minuten lang übertragen, bevor er obsolet wird. Folglich verbleibt das Item-ID-Embedding in einem persistenten Cold-Start-Zustand und kann sich innerhalb der kurzen Lebensdauer des Raums nicht konvergieren.

Dies führt zu zwei spezifischen Herausforderungen:

Signalarmut: Die ID-Embedding-Tabelle kann vor Ende des Raums nicht genügend kollaborative Signale memorieren, wodurch die ID für die Generalisierung unbrauchbar wird.
ID-Dominanz-Effekt: In bestehenden industriellen Systemen werden multimodale Merkmale oft als zusätzliche Signale neben der Item-ID hinzugefügt. Ranking-Modelle neigen jedoch dazu, standardmäßig auf das ID-Signal (Memorierung) zurückzugreifen und multimodale Eingaben unterauszulasten. Im Livestreaming, wo das ID-Signal vergänglich und verrauscht ist, verschwendet diese „ID-Dominanz" die Kapazität des Modells für ein schnell verfallendes Signal und verhindert, dass multimodale Merkmale die Empfehlungen effektiv steuern.

Methodik: Das FLUID-Framework

FLUID (Framework for Live Universal ID-free Recommendation) ist das erste Framework, das die Item-ID auf der Kandidatenseite vollständig aus einem produktionsreifen Livestream-Ranker entfernt und sie vollständig durch multimodale semantische Codes ersetzt. Die Pipeline besteht aus vier Stufen:

1. Cross-Domain Multimodaler Encoder

Um die Spärlichkeit von Live-Daten zu adressieren, setzt FLUID einen Single-Tower-multimodalen Encoder ein, der gemeinsam auf Short-Videos und Livestreams trainiert wird.

Architektur: Er kombiniert ein Vision-Modul (SigLIP2-base ViT), ein Text-Modul (Tokenisierung von Titeln, OCR, ASR, Kommentaren usw.) und ein Fusionsmodul basierend auf Qwen3-Embedding-0.6B.
Training: Der Encoder verwendet ein Query-to-Item (Q2I) kontrastives Ziel mit InfoNCE-Verlust. Er nutzt ein zweistufiges Trainingsrezept: (1) Alignment (nur Projektoren trainieren), um vortrainierte Semantik zu bewahren, gefolgt von (2) gemeinsamem Feinabstimmen (Joint Fine-tuning).
Ziel: Dieser Cross-Domain-Transfer nutzt die dichteren, weniger verrauschten Supervisionen aus Short-Videos, um robuste semantische Repräsentationen für den spärlichen Live-Bereich zu erzeugen.

2. Diskrete Repräsentation (LUCID)

Das kontinuierliche 128-dimensionale Embedding ( $z$ ) aus dem Encoder wird mittels Residual Quantization K-Means (RQ-KMeans) in LUCID-Codes (Live Universal Content IDentifier) diskretisiert.

Struktur: LUCID ist ein hierarchisches 4-stufiges Codewort-Tupel ( $c_1, c_2, c_3, c_4$ ).
Granularität:
- Slice-Level-LUCID: Erfasst 2-minütige Inhaltsdynamiken (z. B. ein Streamer, der vom Chatten zum Singen wechselt).
- Room-Level-LUCID: Wird durch stufenweise Mehrheitsabstimmung über alle Slices einer Sitzung ermittelt. Dies bietet eine stabile, persistente Identität für den Raum und entkoppelt den Identifier von transienten Inhaltsänderungen.

3. Prefix-N-Gram-Embedding

Um die LUCID-Tupel in den Ranker zu überführen, verwendet FLUID ein Prefix-N-Gram-Embedding-Schema anstelle einer einfachen stufenweisen Dekodierung.

Mechanismus: Die Embedding-Ebene jedes Levels wird auf den vollständigen Präfix-Pfad konditioniert ( $\bar{c}_l = \sum c_k \cdot N^{l-k}$ ). Dies stellt sicher, dass dasselbe Codewort auf einer tieferen Ebene je nach übergeordnetem Pfad unterschiedliche semantische Bereiche repräsentiert und so die bei der Residualquantisierung inhärente Mehrdeutigkeit auflöst.
Implementierung: Slice-Level- und Room-Level-LUCIDs verwenden separate Embedding-Tabellen, um das Vermischen stabiler Room-Semantik mit transienten Slice-Dynamiken zu verhindern.

4. Late-Fusion ID-freier Ranker & Staged Warmup

Die finale Architektur ersetzt das Item-ID-Token vollständig durch LUCID-Tokens.

Late Fusion: Slice- und Room-LUCIDs werden als unabhängige Tokens in den transformer-basierten Ranker-Backbone injiziert. Dies ermöglicht dem Modell, Interaktionen zwischen der stabilen Room-Identität und transienten Slice-Dynamiken zu lernen, ohne sie in eine einzige Repräsentation zu zwingen.
Staged Warmup: Um den Übergang von ID-basiertem zu ID-freiem Training in einem Online-Inkrementalszenario zu stabilisieren, setzt FLUID einen dreistufigen Warmup ein:
1. Slice Add-on: Slice-LUCID wird als neues Token neben dem konvergierten Item-ID hinzugefügt.
2. Item ID Phase-out: Das Item-ID wird schrittweise auf Null gesetzt, wodurch das Modell gezwungen wird, sich auf Slice-LUCID zu verlassen.
3. Room Add-on: Room-Level-LUCID (initialisiert aus den gewärmten Slice-Tabellen) wird eingeführt, um die Rolle der persistenten Identität zu übernehmen.

Hauptbeiträge

Problemformulierung: Die Arbeit argumentiert, dass für vergängliche Items der „ID-Dominanz"-Effekt ein fundamentales Hindernis und keine tolerierbare Störung ist. Sie postuliert, dass die Lösung nicht in besseren Fusions-Tricks liegt, sondern im vollständigen Ausscheiden der Item-ID auf der Kandidatenseite.
Cross-Domain Encoder: Einführung eines multimodalen Encoders, der gemeinsam auf Short-Videos und Livestreams trainiert wird, um hierarchische LUCID-Codes zu erzeugen, die als einziger Kandidaten-seitiger Inhaltsidentifier dienen.
ID-freie Architektur: Ein Late-Fusion-Ranker-Design, bei dem LUCID die Item-ID ersetzt und durch ein staged-warmup-Verfahren stabilisiert wird, das einen sicheren Übergang während des Online-Trainings gewährleistet.

Experimentelle Ergebnisse

FLUID wurde auf industriellen Livestream-Plattformen mit einer kombinierten Nutzerbasis von über 1 Milliarde eingesetzt.

Offline-Metriken (CTR AUC):

Das Hinzufügen von Slice-LUCID zur Baseline (mit ID) erzielte einen AUC-Gewinn von +0,22 %.
Das Entfernen der Item-ID ohne Ersatz führte zu einem signifikanten Rückgang (-0,47 %), was die Abhängigkeit des Modells von der ID-Memorierung bestätigt.
Die finale FLUID-Konfiguration (Keine ID + Slice- und Room-LUCID) erzielte einen Gewinn von +0,23 % gegenüber der Baseline.

Online A/B-Test-Ergebnisse:
Im Vergleich zur Produktions-Baseline erzielte FLUID signifikante Verbesserungen bei mehreren Metriken:

Engagement-Qualität: +0,55 % Quality Watch Duration, +0,51 % Quality Watch Session.
Cold-Start & Diversität: +2,05 % Cold-Start Room Views, +2,87 % Niche Room Views, +1,63 % Unique Watched Tags.
Retention: +0,05 % Active Hours (die einzige Konfiguration, die positive Retention-Gewinne erzielte; das Entfernen der ID ohne LUCID-Ersatz führte zu negativer Retention).

Ablations-Erkenntnisse:

Fusion: Early Fusion (Vereinen von ID und LUCID) führte zu keiner Leistungsverbesserung, da das Modell wieder auf die ID zurückfiel. Late Fusion war unerlässlich.
Training: Naives Training von LUCID ohne staged warmup scheiterte. Der staged warmup war entscheidend, um zu verhindern, dass das Modell während des Übergangs auf das ID-Signal kollabiert.
Embedding: Prefix-N-Gram-Embeddings schnitten besser ab als stufenweise Dekodierung, und unabhängige Tabellen für Slice-/Room-Codes übertrafen geteilte Tabellen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FLUID ein neues Prinzip für Empfehlungsbereiche mit kurzer Lebensdauer demonstriert: Wenn Items inhärent vergänglich sind, ist das Entfernen der Item-ID ein prinzipiellere Lösung als der Versuch, multimodale Signale mit einem verfallenden ID zu fusionieren.

Durch die erfolgreiche Ersetzung der ID durch multimodale semantische Codes (LUCID) und die Stabilisierung des Übergangs via staged warmup erreicht FLUID:

Wiederhergestellte Matching-Qualität: Das Modell kann Nutzer effektiv mit Inhalten abgleichen, ohne auf unzureichende ID-Historie angewiesen zu sein.
Echte Diversität: Verbesserungen bei Nischen- und Cold-Start-Ansichten werden durch ein besseres Inhaltsverständnis getrieben, nicht nur durch passive Umverteilung von Traffic aufgrund schlechten Matchings.
Nutzer-Retention: Das Framework wandelt diese Diversitäts- und Engagement-Gewinne in tatsächliche Nutzer-Retention um und beweist, dass inhaltsbasiertes Ranking im Livestreaming-Kontext ID-basierter Memorierung überlegen sein kann.

Die Arbeit positioniert sich als Schritt hin zu inhaltsbasiertem Ranking in Bereichen, in denen die Item-Lebensdauer für traditionelle kollaborative Filterung zu kurz ist.