🤖 AI

Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling

Dieses Paper präsentiert ein produktiv eingesetztes Framework für die Empfehlung von Kurzvideos auf einer Skala von einer Milliarde Nutzern, das die traditionellen Einschränkungen der Sequenzmodellierung überwindet, indem es dünnbesetzte Video-IDs durch kompakte semantische IDs ersetzt und einen Global-Aware Compression Transformer einführt, um ultra-lange Nutzerverhaltenssequenzen effizient zu modellieren, was zu signifikanten Reduzierungen der Rechenkosten und erheblichen Verbesserungen des Nutzerengagements führt.

Ursprüngliche Autoren: Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, den perfekten Leser zu bedienen. Aber anstatt nur einiger Bücher hat dieser Leser tausende und nochmals tausende Kurzvideos gesehen. Ihre Aufgabe ist es, sich alle von ihnen zu merken, um zu erraten, was der Leser als Nächstes sehen möchte.

Das Papier beschreibt ein neues System, das Google gebaut hat, um genau dies für Kurzvideos (wie TikTok oder YouTube Shorts) zu tun. Sie standen vor zwei massiven Problemen, die diese Aufgabe nahezu unmöglich machten, und sie haben diese mit zwei cleveren Tricks gelöst.

Die zwei großen Probleme

1. Das „Namensschild“-Problem (Repräsentations-Engpass)
Stellen Sie sich vor, jedes Video auf der Welt hat eine eindeutige, zufällige ID, wie eine Seriennummer auf einem Toaster.

Das Problem: Wenn man eine Milliarde Videos hat, benötigt man eine Milliarde verschiedene ID-Tags. Diese Tags sind nur zufällige Zahlen; sie sagen einem nichts über das Video aus. Ein Video über „Katzen“ und ein Video über „Autos“ könnten völlig unterschiedliche IDs haben, die nichts miteinander zu tun haben.
Das Ergebnis: Der Computer muss jede einzelne Interaktion separat auswendig lernen. Es ist, als würde man versuchen, sich eine Milliarde zufällige Telefonnummern zu merken. Zudem hat das System keine Vorstellung davon, worum es geht, wenn ein neues Video (ein „Cold Start“) erscheint, da es diese zufällige ID noch nie zuvor gesehen hat.

2. Das „Gedächtnis-Überlastungs“-Problem (Rechen-Engpass)
Stellen Sie sich vor, Sie lesen ein Buch, bei dem jede Seite mit jeder anderen Seite verbunden ist.

Das Problem: Um die Historie eines Nutzers von 2.000 Videos zu verstehen, versucht ein Standard-Computergehirn (ein Transformer), jedes einzelne Video mit jedem anderen Video zu vergleichen. Wenn man die Anzahl der Videos verdoppelt, vervierfacht sich die Arbeit nicht nur; sie vervierfacht sich tatsächlich. Es wird so schwerfällig, dass der Computer keinen Speicher mehr hat, abstürzt oder zu lange braucht, um zu antworten.

Die Lösung: Zwei neue Tricks

Die Autoren haben ein System entwickelt, das beide Probleme gleichzeitig löst.

Trick #1: Das „Smarte Kategorien“-System (Semantisch-native IDs)

Anstatt zufällige Seriennummern zu verwenden, haben sie den Videos bedeutungsvolle Etiketten gegeben, die darauf basieren, worum es in ihnen tatsächlich geht.

Die Analogie: Stellen Sie sich vor, anstatt zufälliger Nummern ist jedes Video mit einer „Kategorie“ und einer „Unterkategorie“ beschriftet.
- Der alte Weg: Video #99283 (Zufällig).
- Der neue Weg: Video = „Gaming“ + „Shooter“.
Wie es funktioniert: Sie haben eine spezielle KI verwendet, um Videos in einer Hierarchie zu gruppieren. Für die lange Historie der Videos verwendeten sie nur die obersten zwei Ebenen dieser Hierarchie (z. B. nur „Gaming“ und „Shooter“).
Der Vorteil:
- Kleinere Bibliothek: Sie benötigen keine Milliarde Tags mehr; sie benötigen nur noch Tags für die Kategorien. Dies schrumpft den Speicherbedarf für das „Wörterbuch“ der Videos.
- Besseres Erraten: Wenn ein Nutzer „Gaming-Shooter“-Videos liebt und ein neues Video erscheint, das ebenfalls ein „Gaming-Shooter“-Video ist, weiß das System sofort, dass es dieses empfehlen soll, selbst wenn es das Video noch nie gesehen hat. Es löst das „Cold Start“-Problem.

Trick #2: Die „Gruppierungs“-Strategie (Global-bewusste Kompression)**

Anstatt jedes einzelne Video nacheinander zu betrachten, gruppiert das System sie in „Super-Chunks“.

Die Analogie: Stellen Sie sich vor, Sie lesen ein 2.000-seitiges Tagebuch.
- Der alte Weg: Sie lesen jedes einzelne Wort und versuchen, jedes Wort mit jedem anderen Wort zu verbinden. Erschöpfend!
- Der neue Weg: Sie nehmen jeweils 4 Seiten auf einmal und kleben sie zu einer einzigen „Super-Seite“ zusammen. Jetzt müssen Sie nur noch 500 „Super-Seiten“ lesen.
Wie es funktioniert: Sie nehmen 4 aufeinanderfolgende Videos und stapeln sie zu einem einzigen großen „Super-Token“ zusammen. Dies reduziert die Anzahl der Elemente, die der Computer verarbeiten muss, um das Vierfache.
Der Vorteil:
- Geschwindigkeit: Da es weniger Elemente zum Vergleichen gibt, arbeitet der Computer viel schneller und verbraucht deutlich weniger Speicher (92 % weniger!).
- Intelligenteres Lesen: Durch das Zusammenkleben der Seiten kann der Computer die Details innerhalb dieser Gruppe sehen (wie etwa, wie der Nutzer auf eine bestimmte Sequenz von Videos reagiert hat), während er gleichzeitig das große Ganze im Blick behält.
- Der „Globale Anker“: Sie haben am Anfang der Liste ein spezielles „Globales Frage“-Token hinzugefügt. Denken Sie an einen Bibliothekar, der fragt: „Was ist der allgemeine Vibe dieses Menschen?“ Dies hilft dem System, die spezifischen Details der jüngsten Videos mit der langfristigen Persönlichkeit des Nutzers in Einklang zu bringen.

Die Ergebnisse

Als sie dies in der realen Welt mit Milliarden von Nutzern testeten:

Es war schneller: Das System verbrauchte viel weniger Computerspeicher und lief viel schneller.
Es erinnerte sich mehr: Da es schneller war, konnten sie eine Videohistorie von 2.000 Videos einspeisen anstatt nur 800.
Die Menschen waren glücklicher: Nutzer schauten mehr Videos, die sie mochten, verbrachten mehr Zeit mit dem Anschauen und entdeckten mehr neue Inhalte, die ihnen gefielen.

Zusammenfassung

In dem Paper geht es darum, eine Empfehlungs-Engine zu bauen, die sich an die gesamte Videohistorie eines Nutzers erinnern kann, ohne dabei Kopfschmerzen zu bekommen. Dies erreichten sie, indem sie Videos bedeutungsvolle Namen anstatt zufälliger Nummern gaben und indem sie Videos in Chunks gruppierten, damit der Computer nicht jedes einzelne Video einzeln berechnen muss. Das Ergebnis ist ein System, das schneller, kostengünstiger im Betrieb und besser darin ist, Empfehlungen auszusprechen.

Technisches Resümee: Jenseits von Item-IDs – Skalierung der Kurzvideo-Empfehlung mittels semantisch-nativer Langsequenzmodellierung

1. Problemstellung

Empfehlungssysteme für Kurzvideos stehen vor einem dualen Flaschenhals, wenn sie versuchen, ultra-lange Nutzerverhaltenssequenzen (Länge $L > 10^3$ ) zu modellieren:

Repräsentations-Flaschenhals: Traditionelle orthogonale Video-IDs sind semantisch spärlich. Sie behandeln Items als unabhängige Token, wodurch die Erfassung von Inhaltsbeziehungen fehlschlägt und die Generalisierung bei Cold-Start-Inhalten erschwert wird. Zudem erfordern sie Embedding-Tabellen, die mit der Korpusgröße unbegrenzt skalieren, was zu Speicher- und Sparsity-Problemen führt.
Rechen-Flaschenhals: Standardmäßige Transformer-Architekturen basieren auf Self-Attention-Mechanismen mit quadratischer Komplexität ( $O(L^2)$ ). Dies schränkt die maximale Sequenzlänge unter strengen industriellen Latenz- und Ressourcenbeschränkungen ein und macht oft heuristische Filterungen oder hierarchisches Clustering erforderlich, welche Signale verwerfen oder komplexe Offline-Vorberechnungen erfordern.

2. Methodik

Die Autoren schlagen ein produktionsreifes Framework vor, das Semantisch-Native Repräsentationen mit einem Global-Aware Compressed Transformer synergetisch kombiniert, um Sequenzen bis zu $L=2000$ auf einer Milliarde-Nutzer-Skala zu modellieren.

2.1 Semantisch-Native Repräsentation (SIDs)

Um den Repräsentations-Flaschenhals zu adressieren, ersetzt das System atomare Video-IDs durch Inhalts-native Semantische Identifikatoren (SIDs), die mittels eines Residual Quantized VAE (RQ-VAE) generiert werden.

Hierarchische Quantisierung: Das RQ-VAE projiziert multimodale Inhalts-Embeddings in einen diskreten, hierarchischen latenten Raum und erzeugt so ein Tupel aus Codes $(c_1, c_2, \dots, c_D)$ , das eine grob- bis feingranulare semantische Hierarchie darstellt.
Asymmetrische Granularitätsstrategie: Um die Ausdrucksstärke und Effizienz für ultra-lange Sequenzen auszubalancieren, setzen die Autoren eine Depth-Truncated Bi-gram Strategie ein:
- Sequenz-Seite (Grobkörnig): Die Historie des Nutzers wird auf die ersten zwei Ebenen der Hierarchie $(c_1, c_2)$ beschränkt. Diese werden in eine einheitliche Integer-ID ( $ID_{seq} = c_1 \cdot |V| + c_2$ ) projiziert. Dies begrenzt die Größe der Embedding-Tabelle unabhängig von der Korpus-Expansion und ermöglicht eine natürliche Generalisierung auf Cold-Start-Items durch gemeinsame semantische Präfixe.
- Target-/Nicht-Sequenz-Seite (Feinkörnig): Kandidaten-Items und entscheidende Interaktionsmerkmale (z. B. das zuletzt gesehene Video) behalten die volle Tiefe der semantischen Hierarchie bei, um eine präzise diskriminative Übereinstimmung zu gewährleisten.

2.2 Global-Aware Compressed Transformer

Um die Barriere der Sequenzskalierung zu überwinden, führen die Autoren eine Transformer-Architektur ein, die die Rechenkomplexität ohne verlustbehaftete Aggregation reduziert.

Parameterfreie Temporale Faltung (Temporal Folding): Anstatt zu poolen, wird die Eingangssequenz $X \in \mathbb{R}^{L \times d}$ in Fenster der Größe $k$ partitioniert und kanalweise gestapelt, um „Super-Tokens“ zu bilden. Dies transformiert den Input von $(L, d)$ zu $(L/k, k \cdot d)$ . Dieser Vorgang tauscht explizit die zeitliche Auflösung gegen die Feature-Dimensionalität ein, wodurch dichte Abhängigkeiten zwischen „Super-Events“ erfasst werden, während die Sequenzlänge um den Faktor $k$ reduziert wird.
Global-Lokale Repräsentationsfusion: Ein lernbarer Globaler Query-Token ( $G_{init}$ ) wird der komprimierten Sequenz vorangestellt. Im Gegensatz zu nutzerprofilbasierten Initialisierungen ist dieser Token feature-agnostisch und zwingt den Attention-Mechanismus dazu, Repräsentationen ausschließlich aus dynamischen Interaktionen abzuleiten. Er fungt als „Attention Sink“, um die Optimierung zu stabilisieren.
Vereinheitlichtes Masked Mean Pooling: Die finale Nutzer-Repräsentation wird berechnet, indem der globale Zustand mit den feingranularen sequentiellen Signalen über eine Masked Mean Pooling Operation fusioniert wird, was globale Intention mit lokalen Details ausbalanciert.

2.3 Systemarchitektur

Das Framework operiert innerhalb eines Hybriden Synchron-Asynchron-Frameworks:

Synchrones Kurzzeit-Modul: Kodiert unmittelbare Interaktions-Enden ( $S_{short}$ ) in Echtzeit.
Asynchrones Langzeit-Modul: Modelliert die ultra-lange Sequenz ( $S_{long}$ ) unter Verwendung des vorgeschlagenen SID und des Compressed Transformers. Beide Module teilen sich ein Backbone und ein Optimierungsziel, um sicherzustellen, dass die Repräsentationen auf einen gemeinsamen latenten Raum abbilden und eine Feature-Fehlausrichtung verhindert wird.

3. Kernbeiträge

Semantisch-Native Repräsentation im großen Maßstab: Eine groß angelegte industrielle Implementierung von RQ-VAE-basierten SIDs mit einer Depth-Truncated Bi-gram Strategie. Dies entkoppelt die Embedding-Speicherung von der Korpusgröße und verbessert die Generalisierung auf Cold-Start-Inhalte signifikant.
Hocheffiziente Architektur mit hoher Ausdrucksstärke: Ein Global-Aware Compressed Transformer, der eine nicht-parametrische temporale Faltung nutzt. Dies erreicht eine leistungserhaltende Reduktion der Rechenkomplexität bei gleichzeitiger Erweiterung der Feature-Dimensionen, um komplexe lokale Interaktionen innerhalb ultra-langer Sequenzen zu erfassen.
Industrielle Validierung im großen Maßstab: Strenge Offline- und Online-Evaluierungen auf einer großen Kurzvideo-Plattform mit Milliarden von Nutzern, die substanzielle Reduktionen der Speicher- und Kosten sowie signifikante Gewinne der Online-Metriken demonstrieren.

4. Experimentelle Ergebnisse

Das Framework wurde im produktiven Datenverkehr mit einer Sequenzlänge von $L=2000$ evaluiert und gegen einen State-of-the-Art-Baseline mit $L=800$ Video-IDs verglichen.

Effektivität der Semantischen ID: Der Ersatz von Video-IDs durch Bi-gram SIDs ( $L=160$ ) führte zu einem +0,86% Lift bei den Satisfied Views und einem +6,81% Lift bei der Freshness (zufriedene Views mit kürzlich hochgeladenem Content), was die verbesserte Cold-Start-Generalisierung bestätigt. Dies reduzierte zudem die Embedding-Parameter um 38,07% und die Speichergröße um 39,33%.
Skalierbarkeit: Der Offline-AUC zeigte konsistente monotone Steigerungen, während die Sequenzlänge von 400 auf 2000 skaliert wurde. Das Modell profitierte signifikant von erhöhter Breite (Hidden Dimension) und Tiefe (Layers), was seine Fähigkeit validiert, komplexe Interaktionsmuster zu erfassen.
Effizienz & Leistung: Die temporale Faltung mit $k=4$ $k = 4$ erzielte eine Pareto-Verbesserung:
- Training Step Time: Reduziert um 83,9% (41,1ms $\to$ 6,6ms).
- Peak Activation Memory: Reduziert um 92,2% (5758 MiB $\to$ 448 MiB).
- Genauigkeit: Trotz Kompression verbesserte sich der AUC um +0,06% (Task 1) und +0,15% (Task 2), was auf lokale Denoising-Effekte und eine erweiterte Feature-Expressivität zurückzuführen ist.
Gesamtsystem-Auswirkung: Das ganzheitliche Upgrade (SID + Kompression + $L=2000$ $L = 2000$ ) lieferte signifikante Online-Gewinne:
- Aktiv engagierte Nutzer: +0,52%
- Satisfied Watch Time: +1,42%
- Satisfied Views: +1,08%

5. Bedeutung und Ansprüche

Das Paper beansprucht, einen praktischen Bauplan für nächste Generation von Infinite-Context-Recommendation-Engines zu liefern. Durch die Lösung des Vokabular-Flaschenhalses mittels semantischer Repräsentation und des Rechen-Flaschenhalses durch strukturelle Reorganisation (temporale Faltung) zeigen die Autoren, dass die Modellierung ultra-langer Sequenzen bei einer Milliarde Nutzern ohne prohibitive Ressourcenkosten machbar ist.

Die Arbeit postuliert, dass die Synergie aus inhaltlich-nativen Repräsentationen und effizienter Kompression es ermöglicht, reichere, langfristige Nutzerinteressen-Signale zu erfassen, die bisher für Baseline-Modelle unzugänglich waren. Die Autoren positionieren dies als Schritt in Richtung Large Recommendation Models (LRMs) mit dem Ziel, zukünftig die Scaling Laws von Sequenzen und Hardware-Algorithmus-Co-Design weiter zu untersuchen.