🤖 machine learning

Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems

Dieses Paper schlägt Dual-purpose Semantic IDs vor, eine Methode, die hierarchische Quantisierung nutzt, um dichte Einbettungen in diskrete Token sowohl für die kollaborative Identität als auch für die Inhaltsrekonstruktion umzuwandeln, wodurch eine I/O-Effizienz auf LLM-Niveau erreicht und der erfolgreiche Einsatz in produktionsskalierbaren Empfehlungssystemen zur Überwindung von Speicherengpässen ermöglicht wird.

Ursprüngliche Autoren: Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

Veröffentlicht 2026-07-29

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die ultimative Empfehlungsmaschine für eine riesige Videoplattform zu bauen, die genau weiß, was Sie als Nächstes sehen wollen. Um dies zu erreichen, muss das System zwei Dinge verstehen: wer Sie sind (Ihre Historie) und was die Videos sind (deren Inhalt). Traditionell haben Computer diese Informationen als riesige, schwere Listen von Zahlen gespeichert, sogenannte „dichte Embeddings“. Denken Sie an diese wie an massive, hochauflösende Blaupausen für jedes einzelne Video und jeden Nutzer. Obwohl diese Blaupausen detailliert sind, sind sie unglaublich schwer zu transportieren. Jedes Mal, wenn der Computer versucht, eine Empfehlung abzugeben, muss er diese schweren Blaupausen vom Lagerraum zum Prozessor schleppen, was einen Verkehrsstau verursacht, der als „Memory Wall“ bekannt ist. Dies verlangsamt alles, besonders wenn man Milliarden von Nutzern und Videos hat.

Auf der anderen Seite der Technologiewelt haben Large Language Models (LLMs) – die Gehirne hinter intelligenten Chatbots – einen Trick entdeckt. Sie verwenden keine schweren Blaupausen, sondern einfache, diskrete „Tokens“, wie etwa Wörter in einem Satz. Diese Tokens sind leicht, schnell und einfach zu verarbeiten. Die große Frage für Empfehlungssysteme war bisher: Können wir diese schweren, langsamen Blaupausen gegen diese leichten, schnellen Tokens austauschen, ohne die reichen Details zu verlieren, die für gute Vorschläge nötig sind? Wenn wir das könnten, könnten wir Empfehlungssystemen endlich die gleiche Geschwindigkeit und Effizienz wie die klügsten KI-Chatbots verleihen.

Dieses Paper mit dem Titel „Tokens are All You Need“ schlägt eine clevere Lösung für dieses Problem vor, indem es „Dual-purpose Semantic IDs“ einführt. Die Autoren, die bei einer großen Videoplattform arbeiten, schlagen vor, dass wir diese schweren Video-Blaupausen in eine kurze Sequenz von Tokens komprimieren können, ganz ähnlich wie man ein hochauflösendes Foto in einen einfachen Code umwandelt. Aber hier geschieht der Zaubertrick: Diese Tokens erfüllen einen doppelten Zweck. Erstens fungieren sie als eindeutige ID, die dem System hilft, aus Nutzerinteraktionen (wie z. B. welchen Videos Sie geklickt haben) zu lernen. Zweitens, und das ist noch wichtiger, können sie jederzeit wieder in eine grobe Annäherung der ursprünglichen Videodetails „dekodiert“ werden, wann immer der Computer sie benötigt.

Die Forscher testeten diese Idee in einem echten Produktionssystem mit Milliarden von Beispielen. Sie fanden heraus, dass wir durch diese „On-the-fly“-Rekonstruktionsmethode die Menge der Daten, die das System bewegen musste, drastisch reduzieren konnten. In ihren Experimenten sparte dieser Ansatz nicht nur Platz; er machte das System tatsächlich schneller und verbesserte die Qualität der Empfehlungen, insbesondere für neue Nutzer oder obskure Videos, über die das System noch nicht viele Daten hatte. Das Paper legt nahe, dass Empfehlungssysteme, indem sie hochdimensionale Daten als Tokens behandeln, sich von der „Memory Wall“ befreien und so effizient wie die fortschrittlichsten KI-Modelle werden können – ein Beweis dafür, dass man manchmal wirklich nur Tokens braucht, um die Arbeit zu erledigen.

Technisches Resümee: Tokens are All You Need: Dual-purpose Semantic IDs zur Erzielung einer LLM-ähnlichen I/O-Effizienz in Empfehlungssystemen

1. Problemstellung

Groß angelegte Empfehlungssysteme stehen vor einem kritischen „Memory Wall“-Engpass, der durch die Abhängigkeit von massiven, dichten Floating-Point-Embedding-Tabellen verursacht wird. Während Large Language Models (LLMs) aufgrund ihres vereinheitlichten diskreten Token-Raums und ihrer rechengebundenen Natur effizient skalieren, sind Empfehlungssysteme durch den I/O- und Speicherbandbreiten-Aufwand begrenzt, der für die Aufnahme, Speicherung und Verknüpfung hochdimensionaler kontinuierlicher Vektoren (z. B. Nutzerhistorie, Content-Embeddings) während des Trainings und der Inferenz erforderlich ist.

Diese Einschränkung wird besonders akut, wenn Systeme darauf ausgelegt sind, sequentielle Nutzeraktivitäten mit Längen von $10^4$ oder höher zu verarbeiten. Traditionelle Ansätze, die versuchen, reichhaltige Inhalts-Signale über dichte Embeddings einzubeziehen, leiden unter prohibitiven Daten-Footprints und Serving-Latenzen. Darüber hinaus haben bestehende Methoden, die semantische Tokens zur Ersetzung kategorialer IDs im Rahmen des „Generative Retrieval“ eingeführt, diese Tokens weitgehend strikt als Identifikatoren behandelt und versäumen es, sie für die effiziente Rekonstruktion hochdimensionaler kontinuierlicher Inhaltsmerkmale zu nutzen.

2. Methodik: Dual-purpose Semantic IDs

Die Autoren schlagen ein Framework vor, das hochdimensionale kontinuierliche Inhalts-Embeddings in kompakte, diskrete Token-Sequenzen transformiert. Dieser Ansatz ist inspiriert von Techniken zur Kompression von Computer-Vision-Daten (speziell VQ-VAE und VQGAN) und beweist, dass kontinuierliche räumliche Daten ohne Verlust der semantischen Bedeutung in diskrete Tokens komprimiert werden können.

Die Kernmethodik besteht aus zwei gleichzeitigen Rollen der generierten semantischen IDs ( $S_i$ ):

A. Generierung semantischer IDs via Quantisierung

Hochdimensionale Inhalts-Embeddings ( $e_i \in \mathbb{R}^d$ ), die typischerweise von vortrainierten multimodalen Modellen stammen, werden mittels hierarchischer Quantisierung (z. B. Residual Quantization oder RQ-VAE) in eine Sequenz von $K$ diskreten Tokens komprimiert.
$S_i = [t_{i,1}, t_{i,2}, \dots, t_{i,K}]$
Dies reduziert die Speicheranforderungen von $d \times 32$ Bits auf $K \times \log_2(V)$ Bits und erreicht Kompressionsraten von 50–100 $\times$ .

B. Dual-Purpose-Framework

Das Framework nutzt diese Tokens für zwei simultane Funktionen innerhalb des Empfehlungsmodells:

Kollaborative Identität (In-Graph Learning): Die Token-Sequenz wird als kategoriales Merkmal behandelt. Das Modell lernt Embeddings für jedes Token (oder N-Gramm-Kombinationen), um Nutzer-Item-Interaktionsmuster zu erfassen. Zu den Strategien gehören:
- Unigram: Unabhängige Token-Embeddings.
- Überlappendes Bigram: Gleitendes Fenster zur Erfassung lokaler Übergänge.
- Verschachteltes N-Gramm: Hierarchische Präfixe zur Erzwingung semantischer Clusterung (z. B. teilen alle „Jazz“-Videos ein oberstes Embedding).
- Sentence Piece Model (SPM): Adaptive Token-Kombination basierend auf der Datenverteilung.
  Diese Komponente übernimmt die Memorierung und Generalisierung, insbesondere für Cold-Start- und Long-Tail-Items.
Inhaltsrekonstruktion (SiDec): Um das „reine“ Inhaltssignal ohne den I/O-Aufwand eines Joins von dichten Vektoren wiederherzustellen, verwendet das System einen semantischen Decoder ( $f_\theta$ ).
- Prozess: Die diskreten Tokens $S_i$ werden in einem statischen Codebook ( $\phi$ ) nachgeschlagen, um latente Embeddings abzurufen, die dann durch einen leichtgewichtigen Decoder (MLP oder flaches Transformer-Modell) geleitet werden, um eine Annäherung an das ursprüngliche Embedding ( $\hat{e}_i$ ) zu rekonstruieren.
- Integration: Diese Rekonstruktion erfolgt on-the-fly innerhalb des Modellgraphen. Dies ersetzt die Notwendigkeit, dichte Vektoren in den Trainingsdaten zu speichern oder zu protokollieren. Der Decoder kann eingefroren (unter Verwendung eines vortrainierten Codebooks) oder trainierbar sein (um mit spezifischen Downstream-Aufgaben zu korrelieren).

3. Zentrale Beiträge

Neuartiges Dual-Purpose-Framework: Das Paper führt ein System ein, das das „Memory Wall“-Problem adressiert, indem es Standard-Semantic-ID-Learning mit On-the-fly Semantic-ID-Decoding (SiDec) integriert. Dies balanciert die item-spezifische Memorierung (via diskreter Tokens) mit der inhaltsbewussten Generalisierung (via rekonstruierter kontinuierlicher Semantik).
Durchbruch in der I/O-Effizienz: Durch den Ersatz der massiven Vektor-Speicherung durch On-Demand-Rekonstruktion reduziert das Framework die Daten-Footprints und den System-Overhead drastisch. Es verlagert die Systemlast von der disk-gebundenen dichten Vektorabfrage hin zur rechengebundenen On-the-fly-Rekonstruktion.
Validierung im Produktionsmaßstab: Die Autoren liefern umfangreiche empirische Belege aus einer großen Videoplattform (YouTube), die die Effektivität des Frameworks sowohl in Ranking- als auch in Retrieval-Modellen demonstrieren.

4. Experimentelle Ergebnisse

Das Framework wurde durch Offline-Benchmarks und Online-A/B-Tests in der Produktion evaluiert.

Offline-Evaluierung (Retrieval-Modell)

Die Studie verglich fünf experimentelle Arme, um den Trade-off zwischen Repräsentationsgenauigkeit und Trainingsdurchsatz zu analysieren:

Control: Standard-IDs, keine Inhalts-Embeddings (Höchster Durchsatz: 16,80 Schritte/s, niedrigste Qualität).
Arm 1 (Raw Dense): Direkte Aufnahme von 64-dimensionalen Embeddings (Qualität verbesserte sich, aber der Durchsatz sank um 28,2 % auf 12,07 Schritte/s aufgrund von I/O-Engpässen).
Arm 2 & 3 (SiDec): Verwendung von Codebook-Decodern (v0 und v1). Diese Arme stellten den Durchsatz auf ~15,3 Schritte/s wieder her (nahezu auf Control-Niveau), während sie die Qualität des Raw-Dense-Ansatzes beibehielten oder übertrafen.
Arm 4 (SiDec + Scaling): Kombination des v1-Codebooks mit architektonischer Skalierung erzielte den besten globalen Loss (2,681) und die beste Hit Rate @100 (0,2910), bei einer Beschleunigung des Durchsatzes um 20,4 % gegenüber dem Raw-Dense-Ansatz.

Fazit: Die diskrete Tokenisierung bricht den I/O-Engpass erfolgreich auf und ermöglicht so die gleichzeitige Skalierung von Modelltiefe und Retrieval-Genauigkeit.

Online-Einsatz

Das Framework wurde in Multitask-Ranking- und Foundational-Transformer-Retrieval-Modellen eingesetzt.

Ranking-Modelle: Das Hinzufügen des SiDec-Inhaltsrekonstruktions-Streams zu bestehenden Semantic-ID-Features lieferte signifikante Gewinne beim „Online Satisfied Engagement“ (eine zusammengesetzte Metrik aus Watch Time und Interaktionen).
- Watchpage Ranking: +0,80 % Verbesserung.
- Homepage Ranking: +0,22 % Verbesserung.
Retrieval-Modelle: +0,13 % Verbesserung auf der Homepage.
Auswirkung: Die Verbesserungen waren statistisch signifikant und profitierten überproportional von neuen Accounts mit spärlichen Historien und Long-Tail-Content, wodurch der Popularity Bias effektiv gemildert wurde.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass „Tokens All You Need“ für hocheffiziente, inhaltsreiche Empfehlungen sind. Die Bedeutung dieser Arbeit liegt in ihrem philosophischen und architektonischen Wandel:

Entkopplung von kontinuierlichem I/O: Die Autoren argumentieren, dass hochdimensionale kontinuierliche Verteilungen nicht in ihrem nativen Floating-Point-Format verarbeitet werden müssen, um ihre prädiktive Kraft zu behalten. Durch die Quantisierung des gesamten Feature-Raums (einschließlich Nutzerkontext, historischer Dichten und Inhalts-Embeddings) in ein vereinheitlichtes Vokabular diskreter Tokens können Empfehlungssysteme sich vom kontinuierlichen Floating-Point-I/O entkoppeln.
Ausrichtung an LLM-Scaling Laws: Dieser Ansatz bringt Empfehlungssysteme mit den rechengebundenen Hardware-Skalierungsgesetzen in Einklang, die LLMs zugutekommen, und entfernt sie von den speichergebundenen Beschränkungen traditioneller dichter Embeddings.
Dualer Nutzen: Das Framework zeigt, dass diskrete Tokens einem doppelten Zweck dienen können: Sie fungieren sowohl als strukturierte kategoriale Merkmale für Collaborative Filtering als auch als komprimierte Repräsentationen für die On-the-fly-Inhaltsrekonstruktion, wodurch separate, schwere Embedding-Tabellen eliminiert werden.

Die Autoren kommen zu dem Schluss, dass dieses Paradigma einen Weg bietet, ultra-lange Nutzersequenzen und massive Feature-Räume zu handhaben, ohne die prohibitiven Kosten, die mit traditioneller dichter Vektor-Speicherung und -Abfrage verbunden sind.