🤖 AI

LLMs Need Encoders for Semantic IDs Too

Das Paper schlägt PrefixMem vor, einen leichtgewichtigen Prefix-n-Gramm-Memory-Encoder, der strukturierte, kontextsensitive Repräsentationen für semantische IDs in der generativen Empfehlung bereitstellt und zeigt, dass SIDs, ähnlich wie andere nicht-sprachliche Modalitäten, dedizierte Encoder erfordern, um die Retrieval-Genauigkeit gegenüber Standardansätzen auf Basis von Vokabularen signifikant zu verbessern.

Ursprüngliche Autoren: Xiangyi Chen, Zelun Wang, Xinyi Li, Yi-Ping Hsu, Jaewon Yang, Jiajing Xu

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiangyi Chen, Zelun Wang, Xinyi Li, Yi-Ping Hsu, Jaewon Yang, Jiajing Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Verwirrung durch den „magischen Code“

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter (einem Large Language Model oder LLM) beizubringen, Produkte wie Schuhe oder T-Shirts an Menschen zu empfehlen. Anstatt normale Wörter wie „Nike-Laufschuh“ zu verwenden, nutzt das System einen speziellen hierarchischen Code (einen sogenannten Semantic ID oder SID), um jeden Artikel zu beschreiben.

Betrachten Sie diese Codes wie eine Postanschrift, aber mit einem Kniff:

Code 505 könnte „Sneaker“ bedeuten, wenn er nach dem Präfix 1273 kommt.
Aber derselbe Code 505 könnte „Vintage-Kunst“ bedeuten, wenn er nach dem Präfix 974 kommt.

Das Problem:
Aktuelle KI-Systeme behandeln diese Codes wie ein einfaches Wörterbuch. Sie geben der Zahl „505“ jedes Mal exakt dieselbe Bedeutung, unabhängig davon, was zuvor kam. Es ist wie ein Bibliothekar, der ein Buch mit dem Titel „505“ besitzt, aber nicht realisiert, dass „505“ etwas völlig anderes bedeutet, je nachdem, in welchem Regal es steht.

Da die KI lernen muss, diese komplexen, kontextabhängigen Bedeutungen von Grund auf allein durch das Lesen von Millionen Beispielen zu verstehen, wird sie oft verwirrt – besonders bei seltenen Artikeln oder komplexen Codes. Es ist, als würde man versuchen, eine Million verschiedene Telefonbücher auswendig zu lernen, indem man sie nur einmal liest, ohne jegliche Hilfe.

Die Lösung: PrefixMem (Der „kontextuelle Übersetzer“)

Die Autoren schlagen ein neues Werkzeug namens PrefixMem vor. Stellen Sie sich dies als einen spezialisierten Übersetsetzer oder einen intelligenten Assistenten vor, der direkt neben der Haupt-KI sitzt.

So funktioniert es:

Die Aufgabe des Übersetzers: Bevor die Haupt-KI versucht, den nächsten Code in der Sequenz zu erraten, betrachtet PrefixMem die vorherigen Codes (das „Präfix“).
Der Nachschlag: Es verwendet eine riesige, organisierte Nachschlagetabelle (wie ein massives Karteikartensystem), um die spezifische Bedeutung des aktuellen Codes in diesem speziellen Kontext zu finden.
Die Übergabe: Es gibt der Haupt-KI einen „Hinweis“ oder einen „kontextuellen Vektor“, der besagt: „Hey, dieses ‚505‘ bedeutet hier gerade ‚Sneaker‘, weil es auf ‚1273‘ folgt.“

Dies ähnelt der Art und Weise, wie multimodale KI (KI, die sieht und hört) spezielle Kameras (Vision Encoder) nutzt, um Bilder in eine Sprache zu verwandeln, die die KI versteht. Die Autoren argumentieren, dass Semantic IDs einfach eine weitere „Sprache“ sind, die ihren eigenen speziellen Encoder benötigt, um korrekt verstanden zu werden.

Warum das wichtig ist: Die Ergebnisse

Die Autoren haben dies mit echten Daten von Pinterest (einer riesigen Plattform zum Teilen von Bildern) getestet und dabei beeindruckende Ergebnisse erzielt:

Ein Gamechanger für schwierige Fälle: Die Haupt-KI hat normalerweise Schwierigkeiten mit „schwierigen“ Beispielen – wie etwa seltenen Artikeln oder komplexen Code-Kombinationen. Mit PrefixMem wurde die KI bei diesen schwierigen Codes um 77 % besser. Es ist, als würde man einem Schüler ein Spickblatt geben, das speziell für die Fragen gedacht ist, bei denen er normalerweise Fehler macht.
Kleines KI-Modell, große Wirkung: Ein winziges KI-Modell (0,6 Milliarden Parameter), das mit diesem Übersetzer ausgestattet ist, schnitt besser ab als ein viel größeres KI-Modell (4 Milliarden Parameter) ohne diesen. Es ist wie ein kleiner, gut ausgestatteter Detektiv, der einen Fall besser löst als ein riesiges, verwirrtes Team.
Weniger Fehler: Das System machte deutlich weniger „Halluzinationen“ (das Erraten von Codes, die gar nicht im Katalog existieren). Es verbesserte sich von einer Fehlerquote von etwa der Hälfte auf eine Erfolgsquote von etwa zwei Dritteln.
Günstig und schnell: Dieser Übersetzer ist sehr leichtgewichtig. Er verursacht fast keinen zusätzlichen Rechenaufwand (weniger als 0,02 % mehr Arbeit), bietet aber eine massive Steigerung der Genauigkeit.

Der Vorteil des „Pre-Trainings“

Genau wie man einen spezialisierten Übersetzer trainieren kann, bevor er in einem Team arbeitet, fanden die Autoren heraus, dass sie PrefixMem auch vorab trainieren (pre-trainen) können.

Sie haben den Übersetzer mit einfachen, kostengünstigen Methoden trainiert (z. B. indem sie darauf achteten, welche Codes üblicherweise aufeinanderfolgen).
Sobald er trainiert ist, kann man diesen „intelligenten Übersetzer“ in jedes beliebige KI-Modell einbauen (ob Qwen, Llama oder Gemma).
Das bedeutet, dass man nicht die gesamte KI von Grund auf neu lehren muss; man gibt ihr lediglich ein besseres Wörterbuch.

Zusammenfassende Analogie

Stellen Sie sich vor, die Haupt-KI ist ein Koch, der versucht, ein komplexes Gericht zuzubereiten (einen Artikel zu empfehlen).

Ohne PrefixMem: Muss der Koch jede einzelne Kombination von Zutaten auf der Welt auswendig lernen. Wenn er eine bestimmte Kombination noch nie gesehen hat, rät er falsch.
Mit PrefixMem: Hat der Koch einen Sous-Chef (PrefixMem), der ein riesiges, organisiertes Rezeptbuch besitzt. Wenn der Koch fragt: „Was passt dazu?“, schlägt der Sous-Chef sofort den spezifischen Kontext nach und reicht dem Koch die exakt richtige Zutat. Der Koch muss nicht alles auswendig lernen; er muss nur wissen, wie er den Sous-Chef nutzt.

Das Kernfazit: Die Arbeit beweist, dass wir, um KI-Empfehlungssysteme besser zu machen, nicht einfach nur die KI größer machen sollten. Stattdessen sollten wir ihr ein dediziertes, spezialisiertes Werkzeug (einen Encoder) geben, um die komplexen, hierarchischen Codes zu verstehen, mit denen sie die Welt beschreibt.

Technisches Resümee: LLMs benötigen Encoder auch für semantische IDs

Problemstellung

Generative Empfehlungssysteme repräsentieren Artikel als semantische IDs (SIDs) – hierarchische Codes, die mittels RQ-VAE generiert wurden. Während diese Codes den Wissenstransfer zwischen semantisch ähnlichen Artikeln ermöglichen, stellen sie eine einzigartige Herausforderung für Large Language Models (LLMs) dar. Im Gegensatz zu Standard-Sprachtoken ist die Bedeutung eines SID-Tokens strikt kontextabhängig: Ein spezifischer Code (z. B. 505) repräsentiert je nach seinem Präfix (z. B. 1273-505 vs. 974-505) völlig unterschiedliche Artikelcluster.

Aktuelle Ansätze behandeln SID-Codes als flache Vokabular-Tokens und weisen jedem Code ein einzelnes, statisches Embedding zu, unabhängig von seinem Präfix. Dies zwingt das LLM dazu, die kombinatorischen Präfix-Code-Beziehungen von Grund auf innerhalb seiner gemeinsamen Parameter zu erlernen. Angesichts des Milliarden-Skala-Artikelkorpus und der spärlichen, hierarchischen Natur der SID-Verteilungen (verschärft durch das „Hourglass-Phänomen“ auf mittleren Ebenen) ist dieses Lernproblem rechenintensiv und scheitert oft daran, tiefe strukturelle Abhängigkeiten zu erfassen, insbesondere bei seltenen Artikeln oder komplexen Präfixmustern.

Methodik: PrefixMem

Die Autoren schlagen PrefixMem vor, einen leichtgewichtigen, dedizierten SID-Encoder, der analog zu Vision-Encodern in multimodalen LLMs funktioniert. Anstatt sich allein auf die internen Aufmerksamkeitsmechanismen des LLMs zu verlassen, um den Kontext zu inferieren, stellt PrefixMem explizite, präfix-konditionierte Repräsentationen für das Modell bereit.

Architektur

PrefixMem wird als Hash-basierte Präfix- $n$ -Gramm-Speichertabelle implementiert. Für eine SID-Sequenz $(c_1, \dots, c_L)$ operiert der Encoder auf jeder Ebene $\ell$ wie folgt:

Hashing: Das vorangehende Präfix $(c_1, \dots, c_{\ell-1})$ wird unter Verwendung mehrerer Hash-Heads in mehrere $n$ -Gramm-Ordnungen (von Länge 1 bis $\min(\ell, N_{max})$ ) gehasht.
Lookup: Diese Hashes indizieren in dünnbesetzte Embedding-Tabellen ( $E_{n,h}$ ), um Vektoren abzurufen.
Aggregation: Die abgerufenen Vektoren werden über die Heads hinweg konkateniert, über $n$ -Gramm-Ordnungen summiert und mittels einer linearen Schicht ( $W_{out}$ ) projiziert.
Injektion: Der resultierende Vektor $\mathbf{m}_\ell$ wird dem Input-Embedding des aktuellen Tokens $c_\ell$ hinzugefügt, bevor dieser in den LLM-Transformer eintritt.

Dieser Mechanismus stellt sicher, dass das LLM eine distinkte Repräsentation für denselben Code erhält, abhängig von seiner Präfix-Historie. Dadurch wird die Speicherung der Präfix-zu-Code-Übergangstatistik von den dichten Transformer-Gewichten auf dünnbesetzte Lookup-Tabellen ausgelagert.

Pre-Training-Strategie

Ähnlich wie Vision-Encoder kann PrefixMem unabhängig vor der Anbindung an ein LLM vortrainiert werden. Das Paper untersucht drei Pre-Training-Ziele:

Klassifikation: Vorhersage des nächsten Codes $c_{\ell+1}$ basierend auf dem Präfix-Embedding mittels eines linearen Heads.
Generative Retrieval: Training auf einem generativen SID-Modell (z. B. TIGER), um nutzerverhaltenstechnische Übergangsmuster zu erfassen.
LLM Joint Training: Gemeinsames Training des Encoders mit einem kleinen LLM auf Text+SID-Daten, um sprachlich fundierte Repräsentationen zu injizieren.

Zentrale Beiträge

Umdeutung von SIDs als Modalität: Das Paper argumentiert, dass semantische IDs eine eigenständige Modalität darstellen, die einen dedizierten Encoder erfordert. Dies zieht eine Parallele dazu, wie Vision- und Audio-Encoder nicht-sprachliche Modalitäten in multimodalen LLMs überbrücken.
PrefixMem-Design: Einführung eines Präfix- $n$ -Gramm-Speichermoduls, das strukturierte, präfix-konditionierte Repräsentationen liefert. Es ist leichtgewichtig, vortrainierbar und über verschiedene LLM-Familien hinweg transferierbar.
Effizienz und Skalierbarkeit: Der Encoder entkoppelt das SID-Wissen von den Parametern des LLM. Dies ermöglicht es kleineren Modellen (z. B. 0,6B), die mit PrefixMem ausgestattet sind, signifikant größere Modelle (z. B. 4B) ohne Encoder zu übertreffen.
Umfassende Evaluierung: Umfangreiche Evaluierung auf Pinterest-Daten im Milliarden-Skala-Bereich über mehrere LLM-Familien (Qwen, Llama, Gemma) sowie Nicht-LLM-Architekturen (TIGER) hinweg.

Experimentelle Ergebnisse

Evaluierung auf dem Milliarden-Skala-Artikelkatalog von Pinterest mit 5-stufigen SIDs (2048 Codes pro Ebene). PrefixMem zeigt signifikante Verbesserungen:

Genauigkeit pro Ebene: Bei identischer Trainings-Rechenleistung verbessert PrefixMem die Genauigkeit der tiefsten SID-Ebenen (L4 und L5) um bis zu 46 % relativ (z. B. von 37,6 % auf 54,8 % bei Qwen3 1.7B). Die Ebenen 1–3 bleiben weitgehend unverändert, was bestätigt, dass der Encoder die kombinatorische Explosion tieferer Präfixe adressiert.
Retrieval-Performance: Die Full-SID-Retrieval-Recall (Recall@100) verbessert sich um bis zu 22 % relativ. Der Nutzen skaliert monoton mit der Beam-Breite, was darauf hindeutet, dass der Encoder hilft, korrekte Pfade in breiteren Suchräumen aufzuspüren.
Schwierige Beispiele: Die Gewinne konzentrieren sich auf „unerreichbare“ Beispiele, bei denen Greedy Decoding versagt. In diesen schwierigen Fällen steigt die Genauigkeit um bis zu 77 % relativ.
Seltene Artikel: Der Encoder profitiert überproportional von seltenen Artikeln (unterstes Quartil der Präfix-Frequenz) und verbessert die Genauigkeit um 115 % relativ, verglichen mit 34 % bei populären Artikeln. Dies unterstreicht die Fähigkeit des Encoders, Präfixmuster effizienter als dichte Transformer-Gewichte zu lernen.
Katalog-Validität: Der Encoder reduziert halluzinierte (nicht existierende) SIDs und verbessert die L5-Hit-Rate von 50,7 % auf 65,1 %.
Generalisierung: Ein 0,6B-Modell mit PrefixMem erreicht eine höhere SID-Vorhersagegenauigkeit als ein 4B-Modell ohne Encoder. Der Encoder verbessert zudem die Performance von Nicht-LLM-Modellen wie TIGER (35M Parameter) um 121 % bei der L5-Genauigkeit.
Architekturvergleich: Ein 4-Schicht-Causal-Transformer-Encoder (336M Parameter) konnte die Performance des spärlichen, Hash-basierten PrefixMem nicht erreichen, was darauf hindeutet, dass das SID-Encoding fundamental ein Speicher-Kapazitätsproblem und kein gelerntes Berechnungsproblem ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Behandlung von SIDs als eine erstklassige Modalität, die einen dedizierten Encoder erfordert, ein entscheidender Schritt zu effizienter, skalierbarer generativer Empfehlung ist. Durch die Auslagerung der kombinatorischen Last der SID-Hierarchien auf externe, vortrainierbare Speichertabellen ermöglicht PrefixMem es LLMs, sich auf die Nutzung der Struktur zu konzentrieren, anstatt diese von Grund auf neu entdecken zu müssen.

Die Autoren betonen, dass dieser Ansatz einen praktischen Weg ebnet, um LLM-basierte Empfehlungen erschwinglicher zu machen:

Recheneffizienz: Der Encoder fügt eine vernachlässigbare Rechenlast hinzu (<0,02 % der gesamten FLOPs) und kann kostengünstig vortrainiert werden.
Modellskalierung: Er ermöglicht es kleineren, kosteneffizienteren Modellen, Leistungsniveaus zu erreichen, die zuvor größeren Modellen vorbehalten waren.
Modularität: Der Encoder ist architekturoffensiv, kann über verschiedene LLM-Familien hinweg transferiert werden und funktioniert sogar bei Nicht-LLM-generativen Modellen.

Die Arbeit kommt zu dem Schluss, dass genau wie multimodale LLMs dedizierte Encoder für Bilder und Audio benötigen, generative Empfehlungssysteme dedizierte Encoder für semantische IDs benötigen, um deren hierarchische, kontextabhängige Natur effektiv zu handhaben.