🤖 AI

Understanding Generative Recommendation with Semantic IDs from a Model-scaling View

Dieses Paper identifiziert die begrenzte Kapazität semantischer IDs als einen grundlegenden Flaschenhals bei der Skalierung von SID-basierten generativen Empfehlungsmodellen und zeigt auf, dass die direkte Nutzung von Large Language Models als Empfehlungssysteme überlegene Skalierungseigenschaften und Leistungsverbesserungen bietet.

Ursprüngliche Autoren: Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, der ultimative Einkaufsassistent zu werden. Sie möchten, dass er sich ansieht, was Sie früher gekauft haben, und errät, was Sie als Nächstes kaufen werden. In dieser Arbeit geht es darum, zwei verschiedene Wege zu lehren, wie man diesen Roboter trainiert, und wie gut sie besser werden, wenn man ihnen mehr „Gehirnschmalz“ (Rechenleistung) gibt.

Die Forscher fanden heraus, dass eine beliebte Methode sehr schnell an eine „gläserne Decke“ stößt, während die andere Methode immer klüger wird, je mehr man sie füttert.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

Die zwei Lehrer: „Der Ausweis“ vs. „Der Geschichtenerzähler“

Die Arbeit vergleicht zwei Wege, wie der Roboter etwas über Produkte lernt (wie ein Buch, ein Spielzeug oder ein Paar Schuhe).

1. Die „Ausweis“-Methode (SID-basierte GR)

Wie es funktioniert: Stellen Sie sich vor, Sie haben eine Bibliothek mit Millionen von Büchern. Anstatt die Titel oder Zusammenfassungen zu lesen, zwingen Sie den Roboter dazu, nur eine winzige, 4-stellige ID-Nummer für jedes Buch zu lernen (z. B. „Buch #4921“).
Der Prozess: Zuerst liest ein kluger Lehrer (ein Large Language Model) das Buch und schreibt einen geheimen Code (die ID). Dann versucht der Roboter, die nächste ID-Nummer basierend auf Ihrer Historie zu erraten.
Das Problem: Die Arbeit nennt dies den Semantic ID (SID) Ansatz. Die Forscher fanden heraus, dass der Roboter eine Wand trifft, egal wie sehr man den „klugen Lehrer“ oder den „ID-Generator“ aufrüstet. Es ist, als würde man versuchen, einen komplexen Film nur durch eine einzige Zahl zu beschreiben. Man verliert alle Details. Selbst wenn man das Gehirn des Roboters um das 100-fache vergrößert, kann er nicht mehr lernen, weil die „Ausweise“ zu einfach sind, um all die Informationen zu halten.

2. Die „Geschichtenerzähler“-Methode (Text-basierte GR)

Wie es funktioniert: Anstatt geheime Codes zu verwenden, lassen Sie den Roboter die tatsächlichen Titel und Beschreibungen der Artikel lesen.
Der Prozess: Sie sagen: „Sie haben Harry Potter gekauft, dann Der Hobbit...“ und der Roboter sagt voraus: „Sie werden Der Herr der Ringe kaufen.“ Er liest die Wörter direkt.
Das Ergebnis: Diese Methode ist, als würde man dem Roboter einen Bibliotheksausweis geben und ihn die Bücher lesen lassen. Wenn Sie dem Roboter ein größeres Gehirn (mehr Rechenleistung) geben, wird er signifikant besser darin, die Geschichte zu verstehen und zu erraten, was Sie als Nächstes kaufen werden. Er stößt nicht an eine Wand; er wird immer besser.

Die große Entdeckung: Der „Flaschenhals“

Die Forscher testeten diese Methoden mit Robotern, die von klein (44 Millionen „Neuronen“) bis massiv (14 Milliarden „Neuronen“) reichten.

Der Ausweis-Roboter: Als sie den Roboter größer machten, wurde er zuerst etwas besser, aber dann verbesserte er sich nicht mehr. Es war, als würde man versuchen, einen Becher mit einem Hochdruckschlauch zu füllen; der Becher (das ID-System) war zu klein, um das ganze Wasser (das Wissen) aufzunehmen. Die „Ausweise“ selbst waren der Flaschenhals. Sie waren zu einfach, um die reiche Bedeutung der Artikel zu tragen.
Der Geschichtenerzähler-Roboter: Als sie diesen Roboter größer machten, wurde er immer klüger. Er lernte nicht nur die Muster dessen, was Menschen kaufen (Collaborative Filtering), sondern auch die tatsächliche Bedeutung der Artikel (semantische Informationen).

Eine weit verbreitete Überzeugung infrage stellen

Es gab eine populäre Überzeugung in der Tech-Welt, dass „Große Sprach-Roboter schlecht darin sind, Einkaufsgewohnheiten zu verstehen“. Die Leute dachten, sie seien zu sehr auf Sprache fokussiert und könnten die Mathematik von „Leute, die X kauften, kauften auch Y“ nicht lernen.

Die Arbeit beweist dies als falsch. Sie zeigten, dass der „Geschichtenerzähler“-Roboter tatsächlich besser darin wird, diese Einkaufsgewohnheiten zu lernen, wenn er größer wird. Er braucht kein separates, spezielles Mathematik-Modul, um dies zu lernen; das große Gehirn lernt es ganz natürlich, wenn es skaliert wird.

Der Kompromiss: Geschwindigkeit vs. Leistung

Die Arbeit untersuchte auch die Kosten für den Betrieb dieser Roboter:

Der Ausweis-Roboter: Er ist sehr schnell und kostengünstig im Betrieb. Er muss nur ein paar Zahlen erraten. Wenn Sie ein kleines Budget haben oder sofortige Antworten benötigen, ist dies der Gewinner.
Der Geschichtenerzähler-Roboter: Er ist langsamer und teurer, weil er ganze Sätze lesen und schreiben muss. Wenn Sie jedoch das Budget haben und die absolut beste Leistung wollen, ist dies der klare Sieger. Er kann bei Skalierung bis zu 20 % genauer sein als die ID-Methode.

Das Fazit

Wenn Sie die nächste Generation von Empfehlungssystemen (wie für Amazon oder TikTok) bauen wollen, legt die Arbeit nahe, dass die Verwendung von rohem Text (der Geschichtenerzähler) der Weg nach vorn ist, um „Foundation Models“ zu bauen, die immer klüger werden.

Die „Ausweis“-Methode stößt an ein Limit, weil sie zu viel Information wegwirft. Um das Beste aus massiven KI-Modellen herauszuholen, müssen wir sie die tatsächlichen Wörter lesen lassen, anstatt nur auf geheime Codes zu schauen.

Technisches Resümee: Verständnis von generativer Empfehlung durch semantische IDs aus der Perspektive der Modellskalierung

Problemstellung

Generative Empfehlung (Generative Recommendation, GR) hat sich als ein transformativer Paradigma herauskristallisiert, das darauf abzielt, reiche Item-Semantik mit kollaborativen Filterungs-Signalen (Collaborative Filtering, CF) zu vereinigen. Ein dominanter Ansatz, die SID-basierte GR, nutzt semantische IDs (SIDs) – diskrete Codes, die aus den Embeddings eines Modalitäts-Encoders (z. B. LLMs oder VLMs) quantisiert wurden –, um Items in einem autoregressiven sequenziellen Modellierungsaufbau darzustellen. Während generative Modelle in anderen Domänen etablierte Skalierungsgesetze (Scaling Laws) aufweisen (wobei die Leistung vorhersagbar mit der Modellgröße steigt), untersucht dieses Paper, ob die SID-basierte GR ähnlichen Trends folgt. Die Autoren identifizieren eine kritische Lücke: Es bleibt unklar, ob die Skalierung der Komponenten der SID-basierten GR (der Modalitäts-Encoder, der Quantisierungs-Tokenizer und das Recommender-Backbone) proportionale Leistungssteigerungen liefert oder ob fundamentale Engpässe existieren, die eine effektive Skalierung verhindern.

Methodik

Die Autoren führen eine umfassende empirische Analyse der Modellskalierungsverhalten über zwei unterschiedliche GR-Paradigmen hinweg durch: SID-basierte GR und textbasierte GR.

1. Theoretischer Rahmen

Die Studie formuliert eine Skalierungsgesetz-Gleichung für GR basierend auf der Risiko-Dekomposition, wobei Collaborative Filtering (CF) und semantische Information (SI) als unterschiedliche Modalitäten behandelt werden. Der Gesamtfehler ( $L$ ) wird als Funktion der den SI-Lernprozessen zugewiesenen Parameter ( $N_{SI}$ ) und den den CF-Lernprozessen zugewiesenen Parametern ( $N_{CF}$ ) modelliert:
$L(N_{SI}, N_{CF}) = E + \frac{A}{N_{SI}^a} + \frac{B}{N_{CF}^b}$
Wobei $E$ der minimal erreichbare Fehler ist und $A, B, a, b$ empirisch bestimmte Parameter sind. Die verwendete Metrik ist die Miss Rate ($MR@k = 1 - Recall@k$).

2. Experimenteller Aufbau

Datensätze: Amazon Review Datensätze (Beauty, Sports and Outdoors, Toys and Games). Die Mengen an Trainings- und Evaluationsdaten sind fixiert, um den Effekt der Modellskalierung zu isolieren.
SID-basierte GR: Verwendet eine Drei-Komponenten-Pipeline:
1. Modalitäts-Encoder: Ein eingefrorener LLM (z. B. Flan-T5 Serie) kodiert Item-Texte in Embeddings.
2. Quantisierungs-Tokenizer: Ein RQ-VAE quantisiert die Embeddings in diskrete SIDs.
3. Recommender (RS): Ein sequenzielles Modell (Transformer oder LLM) sagt die nächste SID voraus.
- Skalierungsvariablen: Die Autoren skalieren unabhängig die RS-Größe ( $N_{RS}$ ), die Größe des LLM-Encoders ( $N_{LLM}$ ) und die Konfiguration des Tokenizers (Anzahl und Größe der Codebooks, $N_{QT}$ ).
Textbasierte GR: Ein Paradigma, bei dem das LLM direkt rohe Text-Prompts verarbeitet, die Nutzerinteraktionshistorien enthalten, und den nächsten Item-Titel als Text vorhersagt.
- Skalierungsvariablen: Die Autoren skalieren das eingefrorene LLM-Backbone ( $N_{LLM}$ ) und die trainierbaren LoRA-Gewichte ( $N_{LoRA}$ ).
Ablationsstudien: Um Engpässe zu identifizieren, injizieren die Autoren externe CF-Embeddings (aus SASRec) und rohe LLM-Embeddings direkt in das RS-Modul, um zu testen, ob der SID-Engpass der limitierende Faktor ist.

Zentrale Beiträge und Erkenntnisse

1. SID-basierte GR weist schwere Skalierungsengpässe auf

Die Studie zeigt auf, dass die SID-basierte GR keinen Standard-Skalierungsgesetzen folgt.

Recommender-Skalierung ( $N_{RS}$ ): Die Leistung sättigt schnell ab. Bei Transformer-basierten RSs stellen die Gewinne ein, sobald die Parameter $\sim 10^7$ überschreiten. LLM-basierte RSs zeigen nur marginale Gewinne und schneiden schlechter ab als Transformer.
Encoder-Skalierung ( $N_{LLM}$ ): Die Erhöhung der Größe des eingefrorenen LLM-Encoders (von 77M auf 11B Parameter) liefert vernachlässigbare bis gar keine Leistungsverbesserungen. Die Qualität der durch kleine Encoder generierten SIDs scheint ausreichend zu sein, und größere Encoder produzieren keine informativeren SIDs.
Tokenizer-Skalierung ( $N_{QT}$ ): Die Vergrößerung des Quantisierungs-Tokenizers (Erhöhung der Anzahl oder Größe der Codebooks) führt zu Leistungsdegradierung oder Stagnation. Die erhöhte Komplexität längerer SIDs überwiegt etwaige marginale Gewinne in der Informationsdichte.
Ursache: Eine Ablationsstudie, bei der rohe LLM-Embeddings direkt in das RS-Modul injiziert wurden (unter Umgehung der SIDs), führte zu erheblichen Leistungsverbesserungen, insbesondere bei größeren Modellen. Dies bestätigt, dass der diskrete Quantisierungsprozess (SIDs) der fundamentale Engpass ist, der semantische Informationen verwirft, was verhindert, dass das nachgeschaltete Modell die volle Kapazität des Encoders ausschöpft.

2. Textbasierte GR demonstriert überlegene Skalierungseigenschaften

Im Gegensatz zur SID-basierten GR weist das textbasierte GR-Paradigma konsistente Skalierungsverhalten auf.

Kontinuierliche Verbesserung: Während die Modellgröße von 44M auf 14B Parameter skaliert, verbessert sich die Leistung (Recall@5) stetig ohne Anzeichen von Sättigung.
Duale Fähigkeit: Die Studie stellt die vorherrschende Annahme in Frage, dass LLMs Schwierigkeiten haben, CF-Signale zu erfassen. Durch das Anpassen der Skalierungsgleichung zeigen die Autoren, dass sowohl die trainierbaren LoRA-Gewichte als auch das eingefrorene LLM-Backbone dazu beitragen, sowohl semantische Informationen ( $\gamma > 0$ ) als als auch kollaborative Filterungssignale ( $\beta > 0$ ) zu lernen.
Leistungslücke: Textbasierte GR erreicht eine bis zu 20%ige Verbesserung gegenüber der bestmöglichen Leistung der SID-basierten GR, wenn beide mit denselben Trainingsdaten skaliert werden.

3. Effizienz und Cold-Start-Analyse

Effizienz: Die SID-basierte GR ist während der Inferenz recheneffizienter (Generierung kurzer ID-Sequenzen statt vollständiger Titel-Texte) und konvergiert während des Trainings schneller. Textbasierte GR ist vorzuziehen, wenn die Rechenbudgets dies zulassen und die Leistung das primäre Ziel ist.
Cold-Start: Textbasierte GR schneidet bei Cold-Start-Items (im Training nicht gesehen) konsistent besser ab als die SID-basierte GR, was eine überlegene Transferierbarkeit auf neue Items aufgrund der direkten Abhängigkeit von semantischem Text statt diskreter IDs zeigt.

Bedeutung und Ansprüche

Das Paper positioniert die textbasierte GR als einen vielversprechenden Weg zum Aufbau von Foundation Models für Empfehlungen und argumenttiert, dass die derzeitige Abhängigkeit von semantischen IDs (SIDs) intrinsische Grenzen für die Skalierung von Modellen setzt.

Neubewertung von Paradigmen: Die Arbeit legt nahe, dass die "Vereinigung" von Semantik und CF via SIDs suboptimal sein kann. Stattdessen ermöglicht die direkte Nutzung der semantischen Reichhaltigkeit von LLMs durch textbasierte Generierung bessere Skalierungsgesetze.
LLM-Fähigkeiten: Sie liefert empirische Belege dafür, dass LLMs in der Lage sind, kollaborative Filterungssignale effektiv zu modellieren, wenn sie skalieren, was der Vorstellung widerspricht, dass es sich rein um semantische Modelle handelt.
Bescheidene Ansprüche: Die Autoren stellen klar, dass die Studie nicht behauptet, dass die textbasierte GR in allen Kontexten universell überlegen ist (z. B. in ressourcenbeschränkten Umgebungen, in denen die Effizienz der SID-basierten GR entscheidend ist). Vielmehr ist das Ziel, ein nuanciertes Verständnis der Skalierungsgrenzen aktueller Paradigmen zu vermitteln, um die Entwicklung zukünftiger Foundation Models für Empfehlungen zu leiten.

Die Studie kommt zu dem Schluss, dass die Überwindung des dem SID-Quantisierungsprozess inhärenten semantischen Informationsverlusts entscheidend ist, um das volle Potenzial von LLMs in der generativen Empfehlung freizusetzen.