💻 computer science

End-to-End Semantic ID Generation for Generative Advertisement Recommendation

Dieser Artikel stellt UniSID vor, ein End-to-End-Framework für die generative Werbeempfehlung, das Embedding und die Generierung semantischer IDs vereint, um die Einschränkungen der traditionellen zweistufigen Residualquantisierung zu überwinden und dadurch durch kontrastives Lernen auf mehreren Granularitätsebenen sowie rekonstruktionsbasierte Zusammenfassung eine überlegene Leistung zu erzielen.

Ursprüngliche Autoren: Jie Jiang, Xinxun Zhang, Enming Zhang, Yuling Xiong, Jun Zhang, Jingwen Wang, Huan Yu, Yuxiang Wang, Hao Wang, Xiao Yan, Jiawei Jiang

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jie Jiang, Xinxun Zhang, Enming Zhang, Yuling Xiong, Jun Zhang, Jingwen Wang, Huan Yu, Yuxiang Wang, Hao Wang, Xiao Yan, Jiawei Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem mit der „Übersetzung"

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Produkten Menschen zu empfehlen. Dafür muss der Roboter verstehen, was ein Produkt ist.

Der alte Weg (Die Zwei-Phasen-Pipeline):
Denken Sie an die alte Methode wie an ein Spiel „Stille Post", das von zwei verschiedenen Personen gespielt wird, die nicht miteinander sprechen.

Person A (Der Encoder): Schaut sich ein Produkt an (sagen wir, einen roten Lederschuh) und schreibt eine lange, komplexe Beschreibung auf ein Blatt Papier. Dann versucht sie, diese Beschreibung in einen kurzen Code zusammenzufassen (wie „Schuh-Rot-01").
Person B (Der Generator): Nimmt diesen kurzen Code („Schuh-Rot-01") und versucht zu erraten, was der Nutzer als Nächstes möchte.

Das Problem:
Person A und Person B haben unterschiedliche Ziele. Person A möchte eine perfekte Zusammenfassung schreiben. Person B möchte den nächsten Klick vorhersagen. Da sie getrennt arbeiten, könnte Person A eine winzige Details weglassen, die Person B wirklich braucht. Außerdem verlieren sie jedes Mal, wenn Person A das Papier zusammenfasst, ein wenig Information (wie bei einer unscharfen Fotokopie). Bis der Code Person B erreicht, ist der ursprüngliche „Vibe" des Schuhs etwas verschwommen. Das ist es, was das Paper als semantische Degradation und Zielkonflikt bezeichnet.

Die neue Lösung: UniSID (Der „All-in-One"-Koch)

Die Autoren schlagen UniSID vor, was das Spiel verändert. Anstatt zwei Personen „Stille Post" spielen zu lassen, stellen sie einen Experten-Koch ein, der alles auf einmal macht.

Wie UniSID funktioniert:

Die rohen Zutaten: Der Koch betrachtet die tatsächlichen Produktdaten sofort: das Foto des Schuhs, die Textbeschreibung, den Markennamen und die Kategorietags (z. B. „Herrenmode").
Das simultane Kochen: Anstatt zuerst eine Zusammenfassung zu schreiben und dann zu raten, kocht der Koch den „Code" (die Semantische ID) und das „Geschmacksprofil" (das Embedding) zur exakt gleichen Zeit.
- Sie schauen sich die rohen Zutaten an und entscheiden direkt: „Das ist ein hochwertiger, stilvoller, schwarzer Lederschuh."
- Sie generieren den Code und das tiefe Verständnis des Schuhs gleichzeitig.
Das Ergebnis: Da der Code direkt aus den rohen Zutaten hergestellt wird, geht bei der Übersetzung keine Information verloren. Der Code erfasst die Essenz des Schuhs perfekt.

Die geheimen Zutaten (Wie sie es besser machen)

Um sicherzustellen, dass dieser „Koch" nicht einfach zufällig rät, verwendet UniSID zwei spezielle Techniken:

1. Die „Zoom-Objektiv"-Strategie (Multi-Granularitäts-kontrastives Lernen)
Stellen Sie sich vor, Sie schauen auf eine Karte.

Ebene 1 (Herausgezoomt): Sie sehen „Nordamerika".
Ebene 2 (Hineingezoomt): Sie sehen „USA".
Ebene 3 (Nahaufnahme): Sie sehen „New York City".

Bei der alten Methode könnte der Roboter zwischen „USA" und „Kanada" verwirrt sein, weil die Ebenen nicht gemeinsam gelehrt wurden. UniSID lehrt den Roboter zu verstehen, dass „New York" in „USA" liegt, was wiederum in „Nordamerika" liegt. Es zwingt den Code, auf jeder Zoom-Stufe konsistent zu sein, und stellt sicher, dass der Roboter genau weiß, wie spezifisch oder allgemein ein Produkt ist.

2. Der „Versteckte Bedeutung"-Detektiv (Zusammenfassungsbasierte Rekonstruktion)
Manchmal ist eine Produktbeschreibung wörtlich, aber die wahre Bedeutung ist verborgen.

Eingabe: „Edelstahlbecher, 500ml, zum Wandern."
Versteckte Bedeutung: „Das ist für einen abenteuerlichen, outdoor-Lebensstil."

UniSID hat einen speziellen Trick. Es bittet eine intelligente KI, eine kurze Zusammenfassung des „Vibes" (der versteckten Bedeutung) des Produkts zu schreiben. Dann fordert es den Roboter heraus: „Können Sie, wenn Sie auf den Code schauen, den Sie gerade erstellt haben, diese Zusammenfassung erraten?"
Wenn der Roboter den „abenteuerlichen Lebensstil" aus dem Code nicht erraten kann, weiß er, dass dem Code etwas Wichtiges fehlt. Dies zwingt den Code, nicht nur die Fakten, sondern auch die Seele der Werbung einzufangen.

Die Ergebnisse: Warum es wichtig ist

Das Paper testete diesen neuen „Koch" (UniSID) gegen die alten „Stille Post-Spieler" (RQ-VAE, RQ-KMeans) unter Verwendung echter Daten aus den Werbesystemen von Tencent.

Bessere Codes: Die Codes (Semantischen IDs), die UniSID erstellte, waren viel genauer darin, ähnliche Produkte zusammenzufassen.
Bessere Empfehlungen: Wenn sie zur Empfehlung von Anzeigen verwendet wurden, erzielte UniSID signifikant mehr Klicks (bis zu 4,62 % besser) als die besten bestehenden Methoden.
Kein Unscharf mehr: Indem die „Zwei-Phasen"-Übersetzung übersprungen wurde, verlor das System nicht die feinen Details der Produkte.

Auf den Punkt gebracht

Das Paper argumentiert, dass die derzeitige Art, Produkte in Computercodes umzuwandeln, wie das Erstellen einer Fotokopie einer Fotokopie ist – sie wird unscharf und verliert Details. UniSID ist eine neue Methode, die das Originaldokument betrachtet und den Code direkt schreibt, unter Verwendung eines einzigen, vereinten Prozesses. Es verwendet auch ein „Quiz"-System, um sicherzustellen, dass der Code die verborgene Persönlichkeit des Produkts einfängt und nicht nur seine Oberflächeneigenschaften. Das Ergebnis ist ein intelligenteres, genaueres Empfehlungssystem für Anzeigen.

Technische Zusammenfassung: UniSID – End-to-End-Generierung semantischer IDs für generative Werbeempfehlungen

1. Problemstellung

Generative Empfehlung (GR) hat sich als leistungsfähiges Paradigma etabliert, indem sie Empfehlungsaufgaben als Next-Token-Vorhersage formuliert und dabei auf Semantische IDs (SIDs) zurückgreift, um große Item-Mengen in diskrete Sequenzen zu tokenisieren. Bestehende GR-Ansätze nutzen jedoch überwiegend ein zweistufiges kaskadiertes Kompressionsparadigma auf Basis der Residual-Quantisierung (RQ). In dieser Pipeline werden Items zunächst in dichte Embeddings kodiert (Stufe 1) und anschließend in diskrete SIDs quantisiert (Stufe 2).

Die Autoren identifizieren drei inhärente Einschränkungen dieses vorherrschenden zweistufigen Paradigmas:

Zielkonflikt (Objective Misalignment): Die Lernphase der Embeddings ist auf semantische Reichhaltigkeit optimiert, während die Phase der SID-Generierung auf die Vorhersage diskreter Token ausgerichtet ist. Diese Entkopplung verhindert eine End-to-End-Gemeinoptimierung und führt zu suboptimalen SID-Repräsentationen.
Semantische Degradation: Da SIDs ausschließlich aus vortrainierten Embeddings generiert werden, kann der Prozess keine rohen Item-Features (z. B. multimodale Signale oder strukturierte Attribute) direkt nutzen. Diese Engpasssituation führt zum Verlust kritischer Semantik und reduziert die SID-Fidelity.
Fehlerakkumulation: RQ quantisiert Embeddings hierarchisch durch Approximation von Residuen. Quantisierungsrauschen akkumuliert sich über die Ebenen hinweg, und tiefere Schichten beobachten nur das Residuum der vorherigen Stufe, was zu progressiv spärlicheren Informationen und in tieferen Ebenen verrauschten, weniger zuverlässigen SIDs führt.

Die zentrale Forschungsfrage lautet, ob ein einheitliches End-to-End-SID-Generierungsframework entwickelt werden kann, das sich von diesem zweistufigen kaskadierten Kompressionsparadigma löst.

2. Methodik: UniSID

Die Autoren schlagen UniSID vor, ein einheitliches Framework für generative Werbeempfehlungen, das Embeddings und SIDs direkt aus rohen Werbedaten gemeinsam optimiert. Das Framework besteht aus drei Hauptkomponenten:

2.1 Werbe-erweitertes Eingabeschema

Um semantische Degradation zu adressieren, linearisiert UniSID heterogene Werbesignale in eine einheitliche Token-Sequenz, die von einem gemeinsamen Multimodalen Large Language Model (MLLM) verarbeitet wird. Die Eingabe umfasst:

Ad-Instruction-Prompts: Explizite Anleitung des Modells zur Generierung von SIDs und Embeddings.
Unstrukturierte Modalitäten: Visuelle Inhalte (Bilder) und Textbeschreibungen (Titel/Beschreibungen).
Strukturierte Werbeattribute: Branchen- und hierarchische Kategorielinformationen (z. B. Tägliche Bedürfnisse → Geschirr → Getränkegeschirr → Wasserglas), um semantische Mehrdeutigkeiten in rohen Bildern/Texten aufzulösen.
Lernbare Token: Eine Menge lernbarer SID-Token und ein Embedding-Token, die an die Eingabe angehängt werden.

Das MLLM kodiert diese Eingaben in versteckte Zustände. Ein SID-Head projiziert die Repräsentationen der SID-Token in den SID-Raum, während ein Embedding-Head die Repräsentation des Embedding-Tokens in den Item-Embedding-Raum projiziert. Entscheidend ist, dass das Embedding-Token von der vorhergehenden SID-Sequenz konditioniert wird, wodurch es sowohl Rohdaten als auch grob- bis feinabgestufte semantische Informationen integrieren kann.

2.2 Einheitliche SID- und Embedding-Generierung

Im Gegensatz zu RQ-Methoden, die Residuen hierarchisch quantisieren, sagt UniSID jede Ebene der mehrschichtigen SID direkt aus dem gleichen vollständigen Kontext der Werbung voraus. Dies stellt sicher, dass alle SID-Ebenen vollständige Werbeinformationen zugreifen, was die progressive Informationsverdünnung abschwächt.

Das Modell gibt Logits für $L$ semantische Ebenen aus.
Diskrete SID-Token werden durch eine argmax-Operation über die Logits für jede Ebene erhalten.
Die finale SID ist die Verkettung dieser ebenenweisen Token.

2.3 Multi-Granularitäts-Kontrastives Lernen

Um semantische Konsistenz über verschiedene SID-Ebenen hinweg zu erzwingen, führen die Autoren eine Multi-Granularitäts-Kontrastive-Lernstrategie ein.

Anstelle eines festen positiven Sets bestimmt die Methode positive Beziehungen adaptiv basierend auf der Werberelevanz auf jeder semantischen Ebene $l$ .
Positive Sets ( $P_l$ ) bestehen aus Items, die auf Ebene $l$ dieselbe semantische Kategorie teilen.
Die Verlustfunktion ( $\mathcal{L}_{sid}$ ) wird auf jeder Granularitätsebene unabhängig optimiert, um sicherzustellen, dass feingranulare SIDs kein grobes Rauschen absorbieren und die hierarchische Konsistenz gewahrt bleibt.
Ein standardmäßiger kontrastiver Verlust ( $\mathcal{L}_{emb}$ ) wird zudem auf die Item-Embeddings angewendet.

2.4 Zusammenfassungs-basierte Werbe-Rekonstruktion

Um SIDs zu ermutigen, latente hochrangige Semantik zu erfassen, die in Rohdaten nicht explizit vorhanden ist, wird ein zusammenfassungs-basierter Rekonstruktionsmechanismus vorgeschlagen.

Zusammenfassungsgenerierung: Ein eingefrorenes LLM fasst strukturierte Werbeattribute zu einer hochrangigen semantischen Zusammenfassung ( $s^{sum}_i$ ) zusammen, die implizite Informationen (z. B. Zielgruppenabsicht) inferiert.
Rekonstruktion: Das Modell verkettet das SID-Embedding und das Item-Embedding, projiziert sie durch einen Rekonstruktions-Head und nutzt ein LLM, um die semantische Zusammenfassung via Next-Token-Vorhersage wiederherzustellen.
Ziel: Dieser Prozess ( $\mathcal{L}_{rec}$ ) wirkt als auxiliares Überwachungssignal und zwingt SIDs, diskriminierende, hochrangige semantische Merkmale zu kodieren.

2.5 Gemeinsame Optimierung

Das gesamte Trainingsziel kombiniert die drei Komponenten:
$\mathcal{L}_{total} = \mathcal{L}_{sid} + \mathcal{L}_{emb} + \lambda \mathcal{L}_{rec}$
Dieses einheitliche Design ermöglicht es SIDs und Embeddings, sich gegenseitig zu verstärken und vermeidet die Zielinkonsistenz zweistufiger Pipelines.

3. Hauptbeiträge

Identifikation von Einschränkungen: Die Arbeit identifiziert und analysiert formal die Einschränkungen des vorherrschenden zweistufigen RQ-Paradigmas: Zielkonflikt, semantische Degradation und Fehlerakkumulation.
UniSID-Framework: Ein neuartiges End-to-End-Framework, das SIDs und Embeddings gemeinsam aus Rohdaten optimiert und ein werbe-erweitertes Eingabeschema sowie eine vollständige Kontext-Mehrschicht-Vorhersage nutzt.
Mechanismen zur Semantikerhaltung: Die Einführung von Multi-Granularitäts-Kontrastivem Lernen zur Erzwingung ebebenspezifischer semantischer Konsistenz und eines zusammenfassungs-basierten Rekonstruktionsmechanismus zur Erfassung latenter hochrangiger Semantik.
Empirische Validierung: Umfassende Evaluierung über industrielle Werbedatensätze und öffentliche Benchmarks hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten UniSID auf zwei industriellen Werbedatensätzen (Ad-60W, Ad-100W) und einem öffentlichen Benchmark (Amazon Beauty).

SID-Qualität: Auf dem Ad-60W-Datensatz erzielte UniSID eine Verbesserung von 1,86 % bis 3,09 % im V-Maß (Clustering-Qualität) über drei semantische Ebenen hinweg im Vergleich zur stärksten Baseline (RQ-Kmeans).
Next-Ad-Vorhersage: Auf dem Ad-100W-Datensatz verbesserte UniSID die Hit Rate (HR@5) um 4,62 % gegenüber RQ-Kmeans.
Embedding-Retrieval: Auf dem Ad-60W-Datensatz übertraf UniSID state-of-the-art multimodale Embedding-Methoden (z. B. VLM2Vec2) mit einer massiven Verbesserung von 45,46 % im Recall@1.
Öffentlicher Benchmark: Bei Integration in das TIGER-Framework auf dem Amazon Beauty-Datensatz verbesserte UniSID den Recall@5 um 11,83 % gegenüber der besten Baseline (TIGER-LETTER).

Ablationsstudien bestätigten, dass:

Gemeinsames Training dem Einzel-Aufgaben-Training überlegen ist, da die gegenseitige Verstärkung zwischen SID- und Embedding-Generierung beide verbessert.
Multi-Granularitäts-Kontrastiver Verlust Standard-Verteilungs-Matching-Verluste (KL, JS) und BCE-Verlust bei der Erhaltung hierarchischer semantischer Strukturen übertrifft.
Zusammenfassungs-basierte Rekonstruktion die SID-Qualität signifikant steigert, indem sie das Modell anleitet, implizite, hochrangige semantische Merkmale zu erfassen.

Fallstudien zeigten, dass von UniSID generierte SIDs nicht nur explizite Attribute, sondern auch implizite hochrangige Semantik (z. B. „Komfort", „Mode", „professionelles Image"), die aus dem Zusammenfassungsmechanismus inferiert wird, erfolgreich rekonstruieren können.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass UniSID einen signifikanten Wandel vom entkoppelten, zweistufigen Kompressionsparadigma zu einem einheitlichen End-to-End-Ansatz darstellt. Durch die direkte Induktion von SIDs aus rohen Werbedaten mildert die Methode effektiv den Informationsverlust und die Fehlerakkumulation, die der Residual-Quantisierung inhärent sind.

Die Autoren behaupten, dass ihr Ansatz:

Eine robustere und skalierbare Lösung für generative Empfehlung in komplexen, heterogenen Werbeumgebungen bietet.
SIDs ermöglicht, sowohl feingranulare Details als auch latente hochrangige Semantik zu erfassen, was sowohl die Qualität der IDs als auch die nachgelagerte Empfehlungsleistung verbessert.
Starke Generalisierungsfähigkeiten demonstriert und sowohl auf großen industriellen Datensätzen als auch auf Standard-öffentlichen Benchmarks gut abschneidet.

Die Arbeit kommt zu dem Schluss, dass UniSID die inhärenten Einschränkungen aktueller SID-Generierungsmethoden erfolgreich überwindet und ein einheitliches Framework bietet, das die Ziele des Repräsentationslernens und der generativen Empfehlung in Einklang bringt.