Technische Samenvatting: Voorbij Item-ID's – Schalen van Short-Form-Video Aanbevelingen via Semantisch-Natieve Lange Sequentie Modellering

1. Probleemstelling

Short-form video aanbevelingssystemen worden geconfronteerd met een dubbele bottleneck bij het modelleren van ultra-lange gebruikersgedragssequenties (lengte $L > 10^3$):

1. Representatie-bottleneck: Traditionele orthogonale Video-ID's zijn semantisch schaars. Ze behandelen items als onafhankelijke tokens, waardoor ze de relaties tussen content niet vastleggen en dit leidt tot slechte generalisatie op cold-start content. Bovendien vereisen ze embedding-tabellen die onbegrensd meeschalen met de omvang van de corpus, wat zorgt voor opslag- en schaarsteproblemen.
2. Computationele bottleneck: Standaard Transformer-architecturen vertrouwen op self-attention mechanismen met een kwadratische complexiteit ($O(L^2)$). Dit beperkt de maximale sequentielengte onder strikte industriële latentie- en resourcebeperkingen, wat vaak noodzakelijke heuristische filtering of hiërarchische clustering vereist die signalen wegwerpt of complexe offline pre-computatie vereist.

2. Methodologie

De auteurs stellen een in productie ingezet framework voor dat Semantisch-Natieve Representaties combineert met een Global-Aware Compressed Transformer om sequenties tot $L=2000$ te modelleren op een schaal van een miljard gebruikers.

2.1 Semantisch-Natieve Representatie (SIDs)

Om de representatie-bottleneck aan te pakken, vervangt het systeem atomaire Video-ID's door content-natieve Semantische Identificatoren (SIDs) gegenereerd via een Residual Quantized VAE (RQ-VAE).

• Hiërarchische Kwantisatie: De RQ-VAE projecteert multi-modale content-embeddings in een discrete, hiërarchische latente ruimte, wat een tuple van codes $(c_1, c_2, \dots, c_D)$ produceert die een grof-naar-fijn semantische hiërarchie vertegenwoordigt.
• Asymmetrische Granulariteitsstrategie: Om de balans te bewaren tussen expressiviteit en efficiëntie voor ultra-lange sequenties, hanteren de auteurs een Depth-Truncated Bi-gram strategie:
  • Sequentie-zijde (Grofmazig): Gebruikersgeschiedenis-items worden beperkt tot de eerste twee niveaus van de hiërarchie $(c_1, c_2)$. Deze worden geprojecteerd in een verenigde integer ID ($ID_{seq} = c_1 \cdot |V| + c_2$). Dit begrenst de omvang van de embedding-tabel ongeacht de expansie van de corpus en generaliseert natuurlijk naar cold-start items via gedeelde semantische prefixes.
  • Target/Niet-sequentie-zijde (Fijnmazig): Kandidaat-items en cruciale interactie-features (bijv. de laatst bekeken video) behouden de volledige diepte van de semantische hiërarchie om nauwkeurige discriminatieve matching te garanderen.

2.2 Global-Aware Compressed Transformer

Om de barrière van sequentie-schaling te overwinnen, introduceren de auteurs een transformer-architectuur die de computationele complexiteit vermindert zonder verlieslatende aggregatie.

• Parameter-vrije Temporale Vouwing: In plaats van pooling wordt de input-sequentie $X \in \mathbb{R}^{L \times d}$ verdeeld in vensters van grootte $k$ en kanaalsgewijs gestapeld om "super-tokens" te vormen. Dit transformeert de input van $(L, d)$ naar $(L/k, k \cdot d)$. Deze operatie ruilt expliciet temporele resolutie in voor feature-dimensionaliteit, waardoor dichte afhankelijkheden tussen "super-events" worden gevangen terwijl de sequentielengte met een factor $k$ wordt verminderd.
• Global-Local Representatie Fusie: Een leerbare Global Query Token ($G_{init}$) wordt voorafgevoegd aan de gecomprimeerde sequentie. In tegenstelling tot gebruikersprofiel-gebaseerde initialisatie is deze token feature-agnostisch, wat de attention-mechanisme dwingt om representaties uitsluitend af te leiden uit dynamische interacties. Het fungeert als een attention sink om optimalisatie te stabiliseren.
• Unified Masked Mean Pooling: De uiteindelijke gebruikersrepresentatie wordt berekend door de globale staat te fuseren met fijnmazige sequentiële signalen via een masked mean pooling operatie, waarbij een balans wordt gevonden tussen globale intentie en lokale details.

2.3 Systeemarchitectuur

Het framework opereert binnen een Hybride Synchroon-Asynchroon Framework:

• Synchroon Kortetermijnmodule: Codeert onmiddellijke interactie-tails ($S_{short}$) in real-time.
• Asynchroon Langetermijnmodule: Modelleert de ultra-lange sequentie ($S_{long}$) met behulp van de voorgestelde SID en de Compressed Transformer. Beide modules delen een backbone en optimalisatiedoelstelling om ervoor te zorgen dat representaties naar een gedeelde latente ruimte mappen, wat feature-misalignment voorkomt.

3. Belangrijkste Bijdragen

1. Semantisch-Natieve Representatie op Schaal: Een grootschalige industriële implementatie van RQ-VAE-gebaseerde SIDs met een Depth-Truncated Bi-gram strategie. Dit ontkoppelt de embedding-opslag van de corpus-omvang en verbetert de generalisatie naar cold-start content aanzienlijk.
2. Hoge-Expressiviteit Efficiënte Sequentie Architectuur: Een Global-Aware Compressed Transformer die gebruikmaakt van non-parametrische temporale vouwing. Dit bereikt een prestatie-behoudende reductie in computationele complexiteit terwijl de feature-dimensies worden uitgebreid om complexe lokale interacties binnen ultra-lange sequenties te vangen.
3. Grootschalige Industriële Validatie: Rigoureuze offline en online evaluaties op een groot short-video platform dat miljarden gebruikers bedient, waarbij substantiële reducties in geheugen en computationele kosten worden aangetoond naast significante online metriek-winsten.

4. Experimentele Resultaten

Het framework werd geëvalueerd op productieverkeer met een sequentielengte van $L=2000$, vergeleken met een state-of-the-art baseline die $L=800$ Video-ID's gebruikt.

• Effectiviteit van Semantische ID: Het vervangen van Video-ID's door Bi-gram SIDs ($L=160$) resulteerde in een lift van +0,86% in Satisfied Views en een lift van +6,81% in Freshness (satisfied views met recent geüploade content), wat de verbeterde cold-start generalisatie bevestigt. Dit verminderde ook de embedding-parameters met 38,07% en de opslaggrootte met 39,33%.
• Schaalbaarheid: Offline AUC vertoonde consistente monotone stijgingen naarmate de sequentielengte schaalde van 400 naar 2000. Het model profiteerde significant van toegenomen breedte (hidden dimension) en diepte (lagen), wat de capaciteit valideert om complexe interactiepatronen te vangen.
• Efficiëntie & Prestatie: Temporale vouwing met $k=4$ bereikte een Pareto-verbetering:
  • Training Step Time: Verminderd met 83,9% (41,1ms $\to$ 6,6ms).
  • Peak Activation Memory: Verminderd met 92,2% (5758 MiB $\to$ 448 MiB).
  • Nauwkeurigheid: Ondanks compressie verbeterde de AUC met +0,06% (Taak 1) en +0,15% (Taak 2), toe te schrijven aan lokale denoising en uitgebreide feature-expressiviteit.
• Volledige Systeemimpact: De holistische upgrade (SID + Compressie + $L=2000$) leverde significante online winsten op:
  • Actief Betrokken Gebruikers: +0,52%
  • Satisfied Watch Time: +1,42%
  • Satisfied Views: +1,08%

5. Betekenis en Claims

Het paper beweert een praktisch blauwdruk te bieden voor volgende generatie infinite-context aanbevelingsmotoren. Door de vocabulaire-bottleneck op te lossen via semantische representatie en de computationele bottleneck via structurele reorganisatie (temporale vouwing), demonstreren de auteurs dat ultra-lange sequentie modellering haalbaar is op een miljard-gebruiker schaal zonder prohibitieve kosten voor resources.

Het werk stelt dat de synergie van content-natieve representaties en efficiënte compressie systemen in staat stelt om rijkere, langdurige gebruikersinteresse-signalen te vangen die voorheen ontoegankelijk waren voor baseline modellen. De auteurs positioneren dit als een stap richting Large Recommendation Models (LRMs), met als doel in toekomstig werk verder onderzoek te doen naar sequence scaling laws en hardware-algoritme co-design.