🤖 machine learning

PRQ-KMeans: Projection Residual Quantization for Semantic ID Tokenization

Dit artikel introduceert PRQ-KMeans, een post-hoc semantische ID-tokenisatiemethode die traditionele residu-kwantisatie verbetert door globale gemiddelde componenten te verwijderen, centroids te verfijnen met gelijkenis-gewogen updates en projectieresten toe te passen om superieure prestaties te behalen in generatieve retrieval- en aanbevelingstaken.

Oorspronkelijke auteurs: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte digitale bibliotheken van het internet, waar miljarden producten, artikelen en video's strijden om aandacht, hebben computers een manier nodig om informatie te organiseren die verder gaat dan eenvoudige labels. Traditionele systemen vertrouwen vaak op unieke codes voor elk afzonderlijk item, vergelijkbaar met een bibliotheekkaartcatalogus waarbij elk boek een specifiek nummer heeft. Echter, moderne kunstmatige intelligentie leert de betekenis achter deze items te begrijpen, door ze te groeperen op basis van wat ze zijn in plaats van alleen op wat ze worden genoemd. Deze aanpak, bekend als generatieve retrieval, stelt machines in staat om relevante inhoud te voorspellen en te vinden door korte reeksen woorden of tokens te genereren die de essentie van een item beschrijven. Om dit efficiënt te laten werken, hebben onderzoekers methoden ontwikkeld om complexe data onder te verdelen in hiërarchische lagen, waarbij de eerste paar tokens een brede categorie beschrijven en latere tokens uitvloeien naar specifieke details. De uitdaging ligt in de vraag hoe men de gedeelde, gemeenschappelijke kenmerken van een groep items in elke stap kan weghalen, zodat de resterende informatie puur bestaat uit wat het volgende niveau van detail uniek maakt. Als het systeem er niet in slaagt om deze gemeenschappelijke kenmerken schoon te verwijderen, verspilt het zijn capaciteit aan het herhalen van informatie die het al heeft geleerd, waardoor er minder ruimte overblijft om de items te onderscheiden die er het meest toe doen.

Een team van onderzoekers bij Kuaishou Technology heeft dit specifieke probleem aangepakt met een nieuwe methode genaamd PRQ-KMeans. Hun werk richt zich op de mechanica van hoe deze hiërarchische codes worden opgebouwd, waarbij zij een subtiel gebrek hebben geïdentificeerd in de manier waarop eerdere systemen de overgang van het ene naar het volgende detailniveau afhandelden. In de standaardbenadering, wanneer een computer een representatief "centrum" selecteert voor een groep vergelijkbare items, trekt het simpelweg dat centrum af van de data van het item om een restant, of residu, te creëren dat verder geanalyseerd kan worden. De onderzoekers ontdekten dat deze eenvoudige aftrekking vaak een zwakke echo van het oorspronkelijke centrum achterlaat, een overgebleven component die met de data mee naar het volgende niveau reist. Deze echo is problematisch omdat het de volgende laag van het systeem ertoe dwingt tijd te verspillen aan het opnieuw analyseren van verschillen die al zijn verwerkt, wat effectief het onderscheid vertroebelt tussen items die duidelijk van elkaar gescheiden zouden moeten zijn.

Om dit op te lossen, introduceerde het team een proces van "progressieve commonality removal" (het stapsgewijs verwijderen van gemeenschappelijkheid), dat fungeert als een nauwkeuriger filter. In plaats van alleen een standaard gemiddelde af te trekken, verwijdert hun methode eerst een globale achtergrondcomponent die gedeeld wordt over de gehele dataset, om er zeker van te zijn dat het systeem met een schone lei begint. Vervolgens, terwijl het elke laag van de hiërarchie opbouwt, gebruikt het een techniek genaamd projectie om de specifieke invloed van het gekozen centrum weg te strippen. Stel je een vector van data voor als een lijn die in een specifieke richting wijst; de methode van de onderzoekers zorgt ervoor dat de overgebleven data die naar het volgende niveau wordt gestuurd, perfect loodrecht staat op de richting van het centrum waar het zojuist doorheen is gegaan. Dit garandeert dat geen deel van de vorige beslissing in de volgende fase doorsijpelt, waardoor het systeem gedwongen wordt zich volledig te concentreren op de nieuwe, unieke verschillen die de fijnere details definiëren. Ze hebben ook de manier waarop het systeem items groepeert verfijnd door de data niet alleen invloed te laten hebben op hun dichtstbijzijnde buur, maar op een kleine cirkel van nabijgelegen kandidaten, wat een nauwkeuriger kaart van het datalandschap creëert voordat een definitieve beslissing wordt genomen.

De resultaten van het toepassen van deze methode werden gemeten tegenover bestaande systemen met behulp van een enorme dataset van een industriële e-commerce zoekmachine die miljoenen items en zoekopdrachten bevat. De nieuwe aanpak toonde een duidelijk voordeel in hoe goed het de data organiseerde en hoe effectief het de zoekmachine hielp om de juiste producten te vinden. Op deze industriële dataset verbeterde de nieuwe methode het vermogen van het systeem om het juiste item in de top vijftig resultaten te raken met 7,4 procent, en verbeterde het de rangschikking van het juiste item met 11,8 procent vergeleken met de vorige beste methode. Deze winst was niet beperkt tot slechts één type data; de onderzoekers testten de methode ook op vier publieke aanbevelingsbenchmarks die sport, speelgoed, kleding en muziek beslaan. In elk geval presteerde de nieuwe methode even goed als of beter dan de leidende alternatieven, wat bewees dat de techniek werkt voor verschillende soorten content.

Buiten de cijfers om, visualiseerden de onderzoekers hoe de interne kaarten van het systeem veranderden met hun nieuwe methode. In de oudere systemen hadden de organisatielagen de neiging om samen te klonteren, waarbij latere lagen zich dicht bij het centrum verzamelden omdat ze nog steeds de "echo" van eerdere beslissingen met zich meedroegen. Met de nieuwe projectiemethode verspreiden de lagen zich gelijkmatiger en maken ze gebruik van de volledige beschikbare ruimte om items te onderscheiden. Deze structurele verbetering betekende dat het systeem meer unieke codes aan verschillende producten kon toewijzen, waardoor het aantal keren dat ongerelateerde items gedwongen werden om dezelfde identificatie te delen, werd verminderd. Door exact te controleren welke informatie van het ene naar het andere niveau van analyse wordt doorgegeven, lieten de onderzoekers zien dat het mogelijk is om een efficiënter en nauwkeuriger systeem te bouwen voor het vinden van zaken in een digitale wereld, waarbij een subtiele wiskundige correctie wordt omgezet in een aanzienlijke praktische winst voor hoe wij online content zoeken en ontdekken.

Technische Samenvatting: PRQ-KMeans

Probleemstelling
Semantische Identificatoren (SIDs) representeren entiteiten als hiërarchische tokensequenties voor generatieve retrieval en aanbeveling. Een veelgebruikte aanpak voor het construeren van deze identificatoren is Residual Quantization (RQ), waarbij op elk niveau een codeword wordt geselecteerd om een component van de entiteit te representeren, en het residu (het verschil tussen de representatie en de codeword) naar het volgende niveau wordt doorgegeven.

De auteurs identificeren drie specifieke beperkingen in standaard RQ-tokenizers (zoals RQ-KMeans en RQ-VAE) die de efficiëntie van hiërarchische SID-constructie belemmeren:

Dominantie van Globale Componenten: Een component die gedeeld wordt over de gehele corpus (globaal gemiddelde) kan de initiële representaties domineren. In standaard RQ moet de eerste codebook capaciteit besteden aan het modelleren van deze globale achtergrond, in plaats van het onderscheiden van grove verschillen tussen entiteiten.
Beperkingen van Harde Toewijzing: Standaard K-Means gebruikt harde toewijzing, waarbij een representatie alleen zijn enkel dichtstbijzijnde centroid bijwerkt. Dit negeert graduele gelijkenissen met nabijgelegen codewords, waardoor nuttige informatie nabij clustergrenzen verloren gaat.
Residu-overdracht (Residual Carryover): Standaard RQ trekt de volledige centroid-vector af van de representatie. Echter, als een individuele representatie een andere magnitude bevat van de directionele component van de centroid dan de centroid zelf, laat de aftrekking een "residu-overdracht" (positief of negatief) achter langs de richting van de geselecteerde centroid. Dit dwingt opeenvolgende codebooks om variatie te herbezoeken die al door de huidige token is gerepresenteerd, wat de benutting van latere SID-niveaus vermindert.

Methodologie: PRQ-KMeans
Het paper stelt PRQ-KMeans (Projection Residual Quantization K-Means) voor, een post-hoc hiërarchische SID-tokenizer ontworpen om deze beperkingen aan te pakken via "progressieve commonality removal" (het progressief verwijderen van gemeenschappelijkheid). In tegen tegenstelling tot VAE-gebaseerde methoden die beperkt worden door additieve reconstructie, opereert PRQ-KMeans op bestaande embeddings zonder dat de codewords de input hoeven te reconstrueren, waardoor het residu alleen de noodzakelijke verschillen voor toekomstige niveaus behoudt.

De methode bestaat uit drie kernmechanismen:

Verwijdering van de Globale Component: Voordat de eerste codebook wordt gefit, projecteert PRQ-KMeans elke input-embedding op het globale gemiddelde van de corpus en trekt deze component af. Dit voorkomt dat de globale achtergrond de capaciteit van de eerste-niveau codebook consumeert.
Top-k Soft Centroid Refinement: Tijdens het fitten van elke codebook hanteert het algoritme een soft refinement stap. In plaats van alleen de dichtstbijzijnde centroid bij te werken, identificeert het de Top- $k$ dichtstbijzijnde centroids op basis van cosinus-gelijkenis. Het werkt vervolgens deze centroids bij met gewichten die proportioneel zijn aan de gelijkenis-scores (via een softmax met een concentratieparameter $\beta$ ). Dit stelt representaties nabij clustergrenzen in staat om bij te dragen aan meerdere nabijgelegen centroids, wat de schatting van de centroids verbetert.
Projectie-residu Constructie: Nadat een harde toewijzing een centroid heeft geselecteerd, trekt PRQ-KMeans niet de volledige centroid-vector af. In plaats daarvan berekent het het projectie-residu. Het verwijdert alleen de component van de representatie die ligt langs de richting van de geselecteerde centroid, waardoor wordt gegarandeerd dat het resulterende residu strikt orthogonaal is aan die centroid. Dit elimineert het probleem van "residu-overdracht", waardoor het volgende niveau een representatie ontvangt die vrij is van de variatie die al door de huidige token is gevangen.

Belangrijkste Bijdragen

Conceptueel Kader: De auteurs introduceren het perspectief van hiërarchische SID-constructie als "progressieve commonality removal", waarbij zij identificeren dat de constructie van het residu bepaalt welke informatie tussen niveaus wordt doorgegeven. Zij karakteriseren "residu-overdracht" expliciet als een bron van inefficiëntie in standaard RQ.
Algoritmische Innovatie: Zij stellen PRQ-KMeans voor, dat globale component-verwijdering, Top-k soft centroid refinement en projectie-gebaseerde residu-constructie integreert.
Empirische Validatie: De methode wordt geëvalueerd op een grootschalige industriële e-commerce zoekdataset en vier publieke aanbevelingsbenchmarks (Amazon Sports, Toys, Clothing en LastFM).

Experimentele Resultaten

Industriële Dataset: PRQ-KMeans behaalde de sterkste algehele prestaties onder de geëvalueerde tokenizers. Vergeleken met de sterke baseline RQ-KMeans, verbeterde het de HitRate met 7,4% en de MRR met 11,8% op de Order-taak, en met 6,4% en 8,9% op de Click-taak. Het demonstreerde ook superieure codebook-kwaliteit, met hogere prefix-utilisatie en lagere Gini-coëfficiënten (wat wijst op een betere distributie van tokens).
Publieke Benchmarks: PRQ-KMeans behaalde de beste of gelijk aan de beste prestaties op alle acht metrieken (Recall en NDCG) op de vier publieke datasets, waarbij het consequent RQ-KMeans en andere baselines zoals RQ-VAE en RQ-GMM overtrof.
Ablatie-studies: Het verwijderen van een van de drie componenten (Global removal, Soft refinement of Projection) resulteerde in een prestatievermindering, wat bevestigt dat alle drie de mechanismen bijdragen aan de effectiviteit van de methode.
Robuustheid: De methode behield haar superioriteit wanneer getest met verschillende input-embeddings (Qwen3 vs. BGE), wat de robuustheid ten opzichte van variaties in embeddings aantoont.

Betekenis en Claims
Het paper claimt dat PRQ-KMeans de effectiviteit aantoont van het expliciet controleren van de informatie die tussen opeenvolgende SID-niveaus wordt doorgegeven. Door het globale gemiddelde te verwijderen en ervoor te zorgen dat residuen orthogonaal zijn aan geselecteerde centroids, stelt de methode latere niveaus van de hiërarchie in staat om een breder scala aan prefixes te benutten en entiteiten effectiever te onderscheiden. De auteurs concluderen dat hun aanpak een sterkere fundering biedt voor generatieve retrieval en aanbeveling door het tokenisatieproces zelf te optimaliseren, in plaats van enkel te vertrouwen op het downstream-model om te leren van suboptimale identificatoren. De resultaten suggereren dat het modelleren en verwijderen van "residu-overdracht" een kritieke, voorheen onderbelichte factor is in hiërarchische kwantisatie.

Technische Samenvatting: PRQ-KMeans

Meer zoals dit