Technische Samenvatting: Impliciete Redenering voor op Large Language Models gebaseerde Generatieve Aanbevelingssystemen

Probleemformulering

Large Language Models (LLMs) worden steeds vaker ingezet als ruggengraat voor Generatieve Aanbevelingssystemen (GR), die aanbeveling formuleren als een conditionele generatie-taak: gegeven de interactiegeschiedenis van een gebruiker, genereert het model het volgende item. Een cruciale uitdaging in dit domein is de representatie van items. In tegenstelling tot traditionele systemen die dichte vectoren gebruiken, representeren LLM-gebaseerde GR-systemen items doorgaans met behulp van Semantische ID's (SIDs)—korte sequenties van speciale tokens afgeleid van de semantiek van het item.

Hoewel SIDs de generatie van items hanteerbaar maken, creëren ze een fundamentele mismatch: LLM's ontsluiten hun voorgetrainde wereldkennis via natuurlijke taal, terwijl de aanbevelingstaak vereist dat er niet-linguïstische SID-tokens worden gegenereerd die geconditioneerd zijn op andere SID-tokens. Bestaande benaderingen proberen deze kloof te overbruggen met expliciete Chain-of-Thought (CoT) redeneerpipelines. Deze pipelines omvatmen doorgaans:

1. Continual Pretraining (CPT): Het verankeren van SIDs in natuurlijke taalbeschrijvingen.
2. Supervised Fine-Tuning (SFT): Trainen voor de voorspelling van het volgende item.
3. CoT SFT: Het model trainen om expliciete natuurlijke taal-rationales te genereren voordat het de SID voorspelt.
4. Reinforcement Learning (RL): Het optimaliseren van aanbevelingen met behulp van verifieerbare beloningen.

Deze pipelines zijn echter computationeel duur, en de noodzaak van elke fase, met name de expliciete generatie van rationales, blijft slecht begrepen.

Methodologie: PAUSEREC

Om de inefficiënties en beperkingen van expliciete redenering aan te pakken, stellen de auteurs PAUSEREC voor, een lichtgewicht paradigma van impliciete redenering. In plaats van het model te dwingen om expliciete rationales in natuurlijke taal te genereren, voegt PAUSEREC een sequentie van trainbare <pause>-tokens in tussen de gebruikersgeschiedenis en de doel-SID-generatie.

Het PAUSEREC-framework werkt via de volgende fasen:

1. Continual Pretraining (CPT): De LLM wordt gefinetuned op een geïnterleefde corpus van SIDs en itembeschrijvingen om de SID-semantiek te verankeren, vergelijkbaar met bestaande methoden.
2. Pause Token Pretraining: Een <pause>-token wordt toegevoegd aan de vocabulaire en geïnitialiseerd op het gemiddelde van alle token-embeddings. Vervolgens wordt het gepre-traind op de CPT-corpus waarbij <pause>-tokens op willekeurige posities zijn ingevoegd. Alleen de <pause>-embedding is trainbaar, waardoor het kan leren als een semantische brug tussen natuurlijke taal en SID-representaties.
3. Implicit Reasoning SFT: De gepre-trainde <pause>-embedding wordt geladen in de SFT-checkpoint. Tijdens de training worden $k$ <pause>-tokens ingevoegd tussen de gebruikersgeschiedenis en de doel-SID. Het model wordt gefinetuned om het volgende item te voorspellen, maar de loss wordt gemaskeerd bij de <pause>-posities. Dit dwingt het model om de pause-tokens te gebruiken als latente computationele stappen om de SID-voorspelling te verbeteren, zonder gedwongen te worden specifieke rationale-tekst te produceren.
4. Inference: Tijdens de inferentie voegt het model een vast aantal <pause>-tokens in en decodeert autoregressief de SID. Er wordt geen natuurlijke taal-redeneertekst gegenereerd.

Diagnostische Analyse van Expliciete CoT-beperkingen

Voordat zij PAUSEREC voorstelden, voerden de auteurs een diagnostische analyse uit van expliciete CoT-pipelines, waarbij drie belangrijke beperkingen werden geïdentificeerd die de prestaties belemmeren:

1. Verzwakte Verbalisering van Wereldkennis: Hoewel CoT SFT de wereldkennis van het model niet wist (die wel herstelbaar blijft in de logit-ruimte), maakt het deze kennis moeilijk te verbaliseren in expliciete natuurlijke taal. De tekst-match nauwkeurigheid op algemene redeneerbenchmarks stort in na CoT SFT, zelfs als de logit-gebaseerde nauwkeurigheid hoog blijft.
2. Misalignment tussen Tekst- en SID-embeddings: Naarmate de training vordert, raken de embedding-ruimtes voor natuurlijke taal-tokens en SID-tokens geometrisch gescheiden. Theoretische analyse toont aan dat deze scheiding de mogelijkheid beperkt voor natuurlijke taal-rationales om de logits effectief richting de juiste SID-tokens te verschuiven.
3. Gevoeligheid voor Rationale-kwaliteit: De aanbevelingsprestaties zijn zeer fragiel met betrekking tot de inhoud van de rationale. Kleine perturbaties, zoals het verwijderen van een categorie of het toevoegen van ruiswoorden, verslechteren de prestaties aanzienlijk, wat aangeeft dat expliciete CoT steunt op breekbare aanwijzingen in plaats van robuuste redenering.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op drie Amazon review-datasets (Beauty, Sports, Toys) met een Qwen3-1.7B backbone. PAUSEREC werd vergeleken met traditionele sequentiële recommenders, generatieve retrieval-modellen en expliciete CoT-gebaseerde methoden (inclusief OneRec-Think).

• Prestaties: PAUSEREC presteert consequent beter dan standaard next-item SFT en expliciete CoT-methoden. Het bereikt relatieve verbeteringen van tot wel 6,22% ten opzien van OneRec-Think en tot wel 8,85% ten opzien van next-item SFT op specifieke metrieken (bijv. Hit@5 op Toys).
• Efficiëntie: Door het elimineren van de noodzaak voor dure RL post-training en de generatie van lange rationale-sequenties, vermindert PAUSEREC de trainingskosten met ongeveer 65% in GPU-uren vergeleken met RL-gebaseerde CoT-methoden.
• Infersiesnelheid: PAUSEREC versnelt de inferentie met tot wel 71,3% (ongeveer 3,5x sneller) omdat het de autoregressieve generatie van natuurlijke taal-redeneertokens vóór de uiteindelijke SID-voorspelling vermijdt.
• Ablatie-studies: De studie bevestigt dat het pre-trainen van het <pause>-token om de tekst- en SID-ruimtes te overbruggen cruciaal is. Verder levert een modaal aantal pause-tokens ($k=5$) de beste prestaties op, wat suggereert dat de voordelen van latente computationele stappen verzadigen na enkele stappen.

Betekenis en Claims

Het artikel positioneert PAUSEREC als een praktisch en efficiënt alternatief voor expliciete rationale-generatie voor LLM-gebaseerde GR. De auteurs beweren dat expliciete rationales een "breekbare interface" vormen voor het exploiteren van LLM-kennis in SID-gebaseerde aanbevelingen vanwege embedding-misalignment en problemen met verbalisering.

Door expliciete tekstgeneratie te vervangen door trainbare latente <pause>-tokens, bereikt PAUSEREC het volgende:

• Overbrugt de representatiekloof: Het verbindt natuurlijke taal en SID-embeddingruimtes zonder dat het model tussenliggende tekst hoeft te produceren.
• Behoudt kennis: Het stelt het model in staat om voorgetrainde wereldkennis te benutten voor redenering zonder de degradatie die gepaard gaat met gedwongen verbalisering.
• Vermindert overhead: Het verwijdert de computationele last van het verkrijgen van ground-truth rationales en het trainen van complexe meerfasige pipelines die RL omvatten.

De auteurs concluderen dat impliciete redenering via latente tokens een krachtiger en efficiënter paradigma is voor het mogelijk maken van effectieve LLM-gebaseerde generatieve aanbevelingen.