Technische Samenvatting: Bidirectionele Gebruikersmodellering via Profielen (BUMP)

Probleemstelling

Het personaliseren van Large Language Models (LLMs) is een cruciale uitdaging naarmate deze modellen worden ingezet voor aanbevelingen, zoekopdrachten, dialoog en contentgeneratie. Traditionele methoden voor gebruikersrepresentatie, zoals embeddings voor collaboratief filteren, communiceren niet op natuurlijke wijze met instructie-afgestemde LLMs, die afhankelijk zijn van prompts voor conditionering. Bovendien is het simpelweg samenvoegen van de volledige interactiegeschiedenis van een gebruiker in een prompt niet schaalbaar vanwege contextvensterlimieten, latentie en het "lost in the middle"-fenomeen, waarbij saillante signalen degraderen in lange contexten.

Bestaande benaderingen voor het genereren van profielen in natuurlijke taal vertrouwen doorgaans op expliciete beloningen afgeleid van gelabelde downstream-taken (bijv. click-through rates of specifieke classificatielabels). Deze afhankelijkheid creëert significante knelpunten:

1. Schaalbaarheid: Beloningen zijn duur en schaars, omdat ze geannoteerd toezicht vereisen voor elke doelgerichte taak.
2. Generalisatie: Profielen die geoptimaliseerd zijn voor een specifieke gelabelde taak, vertonen mogelijk niet goed over naar andere domeinen of zero-shot scenario's.
3. Bias: Profielen worden kenmerken die zijn ontworpen voor specifieke classificators in plaats van getrouwe beschrijvingen van de gebruiker.

Het artikel stelt dat een robuuste profielgenerator getraind moet kunnen worden zonder enige downstream-taaklabels, uitsluitend door gebruik te maken van ruwe interactielogs.

Methodologie: BUMP

De auteurs introduceren Bidirectional User Modeling via Profiles (BUMP), een zelfgesuperviseerd framework dat een profielgenerator traint met behulp van alleen ruwe gebruikersinteractiedata. De kernintuïtie is dat een hoogwaardig profiel aan twee complementaire eigenschappen moet voldoen:

1. Voorspellend: Het profiel moet de toekomstige (gehouden) interacties van de gebruiker voorspellen.
2. Identificeerbaar: De interacties van de gebruiker moeten het profiel uniek identificeren tussen andere gebruikers.

Trainingsframework

Het systeem maakt gebruik van een Group Relative Policy Optimization (GRPO) algoritme om een beleid $\pi_\theta$ (de profielgenerator) te trainen met behulp van een kleine, bevroren LLM als rechter ($J$). Het trainingsproces werkt over een batch gebruikers $\mathcal{B}$:

1. Data-partitionering: Voor elke gebruiker $u$ wordt de interactiegeschiedenis gesplitst in een zichtbare prefix ($H^{vis}_u$) die wordt gebruikt voor generatie, en een gehouden deel ($H^{ho}_u$) dat wordt gebruikt voor supervisie.
2. Bidirectioneel Beloningsontwerp: De bevroren rechter $J$ berekent een dichte beloning op basis van twee rangschikkingsrichtingen:
   • Voorwaartse Richting (Profiel $\to$ Geschiedenis): Het gegenereerde profiel $s_u$ wordt gebruikt als query om de gehouden items van de gebruiker ($H^{ho}_u$) te rangschikken tegen in-batch items van andere gebruikers. De beloning is een multi-positive NDCG-score.
   • Achterwaartse Richting (Geschiedenis $\to$ Profiel): Een gehouden item $h^{(p)}_u$ wordt gebruikt als query om het gegenereerde profiel van de gebruiker $s_u$ te rangschikken tegen profielen van andere gebruikers in de batch. De beloning is een single-positive NDCG-score.
3. Regularisatie:
   • Positie-debiasing: Om de positiebias van de LLM list-ranker te mitigeren, worden de kandidaat-items in $M$ willekeurige volgordes gepresenteerd en worden de NDCG-scores gemiddeld.
   • Lengte-straf: Er wordt een zachte straf toegepast als het profiel een token-drempel $T$ overschrijdt om te voorkomen dat het model "reward hacking" toepast door profielen op te vullen met generieke boilerplate-tekst.
4. Optimalisatie: De totale beloning $R(s_u)$ combineert de voorwaartse en achterwaartse NDCG-scores minus de lengtestraf. GRPO werkt $\pi_\theta$ bij om deze beloning te maximaliseren.

BUMP+: Hard-Negative Mining

Om het probleem aan te pakken waarbij willekeurige in-batch negatieven te makkelijk zijn (topisch ongerelateerd), stellen de auteurs BUMP+ voor. Deze variant gebruikt een bevroren embedding-model (BGE) om moeilijkere negatieven te zoeken:

• Voorwaarts: Selecteert gehouden items van de gebruiker die topisch verschillend zijn van hun zichtbare geschiedenis (lage gelijkenis met de geschiedenis-centroid).
• Achterwaarts: Selecteert profielen van gebruikers wier zichtbare geschiedenissen topisch vergelijkbaar zijn met de doelgebruiker, waardoor de rechter gedwongen wordt om tussen zeer vergelijkbare gebruikersprofielen te onderscheiden.

Belangrijkste Bijdragen

1. Nieuw Zelfgesuperviseerd Doel: Het artikel formuleert profielgeneratie voor gebruikers als een bidirectioneel in-batch rangschikkingsprobleem, waarbij dichte supervisie wordt afgeleid uit ruwe logs zonder downstream-labels.
2. BUMP en BUMP+: De instantiatie van dit doel met behulp van GRPO en een bevroren LLM-rechter, verbeterd door hard-negative mining om het leersignaal te verscherpen.
3. Empirische Validatie: Het aantonen dat een zelfgesuperviseerd 4B-parameter model gelijk kan zijn aan of kan presteren boven closed-source API's (zoals Gemini-3-Pro) en eerdere methoden die afhankelijk zijn van gelabelde beloningen.

Experimentele Resultaten

Het framework werd geëvalueerd op de LaMP-benchmark, die zes taken beslaat over vijf domeinen (classificatie, regressie en generatie).

• Prestaties vs. Taak-gesuperviseerde Methoden: BUMP+ kwam overeen met of presteerde beter dan de "Direct Reward" baseline (die gebruikmaakt van gelabelde downstream-signalen) op 9 van de 11 metriekregels. Dit bevestigt dat zelfsupervisie gelabelde beloningen kan vervangen.
• Prestaties vs. Closed-Source API's: BUMP+ presteerde beter dan de closed-source Gemini-3-Pro op alle 11 metriekregels, ondanks het gebruik van een aanzienlijk kleiner (4B) open-weight model.
• Vergelijking met Ruwe Geschiedenis: Terwijl ruwe geschiedenis het best presteerde op generatietaken (waar oppervlakkige n-gram overlap wordt beloond), presteerde BUMP+ aanzienlijk beter dan ruwe geschiedenis op classificatie- en beoordelingstaken, waar topische voorkeuren kritischer zijn dan letterlijke tekst.
• Ablatie-studies:
  • Het verwijderen van ofwel de voorwaartse of de achterwaartse richting verminderde de prestaties, wat bevestigt dat beide noodzakelijk zijn.
  • De "Voorwaartse" richting alleen was effectiever dan de "Achterwaartse" richting alleen, wat suggereert dat de voorwaartse term het primaire taakrelevante signaal aanstuurt, terwijl de achterwaartse term fungeert als een regularisator tegen generieke profielen.
  • Hard-negative mining (BUMP+) leverde aanzienlijke winst op ten opzichte van willekeurige negatieven, hoewel excessieve mining ruis introduceerde.

Betekenis en Claims

Het artikel beweert dat zelfgesuperviseerd leren effectief de gelabelde downstream-beloningen kan vervangen voor het trainen van tekstuele gebruikersprofielen. Door gebruik te maken van de inherente structuur van gebruikersinteractielogs via bidirectionele rangschikking, genereert BUMP profielen die:

• Taak-agnostisch zijn: Geoptimaliseerd om een getrouwe beschrijving van de gebruiker te zijn in plaats van een kenmerk voor een specifieke classifier, wat cross-taak transfer mogelijk maakt zonder hertraining.
• Schaalbaar zijn: Het supervisiebudget groeit automatisch met de gebruikerspopulatie in plaats van dat handmatige annotatie vereist is.
• Efficiënt zijn: De resulterende profielen zijn compacte, vaste representaties die vooraf berekend en gecached kunnen worden, waardoor de latentie en geheugenkosten van het verwerken van volledige interactiegeschiedenissen tijdens inferentie worden vermeden.

De auteurs erkennen beperkingen, waaronder potentiële biases inherent aan LLM-as-a-judge (bijv. verbositeit, zelfvoorkeur) en de afhankelijkheid van embedding-gelijkenis als een proxy voor verwarbaarheid bij hard-negative mining. De resultaten suggereren echter dat bidirectionele zelfsupervisie een levensvatbaar en krachtig alternatief is voor traditionele gesuperviseerde profielgeneratie.