Building a User Foundation Model for the Open Web

Stel je het internet voor als een enorme, bruisende stad waar elke persoon een spoor van digitale voetafdrukken achterlaat terwijl hij van winkel naar winkel loopt. Jarenlang hebben de bedrijven die ons advertenties tonen geprobeerd een "profiel" van elke persoon op te bouwen op basis van deze voetstappen om te raden wat ze de volgende keer willen kopen. Dit is de wereld van recommender systems (aanbevelingssystemen), een tak van de informatica die wiskunde gebruikt om menselijk gedrag te voorspellen. Het geheime ingrediënt in moderne systemen is machine learning, waarbij computers patronen leren van enorme bergen data, en foundation models, die als gigantische, vooraf getrainde breinen fungeren die al hebben geleerd hoe ze sequenties van gebeurtenissen begrijpen voordat ze een specifieke taak krijgen toegewezen.

Maar hier komt de lastige kant: op het "open web" (het deel van het internet dat je bezoekt zonder in te loggen op een specifiek account) zijn deze voetstappen rommelig. Je bezoekt misschien een site op je telefoon, en later op een laptop, en de computer heeft geen manier om te weten dat het dezelfde persoon is. Je geschiedenis is vaak kort, opgedeeld in kleine stukjes, of ontbreekt volledig vanwege privacyinstellingen. Dit paper pakt een grote vraag aan: Kunnen we een slim systeem bous dat deze rommelige, gefragmenteerde voetstappen net zo goed begrijpt als de schone, lange geschiedenissen van ingelogde gebruikers? Het antwoord is belangrijk omdat als we dat niet kunnen, we een enorm deel van het internet niet begrijpen, wat leidt tot advertenties die willekeurig of irrelevant aanvoelen.

---

Het Puzzelstukje van het Gebroken Spoor

De auteurs, een team van Teads, stonden voor een unieke uitdaging. In de meeste aanbevelingssystemen (zoals op sociale media of shopping-apps) heb je een lange, doorlopende film van het leven van een gebruiker: ze logden in, keken een video, kochten een schoen en vonden een foto leuk. De computer kan deze hele film bekijken om de gebruiker te begrijpen.

Maar op het open web is de "film" vaak slechts een paar verspreide frames, of soms zelfs maar één enkel frame. De gebruiker is mogelijk anoniem, en hun geschiedenis kan worden afgekapt door privacykeuzes. De oude manier om hiermee om te gaan was het tellen van zaken: "Deze gebruiker klikte 3 keer op sportadvertenties." Maar dit is alsof je probeert de persoonlijkheid van iemand te begrijpen door alleen te weten hoe vaak hij knippert met zijn ogen. Het mist het verhaal — de volgorde van gebeurtenissen, de timing en de flow.

Het team vroeg zich af: Kunnen we een computer leren om deze korte, gebroken verhalen te begrijpen? En als we dat doen, zal het helpen bij het voorspellen van waar een gebruiker op zal klikken, zelfs als we niet weten wie het is?

Het "Tijdreizende" Brein

Om dit op te lossen, bouwde het team een User Foundation Model (UFM). Denk aan dit model als een superintelligente tijdreiziger die miljoenen korte, gefragmenteerde verhalen heeft gelezen over mensen die het web browsen.

In plaats van alleen klikken te tellen, kijelt het model naar de sequentie van gebeurtenissen. Het behandelt de browsegeschiedenis van een gebruiker als een zin. Net zoals een zin een onderwerp, werkwoord en lijdend voorwerp heeft, heeft de geschiedenis van een gebruiker een Publisher (waar ze waren), een Advertiser (wat ze zagen) en een Event (wat ze deden, zoals klikken of alleen maar kijken).

Het model werd getraind met behulp van een spel genaamd Self-Supervised Learning. Stel je voor dat je een zin hebt met enkele verborgen (gemaskeerde) woorden, en je moet raden wat ze zijn op basis van de context. Het model oefende dit door naar de geschiedenis van een gebruiker te kijken, delen ervan te verbergen en te proberen de gaten in te vullen. Het speelde ook een matchingsspel: het nam twee verschillende delen van de geschiedenis van dezelfde gebruiker (zoals de ochtend en de middag) en leerde dat ze bij dezelfde persoon horen, zelfs als ze er anders uitzien.

De "Robotcoach" die het Brein Bijstuurt

Hier wordt het echt interessant. Het team heeft niet alleen het model gebouwd; ze gebruikten een AI om de AI te bouwen. Ze noemden dit "LLM-as-Optimizer".

Stel je voor dat je de perfecte racewagen probeert te bousden. In plaats van te gokken welke motor of band het beste is, heb je een robotcoach (een Large Language Model) die een catalogus van 150 verschillende "tuning-tips" uit wetenschappelijke boeken leest. De robotcoach stelt wijzigingen voor: "Laten we de motor iets groter maken," of "Laten we het brandstofmengsel veranderen." Het team test deze wijzigingen, en als een wijziging de auto sneller maakt, onthoudt de robotcoach dit en probeert hij daarop voort te bouwen.

In dit paper heeft de robotcoach het "User Foundation Model" bijgestuurd door zaken te veranderen zoals het aantal denklagen dat het heeft, hoe het met tijd omgaat en hoe het leert. Dit proces, genaamd Neural Architecture Search (NAS), vond een versie van het model die aanzienlijk beter was dan het origineel.

De Resultaten: Van "Misschien" naar "Ja"

Het team testte hun nieuwe, door robots getunede model op twee manieren: eerst in een simulatie (offline), en daarna in de echte wereld (online).

1. De Simulatie (Offline):
Ze testten het model op een enorme dataset van echte advertentie-aanvragen. Ze vergeleken het model met het systeem dat Teads al gebruikte.

• Het Goede Nieuws: Het nieuwe model verbeterde de voorspelling van wat gebruikers zouden klikken op met +1,354%. In de wereld van advertenties is dit een enorme sprong.
• De "Gebroken Spoor" Test: Ze testten het specifiek op gebruikers met zeer korte of ontbrekende geschiedenissen. Zelfs voor gebruikers met bijna geen geschiedenis verbeterde het model de voorspellingen met +0,99%. Dit bewijst dat het model werkt, zelfs wanneer de "film" slechts een enkel frame is.
• De Generalisatie Test: Ze probeerden het model op verschillende soorten voorspellingsopdrachten (zoals voorspellen of een advertentie een bieding zou winnen, niet alleen of er op geklikt zou worden). Het werkte daar ook, met een verbetering van +1,197%. Dit suggereert dat het model een diep begrip van menselijk gedrag heeft geleerd, en niet slechts een trucje voor één specifieke taak.

2. De Echte Wereld (Online):
Het team voerde een live test uit gedurende 7 dagen, waarbij ze de nieuwe versie van het model aan de helft van hun gebruikers lieten zien en de oude versie aan de andere helft.

• De Uitkomst: De groep met het nieuwe model klikte 2,13% vaker op advertenties.
• De Kosten: Omdat de advertenties relevanter waren, daalden de kosten per klik met 1,13%.
• Het Vertrouwen: Het team is zeer zeker van deze cijfers. Ze berekenden een betrouwbaarheidsinterval van 80%, wat betekent dat ze er statistisch gezien van overtuigd zijn dat de verbetering echt is en niet op toeval berust.

Waarom Dit Belangrijk Is

Dit paper laat zien dat we geen perfecte, lange geschiedenis nodig hebben om een gebruiker te begrijpen. Zelfs met gefragmenteerde, korte en anonieme data kan een slim model het verhaal in elkaar puzzelen.

De auteurs suggereren dat deze aanpak een "nieuwe as" voor verbetering opent. Het gaat niet alleen om het iets beter maken van de bestaande wiskunde; het gaat om het toevoegen van een hele nieuwe manier van denken over gebruikersdata. Door de browsegeschiedenis te behandelen als een sequentie die begrepen moet worden in plaats van slechts een lijst met aantallen, hebben ze een manier gevonden om advertenties relevanter te maken, zelfs voor de "geesten" van het internet die niet inloggen.

Het team geeft toe dat er beperkingen zijn. Ze hebben slechts één specifiek type modelarchitectuur en één specifieke set data getest. Ze merken ook op dat hun "robotcoach" misschien een goede oplossing heeft gevonden, maar we weten niet of het de absolute beste oplossing is. Echter, de live test bevestigt dat deze aanpak werkt in de echte wereld, waardoor een theoretisch idee verandert in een praktisch hulpmiddel dat het open web een beetje minder chaotisch en een beetje persoonlijker maakt.