Building a User Foundation Model for the Open Web

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der jeder Mensch digitale Fußspuren hinterlässt, während er von einem Geschäft zum nächsten wandert. Jahrelang haben die Unternehmen, die uns Werbung zeigen, versucht, ein „Profil“ jeder Person basierend auf diesen Fußspuren zu erstellen, um zu erraten, was sie als Nächstes kaufen könnte. Dies ist die Welt der Empfehlungssysteme (Recommender Systems), eines Zweigs der Informatik, der Mathematik nutzt, um menschliches Verhalten vorherzusagen. Das Geheimrezept moderner Systeme ist maschinelles Lernen, bei dem Computer Muster aus riesigen Datenmengen lernen, und Foundation Models, die wie gigantische, vortrainierte Gehirne funktionieren, die bereits gelernt haben, Sequenzen von Ereignissen zu verstehen, bevor sie eine spezifische Aufgabe erlernt werden.

Aber hier liegt der Knackpunkt: Auf dem „offenen Web“ (dem Teil des Internets, den Sie besuchen, ohne sich in ein bestimmtes Konto einzuloggen) sind diese Fußspuren chaotisch. Sie besuchen vielleicht eine Website auf Ihrem Handy und später auf einem Laptop, und der Computer hat keine Möglichkeit zu wissen, dass es dieselbe Person ist. Ihr Verlauf ist oft kurz, in kleine Stücke zerbrochen oder aufgrund von Privatsphäre-Einstellungen gar nicht vorhanden. Diese Arbeit befasst sich mit einer großen Frage: Können wir ein intelligentes System bauen, das diese chaotischen, fragmentierten Fußspuren genauso gut versteht wie die sauberen, langen Verläufe von angemeldeten Nutzern? Die Antwort ist wichtig, denn wenn wir das nicht können, übersehen wir einen riesigen Teil des Internets, was dazu führt, dass Werbung sich zufällig oder irrelevant anfühlt.

---

Das Rätsel des unterbrochenen Pfades

Das Team von Teads stand vor einer einzigartigen Herausforderung. In den meisten Empfehlungssystemen (wie auf sozialen Medien oder Shopping-Apps) haben Sie einen langen, kontinuierlichen Film aus dem Leben eines Nutzers: Er hat sich eingeloggt, ein Video angesehen, einen Schuh gekauft und ein Foto geliked. Der Computer kann diesen gesamten Film sehen, um den Nutzer zu verstehen.

Doch im offenen Web besteht der „Film“ oft nur aus ein paar verstreuten Einzelbildern oder manchmal sogar nur aus einem einzigen Frame. Der Nutzer ist anonym, und sein Verlauf kann durch Privatsphäre-Einstellungen unterbrochen sein. Die alte Methode bestand darin, Dinge zu zählen: „Dieser Nutzer hat 3 Mal auf Sportanzeigen geklickt.“ Aber das ist so, als würde man versuchen, die Persönlichkeit eines Menschen zu verstehen, indem man nur weiß, wie oft er geblinzelt hat. Es fehlt die Geschichte – die Reihenfolge der Ereignisse, das Timing und der Fluss.

Das Team fragte sich: Können wir einen Computer lehren, diese kurzen, unterbrochenen Geschichten zu verstehen? Und wenn wir das tun, wird es helfen, vorherzusagen, worauf ein Nutzer klicken wird, selbst wenn wir nicht wissen, wer er ist?

Das „Zeitreisende“ Gehirn

Um dies zu lösen, entwickelte das Team ein User Foundation Model (UFM). Stellen Sie sich dieses Modell wie einen superintelligenten Zeitreisenden vor, der Millionen kurzer, fragmentierter Geschichten über Menschen beim Surfen im Web gelesen hat.

Anstatt nur Klicks zu zählen, betrachtet das Modell die Sequenz von Ereignissen. Es behandelt den Browserverlauf eines Nutzers wie einen Satz. Genau wie ein Satz ein Subjekt, ein Verb und ein Objekt hat, hat der Browserverlauf eines Nutzers einen Publisher (wo er war), einen Advertiser (was er sah) und ein Event (was er tat, wie z. B. Klicken oder nur Ansehen).

Das Modell wurde mittels Self-Supervised Learning trainiert. Stellen Sie sich vor, Sie haben einen Satz, in dem einige Wörter ausgeblendet (maskiert) sind, und Sie müssen erraten, welche das sind, basierend auf dem Kontext. Das Modell übte dies, indem es den Verlauf eines Nutzers betrachtete, Teile davon ausblendete und versuchte, die Lücken zu füllen. Es spielte auch ein Zuordnungsspiel: Es nahm zwei verschiedene Teile desselben Nutzerverlaufs (wie den Vormittag und den Nachmittag) und lernte, dass sie zur selben Person gehören, selbst wenn sie unterschiedlich aussehen.

Der „Roboter-Coach“, der das Gehirn optimiert

Hier wird es besonders spannend. Das Team hat nicht nur das Modell gebaut; es hat eine KI genutzt, um die KI zu bauen. Sie nannten dies „LLM-as-Optimizer“.

Stellen Sie sich vor, Sie versuchen, das perfekte Rennauto zu bauen. Anstatt zu raten, welcher Motor oder welcher Reifen am besten ist, haben Sie einen Roboter-Coach (ein Large Language Model), der einen Katalog von 150 verschiedenen „Tuning-Tipps“ aus wissenschaftlichen Büchern liest. Der Roboter-Coach schlägt Änderungen vor: „Lass uns den Motor etwas größer machen“ oder „Lass uns die Treibstoffmischung ändern“. Das Team testet diese Änderungen, und wenn eine Änderung das Auto schneller macht, merkt sich der Roboter-Coach dies und versucht, darauf aufzubauen.

In dieser Arbeit hat der Roboter-Coach das „User Foundation Model“ optimiert, indem er Dinge wie die Anzahl der Denk-Schichten (Layers), den Umgang mit der Zeit und die Art des Lernens verändert hat. Dieser Prozess, genannt Neural Architecture Search (NAS), fand eine Version des Modells, die signifikant besser war als das Original.

Die Ergebnisse: Von „Vielleicht“ zu „Ja“

Das Team testete sein neues, roboter-optimiertes Modell auf zwei Arten: erst in einer Simulation (offline) und dann in der realen Welt (online).

1. Die Simulation (Offline):
Sie testeten das Modell auf einem massiven Datensatz echter Werbeanfragen. Sie verglichen das Modell mit dem System, das Teads bereits einsetzte.

• Die gute Nachricht: Das neue Modell verbesserte die Vorhersage dessen, was Nutzer anklicken würden, um +1,354 %. In der Welt der Werbung ist das ein gewaltiger Sprung.
• Der „Unterbrochene Pfad“-Test: Sie testeten das Modell speziell bei Nutzern mit sehr kurzen oder fehlenden Verläufen. Selbst für Nutzer mit fast keiner Historie verbesserte das Modell die Vorhersagen um +0,99 %. Dies beweist, dass das Modell funktioniert, selbst wenn der „Film“ nur aus einem einzigen Frame besteht.
• Der Generalisierungstest: Sie testeten das Modell bei verschiedenen Arten von Vorhersageaufgaben (wie etwa der Frage, ob eine Anzeige ein Gebot gewinnen würde, nicht nur, ob sie angeklickt wird). Es funktionierte auch dort und verbesserte diese Vorhersagen um +1,197 %. Dies deutet darauf hin, dass das Modell ein tiefes Verständnis menschlichen Verhaltens erlernt hat und nicht nur einen Trick für eine spezifische Aufgabe beherrscht.

2. Die reale Welt (Online):
Das Team führte einen Live-Test über 7 Tage durch, bei dem die Hälfte der Nutzer das neue Modell und die andere Hälfte das alte Modell sah.

• Das Ergebnis: Die Gruppe mit dem neuen Modell klickte 2,13 % häufiger auf Anzeigen.
• Die Kosten: Da die Anzeigen relevanter waren, sanken die Kosten pro Klick um 1,13 %.
• Die Sicherheit: Das Team ist sich dieser Zahlen sehr sicher. Sie berechneten ein 80 %-Konfidenzintervall, was bedeutet, dass sie statistisch sicher sind, dass die Verbesserung real ist und nicht bloß auf Glück beruht.

Warum das wichtig ist

Diese Arbeit zeigt, dass wir keine perfekte, lange Historie benötigen, um einen Nutzer zu verstehen. Selbst mit fragmentierten, kurzen und anonymen Daten kann ein intelligentes Modell die Geschichte zusammensetzen.

Die Autoren legen nahe, dass dieser Ansatz eine „neue Achse“ für Verbesserungen eröffnet. Es geht nicht nur darum, die bestehende Mathematik ein wenig besser zu machen; es geht darum, eine völlig neue Art des Denkens über Nutzerdaten einzuführen. Indem sie den Browserverlauf als eine Sequenz behandelten, die verstanden werden muss, statt als eine bloße Liste von Zählungen, fanden sie einen Weg, Anzeigen relevanter zu machen – selbst für die „Geister“ des Internets, die sich nicht einloggen.

Das Team gibt zu, dass es Grenzen gibt. Sie haben nur eine spezifische Art von Modellarchitektur und einen spezifischen Datensatz getestet. Sie merken auch an, dass ihr „Roboter-Coach“ zwar eine gute Lösung gefunden hat, wir aber nicht wissen, ob es die absolut beste Lösung ist. Dennoch bestätigt der Live-Test, dass dieser Ansatz in der realen Welt funktioniert und eine theoretische Idee in ein praktisches Werkzeug verwandelt, das das offene Web ein wenig weniger chaotisch und ein wenig persönlicher macht.