Stellen Sie sich vor, Sie gehen durch einen riesigen, belebten digitalen Marktplatz. Jede Sekunde blitzen tausende digitale Schilder auf, die versuchen, Ihre Aufmerksamkeit zu erregen. Einige Schilder sind für Schuhe, andere für Stellenanzeigen und manche für Kaffee. Die Menschen, die diesen Marktplatz betreiben, haben einen schwierigen Job: Sie müssen erraten, bei welchem Schild Sie tatsächlich anhalten und hinschauen werden, noch bevor Sie es überhaupt sehen. Dieses Ratespiel nennt man „Click-Through-Rate“ (CTR)-Vorhersage. Lange Zeit waren die besten Ratgeber wie superintelligente Buchhalter, die eine Liste Ihrer vergangenen Gewohnheiten und die Details des Schildes betrachteten, um eine Berechnung anzustellen. Aber vor kurzem ist eine neue Art von „generativer“ KI in anderen Bereichen wie der Empfehlung von Filmen oder Liedern aufgetaucht. Diese neuen KIs sind wie Geschichtenerzähler; anstatt nur Zahlen zu berechnen, lesen sie eine ganze Geschichte dessen, was Sie früher getan haben, und sagen voraus, was als Nächstes passiert. Die große Frage für die Marktplatzbetreiber war: Können wir diese neue „Geschichtenerzähler“-KI nutzen, um zu erraten, auf welche Anzeigen Sie klicken werden, selbst wenn sich die Regeln des Spiels nach der Vorhersage ändern?

Genau das wollte das Team bei LinkedIn mit ihrem neuen System namens CADET lösen. Sie bauten einen „Decoder-only Transformer“, was eine schicke Art zu sagen ist, dass sie eine KI geschaffen haben, die eine Sequenz von Ereignissen (wie Ihre vergangenen Klicks und Aufrufe) liest und die Zukunft in einem einzigen, fließenden Durchgang vorhersagt. Aber Anzeigen sind knifflig. Im Gegensatz zur Empfehlung eines Films hängt der Erfolg einer Anzeige oft von Dingen ab, die erst bekannt sind, nachdem die KI ihre Vorhersage getroffen hat – wie zum Beispiel genau, wo auf dem Bildschirm die Anzeige landen wird. Wenn die KI falsch rät, weil sie nicht wusste, dass die Anzeige ganz unten auf der Seite statt ganz oben sein würde, gerät das gesamte System durcheinander.

Die Forscher fanden heraus, dass sie das Rätsel lösen konnten, indem sie ihrer KI ein spezielles Set an Werkzeugen gaben. Sie brachten dem Modell bei, verschiedene „Was-wäre-wenn“-Szenarien zu imaginieren, in denen die Anzeige landen könnte, und sie bauten einen „Self-Gating“-Mechanismus ein, der wie ein Türsteher fungiert und die KI davor bewahrt, durch verrauschte oder verwirrende Informationen abgelenkt zu werden. Sie gaben der KI auch einen besonderen Sinn für Zeit, der es ihr ermöglicht zu verstehen, dass ein Klick vor fünf Minuten etwas anderes ist als ein Klick vor fünf Monaten. Am wichtigsten aber war, dass sie sicherstellten, dass die KI während ihres Trainings keine Informationen nutzt, die sie in der realen Welt zu diesem Zeitpunkt noch gar nicht haben könnte. Als sie dieses neue System im echten LinkedIn-Marktplatz testeten, funktionierte es nicht nur; es schnitt signifikant besser ab als die alten, komplexen Systeme, die es ersetzte. Die neue KI deutete darauf an, dass Nutzer mit einer Wahrscheinlichkeit von 11,04 % mehr dazu neigten, auf Anzeigen zu klicken, was beweist, dass ein einheitlicher, geschichtenerzählender Ansatz die alte, mehrteilige Maschine übertreffen kann.

Die Geschichte von CADET: Ein Geschichtenerzähler für Anzeigen

Wie haben sie das also gebaut? Lassen Sie uns die Magie von CADET (Context-Conditioned Ads Decoder-Only Transformer) in einfache, alltägliche Konzepte zerlegen.

Das „Henne-Ei-Problem“
Stellen Sie sich vor, Sie sind ein Koch, der erraten möchte, wie sehr ein Kunde ein Essen genießen wird. Aber hier ist der Haken: Sie müssen die Freude vorhersagen, bevor Sie wissen, wo der Tisch steht. Wenn der Tisch direkt neben der Küche steht, ist der Kunde vielleicht hungrig und aufgeregt. Wenn er in einer dunklen Ecke sitzt, ist er vielleicht mürrisch. In der Welt der Anzeigen ist das „Tisch-Szenario“ die Position der Anzeige auf dem Bildschirm. Die KI muss vorhersagen, ob Sie auf eine Anzeige klicken werden, aber sie weiß noch nicht, ob diese Anzeige ganz oben (wo jeder sie sieht) oder weit unten auf der Seite sein wird. Dies ist das „Henne-Ei-Problem“: Die Vorhersage hängt von der Position ab, aber die Position hängt von der Vorhersage ab.

CADET löst dies, indem es ein Meister der „Was-wäre-wenn“-Szenarien ist. Anstatt eine einzige Vorhersage zu treffen, besitzt es mehrere „Prediction Heads“ (denken Sie an verschiedene Köche in der Küche). Ein Koch rät: „Wenn diese Anzeige oben ist, werden Sie dann klicken?“ Ein anderer Koch rät: „Wenn sie unten ist, werden Sie dann klicken?“ Das Modell lernt, all diese Antworten gleichzeitig zu produzieren. Wenn die Anzeige tatsächlich platziert wird, wählt das System einfach die Antwort des Kochs aus, der mit dem Standort richtig lag. Auf diese Weise wird die KI niemals durch das Mysterium verwirrt, wo die Anzeige letztendlich landen wird.

Der Türsteher (Self-Gated Attention)
In einem überfüllten Raum kann manchmal eine laute Person alle anderen übertönen. In der KI nennt man das „Attention Sink“, wobei das Modell sich zu sehr auf ein einzelnes Token (ein Stück Daten) konzentriert und den Rest ignoriert, was zu schlechten Vorhersagen führt. Die Forscher gaben CADET einen „Türsteher“ namens Self-Gated Attention Mechanism.

Stellen Sie sich das Gehirn der KI wie einen belebten Flur vor. Jedes Mal, wenn eine Information versucht, hindurchzugehen, prüft der Türsteher sie. Wenn die Information verrauscht oder nicht sehr nützlich ist, dimmt der Türsteher das Licht (gated down), damit sie das Modell nicht ablenkt. Wenn die Information wichtig ist, lässt der Türsteher sie strahlen. Dies geschieht zweimal: einmal, wenn die Information zuerst ankommt (Repräsentationsebene), und ein zweites Mal, wenn die KI versucht, verschiedene Informationsteile miteinander zu verbinden (Interaktionsebene). Dies hält das Training glatt und stabil und verhindert, dass die KI verrückt spielt oder in schlechten Mustern stecken bleibt.

Die Zeitmaschine (Timestamp RoPE)
Die meisten KI-Modelle zählen Schritte: „Schritt 1, Schritt 2, Schritt 3.“ Aber in der realen Welt geht es nicht nur um Schritte, sondern darum, wann Dinge passiert sind. Ein Klick, der vor 10 Sekunden geschah, ist sehr unterschiedlich von einem, der vor 10 Monaten geschah.

CADET nutzt eine spezielle Art von „Zeitmaschine“ namens timestamp-basiertes Rotary Positional Embedding (RoPE). Anstatt Schritte zu zählen, betrachtet die KI die tatsächliche Uhrzeit (Unix-Zeitstempel) jedes Ereignisses. Sie kann verstehen, dass der Abstand zwischen zwei Ereignissen kurz (wie Sekunden) oder lang (wie Monate) ist. Dies hilft dem Modell zu erkennen, dass sich Ihr Verhalten im Laufe der Zeit ändert. Wenn Sie gestern auf eine Stellenanzeige geklickt haben, sind Sie heute vielleicht immer noch daran interessiert, aber wenn Sie vor sechs Monaten darauf geklickt haben, sind Sie es wahrscheinlich nicht mehr. Dieses Zeitgefühl ermöglicht es der KI, Muster über verschiedene Skalen hinweg zu lernen – vom unmittelbaren Moment bis hin zu langfristigen Trends.

Die „Keine-Schummel“-Regel (Session Masking)
Wenn Sie eine KI trainieren, möchten Sie, dass sie wie ein Schüler lernt, nicht wie ein Betrüger. In der realen Welt, wenn eine Anzeige geschaltet wird, weiß das System nicht sofort, ob Sie darauf geklickt haben; es gibt eine winzige Verzögerung (wie ein paar Sekunden oder Minuten), während die Daten übertragen werden. Wenn die KI mit Daten trainiert wird, in denen sie den Klick sehen kann, bevor sie es eigentlich dürfte, lernt sie, Informationen zu nutzen, die sie nicht haben sollte. Sie wird denken: „Oh, ich wusste, dass du geklickt hast, weil ich das Ergebnis gesehen habe!“, aber in der realen Welt wird sie diese Information nicht haben.

Um dies zu verhindern, nutzten die Forscher Session Masking. Stellen Sie sich einen Lehrer vor, der die Antwortlösung auf einer Prüfung abdeckt. Während des Trainings wird die KI gezwungen, nur die Informationen zu betrachten, die zum exakten Zeitpunkt verfügbar gewesen wären. Wenn ein Klick 30 Sekunden später erfolgt, ist die KI während des Trainings des aktuellen Moments blind gegenüber diesem Ereignis. Dies stellt sicher, dass die KI, wenn sie in die reale Welt geht (Online Serving), nicht verwirrt wird oder schlechte Vorhersagen trifft, weil sie sich auf Informationen verlässt, die sie eigentlich noch gar nicht sehen kann.

Der Geschwindigkeitsschub (Production Engineering)
Es ist eine Sache, eine intelligente KI zu bauen; es ist eine andere, sie schnell genug zu machen, um Milliarden von Anzeigen pro Tag zu verarbeiten. Das Team nutzte einige geschickte Engineering-Tricks. Sie „verpackten“ die Daten sehr dicht, ähnlich wie man einen Koffer organisiert, damit kein Platz verschwendet wird, was das Training viel schneller machte. Sie bauten auch maßgeschneiderte „FlashAttention“-Engines (spezialisierte Softwareteile), die es der KI ermöglichen, hunderte von Anzeigen in einem einzigen, blitzschnellen Durchgang gleichzeitig zu bewerten, anstatt sie nacheinander zu prüfen.

Die Ergebnisse: Ein großer Sieg für LinkedIn

Als das Team CADet in dem Hauptfeed von LinkedIn testete, waren die Ergebnisse beeindruckend. Sie verglichen es mit ihrem alten, hochoptimierten System (einer Mischung aus verschiedenen Modellen, die zusammenarbeiten). Das neue CADET-Modell hielt nicht nur Schritt, es zertrümmerte den Wettbewerb.

In einem groß angelegten Online-Test erreichte CADET eine Steigerung der Click-Through-Rate um 11,04 % im Vergleich zum alten System. Das bedeutet, dass für jede 100 gezeigten Anzeigen deutlich mehr Menschen anhielten, um hinzusehen. Interessanterweise änderte sich, da Werbetreibende auf LinkedIn ihr Budget meist automatisch ausschöpfen, das Gesamtkapital nicht wesentlich, aber der Wert dieser Klicks stieg. Die Kosten pro Klick sanken um 10,9 %, was bedeutet, dass Werbetreibende eine bessere Rendite für ihre Investitionen erhielten.

Das Paper legt nahe, dass dieser Erfolg aus der Kombination einer einheitlichen „Geschichtenerzähler“-KI mit klugen Lösungen für die spezifischen Probleme von Anzeigen (wie Position und Zeit) resultiert. Es zeigt, dass ein einziges, gut konzipiertes Modell ein komplexes Team aus älteren Modellen besiegen kann. Obwohl die Forscher anmerken, dass noch Arbeit zu leisten ist – etwa beim Umgang mit noch mehr Arten von „Was-wäre-wenn“-Szenarien –, beweist ihre Arbeit, dass Decoder-only Transformer bereit sind, die Führung in der Welt der Online-Werbung zu übernehmen.