Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge

Stellen Sie sich vor, Sie gehen durch einen riesigen, geschäftigen digitalen Marktplatz. Jede Sekunde stöbern und klicken Millionen von Menschen und kaufen Dinge. Um diesen Marktplatz reibungslos am Laufen zu halten, müssen die Computer hinter den Kulissen unglaublich kluge Detektive sein. Sie müssen erraten, was Sie als Nächstes kaufen könnten, und zwar nicht nur basierend auf dem, was Sie gerade betrachten, sondern indem sie sich an alles erinnern, was Sie jemals angeklickt haben, wie lange das her ist und was für ein Typ Mensch Sie sind. Dies ist die Welt der Empfehlungssysteme.

Betrachten Sie diese Systeme als Wesen mit zwei Hauptaufgaben. Erstens schauen sie auf Ihre Historie, wie ein Tagebuch jedes Gegenstands, den Sie jemals berührt haben, um Ihre wechselnden Interessen zu verstehen. Zweitens schauen sie auf statische Fakten, wie Ihr Alter, die Tageszeit oder die spezifischen Details des Artikels, den Sie gerade ansehen, die sich nicht von Moment zu Moment ändern. Der knifflige Teil ist, dass diese beiden Arten von Informationen normalerweise in unterschiedlichen Vierteln des Computergehirns leben. Es sie effizient miteinander kommunizieren zu lassen, ist wie der Versuch, einen schnell fließenden Fluss (Ihre Historie) perfekt mit einem stillen, tiefen See (I Ihre statischen Fakten) zu vermischen, ohne einen schlammigen Brei zu erzeugen. Dieses Mischverhältnis richtig hinzubekommen, ist entscheidend, da es darüber entscheidet, ob Sie eine Anzeige sehen, die Ihnen tatsächlich gefällt, oder eine, die Sie ignorieren, was wiederum beeinflusst, wie viel Geld die Plattform verdient und wie zufrieden Sie sind.

In der Arbeit „Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge“ hat ein Team von Forschern genau dieses Mischproblem angegangen. Sie nahmen an einem hochkarätigen Wettbewerb namens KDD Cup 2026 teil, bei dem das Ziel war, vorherzusagen, wie wahrscheinlich es ist, dass ein Nutzer auf eine Anzeige klickt, die er dann auch kauft. Ihre Lösung, ein Modell namens FA-RankMixer, agiert wie ein Meisterkoch, der die Zutaten nicht einfach nur in einen Topf wirft, sondern sie sorgfältig trennt, einzeln würzt und sie dann auf eine ganz bestimmte Weise vermengt.

So funktioniert ihr Rezept. Zuer das betrachtet das Modell Ihre Verhaltenshistorie. Anstatt alle Ihre vergangenen Klicks als einen riesigen, verschwommenen Klumpen zu behandeln, nutzt es eine „zielorientierte“ Linse (target-aware). Stellen Sie sich vor, Sie betrachten ein bestimmtes Paar Schuhe; das Modell fragt: „Gegeben diese Schuhe, welche Ihrer vergangenen Klicks sind tatsächlich relevant?“ Es trennt Ihre jüngsten Interessen von Ihren älteren Interessen und erkennt dabei, dass das, was Ihnen letzte Woche gefallen hat, vielleicht wichtiger ist als das, was Ihnen vor sechs Monaten gefallen hat. Das ist wie ein Detektiv, der sich auf die neuesten Hinweise konzentriert, während er die älteren im Hinterkopf behält.

Als Nächstes organisiert das Modell alle Informationen in „Tokens“. Denken Sie an diese kleinen Karten, wobei jede Karte ein spezifisches Stück Information repräsentiert, wie zum Beispiel „Alter des Nutzers“, „Tageszeit“ oder „Hat auf einen Sneaker geklickt“. Die Forscher stellten fest, dass man die Identität jeder Karte verliert, wenn man sie einfach alle zusammenquetscht. Deshalb haben sie ein Field-Aware-System entwickelt. Es ist wie eine Sortiermaschine, die die „Alter“-Karten in einem Stapel und die „Zeit“-Karten in einem anderen Stapel hält, damit sie nicht verwechselt werden. Diese Stapel werden dann in eine spezielle Engine namens RankMixer eingespeist. Diese Engine ist wie ein Hochgeschwindigkeits-Mixer, der es den Karten ermöglicht, miteinander zu kommunizieren, ohne dass eine massive Menge an zusätzlichem Speicher benötigt wird, wodurch das System komplexe Beziehungen zwischen Ihrer Historie und der aktuellen Anzeige verstehen kann.

Aber das Modell hört dort nicht auf. Es verwendet einen Dual-Stream-Ansatz, der wie zwei Köche ist, die gleichzeitig in der Küche arbeiten. Ein Koch (der „Deep“-Stream) ist sehr komplex und versucht, subtile, verborgene Muster zu finden, indem er die Karten in tiefen Schichten vermischt. Der andere Koch (der „Shallow“-Stream) ist einfacher und betrachtet die Zutaten direkter. Schließlich nutzen sie eine Bilinear Fusion-Technik, um die Ergebnisse beider Köche zu kombinieren. Stellen Sie sich dies als eine spezielle Sauce vor, die den komplexen Geschmack des tiefen Kochs und den frischen Geschmack des flachen Kochs aufnimmt und beide perfekt vermengt. Dies stellt sicher, dass die endgültige Vorhersage nicht nur intelligent, sondern auch stabil und genau ist.

Die Forscher testeten ihr Modell mit einem massiven Datensatz, der über 34 Millionen Klicks enthält. Sie fanden heraus, dass ihre Methode die Genauigkeit der Vorhersagen im Vergleich zu einem Basismodell signifikant verbesserte. Insbesondere durch Techniken wie Weighted Pair Pooling (das darauf achtet, wie stark ein Signal ist, anstatt einfach alles zu mitteln) und SWA (eine Methode, die die Gewichte des Modells am Ende mittelt, um es robuster zu machen), steigerten sie ihre Leistungsbewertung (AUC) um insgesamt etwa 14,7 Punkte.

Interessanterweise entdeckte das Team, dass es nicht immer besser machte, das Modell einfach nur „breiter“ zu machen (mehr Neuronen hinzuzufügen). An einem Punkt führte das Breiter-Machen des Modells sogar dazu, dass es schlechter abschlug. Stattdessen lag der Schlüssel darin, die Informationen intelligenter zu organisieren, indem man spezifischere „Tokens“ für verschiedene Felder verwendete. Dies deutet darauf hin, dass in der Welt der KI eine intelligentere Art der Informationsorganisation oft mächtiger ist als nur ein größeres Gehirn.

Am Ende erreichte ihr FA-RankMixer-Modell den neunten Platz im Wettbewerb und bewies, dass diese spezifische Art, die Nutzerhistorie mit statischen Fakten zu vermischen, für groß angelegte Werbung sehr gut funktioniert. Obwohl das Modell recht groß ist und eine erhebliche Rechenleistung erfordert, schlagen die Forscher vor, dass zukünftige Arbeiten darauf abzielen könnten, es effizienter zu machen – etwa indem man es lehrt, nur den wichtigsten Feldern Aufmerksamkeit zu schenken, um Energie zu sparen und gleichzeitig die Vorhersagen präzise zu halten. Ihre Arbeit zeigt, dass das Ergebnis ein viel klügeres, hilfreicheres Empfehlungssystem ist, wenn man verschiedenen Arten von Daten die spezifische Sorgfalt entgegenbringt, die sie verdienen.