MILCR: Mutual information and local consistency regularized flow matching for sequential recommendation

Im digitalen Zeitalter hinterlassen unsere Online-Leben eine Spur von Entscheidungen: die Bücher, die wir kaufen, die Videos, die wir ansehen, die Restaurants, die wir besuchen. Für Computer ist das Verstehen dieser Spuren die Aufgabe eines Feldes, das als sequentielle Empfehlung (Sequential Recommendation) bezeichnet wird. Das Ziel ist einfach und doch schwierig: Man betrachtet, was eine Person in der Vergangenheit getan hat, und errät, was sie als Nächstes tun möchte. Jahrelang waren die besten Werkzeuge für diese Aufgabe wie sorgfältige Bibliothekare, die die Historie eines Nutzers scannten, um Muster zu finden und den nächsten logischen Schritt vorzuschlagen. Eine neuere Generation von Werkzeugen ist jedoch entstanden, die versucht, etwas Kreativeres zu tun. Anstatt nur Muster zu finden, versuchen diese generativen Modelle, ein Bild der zukünftigen Wünsche eines Nutzers von Grund auf neu zu erschaffen, beginnend mit reiner Zufälligkeit und indem sie diese langsam zu einer spezifischen Empfehlung formen.

Stellen Sie sich vor, Sie versuchen, ein perfektes Porträt eines Freundes zu zeichnen, aber Sie sind gezwungen, mit einem leeren, statischen Bildschirm zu beginnen. Sie müssen das Rauschen Schritt für Schritt entfernen, bis das Gesicht erscheint. So arbeiten moderne generative Systeme. Sie beginnen mit zufälligem Rauschen und transformieren dieses Chaos durch eine Reihe mathematischer Schritte in eine klare Vorhersage. Obwohl dieser Ansatz großes Versprechen zeigt, steht er vor einem spezifischen Problem, wenn er auf die chaotische Realität menschlichen Verhaltens angewendet wird. Da die Interaktionsgeschichten von Menschen oft kurz und verstreut sind, können diese Modelle verwirrt werden. Sie könnten versuchen, sich zu sehr auf das anfängliche Zufallsrauschen zu verlassen, mit dem sie begonnen haben, anstatt auf die tatsächliche Historie des Nutzers, oder sie könnten alle verschiedenen Nutzer zu einem einzigen, verschwommenen Durchschnitt zusammenführen und so die einzigartigen Details verlieren, die eine Empfehlung nützlich machen.

Ein Team von Forschern an der Beijing University of Technology hat eine neue Methode entwickelt, um diese Mängel zu beheben, und nennt ihr System MILCR. Ihre Arbeit konzentriert sich darauf, wie diese generativen Modelle aus spärlichen Daten lernen. Die Forscher identifizierten, dass das Hauptproblem zweigeteilt war: Die Modelle hatten Schwierigkeiten, die unterschiedlichen Nutzerpräferenzen voneinander abzugrenzen, und sie ließen den Einfluss des anfänglichen Zufallsrauschens auf das Endergebnis zu stark zu. Um dies zu lösen, führten sie einen Trainingsprozess ein, der wie ein Doppelkontrollsystem fungiert. Zuerst bereiten sie das System mit einem strukturierten Fundament vor, um sicherzustellen, dass die grundlegenden Bausteine des Modells bereits organisiert sind, bevor das komplexe Lernen beginnt. Dann nutzen sie während der Haupttrainingsphase eine kluge Strategie, die zwischen zwei Aufgaben abwechselt. Eine Aufgabe lehrt das Modell, das Zufallsrauschen zu ignorieren, wodurch es gezwungen wird, sich strikt auf die tatsächliche Historie des Nutzers zu verlassen. Die andere Aufgabe stellt sicher, dass der Pfad, den das Modell nimmt, um seine Vorhersage zu erreichen, glatt und stetig ist, was verhindert, dass das System bei seiner Vermutung schwankt oder erratisch springt.

Die Forscher testeten diesen neuen Ansatz auf fünf verschiedenen realen Datensätzen, die von Online-Buchrezensionen bis hin zu Filmbewertungen reichen. Sie verglichen ihr System mit mehreren anderen leistungsstarken Modellen, einschließlich solcher, die auf älteren, bewährten Technologien und neueren generativen Methoden basieren. Die Ergebnisse zeigten, dass ihre neue Methode der Konkurrenz konsistent überlegen war. Auf einem Datensatz von Spielzeugkäufen verbesserte das neue System beispielsweise seine Fähigkeit, das nächste Produkt korrekt vorherzusagen, um mehr als 17 Prozent im Vergleich zum bisher besten Modell. Es erwies sich auch als wesentlich zuverlässiger im Umgang mit Nutzern, die nur sehr wenige Interaktionen hatten – ein Szenario, in dem andere Modelle oft scheitern. Durch die Analyse der internen Abläufe des Systems bestätigte das Team, dass ihre Methode erfolgreich die Abhängigkeit des Modells vom Zufallsrauschen reduzierte und die Darstellungen der verschiedenen Nutzer klar und deutlich hielt, anstatt sie verschmelzen zu lassen.

Der Erfolg dieser Arbeit liegt in ihrer Fähigkeit, Kreativität mit Disziplin in Einklang zu bringen. Der generative Ansatz erlaubt es dem System, neue Möglichkeiten zu imaginieren, aber die neuen Regularisierungen wirken wie Leitplanken, die sicherstellen, dass die Vorstellungskraft in der realen Historie des Nutzers verwurzelt bleibt. Die Forscher fanden heraus, dass das Modell, indem es die Verbindung zwischen dem Startrauschen und dem Endergebnis minimiert, lernte, den vergangenen Handlungen des Nutzers mehr zu vertrauen als dem zufälligen Start. Ebenso stellten sie durch die Erzwingung der Konsistenz zwischen den Schritten des Vorhersageprozesses sicher, dass sich das System nicht mitten in seinen eigenen Berechnungen verliert. Diese Kombination von Techniken ermöglichte es dem Modell, die spärliche und chaotische Natur realer Daten viel besser zu handhaben als zuvor.

Letztendlich bietet diese Forschung einen klareren Weg dafür, wie Computer menschliche Präferenzen verstehen können. Sie zeigt, dass der Ausgang von Zufälligkeit zwar ein kraftvoller Weg sein kann, um Ideen zu generieren, aber dass dies sorgfältige Einschränkungen erfordert, um in der realen Welt nützlich zu sein. Das neue System rät nicht nur; es lernt, zwischen dem Signal der wahren Interessen eines Nutzers und dem Rauschen des mathematischen Prozesses zu unterscheiden, der dazu verwendet wird, diese zu finden. Da die Online-Interaktionen immer komplexer und vielfältiger werden, werden Werkzeuge wie dieses essenziell sein, um sicherzustellen, dass Empfehlungen persönlich, präzise und wirklich hilfreich bleiben, selbst wenn die verfügbaren Daten begrenzt sind. Die Arbeit legt nahe, dass die Zukunft der Empfehlungssysteme nicht nur darin liegt, mehr Daten zu generieren, sondern diese intelligenter zu generieren – mit einem tiefen Respekt vor den einzigartigen und oft unvollständigen Geschichten der Menschen, denen sie dienen.