A Better Spur Should Start From Each Objective

Auf dem digitalen Marktplatz ist eine Produktseite oft eine dichte Wand aus Text, vollgepackt mit technischen Spezifikationen und Marketing-Jargon, der einen Käufer überfordern kann. Um die Lücke zwischen komplexen Informationen und menschlichem Verständnis zu schließen, wird künstliche Intelligenz zunehmend mit einer Doppelaufgabe betraut: die wichtigsten Wörter in einer Produktbeschreibung zu identifizieren und dann eine kurze, klare Erklärung für diese zu formulieren. Dies ist nicht bloß eine Textbearbeitungsübung; es ist ein Balanceakt. Das System muss strikte Offline-Regeln erfüllen, wie etwa sicherzustellen, dass die extrahierten Wörter präzise sind und das volle Spektrum der Produktmerkmale abdecken, während es gleichzeitig Online-Ziele verfolgt, wie die Maximierung von Nutzerklicks und die Minimierung von Dislikes. Diese Ziele ziehen oft in entgegengesetzte Richtungen. Ein Merkmal, das viele Klicks generiert, könnte zu generisch sein, um präzise zu sein, während ein hochpräziser technischer Begriff zu obskur sein könnte, um einen Gelegenheitsbrowser zu interessieren. Wenn Computerprogramme versuchen, all diese widersprüchlichen Ziele gleichzeitig zu optimieren, stolpern sie oft, schwanken wild oder bleiben in einer Schleife stecken, in der die Verbesserung einer Metrik zum Zusammenbruch einer anderen führt.

Forscher des Harbin Institute of Technology, JD.com und der Chinesischen Akademie der Wissenschaften haben eine neue Methode entwickelt, um dieses spezifische Problem widersprüchlicher Ziele zu lösen. Sie nennen ihren Ansatz Multi-Marginal Preference Optimization, ein System, das darauf ausgelegt ist, den Computer daran zu hindern, alle Ziele als einen einzigen, unordentlichen Haufen von Anweisungen zu behandeln. Anstatt das Modell zu zwingen, eine einzige „beste“ Antwort zu finden, die bei allem einen Kompromiss eingeht, behandelt das neue Framework jedes Ziel wie eine separate Spur auf einer Autobahn. Es bereinigt zunächst die Daten, die es erhält, indem es die verrauschten und spärlichen Signale glättet, die aus dem tatsächlichen Nutzerverhalten wie Klicks und Likes resultieren, welche irreführend sein können, wenn man sie eins zu eins nimmt. Durch die Anpassung der Art und Weise, wie der Computer diese Belohnungen wahrnimmt, stellt das System sicher, dass seltene, aber wertvolle Informationen nicht ignoriert werden, nur weil sie seltener vorkommen als gebräuchliche Begriffe.

Die Kerninnovation liegt darin, wie das System den Lernprozess selbst handhabt. Wenn der Computer versucht, seine Leistung zu verbessern, generiert er mathematische Aktualisierungen basierend auf seinen Zielen. Bei älteren Methoden wurden diese Aktualisierungen einfach addiert, was oft dazu führte, dass die Anweisungen für ein Ziel die Anweisungen für ein anderes auslöschten oder verzerrten. Die neue Methode trennt diese Aktualisierungen, bevor sie angewendet werden. Sie identifiziert, welche Teile des Lernsignals essenziell für die grundlegende Genauigkeit sind und welche Teile spezifisch für Nutzerpräferenzen sind, und projiziert die Präferenzsignale dann in einen Raum, in dem sie nicht mit den Kernregeln interferieren. Dies ermöglicht es dem Modell, zu lernen, für Nutzer interessanter zu sein, ohne versehentlich zu vergessen, wie man präzise ist.

Darüber hinaus haben die Forscher einen Sicherheitsmechanismus hinzugefügt, um zu verhindern, dass das System gegen Ende seines Trainings zu aggressiv wird. Wenn Modelle besser werden, fixieren sie sich manchmal so intensiv auf ein Ziel, dass sie andere vernachlässigen, was zu einem plötzlichen Abfall der Gesamtqualität führt. Das neue System nutzt die Fähigkeit des Modells, Anweisungen zu befolgen, um eine Grenze zu setzen. Es bittet das Modell, Beispiele für perfektes Verhalten unter idealen Bedingungen zu generieren, und nutzt diese Beispiele, um eine Sicherheitszone für zukünftige Aktualisierungen zu definieren. Wenn das Modell versucht, in eine Richtung zu stark voranzustoßen, zieht dieser interne Leitfaden es sanft zurück und stellt sicher, dass der Fortschritt über alle Metriken hinweg stetig und ausgewogen bleibt.

Die Ergebnisse dieses Ansatzes wurden an einem Datensatz realer E-Commerce-Produkte getestet, der 65.232 Trainingsprodukte und 8.879 Evaluierungsprodukte sowie Nutzerverhaltensdaten der letzten drei Monate umfasste. Das System wurde mit mehreren anderen fortschrittlichen Methoden verglichen und erwies sich als signifikant stabiler und effektiver. In Offline-Tests erreichte es eine Vollständigkeitsrate von 94,11 Prozent und eine Genauigkeit von 73,43 Prozent, womit es frühere Methoden deutlich übertraf. Entscheidend war, dass es eine Zielabdeckungsrate von 22,82 Prozent erreichte, was nahezu perfekt ist, während andere Methoden entweder darunter blieben oder darüber hinausschossen. Diese Verbesserungen waren nicht nur theoretisch; bei einem Live-Online-Test mit echten Käufern steigerte das durch diese neue Methode gesteuerte System die Anzahl der getätigten Bestellungen um 3,14 Prozent und den Gesamtwert dieser Bestellungen um 5,07 Prozent im Vergleich zum bisherigen Standard.

Der Erfolg dieses Frameworks erstreckt sich über das Online-Shopping hinaus. Die Forscher haben es auch auf Aufgaben angewendet, die den Einsatz von Werkzeugen (Tool Usage) und die Generierung von Computercode betreffen – Bereiche, in denen mehrere Einschränkungen gleichzeitig erfüllt werden müssen. In diesen Tests lieferte die Methode konsequent bessere Ergebnisse als Standardansätze, insbesondere bei der Vermeidung des „Mode Collapse“, bei dem ein Modell eine einzige einfache Lösung findet und diese endlos wiederholt. Stattdessen behielt das neue System eine vielfältige Palette hochwertiger Ausgaben bei, während es gleichzeitig strikte Regeln einhielt. Durch die Entkopplung widersprüchlicher Ziele und die Bereitstellung eines strukturierten Weges, diese auszubalancieren, bietet diese Arbeit eine praktische Lösung, um künstliche Intelligenz in komplexen, realen Umgebungen, in denen mehrere konkurrierende Ziele die Norm sind, zuverlässiger zu machen.