Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
Dieses Paper schlägt das „User Behavioral Densing Law“ vor, ein quantitatives Skalierungsmuster, das die Datenmenge mit der minimalen ausreichenden Tokenisierungskapazität verknüpft, und führt ALGN ein, eine adaptive Tokenisierungsmethode, die Engpässe bei Milliarden-Skala-Daten überwindet und bestehende Baselines beim Erlernen von Nutzerrepräsentationen übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt hinterlässt jeder Klick, jeder Kauf und jede Suche eine Spur. Für die Unternehmen, die die Plattformen bauen, die wir täglich nutzen, sind diese Spuren nicht nur Aufzeichnungen; sie sind das Rohmaterial, um zu verstehen, wer wir sind. Durch die Analyse der langen, gewundenen Geschichte der Handlungen eines Menschen versuchen KI-Systeme, eine einzige, aussagekräftige Zusammenfassung der Vorlieben und Gewohnheiten dieser Person zu erstellen. Diese Zusammenfassung, oft als Benutzerrepräsentation bezeichnet, fungiert als digitaler Fingerabdruck, der mitentscheidet, welche Nachrichten angezeigt, welche Produkte empfohlen oder welche Werbeanzeigen geschaltet werden. Jahrelang war die vorherrschende Überzeugung unter Ingenieuren simpel: Um diese Fingerabdrücke präziser zu machen, benötigt man einfach mehr Daten. Die Logik schien fundiert – füttere das System mit mehr Nutzern, längeren Lebensgeschichten und größeren Computergehirnen, um all das zu verarbeiten, und die Ergebnisse würden sich natürlich verbessern.
Ein neuer Forschungsansatz stellt jedoch diese Annahme von „mehr ist besser“ infrage. Forscher der Ant Group und der Zhejiang University untersuchten, ob diese Strategie der endlosen Expansion tatsächlich funktioniert, wenn man es mit der massiven Skalierung realer Weltdaten zu tun hat, wie etwa den Milliarden von Transaktionen, die durch Alipay verarbeitet werden. Sie fanden heraus, dass es einen Punkt gibt, an dem das Hinzufügen von mehr Rohinformationen nicht mehr hilft, sondern schadet. Genau wie ein Raum so sehr mit Möbeln überladen werden kann, dass es unmöglich wird, sich darin zu bewegen, kann ein System so sehr mit repetitiven, minderwertigen Daten überflutet werden, dass es seine Fähigkeit verliert, das zu sehen, was wirklich wichtig ist. Das Team entdeckte, dass der Engpass nicht die Größe des Computermodells ist, sondern die Qualität und Dichte der Informationen, die hineingefüttert werden. Sie schlagen einen neuen Ansatz vor, der sich darauf konzentriert, diese massive Historie in eine kompakte, hochwertige Zusammenfassung zu komprimieren, wodurch das System aus weniger mehr lernen kann.
Die Forscher begannen damit, die Grenzen des traditionellen Ansatzes an einem Datensatz zu testen, der hunderte Millionen Nutzer umfasst. Sie erhöhten systematisch die Anzahl der Nutzer, das Zeitfenster, in dem sie beobachtet wurden, und die Größe des Computermodells selbst. Sie stellten fest, dass sich die Leistung anfangs schnell verbesserte, dann aber gegen eine harte Wand stieß. Als sie über einen gewissen Punkt hinaus mehr Nutzer hinzufügten oder sich Historien ansah, die länger als etwa sechzig Tage waren, lernte das System nichts Neues mehr dazu. Die zusätzlichen Daten bestanden hauptsächlich aus denselben alten Gewohnheiten, die immer wieder wiederholt wurden, wie etwa eine Person, die über ein Jahrzehnt lang jeden Morgen denselben Kaffee kauft. Selbst wenn sie das Computermodell signifikant vergrößerten, wurde es nicht klüger; es merkte sich einfach diese repetitiven Details, ohne echte Erkenntnisse über die wahren Vorlieben des Nutzers zu gewinnen. Dieses Phänomen, das die Autoren als „Raw Behavioral Scaling Wall“ (Rohverhaltens-Skalierungswand) bezeichnen, zeigte, dass das bloße Hinauswerfen von mehr Daten auf das Problem kein tragfähiges Modell mehr war.
Um diese Wand zu durchbrechen, führte das Team eine Methode des „Densifying“ (Verdichtung) der Daten ein. Anstatt dem System die gesamte, ungeordnete Historie von Rohereignissen zu füttern, übersetzten sie diese Ereignisse zuerst in einen kompakten Satz digitaler Token, ähnlich wie ein Buch in ein paar Schlüsselsätze zusammengefasst werden kann, ohne den Inhalt zu verlieren. Sie nutzten eine Technik, die ähnliche Verhaltensweisen gruppiert und Redundanzen entfernt, wobei nur die informativsten Signale beibehalten werden. Als sie ihre Modelle auf diesen komprimierten, tokenisierten Versionen der Nutzerhistorien trainierten, waren die Ergebnisse beeindruckend. Das System verbesserte sich kontinuierlich, selbst als die Daten größer wurden, während das System, das mit Rohdaten trainiert wurde, bereits stagniert hatte. Die komprimierten Daten ermöglichten es dem Modell, den Wald zu sehen, anstatt sich in den Bäumen zu verlieren, und bewahrten seine Fähigkeit zu lernen und sich anzupassen, selbst wenn das Eingabevolumen massiv war.
Die Studie ging noch weiter und definierte eine präzise Regel dafür, wie viel Kompression benötigt wird, während die Daten wachsen. Sie fanden heraus, dass der „Raum“, der zur Speicherung der Zusammenfassung eines Nutzers benötigt wird, nicht im direkten Verhältnis zur Menge der Rohdaten wachsen muss. Stattdessen folgt er einem vorhersagbaren Muster, bei dem die notwendige Kapazität mit zunehmendem Datenvolumen langsam ansteigt. Das bedeutet, dass man für ein System, das eine Milliarde Nutzer verwaltet, nicht eine Milliarde Mal mehr Speicher oder Rechenleistung benötigt; man benötigt lediglich eine sorgfältig berechnete, viel kleinere Menge an hochwertigen Token. Diese Entdeckung, die sie als „Behavioral Densing Law“ (Verhaltensverdichtungsgesetz) bezeichnen, liefert Ingenieuren einen mathematischen Leitfaden, um genau zu wissen, wie viel Kompression für eine gegebene Datenmenge anzuwenden ist, um sicherzustellen, dass keine Ressourcen für unnötige Informationen verschwendet werden.
Schließlich entwickelten die Forscher ein neues Werkzeug namens „Adaptive Length Gated Network“, um dieses Gesetz in die Praxis umzusetzen. Frühere Methoden behandelten die Historie jedes Nutzers auf die gleiche Weise und wiesen jedem die gleiche Menge an komprimiertem Raum zu, unabhängig davon, wie komplex sein Leben tatsächlich war. Das neue Werkzeug ist intelligenter; es betrachtet jeden Nutzer individuell und entscheidet, wie viel Detailtiefe beibehalten werden soll. Für einen Nutzer mit einem sehr routinierten, vorhersehbaren Leben weist es eine sehr kurze Zusammenfassung zu. Für einen Nutzer mit einem komplexen, vielfältigen Spektrum an Interessen und Gewohnheiten weist es eine längere, detailliertere Zusammenfassung zu. Dieser dynamische Ansatz stellt sicher, dass keine Rechenleistung für langweilige, repetitive Daten verschwendet wird, während komplexe Nutzer dennoch die nötige Aufmerksamkeit erhalten. In ihren Tests übertraf diese adaptive Methode nicht nur alle bisherigen Systeme in der Genauigkeit, sondern nutzte auch signifikant weniger Rechenkapazität, was beweist, dass Effizienz und Leistung Hand in Hand gehen können.
Die Auswirkungen dieser Arbeit reichen weit über eine einzelne App oder Website hinaus. Sie deutet auf einen grundlegenden Wandel hin, wie wir intelligente Systeme der Zukunft bauen. Anstatt des endlosen Wettlaufs, mehr Daten zu sammeln und größere Modelle zu bauen, liegt der Weg nach vorn darin, zu lernen, mehr Wert aus den Daten zu extrahieren, die wir bereits haben. Indem wir uns auf die Dichte der Information statt auf das reine Volumen konzentrieren, können wir Systeme bauen, die nicht nur präziser, sondern auch effizienter und nachhaltiger sind. Die Studie zeigt, dass im Zeitalter von Big Data das mächtigste Werkzeug nicht ein größerer Eimer ist, sondern ein besserer Filter.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.