🤖 machine learning

Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation

Um das Problem des Embedding-Collapses und der begrenzten Ausdruckskraft in der RankMixer-Architektur zu adressieren, schlägt diese Arbeit RankElastor vor, ein neuartiges Empfehlungssystem mit parametrisierter Vollmischung und GLU-verbesserten P-FFNs, die das Spektrum der Repräsentationen stabilisieren und eine robuste dichte Skalierung ermöglichen.

Ursprüngliche Autoren: Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Dilemma der Empfehlungsmaschine

Stellen Sie sich vor, Sie betreiben eine riesige Bibliothek (ein Empfehlungssystem), die Millionen von Lesern Bücher vorschlägt. Um dies zu tun, weist die Bibliothek jedem Buch und jedem Leser eine eindeutige „Ausweis-Karte" (ein Embedding) zu. Diese Ausweis-Karten enthalten eine Menge Informationen.

Kürzlich wurde ein neuer, sehr kluger Bibliothekar namens RankMixer eingestellt. RankMixer ist hervorragend darin, diese Ausweis-Karten zu organisieren. Er nimmt die Karten, mischt sie herum, um Verbindungen zu finden, und führt sie dann durch eine Verarbeitungsmaschine, um bessere Vorschläge zu machen.

Die Forscher in diesem Papier entdeckten jedoch ein verstecktes Problem mit RankMixer. Wenn die Bibliothek größer wird und die Ausweis-Karten komplexer werden, beginnen die Karten ihre Individualität zu verlieren. Sie sehen alle gleich aus, wie ein Stapel identischer Fotokopien. In technischen Begriffen leidet das System unter „Embedding Collapse". Die Informationen werden in einen winzigen, flachen Raum gepresst, und die Bibliothek kann nicht mehr zwischen einem Krimi und einem Kochbuch unterscheiden, obwohl sie sehr unterschiedlich sind.

Das Problem: Die „Sägezahn"-Achterbahn

Die Forscher untersuchten genau, wie RankMixer diese Ausweis-Karten Schicht für Schicht verarbeitet. Sie entdeckten ein seltsames Muster, wie eine Achterbahn, die auf und ab geht, aber im Laufe der Zeit langsam tiefer driftet:

Das Mischen (Token Mixing): RankMixer mischt zuerst die Karten. Das ist wie das Ausbreiten eines Kartendecks auf einem Tisch. Dieser Schritt hilft tatsächlich! Er verteilt die Informationen und lässt die Ausweis-Karten vielfältiger aussehen (der „Expand"-Teil).
Die Verarbeitung (P-FFN): Als Nächstes gehen die Karten durch eine Verarbeitungsmaschine. Leider neigt diese Maschine dazu, die Karten wieder zu einem flachen Stapel zu zerdrücken. Sie verringert die Vielfalt (der „Shrink"-Teil).

Beim alten RankMixer war der „Shrink"-Schritt zu stark. Obwohl das Mischen versuchte, die Informationen zu erweitern, zerdrückte die Verarbeitungsmaschine sie wieder. Das Ergebnis war eine „gedämpfte Oszillation" – eine wacklige Linie, die langsam in einen flachen, nutzlosen Zustand tendiert. Die Bibliothek erweiterte ihr Potenzial, schrumpfte es aber sofort wieder zusammen.

Die Lösung: RankElastor

Um dies zu beheben, bauten die Autoren einen neuen Bibliothekar namens RankElastor. Ihr Motto lautet „Expand More, Shrink Less". Sie führten zwei spezifische Upgrades für den Arbeitsablauf der Bibliothek ein:

1. Der „Meister-Mischer" (Parametrisiertes Vollmischen)

Der alte Weg: RankMixer verwendete eine starre Regel zum Mischen der Karten. Es war wie eine Maschine, die nur Blöcke von 10 Karten gleichzeitig tauschen konnte. Sie war effizient, konnte aber keine feinen, detaillierten Anpassungen vornehmen.
Der neue Weg: RankElastor verwendet einen „Meister-Mischer". Dies ist ein lernfähiges, flexibles System, das jede einzelne Karte auf detaillierte Weise mit jeder anderen Karte mischen kann.
Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Salat zu mischen. Der alte Weg war wie die Verwendung eines riesigen Löffels, der nur große Brocken von Salat und Tomaten aufheben konnte. Der neue Weg ist wie die Verwendung eines Paares Essstäbchen, die einzelne Reiskörner aufnehmen und perfekt mischen können. Dies ermöglicht dem System, viel reichhaltigere, vielfältigere Ausweis-Karten zu erstellen, die nicht so leicht kollabieren.

2. Der „Smarte Prozessor" (GLU-verbesserte P-FFNs)

Der alte Weg: Die Verarbeitungsmaschine verwendete eine Standard-Aktivierungsfunktion (GELU). Stellen Sie sich dies wie einen Lichtschalter vor, der entweder AN oder AUS ist, oder wie einen Dimmer, der manchmal stecken bleibt. Sie neigte dazu, die Informationen zu stark zu zerdrücken.
Der neue Weg: RankElastor tauschte dies gegen einen GLU (Gated Linear Unit)-Prozessor aus.
Die Analogie: Stellen Sie sich vor, der alte Prozessor war eine schwere Tür, die ins Schloss fiel und den größten Teil des Lichts blockierte. Der neue GLU-Prozessor ist wie ein intelligentes Fenster mit Dimmer und einem Gatter. Es kann die richtige Lichtmenge durchlassen und den Fluss präziser steuern. Es fungiert als „Türsteher", der verhindert, dass die Informationen flach zerdrückt werden, und hält die Ausweis-Karten eindeutig und nützlich.

Die Ergebnisse: Eine gesündere Bibliothek

Die Forscher testeten RankElastor an zwei riesigen, realen Datensätzen (Criteo und Avazu), die wie riesige Kataloge von Online-Werbung und Benutzerklicks sind.

Bessere Empfehlungen: RankElastor machte bessere Vorhersagen als der alte RankMixer und andere Top-Konkurrenten. Es verbesserte die Genauigkeit der Empfehlungen (gemessen durch AUC) um einen kleinen, aber statistisch signifikanten Betrag. In der Welt riesiger Empfehlungssysteme ist selbst eine winzige Verbesserung ein großer Gewinn.
Kein Kollaps mehr: Als sie den „Effektiven Rang" (ein Maß dafür, wie vielfältig die Ausweis-Karten sind) betrachteten, behielt RankElastor die Karten viel vielfältiger. Anstatt dass die Achterbahn zu einer flachen Linie driftet, blieben die Karten während des gesamten Prozesses „federnd" und variabel.
Skalierung: Als sie die Bibliothek größer machten (mehr Schichten hinzufügen oder die Verarbeitung verbreitern), wurde RankElastor immer besser. Der alte RankMixer hatte Schwierigkeiten, zu skalieren, ohne zu kollabieren, aber RankElastor bewältigte das Wachstum elegant.

Zusammenfassung

Das Papier argumentiert, dass wir, um bessere Empfehlungssysteme zu bauen, verhindern müssen, dass Informationen zerquetscht werden. Durch den Ersatz starren Mischens durch flexibles Mischen und die Verwendung intelligenterer Verarbeitungstore sorgt RankElastor dafür, dass das System sein Verständnis von Daten mehr „erweitert" als es es „schrumpft". Dies hält die Empfehlungen frisch, vielfältig und genau, selbst wenn das System auf riesige Größen wächst.

Technische Zusammenfassung: Mehr erweitern, weniger schrumpfen: Gestaltung der Dynamik des effektiven Rangs für dichte Skalierung in Empfehlungssystemen

1. Problemstellung

Der Beitrag adressiert die Herausforderung des Embedding-Collapses im Kontext der Skalierung dichter Empfehlungsmodelle. Während neuere Architekturen wie RankMixer Erfolge bei der Skalierung von Empfehlungssystemen durch das Alternieren zwischen Token-Mixing und pro-Token-Feedforward-Netzwerken (P-FFNs) gezeigt haben, leiden sie unter einer fundamentalen Einschränkung: Die gelernten Repräsentationen neigen dazu, sich in Unterräume niedrigen Rangs zu konzentrieren.

Dieses Phänomen, bekannt als Embedding-Collapse, begrenzt die Ausdruckskraft des Modells und nutzt den durch die Skalierung bereitgestellten erweiterten Repräsentationsraum unzureichend aus. Die Autoren identifizieren, dass die spezifische Architektur von RankMixer eine „gedämpfte oszillierende Trajektorie" des effektiven Rangs über die Schichten hinweg induziert:

Token-Mixing-Module erhöhen den effektiven Rang leicht.
P-FFN-Module kontrahieren den effektiven Rang anschließend.

Während dieses alternierende Verhalten moderate Verbesserungen gegenüber konventionellen Recommendern bietet (die einen monotonen Rangabfall aufweisen), verhindert es den Collapse nicht grundlegend, sobald die Modelltiefe zunimmt. Der Beitrag geht davon aus, dass die starre, nicht-parametrische Natur des Token-Mixing und die Standard-Aktivierungsfunktionen in P-FFNs die Hauptursachen für diese spektrale Instabilität sind.

2. Methodik: RankElastor

Um diese Einschränkungen zu adressieren, schlagen die Autoren RankElastor vor, eine neuartige tiefe Empfehlungsarchitektur, die darauf ausgelegt ist, spektral robuste Repräsentationen mit nachweisbarer Collapse-Minderung zu erzeugen. Die Kernphilosophie lautet „Mehr erweitern, weniger schrumpfen", erreicht durch zwei wesentliche architektonische Innovationen:

A. Parametrisiertes vollständiges Token-Mixing

In RankMixer wird Token-Mixing über eine nicht-parametrische Block-Transposition implementiert. Die Autoren verallgemeinern dies durch die Einführung eines lernbaren Mixings-Operators, der die Gitterskala auf die feinste Auflösung ( $d=1$ ) reduziert.

Mechanismus: Anstelle einer festen Permutation setzt RankElastor eine dichte lineare Transformation über die flache Repräsentation ein: $vec(M^\top) = LN((W + I)vec(X^\top))$ , wobei $W$ eine lernbare Mixing-Matrix ist.
Theoretische Basis: Satz 3.1 zeigt, dass grobkörniges Block-Mixing (wo $d^* > 1$ ) strikt weniger ausdrucksstark ist als vollständiges Mixing ( $d^* = 1$ ). Die Block-Kronecker-Beschränkung im standardmäßigen Mixing verhindert, dass das Modell feinkörnige, hochrangige Koordinateninteraktionen ausdrücken kann, insbesondere wenn Eingangsrepräsentationen bereits spektral kollabiert sind. Vollständiges Mixing entfernt diese Beschränkung und ermöglicht reichhaltigere Interaktionen.

B. GLU-verbesserte P-FFNs

Die Autoren ersetzen die standardmäßigen GELU-basierten P-FFNs in RankMixer durch GLU-artige gated Feedforward-Module.

Mechanismus: Das neue Modul nutzt gated Aktivierungen: $Z_t = (GELU(M_t W_1) \odot (M_t W_2))W_3 + M_t W_r$ .
Theoretische Basis: Satz 3.2 beweist, dass GLU-verbesserte P-FFNs stärkere Fähigkeiten zur Wiederherstellung des effektiven Rangs bieten. Im Gegensatz zu Standard-FFNs, die den effektiven Rang deterministisch oder probabilistisch kontrahieren können (insbesondere bei Eingaben niedrigen Rangs), induziert die multiplikative Natur des GLU-Gates Interaktionen zweiten Grades. Dies ermöglicht dem Modul, spektrale Robustheit statistisch aufrechtzuerhalten und eine additive Erhöhung des effektiven Rangs ( $\delta > 0$ ) zu induzieren, sofern die verborgene Breite spezifische Skalierungsbedingungen erfüllt.

3. Hauptbeiträge

Analyse von RankMixer: Der Beitrag liefert sowohl empirische Belege als auch theoretische Begründungen, die zeigen, dass die Kernmodule von RankMixer (Token-Mixing und P-FFNs) gemeinsam die spektrale Robustheit einschränken, was zu einer unvollständigen Minderung des Embedding-Collapses führt.
RankElastor-Architektur: Die Vorstellung einer neuen Architektur, die parametrisiertes vollständiges Mixing und GLU-verbesserte P-FFNs integriert. Die Autoren liefern theoretische Garantien für die spektrale Robustheit dieser Komponenten und zeigen, dass sie ausdrucksstärkere Transformationen ermöglichen und Rangkontraktion verhindern.
Empirische Validierung: Umfangreiche Experimente auf industriellen Benchmarks zeigen, dass RankElastor bei der CTR-Vorhersage konsistent starke Baselines (einschließlich RankMixer, DCNv2 und xDeepFM) übertrifft, gleichzeitig einen höheren effektiven Rang beibehält und ein überlegenes Skalierungsverhalten der Parameter aufweist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RankElastor auf zwei großen industriellen Datensätzen: Criteo und Avazu.

Vorhersageleistung: RankElastor erzielte State-of-the-Art-Ergebnisse und verbesserte die AUC um über 0,001 im Vergleich zur stärksten Baseline (RankMixer) auf beiden Datensätzen. Dieser Gewinn gilt in industriellen CTR-Benchmarks als statistisch signifikant.
Minderung des Embedding-Collapses:
- Effektiver Rang: RankElastor hielt über alle Schichten hinweg konsistent einen höheren durchschnittlichen effektiven Rang als RankMixer.
- Dynamik: Während RankMixer eine gedämpfte oszillierende Trajektorie mit signifikanter Kontraktion in FFN-Schichten zeigte, wies RankElastor eine stärkere Expansion während des Mixings und eine deutlich mildere Kontraktion während der FFN-Phasen auf, was zu einer stabilen spektralen Evolution führte.
Skalierungsverhalten: Skalierungsgesetz-Experimente (Variation von Tiefe und Breite) ergaben, dass RankElastor effektiver skaliert als RankMixer. Die gemeinsame Skalierung von Tiefe und Breite erzielte größere Leistungsgewinne und bestätigte sein Potenzial als skalierbares Paradigma.
Generalisierung: Das Modell wurde zudem auf Aufgaben zur Modellierung von Verhaltenssequenzen (KuaiVideo und TaobaoAd) getestet, wo es erneut Baselines übertraf, was darauf hindeutet, dass sich der Ansatz über die Standard-CTR-Vorhersage hinaus generalisieren lässt.
Effizienz: Die vorgeschlagene Architektur führt aufgrund des parametrisierten Mixings zu einem moderaten Anstieg der Laufzeit um 10–15 % im Vergleich zu RankMixer, bei gleichzeitig vergleichbarem GPU-Speicherbedarf.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass RankElastor eine prinzipielle Richtung zur Verfeinerung von Recommendern auf Basis von Token-Transformationen bietet. Durch den Wechsel von starren, nicht-parametrischen Operationen zu lernbarem, feinkörnigem Mixing und gated Aktivierungen gelingt es der Architektur, den Zielkonflikt zwischen Modelltiefe und Repräsentationscollapse erfolgreich zu entkoppeln.

Die Autoren betonen, dass ihre Arbeit eine spektrale Perspektive auf Repräsentationscollapse liefert und identifiziert, dass die „gedämpfte oszillierende Trajektorie" eine inhärente Eigenschaft des ursprünglichen RankMixer-Designs ist. RankElastor wird nicht nur als inkrementelle Verbesserung präsentiert, sondern als robustes und skalierbares Paradigma, das das Potenzial der dichten Skalierung in Empfehlungssystemen freisetzt, indem sichergestellt wird, dass erweiterte Repräsentationsräume effektiv genutzt und nicht kollabieren.

Der Beitrag schließt mit der Feststellung, dass die Ergebnisse zwar spezifisch für diese Klasse von Architekturen sind, die Erkenntnisse über spektrale Dynamiken und das Prinzip „Mehr erweitern, weniger schrumpfen" jedoch eine Grundlage für zukünftige Forschung zu ausdrucksstärkeren Token-Mixing-Mechanismen und spektrumserhaltenden nichtlinearen Modulen bieten.