💻 computer science

Scaling Laws for Behavioral Foundation Models over User Event Sequences

Diese Arbeit etabliert Skalierungsgesetze für verhaltensbasierte Fundamentmodelle, die auf Nutzerereignissequenzen trainiert wurden, und zeigt auf, dass ein kleiner, merkmalsbasierter Embedder konsistent rechenoptimal ist, dass sich optimale Trainingsstrategien mit dem Budget und den Evaluationsmetriken verschieben und dass die Einschränkungen durch negatives Sampling schließlich von FLOPs zu Speichergrenzen übergehen.

Ursprüngliche Autoren: Rickard Brüel Gabrielsson

Veröffentlicht 2026-06-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rickard Brüel Gabrielsson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, Hochgeschwindigkeits-Empfehlungsmaschine für einen gigantischen Online-Shop. Jedes Mal, wenn ein Kunde klickt, kauft oder sucht, hinterlässt er einen digitalen Fußabdruck. Ihr Ziel ist es, eine KI zu bauen, die vorhersagt, was ein Kunde als Nächstes tun wird, basierend auf seiner Historie.

Dieses Paper ist wie ein massives, wissenschaftliches „Rezeptbuch“ für den Bau dieser KI. Die Autoren führten etwa 600 verschiedene Experimente durch, bei denen sie das Gehirn der KI auf jede erdenkliche Weise manipulierten, um herauszufinden, wie man seine Rechenleistung am effizientesten einsetzt (was viel Geld und Elektrizität kostet).

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:

1. Das zweiteilige Gehirn: Der Bibliothekar und der Geschichtenerzähler

Die meisten dieser KI-Modelle haben zwei unterschiedliche Teile, die zusammenarbeiten:

Der Bibliothekar (Der Embedder): Dieser Teil schaut sich ein bestimmtes Objekt an (wie ein Paar Schuhe oder eine Transaktion) und findet heraus, was es ist. Er lift den Text, den Preis, die Farbe und die Kategorie.
Der Geschichtenerzähler (Der Transformer): Dieser Teil betrachtet die Sequenz von Ereignissen. Er merkt sich, dass Sie erst nach Schuhen, dann nach einem Hut und dann nach einer Jacke gesucht haben, und versucht zu erraten, was Sie als Nächstes kaufen werden.

Die große Entdeckung: Die Autoren fanden heraus, dass der „Bibliothekar“ winzig sein sollte.

Die Analogie: Stellen Sie sich vor, Sie stellen ein Team ein, um einen Roman zu schreiben. Sie haben ein begrenztes Budget. Sie könnten denken, Sie bräuchten ein riesiges Team von Forschern (dem Bibliothekar), um Fakten für jedes Wort nachzuschlagen. Aber die Autoren fanden heraus, dass Sie nur ein winziges Team von Forschern (etwa 2 % Ihres gesamten Personals) benötigen.
Warum? Der „Bibliothekar“ sieht dieselben populären Artikel (wie „Nike Sneaker“) tausende Male. Er wird gelangweilt und lernt sie schnell. Der „Geschichtenerzähler“ hingegen sieht einzigartige Kombinationen von Ereignissen, die selten wiederholt werden. Der Geschichtenerzähler braucht das große Gehirn; der Bibliothekar braucht nur ein kleines, effizientes Gehirn.

2. Das „Batch Size“-Dilemma: Wie viele Schüler in einem Klassenzimmer?

Beim Training der KI zeigen Sie ihr nicht ein Beispiel auf einmal, sondern einen „Batch“ (ein Paket) von Beispielen.

Die Analogie: Denken Sie an einen Lehrer, der eine Klasse unterrichtet. Wenn die Klasse zu klein ist (Batch Size 64), lässt sich der Lehrer von individuellen Eigenheiten ablenken. Wenn die Klasse riesig ist (Batch Size 2048), wird der Lehrer vielleicht überfordert oder die Lektion wird zu generisch.
Die Entdeckung: Der „Sweet Spot“ hängt davon ab, was Sie messen.
- Wenn es Ihnen um die Genauigkeit geht (haben wir die richtige Antwort bekommen?), liegt der Sweet Spot bei einer mittelgroßen Klasse (etwa 570 Schüler).
- Wenn es Ihnen um das Ranking geht (ist das oberste Ergebnis das beste?), liegt der Sweet Spot bei einer kleineren Klasse (etwa 200–275 Schüler).
- Fazit: Man kann nicht einfach eine Batch Size für alles wählen. Die „beste“ Größe ändert sich, je nachdem, was man optimieren möchte.

3. Der Trade-off zwischen Daten und Modell: Großes Gehirn oder große Bibliothek?

Sie haben ein festes Budget (Rechenbudget). Kaufen Sie eine superintelligente KI (mehr Parameter) und füttern sie mit weniger Daten? Oder eine etwas weniger intelligente KI und füttern sie mit einer massiven Bibliothek von Daten?

Die Entdeckung:
- Bei kleinen Budgets: Sie sollten die KI mit massiven Mengen an Daten füttern. Die KI ist wie ein Schwamm; sie muss so viele Informationen wie möglich aufsaugen, da sie noch nicht klug genug ist, um selbstständig zu generalisieren.
- Bei riesigen Budgets: Wenn Sie reicher werden (mehr Rechenleistung), verschiebt sich das Gleichgewicht. Sie beginnen, eine intelligentere KI und weniger Daten zu benötigen, bis Sie einen Punkt erreichen, an dem das Verhältnis ähnlich aussieht wie beim Training von Large Language Models (wie denen, die Texte schreiben).
- Der Trend: Es beginnt als eine „datenintensive“ Strategie und bewegt sich langsam hin zu einer „ausgewogenen“ Strategie, sobald Sie leistungsfähigere Computer besitzen.

4. Das „Negative Sampling“: Wie viele falschen Antworten soll man zeigen?

Wenn die KI lernt, sieht sie nicht nur die richtige Antwort, sondern auch „Distraktoren“ (falsche Antworten), um zu lernen, was sie nicht auswählen soll.

Die Analogy: Stellen Sie sich einen Multiple-Choice-Test vor. Wenn Sie dem Schüler nur 3 falsche Antworten zeigen, könnte er Glück haben. Wenn Sie ihm 1.000.000 falsche Antworten zeigen, lernt er das Muster perfekt.
Die Entdeckung:
- Kleine Budgets: Sie benötigen eine moderate Anzahl an falschen Antworten (Hunderttausende).
- Große Budgets: Sie wollen so viele falsche Antworten wie möglich. Tatsächlich war bei den größten getesteten Budgets nicht mehr die Rechenleistung das Limit, sondern der Speicher. Das System wollte 2 Millionen falsche Antworten zeigen, aber der Computer lief aus Platzmangel aus.
- Der Haken: Die „beste“ Anzahl an falschen Antworten hängt davon ab, ob Sie die einfache Genauigkeit oder das komplexe Ranking messen. Diese Werte stimmen nicht überein.

5. Die wichtigste Lektion: Die Torpfosten verschieben sich

Die kritische Warnung des Papers betrifft die Metriken (wie Sie Erfolg messen).

Die Analogie: Stellen Sie sich vor, Sie trainieren ein Rennauto. Wenn Sie Erfolg an der „Höchstgeschwindigkeit“ messen, stimmen Sie den Motor auf eine bestimmte Weise ab. Wenn Sie Erfolg an der „Kraftstoffeffizienz“ messen, stimmen Sie ihn auf eine völlig andere Weise ab.
Die Entdeckung: In diesen Verhaltensmodellen verändert die Metrik, die Sie wählen, das Rezept.
- Wenn Sie die KI darauf trainieren, den „Loss“ (mathematischen Fehler) zu minimieren, erhalten Sie einen Satz von Einstellungen.
- Wenn Sie sie darauf trainieren, das „Ranking“ zu maximieren (das beste Element an die erste Stelle zu setzen), erhalten Sie einen anderen Satz von Einstellungen.
- Entscheidender Punkt: Die KI, die am besten darin ist, mathematische Fehler zu minimieren, ist nicht immer die KI, die am besten darin ist, Artikel korrekt zu ranken. Sie müssen sich genau entscheiden, was Sie optimieren wollen, bevor Sie mit dem Bau des Modells beginnen, denn das „optimale“ Modell ändert sich basierend auf dieser Wahl.

Zusammenfassung

Um das effizienteste „Behavioral Foundation Model“ (eine KI, die menschliche Handlungen versteht) zu bauen:

Halten Sie den Teil für das „Objektverständnis“ (Embedder) sehr klein (etwa 2 % der Gesamtgröße).
Verwenden Sie eine mittlere Batch Size, aber passen Sie diese an, je nachdem, ob es Ihnen um Genauigkeit oder Ranking geht.
Beginnen Sie mit riesigen Datenmengen, aber wenn Sie leistungsfähigere Computer erhalten, gehen Sie zu einem intelligenteren Modell über.
Nutzen Sie so viele „falsche Antwort“-Beispiele, wie der Speicher Ihres Computers zulässt.
Am wichtigsten: Entscheiden Sie genau, wie „Erfolg“ aussieht (die Metrik), bevor Sie beginnen, denn diese Entscheidung bestimmt die gesamte Architektur Ihrer KI.

Technisches Resümee: Skalierungsgesetze für verhaltensbasierte Fundamentmodelle über Nutzerereignissequenzen

Problemstellung

Fundamentmodelle werden zunehmend auf Sequenzen von Nutzeraktionen in Domänen wie Empfehlungen, Zahlungsverkehr, Betrugserkennung und E-Commerce angewendet. Im Gegensatz zu Large Language Models (LLMs) fehlt es diesen Verhaltensmodellen jedoch an etablierten Skalierungsgesetzen (Scaling Laws), die die Rechenleistungallokation leiten können. Es besteht ein entscheidender architektonischer Unterschied: Während LLM-Token typischerweise opake Vokabular-IDs sind, sind verhaltensbasierte Ereignisse reich an Merkmalen (sie enthalten Text, Metadaten, visuelle Merkmale, Zeitstempel usw.). Folglich setzen moderne Systeme eine zweiteilige Architektur ein: einen merkmalbasierten Event-Embedder, der rohe Artikelmerkmale auf dichte Vektoren abbildet, und einen Decoder-only-Transformer-Kontextualisierer, der die Sequenzen dieser Embeddings modelliert.

Diese Architektur führt zu einzigartigen Skalierungsherausforderungen, die bei Standard-Text-LMs nicht auftreten. Insbesondere muss der Embedder während der Inferenz für jeden Kandidatenartikel neu berechnet werden, was für große Kataloge prohibitiv teuer ist. Die gängige Praxis umfasst ein zweistufiges Trainingsrezept: ein gemeinsames Training mit In-Batch-Sampled-Softmax, gefolgt vom Einfrieren des Embedders und dem Caching von Embeddings, um den Kontextualisierer mit einem größeren Pool an gesampelten Negativen zu trainieren. Dieses Setup erzeugt vier gekoppelte Hyperparameter (Knobs), die kalibriert werden müssen:

Embedder-Anteil (Embedder Share): Der Anteil der Parameter, der dem Embedder gegenüber dem Kontextualisierer zugewiesen wird.
Kritische Batch-Größe (Critical Batch Size): Die Batch-Größe, welche die Dateneffizienz maximiert.
Modell-/Daten-Allokation (Model/Data Allocation): Die optimale Aufteilung des Rechenbudgets zwischen Modellgröße ( $N$ ) und Daten-Tokens ( $D$ ).
Negatives Sampling: Die Anzahl der gesampelten Negativen ( $K$ ), die nach dem Einfrieren des Embedders verwendet wird.

Methodik

Die Studie führt eine umfassende empirische Untersuchung mit etwa 600 Trainingsläufen auf einem einzigen realen Einzelhandels-Interaktionskorpus durch (der Suchen, Aufrufe, Klicks und Käufe kombiniert). Die Experimente decken einen Rechenbudgetbereich von $C \in [10^{15}, 10^{19}]$ FLOPs ab.

Das experimentelle Design isoliert vier Achsen, während andere konstant gehalten oder systematisch durchlaufen werden:

Architektur: Variation des Parameteranteils des Embedders ( $s = p_e/N$ ) von 0 % bis 50 % sowie der Tiefe des Kontextualisierers.
Batch-Größe: Durchlauf von globalen Batch-Größen ( $B$ ) von 64 bis 2048, um kritische Batch-Größen ( $B_{crit}$ ) für verschiedene Metriken zu identifizieren.
Modell-/Daten-Allokation: Training auf Iso-FLOP-Fronten, um das optimale $N$ und $D$ für verschiedene Budgets zu bestimmen, im Vergleich zur „Chinchilla“-Heuristik ( $D/N \approx 20$ ).
Negatives Sampling: Variation der Anzahl der zusätzlichen gesampelten Negativen ( $K$ ) von 0 bis 2 Millionen in der zweiten Trainingsphase.

Evaluationsprotokoll: Die Studie unterscheidet zwischen zwei Evaluationsregimen:

Stufe 1 (In-Batch): Evaluation gegen eindeutige Targets innerhalb der Batch, passend zur Trainingsverteilung.
Stufe 2 (Vollständiger Katalog): Evaluation gegen den vollständigen gecachten Produktkatalog, was den eingesetzten Retrieval-Setting simuliert.
Metriken umfassen Cross-Entropy-Loss, Perplexität, Recall@k, NDCG@k, MRR@10 und Coverage.

Zentrale Beiträge und Ergebnisse

1. Der rechenoptimale Embedder ist klein

Entgegen der Intuition, dass merkmalsreiche Inputs große Encoder erfordern, zeigt die Studie, dass der optimale Embedder-Anteil bemerkenswert klein und stabil über vier Größenordnungen der Rechenleistung hinweg ist.

Ergebnis: Der optimale Parameteranteil liegt bei $s^\star \approx 2\%$ (speziell $1,1\% - 3,7\%$ , abhängig von der Metrik und dem Budget).
Mechanismus: Dies wird durch zwei Asymmetrien getrieben:
1. Rechen-Asymmetrie: Embedder-Parameter werden pro Item $\approx 24$ -mal häufiger berührt als die Parameter des Kontextualisierers, bedingt durch die kurze Kontextlänge des Embedders im Vergleich zur Sequenzlänge des Transformers.
2. Datenverteilungs-Asymmetrie: Populäre Artikel im Katalog werden hunderte bis tausende Male wiederholt, wodurch der Embedder einer hochfrequenten Memorierung ausgesetzt ist, während der Kontextualisierer das gleiche Ereignisfenster selten zweimal sieht.
Implikation: Ein kleiner Embedder ist rechenoptimal, da seine Parameter pro Schritt teurer sind und eine repetitivere Datenverteilung sehen.

2. Skalierung ist anfangs datenintensiv und konvergiert gegen Chinchilla

Verhaltensbasierte Modelle zeigen andere Skalierungsdynamiken als Text-LMs, insbesondere bei niedrigeren Rechenbudgets.

Ergebnis: Das optimale Verhältnis von Daten zu Parametern ( $D/N$ ) ist anfangs sehr hoch und beginnt bei $\approx 344$ bei $10^{15}$ FLOPs und sinkt auf $\approx 36$ bei $10^{19}$ FLOPs.
Trend: Mit zunehmender Rechenleistung nähert sich das Verhältnis der Text-LM Chinchilla-Heuristik ( $D/N \approx 20$ ) an.
Exponenten: Der gefittete Modellgrößen-Exponent ist $N^\star \propto C^{0,617 \pm 0,025}$ , konsistent über verschiedene Ranking-Metriken (Recall, NDCG).

3. Evaluationsmetriken definieren das Skalierungsgesetz

Eine zentrale Erkenntung ist, dass die Wahl der Evaluationsmetrik das „rechenoptimale Rezept“ fundamental verändert.

Kritische Batch-Größe ( $B_{crit}$ ): Metriken gehen hinsichtlich der optimalen Batch-Größe auseinander. Loss und Recall@10 teilen eine $B_{crit} \approx 570$ , während positionsgewichtete Metriken (NDCG@10, MRR@10) früher bei $B_{crit} \approx 200\text{--}275$ sättigen.
Negatives Sampling ( $K$ ): Die optimale Anzahl an Negativen ist metrikabhängig. Loss-ähnliche Metriken bevorzugen ein größeres $K$ (oft $> 10^6$ ), während Ranking-Metriken ein kleineres $K$ bevorzugen (oft $10^5$ ).
Diskrepanz zwischen Loss und Ranking: Der Sampled-Softmax-Trainingsloss ist nicht immer ein zuverlässiger Stellvertreter für die Ranking-Qualität im vollständigen Katalog. In Stufe 2 kann die Korrelation zwischen Trainingsloss und Ranking-Metriken je nach Rechenbudget und der verwendeten Metrik das Vorzeichen wechseln.

4. Negatives Sampling verschiebt sich von Rechen- zu Speicherbeschränkungen

Kleine Budgets: Das optimale $K$ liegt im niedrigen Hunderttausender-Bereich und ist metrikabhängig.
Große Budgets ( $10^{19}$ FLOPs): Bei der größten Skala verbessert sich jede Headline-Metrik weiterhin mit steigendem $K$ bis zum maximal getesteten Wert ( $2M$ ). Die aktive Beschränkung verschiebt sich von FLOPs hin zum Memory der Kandidaten-Achse (der Speicherbedarf der Softmax-Logits).
Implikation: Bei großem Maßstab wird negatives Sampling zu einem Speicher-Engineering-Problem statt zu einem reinen Rechenallokationsproblem.

Bedeutung und Behauptungen

Das Paper behauptet, dass für verhaltensbasierte Fundamentmodelle die Evaluationsmetrik Teil des Skalierungsgesetzes ist. Im Gegensatz zu Text-LMs, bei denen eine einzige Loss-Funktion oft ausreicht, um Architektur und Trainingsrezepte zu leiten, müssen Praktiker bei verhaltensbasierten Modellen ihre Zielmetrik vor dem Anpassen der Skalierungsgesetze auswählen. Eine Änderung der Metrik kann den optimalen Embedder-Anteil, die Batch-Größe und die Strategie für das negative Sampling verändern.

Die Studie liefert ein kalibriertes „Rezept“ für Praktiker, die Standard-Event-Embedder $\to$ Transformer-Stacks trainieren:

Architektur: Verwenden Sie einen kleinen Embedder ( $\approx 2\%$ der Parameter).
Daten: Verwenden Sie eine datenintensive Allokation ( $D/N$ ) bei geringer Rechenleistung, die sich bei hoher Rechenleistung in Richtung Chinchilla entwickelt.
Batch-Größe: Optimieren Sie basär auf der spezifischen Zielmetrik (niedriger für Ranking, höher für Loss).
Negatives Sampling: Behandeln Sie groß angelegtes negatives Sampling als ein speichergebundenes Problem; verwenden Sie $K$ im Bereich von Hunderttausenden für Standard-Deployments, aber erkennen Sie, dass bei $10^{19}$ FLOPs Speicherbeschränkungen und nicht die Rechenleistung die weiteren Gewinne begrenzen.

Die Autoren betonen, dass während die Skalierungsexponenten (wie $N$ und $D$ mit $C$ wachsen) relativ robust gegenüber Metriken sind, das handlungsorientierte Rezept (die spezifische Zelle, die bereitgestellt wird) hochsensibel gegenüber der gewählten Evaluationsmetrik ist.