Technische Samenvatting: Schalingswetten voor Gedragsgebaseerde Fundamentele Modellen over Gebruikersgebeurtenissequenties

Probleemstelling

Fundamentele modellen worden steeds vaker toegepast op sequenties van gebruikersacties in domeinen zoals aanbevelingen, betalingen, fraude detectie en e-commerce. Echter, in tegenstelling tot Large Language Models (LLM's), missen deze gedragsmodellen gevestigde schalingswetten om de toewijzing van rekenkracht te sturen. Er bestaat een cruciaal architecturaal onderscheid: terwijl LLM-tokens doorgaans opake vocabulaire-ID's zijn, zijn gedragsevenementen rijk aan kenmerken (bevatten tekst, metadata, visuele kenmerken, tijdstempels, etc.). Daarom hanteren moderne systemen een tweeledige architectuur: een kenmerkgebaseerde event-embedder die ruwe itemkenmerken naar dichte vectoren mapt, en een decoder-only transformer contextualizer die sequenties van deze embeddings modelleert.

Deze architectuur introduceert unieke schalingsuitdagingen die niet aanwezig zijn bij standaard tekst-LM's. Specifiek moet de embedder voor elk kandidaat-item tijdens inferentie opnieuw worden berekend, wat prohibitief duur is voor grote catalogi. De gangbare praktijk omvat een tweetraps trainingsrecept: gezamenlijke training met in-batch sampled softmax, gevolgd door het bevriezen van de embedder en het cachen van embeddings om de contextualizer te trainen met een grotere pool van gesamplede negatieven. Deze opzet creëert vier gekoppelde hyperparameters (knoppen) die gekalibreerd moeten worden:

1. Embedder Aandeel: De proportie parameters toegewezen aan de embedder versus de contextualizer.
2. Kritieke Batchgrootte: De batchgrootte die de data-efficiëntie maximaliseert.
3. Model/Data Allocatie: De optimale splitsing van het compute-budget tussen modelgrootte ($N$) en datatokens ($D$).
4. Negatieve Sampling: Het aantal gesamplede negatieven ($K$) dat wordt gebruikt nadat de embedder is bevroren.

Methodologie

De studie voert een uitgebreid empirisch onderzoek uit over ongeveer 600 trainingsruns op een enkele real-world retail-interactiecorpus (combinatie van zoekopdrachten, weergaven, klikken en aankopen). De experimenten bestrijken een compute-budget bereik van $C \in [10^{15}, 10^{19}]$ FLOPs.

Het experimentele ontwerp isoleert vier assen terwijl andere constant worden gehouden of systematisch worden doorlopen:

• Architectuur: Het variëren van het parameter-aandeel van de embedder ($s = p_e/N$) van 0% tot 50% en de diepte van de contextualizer.
• Batchgrootte: Het doorlopen van globale batchgroottes ($B$) van 64 tot 2048 om kritieke batchgroottes ($B_{crit}$) voor verschillende metrieken te identificeren.
• Model/Data Allocatie: Training op iso-FLOP fronten om de optimale $N$ en $D$ voor verschillende budgetten te bepalen, vergeleken met de "Chinchilla" heuristiek ($D/N \approx 20$).
• Negatieve Sampling: Het variëren van het aantal extra gesamplede negatieven ($K$) van 0 tot 2 miljoen in de tweede trainingsfase.

Evaluatieprotocol: De studie maakt onderscheid tussen twee evaluatieregimes:

1. Fase 1 (In-batch): Evaluatie tegen unieke targets binnen de batch, overeenkomend met de trainingsdistributie.
2. Fase 2 (Full-Catalogue): Evaluatie tegen de volledige gecachte productcatalogus, wat de uitgerolde retrieval-setting simuleert.
   Metrieken zijn cross-entropy loss, perplexiteit, recall@k, NDCG@k, MRR@10 en coverage.

Belangrijkste Bijdragen en Resultaten

1. De Compute-Optimale Embedder is Klein

In tegenstelling tot de intuïtie dat kenmerkrijke inputs grote encoders vereisen, vindt de studie dat het optimale embedder-aandeel opmerkelijk klein en stabiel is over vier decennia van compute.

• Bevinding: Het optimale parameter-aandeel is $s^\star \approx 2\%$ (specifiek $1.1\% - 3.7\%$ afhankelijk van de metriek en het budget).
• Mechanisme: Dit wordt gedreven door twee asymmetrieën:
  1. Compute Asymmetrie: Embedder-parameters worden $\approx 24$ keer vaker aangeraakt per item dan de parameters van de contextualizer vanwege de korte contextlengte van de embedder versus de sequentielengte van de transformer.
  2. Data Distributie Asymmetrie: Populaire items in de catalogus worden honderden tot duizenden keren herhaald, waardoor de embedder wordt blootgesteld aan hoogfrequente memorisatie, terwijl de contextualizer zelden hetzelfde event-venster twee keer ziet.
• Implicatie: Een kleine embedder is compute-optimaal omdat de parameters per stap duurder zijn en een meer repetitieve datadistributie zien.

2. Schaling is Aanvankelijk Data-Zwaar, Convergerend naar Chinchilla

Gedragsmodellen vertonen andere schalingsdynamiek dan tekst-LM's, met name bij lagere compute-budgetten.

• Bevinding: De optimale data-tot-parameter ratio ($D/N$) is aanvankelijk zeer hoog, beginnend bij $\approx 344$ bij $10^{15}$ FLOPs en dalend naar $\approx 36$ bij $10^{19}$ FLOPs.
• Trend: Naarmate de compute toeneemt, nadert de ratio de tekst-LM Chinchilla-heuristiek ($D/N \approx 20$).
• Exponenten: Het gefitte modelgrootte-exponent is $N^\star \propto C^{0.61 \pm 0.025}$, consistent over diverse ranking-metrieken (Recall, NDCG).

3. Evaluatiemetrieken Bepalen de Schalingswet

Een centrale bevinding is dat de keuze van de evaluatiemetriek de "compute-optimale receptuur" fundamenteel verandert.

• Kritieke Batchgrootte ($B_{crit}$): Metrieken verschillen van mening over de optimale batchgrootte. Loss en Recall@10 delen een $B_{crit} \approx 570$, terwijl positie-gewogen metrieken (NDCG@10, MRR@10) eerder verzadigen bij $B_{crit} \approx 200\text{--}275$.
• Negatieve Sampling ($K$): Het optimale aantal negatieven is metriek-afhankelijk. Loss-achtige metrieken geven de voorkeur aan een grotere $K$ (vaak $>10^6$), terwijl ranking-metrieken de voorkeur geven aan een kleinere $K$ (vaak $10^5$).
• Discrepantie tussen Loss en Ranking: De sampled-softmax trainingsloss is niet altijd een betrouwbare proxy voor de volledige catalogus-rankingkwaliteit. In Fase 2 kan de correlatie tussen de trainingsloss en ranking-metrieken van teken wisselen, afhankelijk van het compute-budget en de specifieke metriek die wordt gebruikt.

4. Negatieve Sampling Verschuift van Compute naar Geheugenbeperkingen

• Kleine Budgetten: De optimale $K$ ligt in de honderdduizenden en is metriek-afhankelijk.
• Grote Budgetten ($10^{19}$ FLOPs): Bij de grootste schaal blijft elke belangrijke metriek verbeteren naarmate $K$ toeneemt tot de maximaal geteste waarde ($2M$). De actieve beperking verschuift van FLOPs naar candidate-axis geheugen (de geheugensvoetafdruk van de softmax logits).
• Implicatie: Op schaal wordt negatieve sampling een geheugen-engineering probleem in plaats van een puur compute-allocatieprobleem.

Betekenis en Claims

Het artikel claimt dat voor gedragsgebaseerde fundamentele modellen de evaluatiemetriek deel uitmaakt van de schalingswet. In tegen tegenstelling tot tekst-LM's, waar een enkele verliesfunctie vaak volstaat om architectuur en trainingsrecepten te sturen, vereisen gedragsmodellen dat beoefenaars hun doel-metriek selecteren voordat ze schalingswetten fitten. Het veranderen van de metriek kan het optimale embedder-aandeel, de batchgrootte en de negatieve sampling-strategie veranderen.

De studie biedt een gekalibreerd "recept" voor beoefenaars die standaard event-embedder $\to$ transformer stacks trainen:

1. Architectuur: Gebruik een kleine embedder ($\approx 2\%$ van de parameters).
2. Data: Gebruik een data-zware allocatie ($D/N$) bij lage compute, convergerend naar Chinchilla bij hoge compute.
3. Batchgrootte: Stem af op basis van de specifieke doel-metriek (lager voor ranking, hoger voor loss).
4. Negatieve Sampling: Behandel grootschalige negatieve sampling als een geheugen-gebonden probleem; gebruik $K$ in de honderdduizenden voor standaard implementaties, maar erken dat bij $10^{19}$ FLOPs, geheugenbeperkingen, en niet compute, verdere winst beperken.

De auteurs benadrukken dat hoewel de schalingsexponenten (hoe $N$ en $D$ groeien met $C$) relatief robuust zijn over verschillende metrieken, het bruikbare recept (de specifieke cel die wordt uitgerold) zeer gevoelig is voor de gekozen evaluatiemetriek.