Sintesi Tecnica: Leggi di Scalabilità per i Modelli Fondamentali Comportamentali su Sequenze di Eventi Utente

Definizione del Problema

I modelli fondamentali vengono applicati sempre più frequentemente alle sequenze di azioni degli utenti in domini quali la raccomandazione, i pagamenti, la rilevazione delle frodi e il commercio. Tuttavia, a differenza dei Large Language Models (LLM), i modelli comportamentali mancano di leggi di scalabilità consolidate per guidare l'allocazione della computazione. Esiste una distinzione architettonica critica: mentre i token degli LLM sono tipicamente ID di vocabolario opachi, gli eventi comportamentali sono ricchi di feature (contenenti testo, metadati, feature visive, timestamp, ecc.). Di conseguenza, i sistemi moderni impiegano un'architettura a due parti: un embedder di eventi basato su feature che mappa le feature grezze degli item in vettori densi, e un contestualizzatore transformer decoder-only che modella le sequenze di questi embedding.

Questa architettura introduce sfide di scalabilità uniche rispetto agli standard dei modelli linguistici testuali. Nello specifico, l'embedder deve essere ricalcolato per ogni item candidato durante l'inferenza, il che è proibitivo in termini di costo per cataloghi di grandi dimensioni. La pratica standard prevede una ricetta di addestramento in due fasi: addestramento congiunto con in-batch sampled softmax, seguito dal congelamento dell'embedder e dalla memorizzazione (caching) degli embedding per addestrare il contestualizzatore con un pool più ampio di campioni negativi. Questa configurazione crea quattro iperparametri (manopole) accoppiati che richiedono calibrazione:

1. Quota dell'Embedder (Embedder Share): La proporzione di parametri allocati all'embedder rispetto al contestualizzatore.
2. Dimensione del Batch Critica (Critical Batch Size): La dimensione del batch che massimizza l'efficienza dei dati.
3. Allocazione Modello/Dati: La suddivisione ottimale del budget di computazione tra dimensione del modello ($N$) e token di dati ($D$).
4. Campionamento dei Negativi (Negative Sampling): Il numero di negativi campionati ($K$) utilizzati dopo il congelamento dell'embedder.

Metodologia

Lo studio conduce un'indagine empirica completa su circa 600 sessioni di addestramento su un singolo corpus di interazioni retail reale (che combina ricerche, visualizzazioni, click e acquisti). Gli esperimenti coprono un intervallo di budget computazionale di $C \in [10^{15}, 10^{19}]$ FLOPs.

Il design sperimentale isola quattro assi mantenendo costanti o variando sistematicamente gli altri:

• Architettura: Variazione della quota di parametri dell'embedder ($s = p_e/N$) dallo 0% al 50% e profondità del contestualizzatore.
• Dimensione del Batch: Scansione di dimensioni globali del batch ($B$) da 64 a 2048 per identificare le dimensioni critiche del batch ($B_{crit}$) per diverse metriche.
• Allocazione Modello/Dati: Addestramento su frontiere iso-FLOP per determinare l'ottimale $N$ e $D$ per vari budget, confrontandoli con l'euristica "Chinchilla" ($D/N \approx 20$).
• Campionamento dei Negativi: Variazione del numero di extra campioni negativi ($K$) da 0 a 2 milioni nella seconda fase di addestramento.

Protocollo di Valutazione: Lo studio distingue tra due regimi di valutazione:

1. Fase 1 (In-batch): Valutazione rispetto a target unici all'interno del batch, corrispondente alla distribuzione di addestramento.
2. Fase 2 (Full-Catalogue): Valutazione rispetto all'intero catalogo di prodotti memorizzato, simulando l'ambiente di deployment per il retrieval.
   Le metriche includono cross-entropy loss, perplexity, recall@k, NDCG@k, MRR@10 e coverage.

Contributi Chiave e Risultati

1. L'Embedder Computazionalmente Ottimale è Piccolo

Contrariamente all'intuizione che input ricchi di feature richiedano encoder di grandi dimensioni, lo studio rileva che la quota ottimale dell'embedder è sorprendentemente piccola e stabile attraverso quattro decadi di computazione.

• Risultato: La quota ottimale di parametri è $s^\star \approx 2\%$ (specificamente $1.1\% - 3.7\%$ a seconda della metrica e del budget).
• Meccanismo: Ciò è guidato da due asimmetrie:
  1. Asimmetria Computazionale: I parametri dell'embedder vengono toccati circa 24 volte più spesso per ogni item rispetto ai parametri del contestualizzatore, a causa della breve lunghezza del contesto dell'embedder rispetto alla lunghezza della sequenza del transformer.
  2. Asimmetria della Distribuzione dei Dati: Gli item popolari nel catalogo sono ripetuti centinaia o miglia di volte, esponendo l'embedder a una memorizzazione ad alta frequenza, mentre il contestualizzatore vede raramente la stessa finestra di evento due volte.
• Implicazione: Un embedder piccolo è computazionalmente ottimale perché i suoi parametri sono più costosi per step e vedono una distribuzione di dati più ripetitiva.

2. La Scalabilità è Inizialmente Data-Heavy, per poi Convergere verso Chinchilla

I modelli comportamentali mostrano dinamiche di scalabilità differenti rispetto ai modelli linguistici testuali, particolarmente a budget computazionali inferiori.

• Risultato: Il rapporto ottimale dati-parametri ($D/N$) è inizialmente molto elevato, partendo da $\approx 344$ a $10^{15}$ FLOPs e diminuendo a $\approx 36$ a $10^{19}$ FLOPs.
• Trend: All'aumentare della computazione, il rapporto si avvicina all'euristica Chinchilla dei modelli linguistici testuali ($D/N \approx 20$).
• Esponenti: Il modello di dimensione del modello stimato è $N^\star \propto C^{0.617 \pm 0.025}$, coerente con varie metriche di ranking (Recall, NDCG).

3. Le Metriche di Valutazione Definiscono la Legge di Scalabilità

Un risultato centrale è che la scelta della metrica di valutazione altera fondamentalmente la "ricetta computazionalmente ottimale".

• Dimensione del Batch Critica ($B_{crit}$): Le metriche divergono sull'ottimale dimensione del batch. Loss e Recall@10 condividono una $B_{crit} \approx 570$, mentre le metriche pesate per posizione (NDCG@10, MRR@10) saturano prima a $B_{crit} \approx 200\text{--}275$.
• Campionamento dei Negativi ($K$): Il numero ottimale di negativi dipende dalla metrica. Le metriche simili alla loss preferiscono un $K$ maggiore (spesso $>10^6$), mentre le metriche di ranking preferiscono un $K$ minore (spesso $10^5$).
• Disaccordo tra Loss e Ranking: La loss del sampled-softmax training non è sempre un proxy affidabile per la qualità del ranking a catalogo completo. Nella Fase 2, la correlazione tra la loss di training e le metriche di ranking può invertire il segno a seconda del budget computazionale e della specifica metrica utilizzata.

4. Il Campionamento dei Negativi Passa dai Vincoli di Calcolo a Quelli di Memoria

• Piccoli Budget: L'ottimale $K$ è nell'ordine delle centinaia di migliaia ed è dipendente dalla metrica.
• Grandi Budget ($10^{19}$ FLoli): Alla scala maggiore, ogni metrica principale continua a migliorare all'aumentare di $K$ fino al massimo testato ($2M$). Il vincolo attivo si sposta dalla computazione (FLOPs) alla memoria dell'asse dei candidati (l'impronta di memoria dei logit della softmax).
• Implicazione: Alla scala elevata, il campionamento dei negativi diventa un problema di ingegneria della memoria piuttosto che un puro problema di allocazione della computazione.

Significato e Rivendicazioni

L'articolo sostiene che, per i modelli fondazionali comportamentali, la metrica di valutazione è parte integrante della legge di scalabilità. A differenza dei modelli linguistici testuali dove una singola funzione di loss spesso basta a guidare architettura e ricette di addestramento, i modelli comportamentali richiedono ai praticanti di selezionare la metrica target prima di adattare le leggi di scalabilità. Cambiare la metrica può cambiare la quota ottimale dell'embedder, la dimensione del batch e la strategia di campionamento dei negativi.

Lo studio fornisce una "ricetta" calibrata per i professionisti che addestrano stack standard embedder-di-eventi $\to$ transformer:

1. Architettura: Utilizzare un embedder piccolo ($\approx 2\%$ dei parametri).
2. Dati: Utilizzare un'allocazione data-heavy ($D/N$) a bassa computazione, convergendo verso Chinchilla ad alta computazione.
3. Dimensione del Batch: Ottimizzare in base alla metrica target specifica (più bassa per il ranking, più alta per la loss).
4. Campionamento dei Negativi: Trattare il campionamento dei negativi su larga scala come un problema legato alla memoria; utilizzare $K$ nelle centinaia di migliaia per i deployment standard, ma riconoscere che a $10^{19}$ FLOPs, i vincoli di memoria, e non la computazione, limitano ulteriori guadagni.

Gli autori sottolineano che, sebbene gli esponenti di scalabilità (come $N$ e $D$ crescono con $C$) siano relativamente robusti tra le varie metriche, la ricetta azionabile (la cella specifica da distribuire) è altamente sensibile alla metrica di valutazione scelta.