🤖 AI

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

Il documento presenta Kunlun, un'architettura unificata per sistemi di raccomandazione su scala massiva che stabilisce leggi di scalabilità prevedibili affrontando la scarsa efficienza di scalabilità attraverso ottimizzazioni di basso livello come la Generalized Dot-Product Attention e la Hierarchical Seed Pooling, insieme a innovazioni di alto livello come la Computation Skip, raddoppiando l'efficienza di scalabilità e ottenendo un impatto significativo sulla produzione in Meta Ads.

Autori originali: Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Y

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un mercato digitale massiccio e ad alta velocità (come quello che Meta usa per i suoi annunci). Ogni secondo, milioni di persone stanno scorrendo i contenuti e il sistema deve indovinare su quale annuncio ogni persona cliccherà. Per fare queste ipotesi, il sistema utilizza un "cervello" (un modello di machine learning) che osserva due tipi di indizi:

La Storia (Sequenza): Cosa ha fatto l'utente di recente (ad esempio, "ha cliccato su una scarpa, poi su un cappello, poi su uno zaino").
L'Istantanea (Contesto): Chi è l'utente in questo momento (ad esempio, "sta piovendo", "si trova a New York", "ha 25 anni").

Per molto tempo, costruire un "cervello" capace di gestire sia la storia che l'istantanea in modo efficiente è stato come cercare di guidare un'auto da corsa con le ruote quadrate. Funzionava, ma era incredibilmente lento e consumava un sacco di carburante (potenza di calcolo). I ricercatori chiamano questo problema "scarsa efficienza di scaling". In sostanza, quando cercavano di rendere il cervello più grande per renderlo più intelligente, non diventava abbastanza intelligente velocemente da giustificare il costo extra.

Entra in scena Kunlun. Chiamato come una catena montuosa che unifica vette diverse, Kunlun è un'architettura progettata per risolvere il problema delle ruote quadrate. Il documento afferma che risolve il problema ottimizzando il sistema a due livelli: quello dei "bulloni e dei componenti" (basso livello) e quello della "gestione del traffico" (alto livello).

Ecco come funziona Kunlu, usando analogie quotidiane:

1. Le correzioni a basso livello: Sistemare il motore

I vecchi sistemi avevano parti inefficienti, che causavano l'inattività del "motore" del computer (la GPU) mentre attendeva i dati. Kunlun le sostituisce con componenti ad alte prestazioni:

GDPA (Il Traduttore Personalizzato):
- Il Problema: Il vecchio sistema cercava di tradurre la "Storia" basandosi sull' "Istantanea" usando un processo goffo e passo dopo passo che sprecava tempo.
- La Soluzione: Kunlun utilizza GDPA (Generalized Dot-Product Attention). Immagina questo come un traduttore che non si limita a tradurre parola per parola, ma comprende istantaneamente il contesto dell'intera frase. Fonde i passaggi insieme in modo che il computer non debba fermarsi e ripartire, facendo girare il motore in modo molto più fluido.
HSP (Il Riassuntore):
- Il Problema: Gli utenti hanno cronologie lunghe (migliaia di clic). Il vecchio sistema cercava di leggere ogni singolo clic individualmente, il che era travolgente.
- La Soluzione: HSP (Hierarchical Seed Pooling) è come un editor intelligente. Inveve di leggere una biografia di 500 pagine, legge il libro, scrive un riassunto di 10 pagine e poi un abstract di 1 pagina. Condensa la lunga cronologia in un riassunto compatto e potente che il sistema può effettivamente utilizzare senza restare bloccato.
Sliding Window Attention (Il Focus Locale):
- Il Probleamento: Il vecchio sistema cercava di confrontare la primissima cosa che un utente ha fatto con quello che sta facendo proprio ora. Ma di solito, ciò che hai fatto la scorsa settimana conta molto di più di ciò che hai fatto l'anno scorso.
- La Soluzione: La Sliding Window Attention dice al sistema: "Non guardare tutta la storia; guarda solo le ultime poche pagine". Si concentra sulle interazioni recenti, il che risparmia una quantità enorme di potenza di calcolo mantenendo accurate le previsioni.

2. Le correzioni ad alto livello: Gestione intelligente del traffico

Anche con un ottimo motore, si può sprecare carburante se si guida nella direzione sbagliata o ci si ferma a ogni semaforo rosso. Kunlun cambia il modo in cui le risorse vengono distribuite:

CompSkip (La Corsia Preferenziale):
- Il Problema: Il vecchio sistema costringeva il cervello a fare lo stesso identico lavoro pesante ad ogni singolo passaggio, anche quando non era necessario.
- La Soluzione: CompSkip è come un sistema di semafori intelligenti. Si rende conto che alcuni passaggi non hanno bisogno di un "auto-controllo" completo (Self-Attention) e alcuni non hanno bisogno di un "riassunto" completo (HSP). Salta i passaggi non necessari in modo alternato tra i livelli. Se l'auto va dritta, non ha bisogno di controllare lo specchietto retrovisore ogni secondo. Questo risparmia enormi quantità di energia.
Personalizzazione a livello di evento (Il Trattamento VIP):
- Il Probleamento: Il vecchio sistema trattava un "clic" (un segnale forte) allo stesso modo di un' "impressione" (solo aver visto un annuncio). Sprecava risorse in eventi di basso valore.
- La Soluzione: Kunlun offre un trattamento VIP agli eventi importanti. Se un utente sta per acquistare qualcosa (un evento ad alto valore), il sistema alloca più potenza di calcolo e un'analisi più profonda. Se si tratta solo di una navigazione casuale, utilizza un approccio più leggero e veloce. È come un ristorante che offre un menù degustazione completo a un ospite VIP e un caffè veloce a chi passa solo di lì.

Il Risultato: La "Legge di Scaling"

Il documento afferma che, combinando queste correzioni, Kunlun raggiunge qualcosa con cui l'industria ha lottato a lungo: Leggi di Scaling Prevedibili.

In passato, raddoppiare la potenza di calcolo non portava sempre a raddoppiare l'intelligenza. Con Kunlun, la relazione è prevedibile ed efficiente.

Incremento di Efficienza: Sui supercomputer più recenti (GPU NVIDIA B200), Kunlun utilizza l'hardware due volte più efficientemente rispetto ai metodi precedenti (passando dal 17% al 37% di utilizzo).
Impatto nel Mondo Reale: Questo non è solo un esperimento di laboratorio. Meta ha implementato Kunlun nei suoi principali modelli pubblicitari. Il risultato? Un miglioramento dell'1,2% nelle principali metrici di business. Nel mondo degli annunci, dove vengono prese miliardi di decisioni ogni giorno, questa piccola percentuale è una vittoria enorme.

In sintamente: Kunlun è un modo più intelligente, snello e organizzato per costruire sistemi di raccomandazione. Smette di sprecare carburante con le ruote quadrate, salta le fermate non necessarie e dà il trattamento VIP agli indizi più importanti, permettendo al sistema di diventare significativamente più intelligente man mano che cresce.

Sintesi Tecnica: Kunlun – Stabilire le Leggi di Scaling per Sistemi di Raccomandazione su Scala Massiva

1. Formulazione del Problema

I moderni sistemi di raccomandazione, in particolare nella pubblicità su larga scala, richiedono la modellazione congiunta di comportamenti sequenziali dell'utente (es. cronologia dei click) e caratteristiche contestuali non sequenziali (es. demografia dell'utente, metadati degli annunci). Sebbene le leggi di scaling — relazioni matematiche prevedibili tra investimento computazionale e prestazioni del modello — siano ben consolidate per i Large Language Models (LLM), esse rimangono una sfida aperta per i sistemi di raccomandazione che gestiscono questo mix eterogeneo di caratteristiche.

Gli autori identificano la scarsa efficienza di scaling come la barriera primaria all'instaurazione di queste leggi. L'efficienza di scaling è definita come il tasso di miglioramento delle prestazioni per unità di investimento computazionale. Il documento sostiene che gli attuali sistemi allo stato dell'arte non riescono a raggiungere uno scaling a legge di potenza prevedibile a causa di due colli di bottiglia critici:

Moduli inefficienti: Le architetture esistenti soffrono di una bassa Model FLOPs Utilization (MFU), spesso compresa tra il 3% e il 15% rispetto al 40-60% degli LLM. Ciò è causato da spazi di caratteristiche eterogenei che portano a dimensioni di embedding ridotte, forme di tensori irregolari e operazioni limitate dalla memoria (memory-bound).
Allocazione inefficiente delle risorse: Scalare ingenuamente tutti i componenti in modo uguale porta a rendimenti decrescenti, poiché diversi strati e tipi di eventi (es. click vs impression) beneficiano di distinti pattern computazionali.

2. Metodologia: L'Architettura Kunkun

Per affrontare queste sfide, gli autori propongono Kunlun, un'architettura unificata progettata attraverso un co-design della l'efficienza del modello sistematico a due livelli: ottimizzazione dei moduli di basso livello e riallocazione del calcolo di alto livello.

2.1 Panoramica dell'Architettura

Kunlun impiega un'architettura multi-strato in cui ogni strato elabora sia caratteristiche sequenziali che non sequenziali attraverso due componenti principali:

Blocco Kunlun Transformer: Gestisce la modellazione della sequenza consapevole del contesto utilizzando la Multi-Head Self-Attention (MHA) e una Personalized Feed-Forward Network (PFFN) potenziata dalla Generalized Dot-Product Attention (GDPA).
Blocco di Interazione Kunlun: Facilita lo scambio bidirezionale di informazioni tramite Weight Generation, Hierarchical Seed Pooling (HSP) e un modulo di Global Interaction.

2.2 Ottimizzazioni dei Moduli di Basso Livello

Queste ottimizzazioni mirano all'efficienza computazionale per migliorare la MFU:

Generalized Dot-Product Attention (GDPA): Gli autori riformulano la PFFN come un operatore di attenzione multi-testa. Invece di separati prodotti matriciali che creano colli di bottiglia nella memoria, la GDPA fonde la trasformazione in un singolo kernel (simile a FlashAttention). Qui, i token della sequenza agiscono come query, mentre i pesi derivati dal contesto non sequenziale agiscono come chiavi (keys) e valori (values). Ciò consente un utilizzo efficiente della GPU e permette un impilamento stabile della PFFN.
Hierarchical Seed Pooling (HSP): Per riassumere sequenze lunghe ( $T > 1000$ ) in modo efficiente, l'HSP sostituisce le query apprendibili casuali (usate nel normale Pooling by Multihead Attention) con un processo gerarchico. Apprende prima le rappresentazioni a livello di semi (seed-level) e poi le comprime utilizzando un livello basato sul prodotto di Kronecker, SumKronLinear. Questo raggiunge l'efficienza dei parametri (riducendo i parametri di circa 14× nelle tipiche configurazioni) mantenendo al contempo l'espressività cross-dimensionale.
Sliding Window Attention: Riconoscendo il forte bias di località nelle sequenze di raccomandazione (le interazioni recenti sono più predittive), il modello restringe l'auto-attenzione a finestre locali. Ciò riduce la complessità da $O(T^2)$ a $O(Tw)$, migliorando significativamente il throughput.

2.3 Riallocazione del Calcolo di Alto Livello

Queste strategie ottimizzano la distribuzione delle risorse attraverso il modello:

Computation Skip (CompSkip): Ispirato alla ridondanza degli strati negli LLM, Kunlun implementa un pattern "uno strato sì e uno no". Gli strati pari saltano l'auto-attenzione per calcolare nuovi riassunti HSP, mentre gli strati dispari saltano l'HSP e la PFFN per calcolare l'auto-attenzione. Ciò riduce i FLOPs di circa il 43% mantenendo la qualità del modello.
Personalizzazione a livello di Evento: Diversi tipi di eventi (es. click vs impression) ricevono iperparametri distinti (dimensione del modello, numero di teste, token di riassunto, profondità dello strato e dimensione della finestra). Gli eventi ad alto valore ricevono configurazioni più ampie, mentre gli eventi a basso valore utilizzano configurazioni più piccole, garantendo che le risorse siano allocate proporzionalmente all'importanza del segnale.
Mixture di Esperti Wukong: Il modulo di Global Interaction impiega un approccio Mixture-of-Experts (MoE) in cui molteplici moduli "Wukong" (modelli di interazione delle caratteristiche) operano in parallelo. Ciò consente lo scaling orizzontale distribuendo il calcolo tra gli esperti all'interno di un singolo strato.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

Formulazione del Problema: Formalizzare la sfida dell'efficienza di scaling nei sistemi di raccomandazione su scala massiva, identificando i moduli inefficienti e l'allocazione delle risorse come le cause radice di uno scaling imprevedibile.
Design dell'Architettura: Introduzione di Kunlun, che integra ottimizzazioni di basso livello (GDPA, HSP, Sliding Window) e innovazioni di alto livello (CompSkip, Personalizzazione a livello di evento) per unificare la modellazione di sequenze e non sequenze.
Leggi di Scaling: Dimostrare il primo comportamento di scaling a legge di potenza prevedibile per la modellazione congiunta di sequenze e non sequenze, ottenendo un miglioramento di 2× nell'efficienza di scaling rispetto ai metodi allo stato dell'arte.
Impatto sulla Distribuzione: Implementazione riuscita nei principali modelli di Meta Ads, che ha portato a miglioramenti misurabili in produzione.

4. Risultati Sperimentali

Gli autori hanno valutato Kunlun su dataset interni di Meta Ads su larga scala (oltre 70 miliardi di campioni) utilizzando GPU NVIDIA B200.

Efficienza di Scaling: Kunlun ha ottenuto un aumento della MFU dal 17% al 37%. In termini di efficienza di scaling (la pendenza del miglioramento delle prestazioni rispetto al calcolo), Kunlun ha dimostrato un miglioramento di 2× rispetto allo stato dell'arte attuale (InterFormer).
Guadagni di Prestazioni: Attraverso diverse scale computazionali (da 6 a 180 GFLOPs), Kunlun ha costantemente superato i baseline. Alla scala massima (180 GFLOPs), Kunlun ha ottenuto un guadagno di 0,79% di NE (Entropia Normalizzata) rispetto al baseline, contro lo 0,50% di InterFormer.
Studi di Ablazione:
- Rimuovere GDPA ha ridotto la MFU al 34% e ha degradato la NE di 0,04%.
- Rimuovere HSP (tornando a PMA) ha migliorato la QPS dell'8,8% ma ha degradato la NE dello 0,08%.
- Rimuovere CompSkip ha aumentato i FLOPs del 43,1% senza alcun guadagno in NE, validando l'efficienza della strategia di skip.
Impatto sulla Produzione: Dopo la distribuzione nei modelli di Meta Ads, Kunlun ha fornito un miglioramento dell'1,2% nelle metriche top-line, dimostrando un impatto online significativo e un ROI superiore su scala.

5. Significato e Rivendicazioni

Il documento afferma che Kunlun stabilisce un framework rigoroso per scalare i sistemi di raccomandazione a scale senza precedenti mantenendo l'efficienza computazionale. Affrontando sistematicamente sia l'efficacia algoritmica che l'utilizzo dell'hardware, gli autori dimostrano che le leggi di scaling prevedibili sono raggiungibili per compiti di raccomandazione complessi ed eterogenei.

Il lavoro asserisce che la combinazione di efficienza dei moduli di basso livello (tramite GDPA e HSP) e allocazione adattiva delle risorse di alto livello (tramite CompSkip e Personalizzazione a livello di evento) è necessaria per sbloccare il pieno potenziale dei modelli su scala massiva. Ciò consente un'estrapolazione affidabile per la pianificazione delle risorse e le decisioni architettoniche, spostando i sistemi di raccomandazione dallo scaling euristico allo scaling governato da leggi prevedibili. Il successo della distribuzione presso Meta valida che questi guadagni teorici si traducono direttamente in valore produttivo.