💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

Il lavoro dimostra che scalare i parametri degli embedding può superare l'efficacia della scalabilità tramite Mixture-of-Experts (MoE), introducendo il modello LongCat-Flash-Lite che, pur avendo un'attivazione sparsa, ottiene prestazioni superiori nei compiti di coding e agentic rispetto ai modelli MoE equivalenti.

Autori originali: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Pubblicato 2026-02-12

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: La "Dieta" dei Giganti Digitali

Immagina che i grandi modelli di intelligenza artificiale (come ChatGPT) siano dei giganteschi chef stellati. Per diventare sempre più bravi, questi chef hanno due modi per crescere:

Aumentare il numero di cuochi (Scaling Experts): Aggiungi centinaia di assistenti in cucina. Il problema? La cucina diventa caotica, gli assistenti si scontrano tra loro, si perdono messaggi e la gestione diventa un incubo logistico. Questo è quello che succede oggi con i modelli "MoE" (Mixture-of-Experts).
Aumentare la dispensa (Scaling Embeddings): Invece di aggiungere persone, rendi la dispensa incredibilmente dettagliata. Invece di avere solo "sale", hai "sale marina di Maldon raccolta a mano".

Fino ad oggi, tutti si sono concentrati sull'aggiungere cuochi. Questo team di ricercatori (Meituan LongCat) ha detto: "E se invece di assumere altri cuochi, rendessimo la dispensa così ricca e precisa da permettere ai pochi cuochi che abbiamo di fare piatti incredibili?"

La Soluzione: La "Dispensa Magica" (N-gram Embedding)

Il cuore del paper è una tecnica chiamata N-gram Embedding.

Immagina che il modello stia leggendo una ricetta. Un modello normale vede le parole una alla volta: "Sale", poi "Pepe".
Il modello LongCat invece ha una memoria visiva istantanea per le combinazioni. Non vede solo "Sale", ma riconosce immediatamente il "blocco" "Sale marino integrale". È come se, invece di leggere una lettera alla volta, il suo occhio scattasse foto a intere frasi, capendo il contesto molto più velocemente e con meno sforzo mentale.

Le Scoperte: Quando conviene "espandere la dispensa"?

I ricercatori hanno scoperto delle regole d'oro, quasi come ricette segrete:

Non esagerare con i cuochi: Se hai già troppi assistenti in cucina, aggiungere una dispensa enorme non serve a molto. Ma se hai pochi cuochi molto bravi, una dispensa super-dettagliata li rende dei geni.
La regola del 50%: Non devi spendere tutto il budget per la dispensa. Il segreto è dedicare massimo il 50% della "memoria" totale alla dispensa e il resto ai cuochi.
Attenzione ai "doppi sensi" (Hash Collisions): Se nella dispensa metti due spezie diverse in barattoli identici, lo chef farà confusione. Hanno scoperto che bisogna organizzare i barattoli in modo che non ci siano sovrapposizioni confuse.
Più largo è meglio: Funziona meglio se la "cucina" (il modello) è larga e spaziosa, piuttosto che se è un corridoio stretto e lunghissimo.

Il Risultato: LongCat-Flash-Lite

Hanno costruito un modello chiamato LongCat-Flash-Lite. È un mostro di efficienza:

È enorme (68,5 miliardi di parametri), ma è "leggero" perché usa solo una piccola parte della sua forza per ogni parola (circa 3-4 miliardi).
Il trucco magico: Ha dedicato ben 30 miliardi di parametri solo alla "dispensa" (gli embedding).
Risultato: Nonostante sia "magro" nel consumo di energia, è diventato un campione mondiale nel coding (scrivere programmi) e nel comportarsi come un agente (eseguire compiti complessi come un assistente umano).

In sintesi (Il succo del discorso)

Invece di costruire eserciti di piccoli cervelli che faticano a comunicare tra loro, questo paper suggerisce di costruire pochi cervelli molto intelligenti dotati di una memoria enciclopedica e ultra-dettagliata.

È la differenza tra avere 100 studenti mediocri che urlano in una stanza o avere 5 geni che hanno accesso alla biblioteca più grande del mondo. Il risultato? Più velocità, meno confusione e un'intelligenza molto più precisa.

Riassunto Tecnico: Scaling degli Embedding vs. Scaling degli Esperti

1. Il Problema (Problem Statement)

L'architettura Mixture-of-Experts (MoE) è attualmente lo standard per scalare i Large Language Models (LLM), permettendo di aumentare i parametri totali mantenendo costante il costo computazionale tramite la sparsità. Tuttavia, il paper identifica due limiti critici del MoE:

Rendimento decrescente: All'aumentare del numero di esperti, il guadagno marginale in termini di performance diminuisce (saturazione dell'efficienza).
Colli di bottiglia sistemici: L'espansione degli esperti aumenta l'overhead di comunicazione distribuita e la pressione sulla larghezza di banda della memoria.

Il problema centrale è trovare una dimensione di scaling "ortogonale" al MoE che permetta di aumentare la capacità del modello senza esplodere nel costo computazionale o nei ritardi di inferenza.

2. Metodologia (Methodology)

Gli autori propongono di scalare la dimensione degli embedding anziché quella degli esperti (FFN). La tecnica principale utilizzata è l'N-gram Embedding, che arricchisce la rappresentazione di un token non solo con il suo embedding base, ma anche con informazioni derivanti dai contesti locali (n-grammi).

Componenti chiave della metodologia:

N-gram Embedding Layer: Per ogni token $t_i$ , l'embedding viene aumentato calcolando una media tra l'embedding base e gli embedding di hash di n-grammi (es. 2-grammi, 3-grammi, ecc.). Viene utilizzato un polynomial rolling hash per mappare le sequenze di token in tabelle di embedding espanse.
Scomposizione in Sub-tabelle: Per mitigare le collisioni di hash, ogni tabella n-gram è divisa in $K$ sub-tabelle con diverse dimensioni di vocabolario.
Embedding Amplification: Per evitare che il segnale dell'embedding venga "annegato" dai segnali degli strati di attenzione durante il training, gli autori utilizzano tecniche di scaling (fattore $\sqrt{D}$ ) o normalizzazione (LayerNorm) per amplificare il contributo dell'embedding nel flusso residuo.
Ottimizzazione del Sistema: Introduzione di un N-gram Cache (simile alla KV cache) e kernel CUDA personalizzati per gestire il lookup degli embedding in modo efficiente durante l'inferenza.

3. Contributi Chiave (Key Contributions)

Il lavoro fornisce una guida sistematica su come scalare gli embedding:

Analisi del Pareto Frontier: Dimostrano che esiste un regime specifico in cui scalare gli embedding è più efficiente che aggiungere esperti.
Principi di Integrazione:
- Timing: Gli embedding n-gram vanno introdotti quando il modello MoE raggiunge un certo livello di sparsità (oltre il "sweet spot").
- Budgeting: Non si dovrebbe allocare più del 50% del budget totale di parametri agli embedding n-gram.
- Vocabolario: La dimensione del vocabolario n-gram deve evitare multipli interi della dimensione del vocabolario base per prevenire collisioni di hash.
Proprietà Architetturali: Identificano che l'efficacia dello scaling degli embedding aumenta con la larghezza del modello (hidden size) ma diminuisce con la sua profondità (numero di strati).
LongCat-Flash-Lite: Lo sviluppo di un modello reale da 68.5B di parametri (con solo ~3B attivati) che implementa queste teorie.

4. Risultati (Results)

Il modello LongCat-Flash-Lite mostra risultati eccezionali:

Performance Superiore: Supera i modelli MoE con lo stesso numero di parametri totali, validando l'idea che allocare ~30B di parametri agli embedding (invece che agli esperti) sia una strategia vincente.
Dominio Agentic e Coding: Il modello eccelle in compiti di agentic tool use (es. $\tau^2$ -Bench) e coding (es. SWE-Bench), superando modelli competitivi come Gemini 2.5 Flash-Lite e Qwen3-Next in diversi benchmark specifici.
Efficienza di Inferenza: Grazie all'ottimizzazione dei kernel e all'uso del speculative decoding, il modello riesce a trasformare la sparsità dei parametri in un reale aumento del throughput (token al secondo) e una riduzione della latenza.

5. Significatività (Significance)

Questo paper sposta il paradigma della ricerca sulla scalabilità dei modelli linguistici. Suggerisce che la prossima frontiera per i modelli massivi non sia necessariamente l'aggiunta di infiniti "esperti" specializzati, ma l'arricchimento della comprensione semantica locale attraverso una base di embedding estremamente densa e strutturata. Fornisce un framework completo (teorico, empirico e sistemistico) per implementare questa nuova dimensione di scaling in modo efficiente e pratico.