💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

Questo lavoro propone un metodo di addestramento progressivo con espansione incrementale dei modelli per costruire famiglie di LLM in modo efficiente, riducendo i costi computazionali del 25% e migliorando la coerenza comportamentale rispetto all'addestramento indipendente.

Autori originali: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

Pubblicato 2026-03-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire una famiglia di automobili: una piccola utilitaria, una berlina media e un'auto di lusso enorme.

Il vecchio modo (Addestramento Indipendente):
Tradizionalmente, per avere queste tre auto, un'azienda costruttrice dovrebbe progettare e assemblare la piccola da zero, poi fermarsi, smontare tutto e ricominciare da zero per la media, e infine ricominciare ancora da zero per la grande. È come se ogni volta che volevi un'auto più grande, dovessi buttare via tutto il lavoro fatto prima e ricominciare da capo. Questo costa un sacco di tempo, denaro e carburante (in questo caso, energia dei computer).

Il nuovo metodo di questo paper (Addestramento Progressivo):
Gli autori di questo studio (Kazuki Yano e colleghi) hanno pensato: "Perché non partire dalla piccola utilitaria e poi allargarla per farla diventare la media, e poi allargarla ancora per farla diventare la grande?"

Ecco come funziona, spiegato con una metafora semplice:

1. L'idea della "Crescita a Strati"

Immagina che il tuo modello di intelligenza artificiale (LLM) sia come un albero.

Metodo vecchio: Pianti un seme, fai crescere un albero piccolo. Poi lo tagli, butti via il terreno e pianti un altro seme per far crescere un albero medio. Poi ripeti per l'albero grande. Sprechi tutto il lavoro fatto sui primi due.
Metodo nuovo (Progressivo): Pianti il seme e fai crescere l'albero piccolo. Quando è pronto, invece di tagliarlo, lo espandi. Aggiungi nuovi rami e foglie (parametri) per farlo diventare un albero medio, usando la struttura già esistente come base solida. Poi, prendi quell'albero medio e lo espandi ancora per diventare l'albero gigante.

2. Il Risultato: Risparmiare il "Carburante"

Il paper dimostra che questo metodo è incredibilmente efficiente.

Risparmi circa il 25% di energia (calcolo computazionale) rispetto al metodo vecchio.
È come se per costruire la tua intera famiglia di auto, invece di pagare tre volte il costo di costruzione, pagassi solo il costo di costruire l'auto più grande, perché hai riutilizzato il lavoro fatto sulle versioni più piccole.

3. Non è solo risparmio, è anche "Qualità"

C'era il timore che, riutilizzando le vecchie parti, l'auto finale (il modello grande) potesse essere "vecchia" o meno performante. Invece, gli autori hanno scoperto due cose sorprendenti:

Funziona meglio: Se aggiustano un po' il "pedale dell'acceleratore" (il tasso di apprendimento) in base alle dimensioni dell'auto (più veloce per le piccole, più stabile per le grandi), le auto costruite con questo metodo vanno meglio di quelle costruite da zero.
Sono più "coerenti": Immagina che la piccola, la media e la grande auto debbano rispondere alle stesse domande. Con il metodo vecchio, la piccola potrebbe rispondere in modo strano rispetto alla grande. Con il metodo progressivo, poiché la grande è nata dalla piccola, pensano allo stesso modo. È come se avessero la stessa "personalità" e lo stesso "stile di guida", indipendentemente dalle dimensioni.

4. Perché è utile nella vita reale?

Questa coerenza è fondamentale per una tecnica chiamata "Speculative Decoding" (Decodifica Speculativa).
Immagina di dover scrivere un libro.

La piccola auto (modello piccolo) è veloce e scrive velocemente le prime bozze delle frasi.
La grande auto (modello grande) è lenta ma molto precisa.
Se la piccola e la grande auto "pensano" in modo simile (grazie all'addestramento progressivo), la grande auto dirà: "Sì, va bene, ho scritto esattamente quello che volevi!" e accetta la bozza velocemente.
Se invece pensano in modo diverso, la grande auto dovrà riscrivere tutto, perdendo tempo. Grazie a questo metodo, la collaborazione tra le due auto è perfetta e il risultato è molto più veloce.

In sintesi

Questo paper ci dice che non dobbiamo più costruire ogni modello di intelligenza artificiale da zero come se fosse un'isola separata. Possiamo invece coltivare una famiglia partendo dai piccoli semi e facendoli crescere gradualmente.

Risultato: Risparmi soldi e tempo.
Qualità: I modelli funzionano meglio e sono più uniformi tra loro.
Metafora finale: È la differenza tra costruire tre case separate da zero (costoso e lento) e costruire una casa piccola, poi aggiungerci un piano per farla diventare media, e un altro per farla diventare una villa. La villa finale è solida, bella e costa meno da costruire.

Titolo

Costruzione Efficiente di Famiglie di Modelli tramite Addestramento Progressivo con Espansione del Modello

1. Il Problema

Con la diffusione delle Large Language Models (LLM), è diventato standard fornire "famiglie di modelli" (model families) con la stessa architettura ma dimensioni diverse (es. 1B, 70B, 405B parametri) per adattarsi a vincoli computazionali e scenari applicativi differenti.
Tuttavia, l'approccio convenzionale prevede l'addestramento indipendente di ciascun modello da zero. Questo metodo comporta costi computazionali che crescono in modo additivo con il numero di modelli nella famiglia. Ad esempio, addestrare una famiglia da 1B a 8B parametri indipendentemente richiede una somma di FLOPs (operazioni in virgola mobile) che è significativamente superiore rispetto all'addestramento del solo modello più grande, creando un onere enorme per i ricercatori e le aziende.

2. Metodologia: Addestramento Progressivo

Gli autori propongono un metodo chiamato Progressive Training (Addestramento Progressivo) per costruire famiglie di modelli in modo più efficiente. L'idea centrale è sfruttare i parametri dei modelli più piccoli, già addestrati, per inizializzare i modelli più grandi, invece di ricominciare da zero.

Il processo si articola come segue:

Inizializzazione: Si addestra un modello iniziale di dimensioni $X_1$ (es. 1B) da zero.
Espansione (Model Expansion): Per ottenere il modello successivo di dimensioni $X_{i+1}$ , si utilizza un metodo di espansione (in questo lavoro, bert2BERT) sui parametri del modello precedente $X_i$ . Questo metodo duplica i pesi degli strati lineari per espandere la larghezza e aggiunge strati duplicati per espandere la profondità, mantenendo la funzione di base.
Addestramento Incrementale: Il modello espanso viene poi addestrato ulteriormente.
Allocazione delle Risorse: La strategia chiave consiste nell'allocazione dei token di addestramento. Il costo totale computazionale dell'intera famiglia viene limitato al costo necessario per addestrare solo il modello più grande ( $X_n$ ) da zero. I token risparmiati dai modelli più piccoli vengono ridistribuiti o il processo è strutturato in modo che la somma dei costi sia uguale a quella del modello finale.
Ottimizzazione del Learning Rate: Gli autori introducono una strategia di aggiustamento del maximum learning rate basata sulla dimensione del modello. Poiché i modelli più piccoli sono meno sensibili all'instabilità, possono beneficiare di learning rate più alti, mentre quelli più grandi richiedono rate più bassi per la stabilità.

3. Contributi Chiave

Riduzione dei Costi Computazionali: Dimostrazione empirica che è possibile costruire un'intera famiglia di modelli (da 1B a 8B parametri) con un costo computazionale totale pari a quello del solo modello più grande, ottenendo un risparmio di circa il 25% rispetto all'addestramento indipendente.
Prestazioni Superiori o Equivalenti: Il metodo non solo riduce i costi, ma, grazie all'inizializzazione intelligente e all'aggiustamento del learning rate, ottiene prestazioni pari o migliori rispetto ai modelli addestrati indipendentemente su una vasta gamma di benchmark.
Coerenza Comportamentale: Il metodo favorisce una maggiore coerenza nel comportamento tra i diversi modelli della famiglia (misurata tramite divergenza KL), un aspetto cruciale per tecniche come il speculative decoding.
Validazione dell'Efficienza dei Dati: Gli esperimenti confermano che i miglioramenti non derivano dall'uso di una quantità maggiore di dati unici, ma dall'efficienza dell'inizializzazione e della strategia di addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su una famiglia di modelli da 1B a 8B parametri, utilizzando l'architettura Llama e dati da FineWeb-Edu.

Efficienza Computazionale:
- Rispetto all'addestramento indipendente, l'approccio progressivo riduce i FLOPs totali del 25%.
- Con l'aggiustamento del learning rate, la riduzione dei FLOPs necessari per raggiungere lo stesso livello di loss sale al 31%.
Prestazioni (Perplexity e Task Downstream):
- I modelli "Progressive" mostrano una Perplexity inferiore (migliore) rispetto ai modelli "Independent" su dataset di validazione (WikiText, Valid).
- Sui task downstream (LAMBADA, WinoGrande, PIQA, ARC, OBQA, HellaSwag), i modelli progressivi ottengono punteggi di accuratezza superiori o comparabili. Ad esempio, sul modello da 8B, l'approccio progressivo con learning rate adattivo ha migliorato significativamente le prestazioni su quasi tutti i task.
Coerenza e Speculative Decoding:
- Divergenza KL: I modelli addestrati progressivamente mostrano una divergenza KL significativamente più bassa tra dimensioni adiacenti (es. 4B vs 8B) rispetto ai modelli indipendenti, indicando distribuzioni di probabilità più simili.
- Speculative Decoding: Utilizzando un modello "draft" da 4B e un "generator" da 8B, entrambi addestrati progressivamente, si è ottenuta una tasso di accettazione del 93.2% (contro l'87.2% con modelli indipendenti) e un tempo di generazione ridotto del 14.8%.

5. Significato e Impatto

Questo lavoro offre una soluzione pratica ed economicamente vantaggiosa per la creazione di famiglie di modelli LLM.

Accessibilità: Riduce la barriera all'ingresso per organizzazioni con risorse computazionali limitate, permettendo loro di ottenere modelli di diverse dimensioni senza dover sostenere i costi cumulativi dell'addestramento da zero.
Deploy e Manutenzione: La maggiore coerenza comportamentale tra i modelli di diverse dimensioni semplifica il deployment flessibile (passare da un modello piccolo a uno grande senza cambiare drasticamente il comportamento) e facilita l'applicazione di filtri di sicurezza o tecniche di allineamento (RLHF) su tutta la famiglia.
Innovazione Metodologica: Dimostra che l'espansione del modello, spesso vista come un metodo per accelerare l'addestramento di un singolo modello finale, può essere riutilizzata strategicamente per costruire intere famiglie di modelli efficienti e coerenti.

In sintesi, il paper stabilisce che l'addestramento progressivo non è solo un metodo per risparmiare risorse, ma un approccio che genera modelli di qualità superiore e più coerenti, rendendo lo sviluppo di famiglie di LLM più sostenibile e scalabile.