Riepilogo Tecnico: OP-MIX (On-Policy Mix)

1. Enunciato del Problema

Il mixing dei dati — il processo di determinazione della distribuzione di probabilità ottimale tra diversi domini di dati durante l'addestramento di modelli linguistici (LM) — è un fattore critico per la qualità del modello. Tuttavia, i metodi esistenti di mixing dei dati presentano limitazioni significative nel contesto dell'intero ciclo di vita dell'LM:

• Assunzioni Statiche sui Domini: La maggior parte dei metodi assume un insieme fisso di domini di dati, non affrontando la realtà dell'apprendimento continuo in cui nuovi dataset (ad esempio, corpora per l'addestramento alle istruzioni) arrivano dinamicamente.
• Dipendenza da Proxy Off-Policy: Gli approcci attuali spesso addestrano modelli "proxy" separati e più piccoli su combinazioni candidate per estrapolare le prestazioni. Questo è computazionalmente costoso, scala male con il numero di domini e soffre di uno spostamento distributivo perché le dinamiche di apprendimento del proxy divergono da quelle del modello target, specialmente nelle fasi successive dell'addestramento (midtraining, addestramento alle istruzioni).
• Frammentazione del Ciclo di Vita: Non esiste un algoritmo unificato che operi efficacemente attraverso pretraining, midtraining continuo e addestramento alle istruzioni continuo.

Il documento ipotizza che il mixing dei dati sia fondamentalmente un problema di decisione online che richiede una soluzione singola e unificata, capace di adattarsi ai dati in evoluzione senza fare affidamento su modelli proxy separati.

2. Metodologia: OP-MIX

Gli autori propongono OP-MIX (On-Policy Mix), un algoritmo che stima i rapporti ottimali di mixing dei dati sfruttando due intuizioni fondamentali per evitare l'esplosione combinatoria delle esecuzioni di addestramento e la divergenza dei proxy off-policy.

Meccanismi Principali

1. Proxy On-Policy tramite LoRA: Invece di addestrare piccoli modelli separati, OP-MIX addestra un singolo adattatore Low-Rank Adaptation (LoRA) per ogni dominio di dati direttamente dal modello base corrente. Ciò garantisce che il proxy rimanga "on-policy", riflettendo le effettive dinamiche di apprendimento e lo stato dei parametri del modello in addestramento.
2. Interpolazione Lineare per la Simulazione delle Combinazioni: Per simulare diverse combinazioni di dati senza riaddestrare, OP-MIX interpola linearmente i pesi degli adattatori LoRA addestrati. Basandosi su recenti scoperte riguardanti la connettività lineare nello spazio dei modelli, il metodo assume che la superficie di perdita del mixing di modelli completi possa essere approssimata interpolando gli adattatori LoRA. Ciò permette all'algoritmo di valutare le combinazioni candidate tramite passaggi in avanti (forward passes) economici anziché esecuzioni complete di addestramento.

Flusso di Lavoro dell'Algoritmo

In un passo di apprendimento continuo in cui arrivano $K$ nuovi domini:

1. Addestramento degli Adattatori: Addestrare un adattatore LoRA per ogni nuovo dominio ($D_{m+k}$) e un adattatore "vecchio" ($D_{old}$) che rappresenta la combinazione di tutti i domini precedenti, tutti inizializzati dal modello base corrente $\theta_{base}$.
2. Interpolazione e Valutazione: Campionare punti di interpolazione $\alpha$ nel $K$-simplex. Formare adattatori fusi combinando linearmente i pesi LoRA: $\theta_{\alpha} = \alpha_{old}\theta_{old} + \sum \alpha_{k}\theta_{D_{m+k}}$. Valutare la perdita per dominio di questi adattatori fusi.
3. Regressione e Ottimizzazione: Adattare un modello di regressione log-lineare alle perdite valutate per stimare una superficie di perdita liscia lungo il percorso di interpolazione. Risolvere un problema di ottimizzazione regolarizzato per trovare i pesi di mixing ottimali $\alpha^*$ che minimizzano la perdita stimata (più un termine di regolarizzazione a divergenza KL verso un prior).
4. Addestramento Finale: Applicare i pesi di mixing ottimali calcolati al modello base per l'esecuzione completa dell'addestramento.

3. Contributi Chiave

Il documento rivendica tre contributi principali:

1. Primo Algoritmo Universale di Mixing dei Dati: OP-MIX è il primo metodo capace di espandere le combinazioni di dati a nuovi domini evitando simultaneamente modelli proxy separati. Ciò abilita un mixing continuo man mano che i dati evolvono, eliminando la necessità di algoritmi specifici per fase.
2. Stato dell'Arte attraverso l'intero Ciclo di Vita: Una singola istanza di OP-MIX raggiunge prestazioni all'avanguardia nel pretraining, nel midtraining continuo e nell'addestramento alle istruzioni continuo, dimostrando che fasi distinte non richiedono strategie di mixing distinte.
3. Efficienza nell'Apprendimento Continuo: Nell'addestramento alle istruzioni continuo, OP-MIX eguaglia le prestazioni della distillazione self-on-policy (una tecnica sofisticata di apprendimento continuo) utilizzando il 95% in meno di risorse computazionali. Dimostra inoltre che il mixing dei dati e gli obiettivi di addestramento (come la distillazione self) sono assi di miglioramento ortogonali che possono essere combinati per ulteriori guadagni.

4. Risultati Sperimentali

Gli autori valutano OP-MIX attraverso tre fasi utilizzando modelli che variano da 150M a 7B parametri.

• Pretraining: OP-MIX migliora la perplexità media del 6,3% rispetto all'addestramento senza mixing (Minimizzazione del Rischio Empirico). Eguaglia le prestazioni del miglior baseline (MergeMix) utilizzando il 14% in meno di risorse computazionali e supera OLMix del 5–6% su tutte le scale.
• Midtraining Continuo: OP-MIX quasi eguaglia le prestazioni del riaddestramento completo (il baseline "skyline") utilizzando fino al 66% in meno di risorse computazionali. Mitiga significativamente l'oblio catastrofico rispetto ai baselines standard di SFT continuo e replay di dati fissi.
• Addestramento alle Istruzioni Continuo: Quando applicato a Qwen2.5-7B-Instruct, OP-MIX raggiunge prestazioni comparabili al Finetuning con Distillazione Self (SDFT) con il 95% in meno di risorse computazionali. La combinazione di OP-MIX con SDFT produce i migliori risultati complessivi (61,9% di accuratezza), confermando il loro effetto sinergico.
• Frontiera dell'Efficienza: In tutte le impostazioni, OP-MIX domina secondo Pareto i baselines esistenti, raggiungendo prestazioni migliori o uguali con costi computazionali (FLOPs) strettamente inferiori.

5. Significato e Rivendicazioni

Il documento sostiene che la divisione tradizionale dell'addestramento dei modelli linguistici in fasi distinte (pretraining, midtraining, finetuning) è artificiale. OP-MIX suggerisce una visione unificata in cui l'addestramento è un singolo processo continuo di apprendimento dai dati.

Sfruttando LoRA e la connettività lineare nello spazio dei modelli, OP-MIX trasforma il mixing adattivo dei dati da una ricerca offline computazionalmente proibitiva in un'operazione leggera e ripetibile che può essere eseguita ogni volta che arrivano nuovi dati. Gli autori concludono che questo approccio supera le due principali limitazioni dei lavori precedenti: l'incapacità di incorporare nuovi dataset e la dipendenza da modelli proxy off-policy che divergono dalle dinamiche del modello target.

Nota: Il documento riconosce le limitazioni, specificamente che gli esperimenti sono limitati a 530M parametri per pretraining/midtraining e a 7B per l'addestramento alle istruzioni, lasciando non verificato il comportamento a scale frontier (70B+). Segnala inoltre che il comportamento del metodo con un numero molto elevato di domini (10–100) non è ancora caratterizzato.