Riepilogo Tecnico: DualSFT – Un Algoritmo, Due Obiettivi per il Fine-Tuning degli LLM

1. Enunciazione del Problema

Il fine-tuning dei Large Language Model (LLM) affronta costi proibitivi alle scale moderne, spingendo la ricerca verso due strategie distinte di efficienza: Fine-Tuning Efficiente in Parametri (PEFT) e Fine-Tuning Efficiente in Dati (DEFT). I metodi PEFT (ad esempio, selezione dei parametri, LoRA) riducono la memoria dello stato addestrabile, mentre i metodi DEFT (ad esempio, selezione dei dati, ridimensionamento) riducono il carico di ottimizzazione.

Attualmente, queste strategie operano in modo indipendente. Quando vengono applicati sia una maschera di parametri che un sottoinsieme di dati per limitare gli aggiornamenti, gli approcci esistenti impiegano tipicamente meccanismi di valutazione separati. Questa separazione comporta un sovraccarico computazionale ridondante e crea un disallineamento di coordinamento: una maschera di parametri selezionata senza considerare il sottoinsieme di dati specifico (e viceversa) può portare a prestazioni congiunte subottimali. Il documento ipotizza che, poiché le maschere di parametri e i sottoinsiemi di dati determinano congiuntamente gli aggiornamenti limitati, dovrebbero essere selezionati tramite una regola di valutazione condivisa piuttosto che tramite meccanismi disconnessi.

2. Metodologia: DualSFT

Gli autori propongono DualSFT (Dual-Selection Fine-Tuning), un algoritmo one-shot che estrae congiuntamente l'importanza dei parametri e l'utilità dei dati dalle statistiche gradiente condivise. La intuizione teorica fondamentale consiste nel formulare la selezione dei parametri e dei dati come due prospettive di un singolo problema di surrogato di risposta locale sotto un obiettivo di convalida comune.

2.1 Fondamenta Teoriche: Formulazione Bilevel e Surrogati

Il processo di selezione è formulato come due problemi di ottimizzazione bilevel che condividono un obiettivo di convalida esterno $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$, dove $\mathcal{L}_{new}$ è la perdita del compito target e $\mathcal{L}_{prior}$ preserva le capacità pre-addestrate.

• Livello Esterno: Seleziona una maschera vincolata dal budget (maschera di parametri $\mathbf{m}_\theta$ o maschera di dati $\mathbf{m}_D$).
• Livello Interno: Calcola l'aggiornamento ottimale dei parametri $\delta^*$ indotto dalla maschera selezionata.

Risolvere esattamente questi problemi è intrattabile per gli LLM. Gli autori approssimano la risposta interna utilizzando un aggiornamento gradiente a un passo su un checkpoint di warmup comune $\bar{\theta}$. Ciò produce surrogati locali in cui la direzione di aggiornamento dipende dal sottoinsieme selezionato.

2.2 La Matrice di Interazione Condivisa

Espandendo l'obiettivo di convalida attorno a $\bar{\theta}$ utilizzando approssimazioni di Taylor del primo e del secondo ordine, gli autori derivano una matrice di interazione gradiente $\mathbf{M} \in \mathbb{R}^{N \times D}$ (dove $N$ è il numero di campioni e $D$ è la dimensione dei parametri).

• Importanza dei Parametri: Emerge come aggregazione per colonne di $\mathbf{M}$.
• Utilità dei Dati: Emerge come aggregazione per righe di $\mathbf{M}$.

Questa struttura rivela una dualità riga-colonna: entrambi i segnali sono derivati dallo stesso oggetto algebrico. I punteggi in forma chiusa ammettono un'interpretazione del valore di Shapley, trattando la selezione come un gioco cooperativo in cui la matrice di interazione fornisce l'assegnazione del credito.

2.3 La Pipeline dell'Algoritmo DualSFT

L'algoritmo viene eseguito in tre fasi:

1. Warmup Pilota: Un warmup leggero (1 epoca, 5% dei dati) stabilisce un checkpoint stabile $\bar{\theta}$ e stima la curvatura diagonale $\hat{c}$ utilizzando il buffer del secondo momento di AdamW.
2. Valutazione Duale One-Shot:
   • Viene costruito un vettore di proiezione per il miglioramento della convalida $\mathbf{u}$: $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$, dove $\mathbf{G}$ è il gradiente di addestramento accumulato.
   • Punteggi dei Parametri: $s_{\theta, d} = u_d G_d$ (aggregazione per colonne).
   • Punteggi dei Dati: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (aggregazione per righe, calcolata tramite Ghost Dot Product per evitare la materializzazione dei gradienti per campione).
   • Vengono selezionati i primi $k$ parametri e i primi $b$ campioni in base a questi punteggi con segno.
3. Fine-Tuning Limitato: Il modello viene affinato sul sottoinsieme di dati selezionato utilizzando solo i parametri selezionati.

2.4 Meccanismo di Preservazione

Per mitigare l'oblio catastrofico senza accesso ai dati di pre-addestramento, DualSFT impiega Distillazione Self-Ponderata sulla Confidenza (CWSD). Questa costruisce la direzione di preservazione $\nabla \mathcal{L}_{prior}$ minimizzando la divergenza KL tra il modello corrente e il modello pre-addestrato originale su un insieme di ancoraggio, ponderata dalla confidenza delle previsioni del modello originale.

3. Contributi Chiave

1. Teoria di Valutazione Unificata: La derivazione di una regola di valutazione surrogata di risposta condivisa che trasforma i problemi separati di selezione dei parametri e dei dati in aggregazioni per righe e per colonne di un'unica matrice di interazione gradiente, supportata da un'interpretazione localizzata di Shapley.
2. Algoritmo DualSFT: Un algoritmo pratico di valutazione duale one-shot che coordina simultaneamente la selezione dei parametri e dei dati, eliminando i passaggi di valutazione ridondanti e le lacune di coordinamento presenti nelle basi ibride sequenziali.
3. Direzione di Preservazione: Una direzione di preservazione priva di corpus che utilizza CWSD e che mitiga efficacemente l'oblio durante il fine-tuning limitato.
4. Validazione Empirica: Esperimenti completi su LLM da 3B a 9B (Llama-3.2, Gemma-3, Qwen-3.5) su compiti di generazione di codice e ragionamento matematico.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Magicoder (codice) e MetaMathQA (matematica) con budget corrispondenti (10% dei dati, 5% dei parametri).

• Prestazioni: DualSFT supera le basi a asse singolo (ad esempio, LESS, S2FT, NanoAdam) e gli ibridi sequenziali (ad esempio, LESS + S2FT, SPICE + NanoAdam).
  • Su Llama-3.2-3B (Magicoder), DualSFT completo ha ottenuto un punteggio Overall del 47,10%, superando l'ibrido sequenziale più forte (SPICE + NanoAdam al 44,71%) di 2,39 punti.
  • Le varianti di DualSFT hanno costantemente guidato i rispettivi gruppi di confronto sia nella plasticità (prestazioni del compito target) che nella stabilità (retenzione delle capacità generali).
• Efficienza: DualSFT riduce i costi di fine-tuning. DualSFT completo ha ottenuto i suoi risultati con 7,4 ore-GPU e 28,5 GB di memoria di picco per la selezione, superando gli ibridi sequenziali nel compromesso vincolato congiuntamente.
• Ablazioni:
  • Rimuovere la fase di warmup ha danneggiato significativamente la plasticità.
  • Rimuovere CWSD ha danneggiato significativamente la stabilità.
  • Utilizzare solo la valutazione del primo ordine (ignorando la curvatura diagonale) ha causato il calo più ampio nelle prestazioni Overall, validando l'approssimazione del secondo ordine.
• Analisi Diagnostica: Il documento conferma che la valutazione one-shot cattura la maggior parte della struttura congiunta, poiché la raselezione su lato fisso (riesame di un asse dopo aver fissato l'altro) produce guadagni marginali (<0,12 punti) a costo di un aumento significativo del calcolo.

5. Significato e Affermazioni

Il documento afferma che DualSFT rappresenta un passaggio dal trattare la selezione dei parametri e dei dati come euristiche indipendenti al considerarle risorse di adattamento accoppiate. Derivando entrambi i segnali da un unico surrogato di miglioramento della convalida, il metodo:

• Riduce la Ridondanza: Elimina la necessità di meccanismi di valutazione separati e passaggi condizionali ripetuti.
• Migliora il Coordinamento: Allinea gli assi di selezione prima dell'aggiornamento congiunto, evitando il "divario di coordinamento" in cui selezioni indipendenti mescolano segnali non verificati.
• Bilancia i Compromessi: Raggiunge un fronte stabilità-plasticità-efficienza più favorevole rispetto ai metodi esistenti sequenziali o a asse singolo sotto budget corrispondenti.

Gli autori notano modestamente che il metodo si basa su un surrogato locale, il che significa che la fedeltà del punteggio può decadere man mano che l'ottimizzazione si allontana notevolmente dal checkpoint di warmup. Suggeriscono una riesame dinamico come direzione futura per orizzonti di adattamento più lunghi, ma sottolineano che l'approccio one-shot è altamente conveniente per i budget studiati.