Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Sintesi Tecnica: Fine-Tuning di un Advisor da 7B su GPU Free-Tier

Problematica
Il fine-tuning di modelli linguistici di grandi dimensioni (LLM) per domini specializzati, come la consulenza per lo studio all'estero, è spesso limitato dalle restrizioni di risorse dei professionisti in piccole istituzioni o nel settore pubblico. Sebbene i metodi efficienti nei parametri come QLoRA (quantizzazione a 4 bit + Low-Rank Adaptation) permettano teoricamente di effettuare il fine-tuning di modelli da 7B su singole GPU da 16 GB, l'implementazione pratica affronta due ostacoli specifici:

1. Vincoli Operativi: Le sessioni GPU gratuite (ad esempio, Kaggle, Google Colab) impongono limiti rigidi di tempo di esecuzione e quote settimanali. Una sessione di fine-tuning multi-epoca per un modello da 7B spesso supera la durata di una singola sessione, impedendo il completamento su una singola macchina.
2. Affidabilità dell'Evidenza: Manca una valutazione rigorosa sulla affidabilità fattuale dei modelli sottoposti a fine-tuning su dati sintetici. I professionisti spesso si affidano a metriche basate su riferimenti (ad esempio, BERTScore) calcolate rispetto ai dati di addestramento sintetici, che possono misurare la fedeltà alla distribuzione del generatore piuttosto che la correttezza rispetto alla verità di base (ground-truth), rischiando potenzialmente di mascherare allucinazioni su argomenti sensibili dal punto di vista delle politiche.

Metodologia
Gli autori propongono un approccio in due parti: una ricetta operativa per l'addestramento cross-GPU e un rigoroso framework di valutazione per l'affidabilità dei dati sintetici.

• Ricetta Cross-GPU Adapter-Handoff:
  Gli autori dimostrano un flusso di lavoro per completare un fine-tuning QLoRA di tre epoche su Mistral-7B-Instruct-v0.3 attraverso due diverse GPU free-tier (una Tesla P100 seguita da una Tesla T4).

  • Procedura: L'addestramento viene interrotto alla fine di una sessione. Invece di trasferire l'intero stato dell'ottimizzatore e dello scheduler, vengono salvati e caricati sulla seconda macchina solo i pesi dell'adapter LoRA (41.9M di parametri, ~100 MB).
  • Implementazione: La seconda fase reinizializza l'ottimizzatore AdamW e lo scheduler del tasso di apprendimento. Gli autori documentano che questo costo di "warm-up" è trascurabile e che l'adapter da solo è sufficiente per continuare l'addestramento in modo produttivo, mantenendo l'uso di picco della VRAM entro il budget di 16 GB su entrambe le architetture (15.888 GB su P100; 14.741 GB su T4).

• Dataset e Addestramento:

  • Dati: Un dataset sintetico di 2.676 conversazioni multi-turno tra studente e consulente è stato generato utilizzando l'API Gemini 1.0 Pro. Gli argomenti includono visti, borse di studio e ammissioni.
  • Controllo Qualità: La pipeline includeva validazione dello schema, deduplicazione e controlli di ripetizione, ma non includeva esplicitamente un controllo di fattualità rispetto a fonti autorevoli.
  • Iperparametri: LoRA rank 16, $\alpha=32$, quantizzazione NF4 a 4 bit, ottimizzatore AdamW a 8 bit e un tasso di apprendimento di $2 \times 10^{-4}$.

• Protocollo di Valutazione:
  Gli autori impiegano una valutazione su tre assi su un set di 50 prompt tenuti separati (held-out):

  1. Metriche basate sul riferimento: SacreBLEU, ROUGE-L e BERTScore rispetto ai riferimenti sintetici di Gemini.
  2. Blind LLM-as-Judge: Un giudice proveniente da una diversa famiglia di modelli (Claude Sonnet) valuta l'accuratezza del dominio e l'utilità senza conoscere la sorgente del modello.
  3. Audit di Fattualità Verificato dalla Sorgente: Un controllo indipendente dall'uomo di specifiche affermazioni fattuali rispetto a fonti governative e universitarie autorevoli.

Risultati Chiave
Lo studio produce un trade-off controintuitivo tra fedeltà distributiva e affidabilità fattuale:

• Dinamiche di Addestramento: La perdita (loss) è diminuita da 1.01 a 0.34 durante le due fasi. La transizione tra le GPU ha mostrato un breve plateau coerente con la reinizializzazione dell'ottimizzatore, seguito da un gradiente stabile.
• Fideltà vs. Affidabilità:
  • Metriche di Riferimento: Il modello sottoposto a fine-tuning ha mostrato un miglioramento della somiglianza con la distribuzione di addestramento sintetica (il BERTScore F1 è aumentato di +0.063).
  • Qualità della Consulenza: Il blind LLM-as-judge ha preferito il modello base non sottoposto a fine-tuning nel 46% dei prompt, rispetto a solo il 18% per il modello fine-tuned.
  • Fattualità: Su argomenti sensibili alle politiche (sanità, ammissioni, borse di studio), il modello fine-tuned ha prodotto quattro errori fattuali sicuri (ad esempio, regole di idoneità Medicare errate, programmi di laurea inesistenti), mentre il modello base ha prodotto zero errori sugli stessi prompt.
• Analisi della Causa Radice: Un audit diretto dei dati di addestramento ha rivelato che i quattro errori fattuali commessi dal modello fine-tuned erano già presenti nel corpus di addestramento generato da Gemini. Un audit casuale del campione dei dati di addestramento ha indicato che il 28–40% delle risposte sintetiche conteneva errori fattuali verificabili.

Significatività e Rivendicazioni
Il documento presenta due contributi primari, formulati con specifica modestia riguardo al loro ambito:

1. Ricetta Operativa: Gli autori forniscono un metodo verificato e riproducibile per completare il fine-tuning QLoRA di 7B su hardware free-tier tramite l'handoff dell'adapter. Chiariscono che si tratta di una ricetta di deployment, non di un avanzamento metodologico nell'ottimizzazione, e che il vincolo principale in questi ambienti è la durata della sessione, non l'aggregato computazionale.
2. Cautela sull'Affidabilità dei Dati Sintetici: La scoperta centrale è un risultato di cautela: il fine-tuning su dati sintetici non verificati può aumentare la fedeltà di un modello alla distribuzione di addestramento (migliorando le metriche basate sui riferimenti) pur degradando simultaneamente l'affidabilità fattuale.
   • Gli autori dichiarano esplicitamente che il calo di affidabilità è una proprietà della pipeline dei dati (generazione sintetica non verificata), non del metodo di fine-tuning o della procedura di adapter-handoff.
   • Argomentano che per compiti sensibili alle politiche, la valutazione deve includere segnali di fattualità indipendenti dal giudizio, poiché le metriche basate sui riferimenti da sole possono essere fuorvianti.

Limitazioni e Ambito
Gli autori riconoscono che il dataset e la valutazione sono interamente sintetici, generati da un singolo modello (Gemini 1.0 Pro) e giudicati da un singolo LLM judge. Lo studio non pretende la generalizzabilità a tutti i domini o lingue, né afferma che il metodo di fine-tuning sia intrinsecamente difettoso — solo che esso eredita fedelmente gli errori dei dati di addestramento non verificati. Gli artefatti rilasciati (dataset, adapter, harness di valutazione) sono destinati alla ricerca per riprodurre tali risultati, con avvertenze esplicite contro il deployment per l'effettiva consulenza agli studenti senza ulteriori filtri di fattualità.