🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFT è un framework a due stadi che mitiga l'oblio catastrofico durante il fine-tuning specifico per dominio attraverso il raffinamento dei dati di addestramento mediante una riscrittura compatibile con il modello e l'impiego di una distillazione on-policy condizionata alla risposta per preservare le capacità generali originali del modello pur migliorando le prestazioni nel dominio specifico.

Autori originali: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario brillante e colto (il modello AI) che sa un po' di tutto: storia, cucina, programmazione e poesia. Questo bibliotecario è bravo a rispondere a domande generali.

Ora, immagina di voler addestrare questo bibliotecario per farlo diventare un esperto specificamente in Legge. Gli dai una pila di libri di testo di diritto e gli dici: "Impara questo!"

Il Problema: La "Trappola dello Specialista"
Se costringi semplicemente il bibliotecario a memorizzare questi libri di legge (un processo che l'articolo chiama SFT Standard), diventerà un ottimo avvocato. Ma c'è un problema: inizia a dimenticare come essere un buon bibliotecario generale. Potrebbe dimenticare come scrivere una poesia, come seguire semplici istruzioni o come chiacchierare del tempo. Diventa così concentrato sulle nuove regole che perde la sua personalità originale e la sua vasta conoscenza. Questo è chiamato "Dimenticanza Catastrofica" (Catastrophic Forgetting).

L'articolo sostiene che ciò accada principalmente per due motivi:

Lo "Scontro di Stile": I libri di testo di legge sono scritti in uno stile rigido e formale che non corrisponde al modo in cui il bibliotecario parla di solito. Costringerlo a parlare come un libro di testo lo rende goffo e rompe il suo flusso naturale.
La "Strada a Senso Unico": L'addestramento guarda solo le risposte "corrette" nei libri. Non gli importa se il bibliotecario si confonde quando prova a rispondere a una domanda da solo. È come un insegnante che valuta uno studente solo su un test a scelta multipla ma non osserva mai come affronta un problema nel pensiero.

La Soluzione: RAFT (L'Allenatore "Raffinato e Adattivo")
Gli autori propongono un nuovo metodo chiamato RAFT. Pensa a RAFT come a un programma di coaching in due fasi, progettato per insegnare la legge al bibliotecario senza fargli dimenticare come essere un essere umano.

Fase 1: Il "Traduttore" (Raffinamento dei Dati)

Prima ancora che il bibliotecario inizi a studiare, RAFT agisce come un traduttore.

Il Problema: I libri di legge sono troppo rigidi.
La Soluzione: Al bibliotecario viene chiesto di riscrivere le risposte legali con la propria voce naturale, mantenendo però i fatti corretti.
Il Filtro: Un editor intelligente controlla: "Il bibliotecario ha cambiato il significato cambiando lo stile?" Se la versione è ancora accurata, la versione riscritta viene mantenuta. Se è priva di senso, viene mantenuta l'originale.
La Fusione: Infine, un modello di fusione super intelligente (come un editor senior) combina la risposta legale originale e la versione riscritta dal bibliotecario in un'unica risposta perfetta, di alta qualità, che sia sia fattualmente corretta che facile da comprendere per il bibliotecario.

Analogia: Invece di costringere il bibliotecario a leggere un secco contratto legale, gli dai un "foglio di trucchi" scritto in un linguaggio semplice, che contiene comunque tutti i fatti legali.

Fase 2: L' "Allenatore Ombra" (Distillazione Adattiva)

Ora il bibliotecario inizia a studiare usando questi nuovi e amichevoli fogli di trucchi. Ma ecco la parte magica:

Lo Scenario: Il bibliotecato prova a rispondere a una domanda da solo (generando una "traiettoria" o un percorso di pensieri).
L'Allenatore: L' originale bibliotecario (quello che sa tutto del mondo, non solo della legge) osserva questo processo.
L'Arma Segreta: L'Allenatore riceve il "foglio di trucchi perfetto" (della Fase 1) come riferimento. Quando lo studente-bibliotecario si blocca o esce fuori strada, l'Allenatore dice: "Ehi, basandoti sui fatti che conosciamo, ecco un modo migliore per formulare questo", ma lo fa con gentilezza.
L'Equilibrio: L'Allenatore non dice solo "Sbagliato". Utilizza una tecnica speciale (chiamata Top-K Temperature) per suggerire alcune buone opzioni invece di imporre un'unica risposta. Questo mantiene lo studente creativo e diversificato, non robotico.
Il Pilota Automatico: Il sistema regola automaticamente quanto ascoltare la "Legge" rispetto a quanto ascoltare l'allenatore della "Conoscenza Generale". Se lo studente si sta concentrando troppo sulla legge e dimenticando le abilità generali, l'allenatore alza automaticamente il volume della conoscenza generale.

Analogia: Immagina uno studente che impara a guidare un'auto da corsa (la Legge). Un insegnante standard si limita a urlare: "Gira a sinistra al semaforo rosso!" (forzando una mossa specifica). RAFT è come un istruttore di guida seduto sul sedile del passeggero, che tiene in mano la mappa e guida gentilmente lo studente: "Stai girando troppo velocemente, ricorda di controllare gli specchietti (abilità generali) mentre giri".

I Risultati

L'articolo ha testato questo metodo su tre diversi tipi di "bibliotecari" (modelli AI) attraverso cinque diversi argomenti (Legge, Scienza, Cultura, ecc.).

Migliore nel Lavoro: I bibliotecari addestrati con RAFT sono diventati il 23% più bravi a rispondere a domande di legge rispetto a quelli addestrati con il vecchio metodo.
Non ha dimenticato il resto: Fondamentalmente, non hanno perso le loro abilità generali. Nei test di ragionamento generale e di seguimento delle istruzioni, hanno recuperato il 18% e il 10% delle abilità che solitamente andrebbero perse.

In sintesi:
RAFT è un metodo di addestramento che prima traduce informazioni nuove e difficili in un linguaggio che l'IA già comprende, e poi usa un allenatore intelligente e adattivo per guidare il processo di apprendimento dell'IA. Ciò assicura che l'IA diventi uno specialista senza dimenticare come essere un generalista. Si tratta di insegnare a qualcuno un nuovo mestiere senza fargli dimenticare come essere una persona.

Riepilogo Tecnico: RAFT (Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting)

Definizione del Problema

Il fine-tuning supervisionato (SFT) specifico per un dominio è essenziale per adattare i Large Language Models (LLM) a compiti specializzati, ma spesso provoca il dimenticanza catastrofica (catastrophic forgetting), in cui le capacità generali del modello degradano significativamente. Gli autori identificano due lacune pratiche che guidano questo degrado:

Gap di Compatibilità della Supervisione: Le risposte ground-truth di dominio spesso differiscono per stile e formato di ragionamento rispetto alle risposte naturali del modello. Costringere il modello ad adattarsi a questi target divergenti causa spostamenti repentini dei parametri che sovrascrivono la conoscenza pre-addestrata.
Gap di Preservazione della Traiettoria: Lo SFT standard ottimizza per token target fissi senza vincolare il comportamento del modello sui propri prefissi generati. Questa mancanza di vincoli non riesce a preservare i pattern comportamentali originali del modello durante l'ottimizzazione.

I metodi esistenti affrontano tipicamente solo uno dei due lati del problema (ad esempio, il raffinamento dei dati tramite auto-distillazione o i vincoli di addestramento tramite regolarizzazione/divergenza KL), ma raramente entrambi, portando a compromessi subottimali tra l'adattamento al dominio e la ritenzione delle capacità generali.

Metodologia

RAFT propone un framework in due fasi che accoppia il raffinamento dei dati con la distillazione on-policy adattiva per affrontare simultaneamente entrambi i gap.

1. Distillazione Offline (Raffinamento dei Dati)

Questa fase costruisce una supervisione compatibile con il modello per ridurre il disallineamento della distribuzione tra la ground-truth e la distribuzione di output del modello.

Riscrittura Auto-Condizionata: Il modello istruito originale riscrive le risposte ground-truth ( $y_i$ ) condizionandole sulla risposta originale stessa ( $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ), adattando lo stile espressivo alla propria distribuzione pur preservando il contenuto fattuale.
Filtraggio Semantico: Per prevenire la deriva semantica, viene calcolata la similarità del coseno tra la risposta originale e quella riscritta. Le riscritture vengono accettate solo se superano una soglia $\tau$ ; altrimenti, viene mantenuta la risposta originale.
Selezione Ottimale Multi-Esperto: Per le riscritture accettate, un modello di fusione più forte (ad esempio, Qwen3-3B) combina le risposte originale e riscritta. Diversi modelli judge valutano l'output fuso rispetto alla coerenza con la risposta originale, e il risultato con il punteggio più alto viene selezionato come risposta raffinata finale ( $\hat{y}_i$ ).

2. Distillazione On-Policy Adattiva (Ottimizzazione dell'Addestramento)

Questa fase addestra il modello utilizzando il dataset raffinato, preservando esplicitamente le capacità generali attraverso vincoli di distillazione.

Distillazione On-Policy Condizionata dalla Risposta: Il modello studente genera traiettorie ( $z_i$ ) in modo autoregressivo. Il modello istruito originale funge da insegnante, fornendo target "soft". Fondamentalmente, l'insegnante è condizionato dalla risposta fusa ( $\hat{y}_i$ ) come contesto aggiuntivo, permettendogli di fornire una guida più informativa sulla traiettoria generata dallo studente.
Distillazione della Temperatura Top-K: Per prevenire l'over-smoothing e mantenere la diversità dell'output, la divergenza KL è calcolata solo sui top- $K$ token della distribuzione dell'insegnante, scalata da un parametro di temperatura $T$ .
Bilanciamento Adattivo Basato su EMA: Invece di iperparametri fissi, un meccanismo di Media Mobile Esponenziale (EMA) regola dinamicamente il peso ( $\lambda$ ) tra la perdita SFT (cross-entropy) e la perdita di distillazione (divergenza KL). Ciò assicura che i due obiettivi rimangano bilanciati durante l'addestramento senza una regolazione manuale.

Contributi Chiave

Identificazione del Problema: Il paper individua l'accoppiamento tra il disallineamento della distribuzione della supervisione e la mancanza di vincoli espliciti di preservazione della traiettoria come le cause profonde del dimenticanza nel domain SFT.
Strategia di Distillazione Offline: Introduzione di una pipeline che utilizza il filtraggio per similarità del coseno e la fusione multi-modello per generare dati di supervisione di alta qualità e coerenti con la distribuzione.
Distillazione On-Policy Adattiva: Un nuovo obiettivo di addestramento che combina la Distillazione On-Policy Condizionata dalla Risposta, la scalatura della temperatura Top-K e il bilanciamento della perdita basato su EMA.
Validazione Empirica: Dimostrazione che l'accoppiamento del raffinamento dei dati con la preservazione a livello di traiettoria mitiga efficacemente il dimenticanza migliorando al contempo le prestazioni nel dominio.

Risultati Sperimentali

RAFT è stato valutato su tre backbone istruiti (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) attraverso cinque domini (Business, Legge, Scienza, Cultura, Web).

Prestazioni nel Dominio: RAFT ha migliorato la precisione media nel dominio (D-Acc) del 23,2% rispetto allo SFT standard.
Ritenzione delle Capacità Generali: RAFT ha recuperato parti significative del degrado causato dallo SFT:
- MS-Bench (QA soggettiva): Migliorato del 18,2% rispetto allo SFT.
- IFEval (seguimento delle istruzioni): Migliorato del 10,2% rispetto allo SFT.
Studi di Ablazione:
- Fusione dei Dati: L'uso dei soli dati fusi ha migliorato la D-Acc e le metriche generali rispetto ai dati originali, confermando il valore dell'adattamento dello stile.
- Distillazione: L'aggiunta della distillazione on-policy adattiva allo SFT su dati fusi ha fornito ulteriori guadagni sostanziali sia nella precisione del dominio che nelle capacità generali.
- Bilanciamento Adattivo: La strategia basata su EMA ha superato i coefficienti KL fissi, che o sopprimevano l'adattamento al dominio o non riuscivano a preservare le capacità generali.
Analisi dei Parametri: Le prestazioni ottimali sono state riscontrate con una soglia di similarità del coseno $\tau=0,8$ , temperatura $T=1,5$ e Top- $K=512$ .

Significato e Rivendicazioni

Il paper sostiene che RAFT fornisca una "ricetta" efficace per il fine-tuning di dominio con dimenticanza alleviata. Trattando il raffinamento dei dati e i vincoli di addestramento come problemi accoppiati piuttosto che indipendenti, il framework permette ai modelli di acquisire conoscenze specifiche del dominio senza sovrascrivere le capacità generali pre-addestrate.

Gli autori sottolineano che il loro approccio trasforma il modello insegnante da un "ancoraggio conservativo" a una "guida consapevole del target". I risultati suggeriscono che l'accoppiamento di una supervisione compatibile con la preservazione a livello di traiettoria sia una soluzione pratica al compromesso tra specializzazione e generalizzazione nei LLM. Il paper rimane modesto riguardo alla scalabilità, notando che le valutazioni sono state limitate a modelli di piccola scala e domini specifici, e che le prestazioni su modelli più grandi o compiti specializzati (es. generazione di codice) richiedono ulteriori indagini.