Riepilogo Tecnico: DUET – Ottimizzazione delle Miscele di Dati di Addestramento per LLM tramite Feedback Rumorso da Compiti di Valutazione Non Visti

1. Enunciato del Problema

Le prestazioni dei Large Language Models (LLM) dipendono fortemente dall'allineamento tra il dominio dei dati di addestramento e il compito di valutazione a valle. Tuttavia, in molti scenari pratici di distribuzione, la specifica distribuzione dei dati, il dominio o le etichette del compito di valutazione sono sconosciuti. Questo è definito come il setting del compito di valutazione non visto.

Esempi comuni includono:

• Conversazioni crittografate end-to-end: I proprietari degli LLM non possono accedere ai dati reali delle conversazioni utente-chatbot a causa di vincoli sulla privacy (ad esempio, politiche sulla privacy aziendali), ma possono osservare feedback grezzi come le valutazioni degli utenti o la durata della sessione.
• Marketplace di modelli: Un proprietario di un modello vende un modello a un consumatore che fornisce feedback sulle prestazioni senza condividere i dati sensibili di valutazione utilizzati dal consumatore.

In questi contesti, il proprietario riceve solo feedback grezzo e rumoroso (ad esempio, valutazioni, tempo di completamento del compito) piuttosto che informazioni dettagliate sui dati (gradienti, etichette o distribuzioni). I metodi esistenti di miscelazione dei dati (ad esempio, DoReMi, BiMix) e le tecniche di selezione dei dati (ad esempio, LESS, coresets) richiedono tipicamente l'accesso a dati di valutazione dettagliati o assumono che la distribuzione di addestramento corrisponda alla distribuzione del compito. Di conseguenza, falliscono o performano in modo subottimale quando applicati direttamente a contesti in cui i dati di valutazione sono inaccessibili. La sfida centrale è: Come si può ottimizzare efficientemente la miscela di dati di addestramento di un LLM utilizzando solo più round di feedback rumoroso da un compito non visto?

2. Metodologia: DUET

Il documento propone DUET (Ottimizzazione delle Miscele di Dati di Addestramento per LLM tramite Feedback Rumorso da Compiti di Valutazione Non Visti), un nuovo algoritmo globale-locale che interseca la selezione dei dati con l'Ottimizzazione Bayesiana (BO).

2.1 Riparametrizzazione del Problema

Gli autori riparametrizzano il problema di ottimizzazione. Invece di cercare direttamente l'insieme ottimale di punti dati $X^*$, cercano il rapporto di miscelazione ottimale $r \in \mathbb{R}^n$ attraverso $n$ domini di dati di addestramento. Il problema è formulato come un'ottimizzazione a due livelli:

• Livello Esterno (Globale): Trovare il rapporto di miscelazione ottimale $r$ che minimizza la perdita del compito di valutazione non visto.
• Livello Interno (Locale): Per un dato rapporto $r$, trovare il sottoinsieme di alta qualità di dati $X \in S_r$ (dove $S_r$ è l'insieme delle miscele di dati che soddisfano il rapporto $r$) che minimizza la perdita.

2.2 Il Ciclo Interno: Selezione dei Dati

Per risolvere il problema interno, DUET impiega una strategia di selezione dei dati per recuperare punti dati di alta qualità da ciascun dominio secondo il rapporto proposto $r$.

• Funzioni di Influenza (IF): Il documento utilizza principalmente le Funzioni di Influenza come meccanismo di selezione. Per ciascun dominio, viene fine-tunato un LLM separato e vengono calcolati i punteggi IF per ogni punto dati rispetto a un insieme di validazione.
• Campionamento Ponderato IF: Invece di un campionamento casuale uniforme, DUET esegue un campionamento ponderato in cui la probabilità di selezionare un punto dati è proporzionale al suo punteggio IF. Questo sposta la selezione verso punti dati che sono più "influenti" nella riduzione della perdita del modello.
• Stimatore: La soluzione del problema interno è stimata addestrando un LLM sulla miscela selezionata e valutandolo sul compito non visto. Gli autori caratterizzano teoricamente la distribuzione di questo stimatore, mostrando che il campionamento guidato da IF riduce la varianza e il bias rispetto al campionamento casuale uniforme.

2.3 Il Ciclo Esterno: Ottimizzazione Bayesiana

Il ciclo esterno utilizza l'Ottimizzazione Bayesiana per rifinire iterativamente il rapporto di miscelazione $r$.

• Obiettivo Black-Box: La funzione $f(r)$ rappresenta la perdita del compito non visto per un dato rapporto $r$. Poiché questa perdita è ottenuta tramite lo stimatore rumoroso del ciclo interno, $f(r)$ è trattata come una funzione black-box con osservazioni rumorose.
• Processo Gaussiano (GP): DUET modella $f(r)$ utilizzando un prior GP.
• Funzione di Acquisto: Ad ogni iterazione $t$, DUET propone un nuovo rapporto di miscelazione $r_t$ minimizzando la funzione di acquisto del Limite Inferiore di Confidenza (LCB), bilanciando esplorazione e sfruttamento.
• Loop di Feedback: Il rapporto proposto $r_t$ viene utilizzato per campionare i dati, addestrare/fine-tunare l'LLM e osservare il feedback rumoroso. Questa osservazione viene aggiunta alla cronologia per aggiornare il posterior del GP, e il processo si ripete per $T$ iterazioni.

2.4 Flusso dell'Algoritmo

1. Inizializzazione: Pre-calcolare i punteggi IF per tutti i punti dati nei domini di addestramento. Inizializzare la BO con miscele di dati casuali.
2. Iterazione:
   • La BO propone un rapporto di miscelazione $r_t$.
   • Eseguire il campionamento ponderato IF per generare una miscela di dati $X_t$ che soddisfi $r_t$.
   • Fine-tunare l'LLM su $X_t$ e osservare il feedback rumoroso (perdita di valutazione) dal compito non visto.
   • Aggiornare il posterior del GP con $(r_t, \text{feedback})$.
3. Terminazione: Dopo $T$ iterazioni, restituire la miscela di dati con le prestazioni migliori osservata.

3. Contributi Chiave

1. Nuovo Setting del Problema: Il documento definisce un setting realistico in cui i dati di valutazione sono sconosciuti (compito non visto) ma è disponibile un feedback grezzo e rumoroso, distinguendosi dai compiti standard di adattamento di dominio o di generalizzazione.
2. Algoritmo DUET: Introduzione di un framework globale-locale che interseca la selezione dei dati (nello specifico il campionamento guidato da IF) con l'Ottimizzazione Bayesiana per ottimizzare le miscele di dati senza dati dettagliati del compito.
3. Garanzie Teoriche: Gli autori forniscono un'analisi teorica della convergenza di DUET limitando il rimorso cumulativo. Dimostrano che DUET converge alla miscela di dati di addestramento ottimale anche con feedback rumoroso, a condizione che il numero di iterazioni BO aumenti.
4. Validazione Empirica: Esperimenti estensivi dimostrano che DUET supera le basi esistenti di miscelazione dei dati (DoReMi, Aioli) e di selezione (LESS) sia in contesti di compiti non visti in-domain che out-of-domain.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando Llama-3-8b-Instruct e Qwen2.5-7B-Instruct fine-tunati tramite PEFT (LoRA).

• Dataset: 9 domini di addestramento (ad esempio, Wikitext, GSM8K, PubMedQA, TruthfulQA) e vari compiti di valutazione non visti (alcuni in-domain, altri out-of-domain).
• Basi di Confronto: Confronto contro DoReMi, LESS, Aioli, BO Multi-fidelity e approcci ingenui (miscelazione uniforme, ricerca casuale).
• Prestazioni:
  • DUET ha costantemente ottenuto punteggi di prestazione più elevati su tutti i compiti di valutazione rispetto alle basi di confronto.
  • Nei compiti in-domain (ad esempio, TruthfulQA), DUET ha identificato con successo e ha pesato fortemente il dominio di addestramento rilevante.
  • Nei compiti out-of-domain (ad esempio, GSM8K senza dati di addestramento GSM8K), DUET ha sfruttato efficacemente il feedback per trovare domini proxy rilevanti (ad esempio, Wikitext, SciQ), superando i metodi che non potevano adattarsi al feedback.
• Studi di Ablazione:
  • Selezione dei Dati: DUET con campionamento guidato da IF (DUET-IF) ha superato DUET con campionamento casuale uniforme (DUET-UR) e altri metodi di selezione come LESS e log-determinante.
  • Dimensione del Campionamento ($k$): Aumentare il numero di campioni $k$ nel ciclo interno ha migliorato le prestazioni, sebbene $k=1$ fosse sufficiente per battere le basi di confronto.
  • Componenti: Sia il componente BO che il componente di selezione dei dati sono stati dimostrati necessari per prestazioni ottimali.

5. Significato e Affermazioni

Il documento afferma che DUET è il primo lavoro a intersecare la selezione dei dati con l'Ottimizzazione Bayesiana per ottimizzare iterativamente le miscele di dati di addestramento basandosi sul feedback da un compito di valutazione non visto.

• Rilevanza Pratica: Affronta un divario critico nella distribuzione degli LLM in cui la privacy o la proprietà dei dati impediscono l'accesso ai dati di valutazione, pur desiderando un miglioramento iterativo.
• Efficienza: Utilizzando la BO, il metodo è efficiente nei campioni, richiedendo meno round di addestramento/fine-tuning rispetto all'enumerazione brute-force delle miscele di dati.
• Flessibilità: Il framework è sufficientemente flessibile da incorporare diversi metodi di selezione dei dati (IF, LESS, coresets) a seconda del budget computazionale, sebbene IF si dimostri il più efficace nel loro setting.
• Solidità Teorica: L'analisi di convergenza fornisce una base teorica per il funzionamento dell'algoritmo nonostante il rumore e la mancanza di dati dettagliati.

Gli autori notano che, sebbene il focus attuale sia sul fine-tuning, l'approccio è teoricamente adattabile al pre-addestramento, sebbene non affermino di aver risolto l'ottimizzazione del pre-addestramento in questo lavoro. Riconoscono inoltre che il calcolo dei punteggi IF può essere computazionalmente intensivo, ma suggeriscono il pre-calcolo e i modelli surrogato come mitigazioni pratiche.