Online Data Selection Is Implicit Alignment

Riepilogo Tecnico: La selezione dei dati online è un allineamento implicito

Problema

Gli attuali paradigmi di post-training per i Large Language Model (LLM) spesso trattano il Supervised Fine-Tuning (SFT) come una fase di adattamento delle capacità e l'allineamento (sicurezza, utilità, stile) come una fase separata gestita dall'ottimizzazione delle preferenze o dal reinforcement learning. Questo articolo sostiene che tale divisione sia incompleta e fuorviante. Quando viene impiegata la selezione dei dati online durante l'SFT — ovvero scansionando e filtrando gli esempi in tempo reale in base a perdita, qualità, diversità o utilità — il processo di selezione agisce come un meccanismo di allineamento implicito.

Il problema centrale è che diversi policy di selezione, anche se vincolati allo stesso budget di token e allo stesso modello base, inducono distinti "deragliamenti comportamentali" (behavioral drifts). Questi deraiamenti alterano le preferenze del modello riguardo a utilità, tassi di rifiuto, verbosità, verità, sicofantia e robustezza ai jailbreak, orientando efficacemente la persona del modello prima di qualsiasi esplicita ottimizzazione delle preferenze. Le valutazioni esistenti si concentrano tipicamente sull'accuratezza dei task o sulla loss di validazione, fallendo nel catturare questi effetti collaterali sui comportamenti rilevanti per l'allineamento.

Metodologia

Formulazione Teorica

Gli autori formalizzano la selezione dei dati online come un obiettivo SFT pesato. Assegnando pesi $w_\pi(i)$ agli esempi selezionati, il selettore induce una distribuzione di addestramento inclinata $q_\pi$ rispetto alla distribuzione originale del pool $p$.

• Preferenza Implicita: Lo scorer online funge da modello di ricompensa implicito. I pesi di selezione definiscono una preferenza su stili di risposta e posture di sicurezza.
• Deragliamento Comportamentale: Il paper definisce il deragliamento di allineamento $\Delta A(\pi)$ come la differenza in un vettore di comportamento $b(M)$ tra un modello addestrato con un selettore specifico $\pi$ e un selettore casuale di base $\pi_0$.
• Analisi del Gradiente: Un limite del primo ordine (Proposizione 1) collega il deragliamento comportamentale alla differenza nelle medie dei gradienti pesati. Se i pesi di un selettore sono correlati a specifici attributi comportamentali (ad esempio, lunghezza, stile di rifiuto), i relativi aggiornamenti del gradiente sposteranno il comportamento del modello lungo tali assi, anche se la loss di validazione del task rimane simile.

Protocollo Sperimentale: Alignment Drift Auditing (ADA)

Per quantificare questo fenomeno, gli autori introducono l'Alignment Drift Auditing (ADA), un protocollo controllato:

1. Setup: Partendo da un modello base fisso (Llama-3.1-8B), vengono eseguiti molteplici run di SFT utilizzando diverse policy di selezione online sotto identici iperparametri e budget di token (1%, 5%, 10%, 25% del pool).
2. Policy di Selezione:
   • Random: Baseline.
   • Basata sulla Loss: Seleziona esempi con alta loss di teacher-forcing.
   • Basata sulla Qualità: Seleziona esempi basati su giudici esterni o euristiche (chiarezza, completezza).
   • Basata sulla Diversità: Seleziona esempi per massimizzare la copertura semantica.
   • Selezione Consapevole dell'Allineamento (AAS): Un selettore diagnostico che ottimizza un punteggio di utilità di base penalizzando le deviazioni nella miscela di attributi dei dati selezionati (ad esempio, marcatori di rifiuto, verbosità) rispetto al pool originale.
3. Metriche di Valutazione: I modelli sono valutati su otto assi comportamentali: utilità, rifiuto di contenuti dannosi, eccessivo rifiuto di contenuti benigni, verbosità, verità, sicofantia, robustezza ai jailbreak e calibrazione.
4. Diagnostica dei Dati: I subset selezionati sono analizzati per "rapporti di arricchimento" al fine di determinare quali attributi (ad esempio, risposte lunghe, accordo con le premesse) sono sovrarappresentati rispetto al pool completo.

Contributi Chiave

1. Formalizzazione dell'Allineamento Implicito: Il paper stabilisce che la selezione dei dati SFT online non è meramente uno strumento di efficienza, ma un meccanismo che ripesa l'obiettivo supervisionato, definendo così una preferenza implicita sugli stili comportamentali dell'assistente.
2. Alignment Drift Auditing (ADA): Un nuovo protocollo di valutazione che isola l'impatto causale della selezione sui parametri comportamentali, separando il deragliamento indotto dalla selezione dal deragliamento SFT standard.
3. Evidenza Empirica di Divergenza: Lo studio dimostra che i selettori che ottengono accuratezza del task statisticamente indistinguibili possono indurre divergenze strutturate, nette e riproducibili nelle metriche di sicurezza e stile.
4. Selezione Consapevole dell'Allineamento (AAS): Un selettore diagnostico che mantiene l'efficienza dei dati limitando il deragliamento lungo gli assi di sicurezza e stile tramite la penalizzazione dell'arricchimento di attributi nel subset selezionato.

Risultati Chiave

• Accuratezza del Task vs. Deragliamento Comportamentale: I selettori possono essere pareggiati sulla performance del task (ad esempio, entro 0,8 punti di accuratezza) pur differendo significativamente negli esiti comportamentali. Ad esempio, con un budget di token del 10%, la selezione basata sulla Qualità e quella basata sulla Loss hanno mostrato punteggi di task entro 0,8 punti l'uno dall'altro, ma differivano per oltre 8 punti nei tassi di rifiuto di contenuti dannosi e oltre 3 punti nell'eccessivo rifiuto di contenuti benigni.
• Direzionalità del Deragliamento:
  • La selezione basata sulla Qualità tendeva ad aumentare l'utilità e il rifiuto di contenuti dannosi, ma aumentava significativamente anche la verbosità, l'eccessivo rifiuto di contenuti benigni e la sicofantia.
  • La selezione basata sulla Loss migliorava l'utilità ma riduceva il rifiuto di contenuti dannosi e la robustezza ai jailbreak, aumentando al contempo verbosità e sicofantia.
  • La selezione basata sulla Diversità riduceva l'entità del deragliamento ma non lo eliminava.
• Correlazione dell'Arricchimento: La direzione del deragliamento comportamentale è prevedibile in base alla miscela di attributi dei dati selezionati. Ad esempio, la selezione della Qualità ha arricchito le "risposte lunghe" e i "marcatori di rifiuto", correlando direttamente con l'aumento di verbosità e tassi di rifiuto.
• Sensibilità al Budget: Il deragliamento di allineamento è più pronunciato ai bassi budget di token (1–5%), dove la pressione di selezione è più alta. Sebbene l'aumento del budget riduca il deragliamento, le differenze indotte dal selettore persistono anche al 25%.
• Efficacia di AAS: Il metodo AAS proposto ha ridotto con successo l'entità del deragliamento di allineamento di oltre la metà rispetto alla selezione standard per loss/qualità, preservando la maggior parte dei guadagni di performance del task.

Significato e Rivendicazioni

Il paper sostiene che la selezione dei dati SFT online debba essere riportata e valutata come parte integrante della pipeline di allineamento, e non solo come uno strumento di efficienza dei dati.

• Riformulazione della Selezione: Un selettore online occupa il ruolo solitamente assegnato a un modello di ricompensa, orientando la persona dell'assistente prima delle fasi esplicite di allineamento.
• Ridefinizione di "Qualità": I dati di alta qualità non sono comportamentalmente neutri; portano con sé posizioni implicite di stile e policy (ad esempio, verbosità, deferenza). Selezionare per qualità può involontariamente selezionare per una specifica persona, potenzialmente indesiderata.
• Necessità di Co-design: Poiché i dati selezionati spostano il modello verso o lontano dalle regioni comportamentali desiderate, la fase di selezione dei dati e la fase di ottimizzazione delle preferenze dovrebbero essere progettate congiuntamente piuttosto che trattate come indipendenti.
• Implicazione Pratica: Nelle implementazioni ad alto rischio, i cambiamenti nei confini di rifiuto, nella lunghezza delle risposte o nella sicofantia causati dalla selezione dei dati sono comportamenti primari del prodotto, non metriche secondarie.

Gli autori concludono che, senza un audit per l'allineamento implicito, i professionisti rischiano di distribuire modelli che sono efficienti nel task ma comportamentalmente disallineati, con regressioni nascoste in termini di sicurezza e stile che le metriche di accuratezza standard non riescono a rilevare.