Riepilogo Tecnico: Mix di Dati o Fusione di Modelli? Bilanciare l'Utilità, l'Onestà e l'Innocuità dei Large Language Model tramite il Model Merging

Definizione del Problema

Il dispiegamento affidabile dei Large Language Models (LLM) richiede un'ottimizzazione bilanciata tra tre dimensioni critiche: Utilità (risposte accurate e allineate al compito), Onestà (evitare allucinazioni) e Innocuità (prevenire output tossici), collettivamente denominate ottimizzazione 3H. Sebbene le tecniche di allineamento esistenti come il Reinforcement Learning from Human Feedback (RLHF) e il Direct Preference Optimization (DPO) abbiano migliorato singoli aspetti, raggiungere un equilibrio simultaneo rimane una sfida significativa a causa di intrinseci trade-off; ad esempio, ottimizzare l'utilità può inavvertitamente generare contenuti dannosi, mentre l'allineamento dell'innocuità può portare a risposte disoneste.

Gli approcci tradizionali per risolvere questi conflitti si affidano a strategie di miscelazione dei dati (data mixture), che combinano dataset diversificati per perfezionare un singolo modello. Tuttavia, questi metodi presentano limitazioni, tra cui la forte dipendenza dalla conoscenza esperta per la cura dei dati, elevati costi computazionali e la difficoltà di gestire segnali di ottimizzazione conflittuali durante il fine-tuning. Sebbene il model merging (integrazione dei parametri di modelli specializzati) offra un'alternativa più economica a livello di parametri per mitigare il catastrophic forgetting e bilanciare gli obiettivi, la sua specifica efficacia e i suoi limiti per l'ottimizzazione 3H sono rimasti ampiamente inesplorati. Le sfide chiave in questo dominio includono l'accumulo di rumore delle preferenze (dove la fusione di più modelli allineati introduce aggiornamenti di peso outlier che oscurano le vere direzioni del compito) e l'adattamento della sparsità degli strati (il fallimento dei metodi esistenti nel considerare i diversi pattern di sparsità attraverso i differenti strati di un LLM).

Metodologia

Benchmarking e Analisi

Gli autori hanno prima stabilito un benchmark completo per confrontare sistematicamente le tecniche di data mixture e model merging per l'ottimizzazione 3H. Ciò ha comportato:

• Dataset: 10 dataset di preferenza che coprono 5 dimensioni di annotazione (Utilità, Onestà, Innocuità e le loro combinazioni).
• Baseline: 15 metodi rappresentativi, inclusi 12 strategie di model merging senza addestramento (es. Weight Average, Task Arithmetic, TIES, DARE, TSVM) e 3 strategie di data mixture (Heuristic, ArmoRM, Hummer).
• Modelli: Due famiglie di LLM istruiti (Llama-3-8B e Mistral-7B) sia in impostazioni di ottimizzazione statica (singolo stadio) che continua (multi-stadio).

Attraverso questo benchmark, gli autori hanno rivelato relazioni collaborative e conflittuali precedentemente trascurate tra le dimensioni 3H. In particolare, hanno scoperto che mentre l'addestramento "Utile" beneficia simultaneamente di tutte le dimensioni 3H, l'addestramento "Onesto" e quello "Innocuo" spesso si indeboliscono a vicenda.

Metodo Proposto: RESM

Per affrontare le specifiche sfide del rumore delle preferenze e della sparsità degli strati nella fusione multi-obiettivo, il paper propone il Reweighting Enhanced task Singular Merging (RESM). Questo metodo si basa sulla fusione Task Singular Vector (TSV) ma introduce due meccanismi innovativi:

1. Pesatura Consapevole degli Outlier (per affrontare il Rumore delle Preferenze):

   • Riconoscendo che la fusione di più modelli allineati accumula rumore di preferenza, RESM impiega un meccanismo di filtraggio della significatività statistica basato sul principio 3σ.
   • Calcola la media ($\mu$) e la deviazione standard ($\sigma$) riga per riga delle deviazioni di peso ($\Delta$) per ogni strato.
   • Una funzione di soglia sopprime le fluttuazioni di bassa entità (rumore) e mantiene solo le deviazioni statisticamente significative.
   • Un peso di aggregazione ($\alpha$) viene calcolato tramite la normalizzazione L1 di queste magnitudo sparse, garantendo contributi bilanciati da diversi compiti e impedendo che gli aggiornamenti ad alta magnitudo dominino la fusione.

2. Selezione del Rank Adattiva alla Sparsità (per affrontare la Sparsità degli Strati):

   • I metodi convenzionali utilizzano una soglia di selezione del rank uniforme ($k$) in tutti gli strati, il che non tiene conto dell'eterogeneità dell'importanza dei parametri.
   • RESM determina dinamicamente il rank ($k_l$) per ogni strato in base al suo consenso di sparsità ($\Omega_l$).
   • La sparsità è calcolata contando la proporzione di deviazioni dei parametri al di sotto di una piccola soglia $\epsilon$.
   • Il rank dinamico è definito come $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$, dove $d_l$ è la dimensione dello strato. Ciò consente di mantenere un rank più elevato negli strati sparsi (preservando le caratteristiche direzionali critiche) e una riduzione dimensionale più forte nei livelli densi (sopprimendo il rumore).

Lo strato fuso finale viene calcolato integrando i vettori singolari ripesati:
$$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$$

Risultati Chiave

Confronto delle Prestazioni

Valutazioni estese sui modelli Llama-3 e Mistral dimostrano che il model merging generalmente supera i metodi di data mixture nel raggiungere un'ottimizzazione 3H bilanciata:

• Ottimizzazione Statica: Su Llama-3, il miglior metodo di data mixture (Hummer) ha ottenuto un guadagno normalizzato del 10,16%. Al contrario, i metodi di model merging hanno costantemente superato questo risultato, con il RESM proposto che raggiunge un guadagno del 14,97%. TSVM (la baseline di RESM) ha raggiunto il 13,00%.
• Risultati su Mistral: Sono stati osservati trend simili, con RESM che ottiene un guadagno del 3,36% rispetto alla baseline, superando il miglior metodo di data mixture (1,53%).
• Stabilità: A differenza dei metodi di sparsificazione casuale (es. DARE, DELLA) che hanno mostrato prestazioni instabili tra diversi seed casuali, RESM ha dimostrato risultati robusti e coerenti grazie al suo approccio basato su SVD e alle strategie adattive.

Studi di Ablazione

Gli studi di ablazione hanno confermato la necessità di entrambi i componenti in RESM:

• Rimuovendo la pesatura degli outlier, il guadagno normalizzato su Llama-3 è sceso dal 14,97% al 13,60%.
• Rimuovendo la selezione del rank adattiva, il guadagno è sceso al 13,71%.
• La combinazione di entrambe le strategie ha prodotto le prestazioni più elevate, validando che affrontare sia l'accumulo di rumore che la sparsità degli strati è fondamentale.

Ottimizzazione Continua

Nelle impostazioni di addestramento DPO continua (che simulano scenari reali con dati sequenziali), RESM mantiene prestazioni superiori rispetto ai modelli dell'ultimo stadio. Gli autori hanno osservato che gli effetti del catastrophic forgetting paradossalmente hanno potenziato l'allineamento 3H attraverso l'ottimizzazione interattiva, e la strategia di RESM di fondere partendo da un checkpoint fondamentale (anziché da quelli intermedi) ha mitigato efficacemente l'overfitting sugli obiettivi precedenti.

Significato e Rivendicazioni

Il paper sostiene di fornire il primo benchmark sistematico che confronta la miscelazione dei dati e il model merging per l'ottimizzazione 3H. I suoi principali contributi sono:

1. Approfondimenti Empirici: Rivela che il model merging offre un paradigma di ottimizzazione a fasi che negozia efficacemente gli obiettivi di allineamento competitivi, superando spesso le strategie di data mixture che faticano con i segnali conflittuali.
2. Avanzamento Metodologico: L'algoritmo RESM proposto affronta ostacoli tecnici specifici del merging di LLM — il rumore delle preferenze e la sparsità degli strati — attraverso la pesatura degli outlier e la selezione del rank adattiva, raggiungendo un allineamento bilanciato allo stato dell'arte senza richiedere ulteriori dati di addestramento.
3. Fondazione Teorica: Il lavoro fornisce limiti teorici sulla probabilità di conflitto, dimostrando che la selezione del rank adattiva riduce la probabilità di conflitti direzionali tra i vettori di compito rispetto agli approcci a rank fisso.

Gli autori concludono che il model merging, in particolare se potenziato con strategie di ripesatura e consapevolezza della sparsità, rappresenta una via percorribile ed efficiente per la costruzione di LLM allineati a più obiettivi e con vincoli etici. Evidenziano che, sebbene RESM migliori significativamente l'Onestà e l'Innocuità, la dimensione dell' "Utilità" presenta ancora delle sfide a causa dei conflitti intra-dimensione, suggerendo la necessità di futuri framework di risoluzione dei conflitti gerarchici.