Sintesi Tecnica: DynaCF – Mitigare l'Apprendimento di Scorciatoie nei Modelli di Ricompensa tramite la Sensibilità Controfattuale Dinamica

1. Definizione del Problema

I modelli di ricompensa (RM) sono centrali per l'allineamento dei Large Language Models (LLM) con le preferenze umane, tipicamente addestrati su dati di preferenza a coppie utilizzando l'obiettivo di Bradley–Terry. Tuttavia, questi modelli spesso sfruttano l'apprendimento di scorciatoie (shortcut learning), facendo affidamento su indizi superficiali (ad esempio, lunghezza della risposta, formattazione, verbosità o espressioni tipiche di un template) piuttosto che sulla reale qualità rilevante per il compito.

Una sfida critica identificata è che il rischio di scorciatoia non è una proprietà statica del dataset. Una coppia di preferenza può apparire innocua inizialmente, ma può diventare sensibile alle scorciatoie se il confine decisionale del modello si basa pesantemente su caratteristiche superficiali per mantenere il proprio margine di ricompensa. Al contrario, un campione che sembra fare affidamento su scorciatoie potrebbe essere robusto se la preferenza del modello rimane stabile quando tali proprietà superficiali vengono neutralizzate. Le strategie di mitigazione esistenti spesso si affidano a euristiche statiche o a caratteristiche superficiali predefinite, fallendo nel considerare la natura dinamica di come un modello specifico apprenda le scorciatoie durante le diverse fasi di addestramento.

2. Metodologia: DynaCF

Gli autori propongono DynaCF (Dynamic Counterfactual Sensitivity), un framework che diagnostica e ripesa dinamicamente i campioni di addestramento in base alla sensibilità dell'attuale modello di ricompensa alle perturbazioni superficiali.

Meccanismo Core

DynaCF opera costruendo varianti controfattuali che preservano la semantica della risposta "scelta" ($y^+$), mantenendo fissi il prompt ($x$) e la risposta "scartata" ($y^-$). Queste varianti neutralizzano le proprietà superficiali (formattazione, tono, lunghezza) senza alterare il contenuto centrale rilevante per il compito.

Il processo prevede tre fasi principali:

1. Costruzione Controfattuale:

   • Per ogni campione, il sistema genera controfattuali validi ($y^{cf}_{i,k}$) utilizzando regole basate sul dominio (ad esempio, rimozione di intestazioni Markdown, neutralizzazione del tono, accorciamento della verbosità).
   • Controlli rigorosi di validità assicurano che il controfattuale preservi il contenuto semantico principale (tramite soglie di sovrapposizione dei token) e, per i domini matematici/codice, mantenga tutti i numeri e le strutture logiche.

2. Diagnosi di Sensibilità:

   • L'attuale modello di ricompensa $R_\theta$ valuta sia la coppia originale che le coppie controfattuali.
   • Il sistema calcola il margine di ricompensa ($m$) per le coppie originali e controfattuali.
   • Punteggio di Sensibilità ($s_{cf,i}$): Calcolato in base all'entità dello spostamento del margine ($\Delta$) e alla frequenza di inversioni di preferenza (dove la risposta scelta controfattuale riceve una ricompensa inferiore rispetto alla risposta scartata).
   • Un alto punteggio di sensibilità indica che la preferenza del modello è instabile ed è probabilmente guidata da indizi superficiali piuttosto che dalla vera qualità.

3. Ripesatura Dinamica:

   • Invece di eliminare i campioni o trattare i controfattuali come nuovi etichette, DynaCF converte il punteggio di sensibilità in un peso del campione locale al passo ($w_i$) per la perdita di Bradley–Terry originale.
   • Il peso è definito come $w_i(t) = \max(w_{min}, 1 - \gamma \cdot s_{cf,i}(t))$, dove $\gamma$ controlla la forza della riduzione del peso e $w_{min}$ impedisce la rimozione completa.
   • I campioni con alta sensibilità alle scorciatoie vengono declassati, riducendo la loro influenza sugli aggiornamenti del gradiente, mentre i campioni a bassa sensibilità mantengono il peso pieno.
   • Questo processo viene eseguito online durante l'ottimizzazione, permettendo ai pesi di adattarsi man mano che il comportamento del modello evolve.

3. Contributi Chiave

• Diagnosi Dinamica: Il documento introduce un metodo per diagnosticare dinamicamente l'affidamento alle scorciatoie durante l'addestramento, riconoscendo che la sensibilità alle scorciatoie è dipendente dal modello e dalla fase, piuttosto che una proprietà statica del dataset.
• Probing Controfattuale: Utilizza controfattuali che preservano la semantica come sonde diagnostiche per misurare la stabilità dei margini di ricompensa sotto perturbazioni puramente superficiali.
• Framework di Ripesatura: DynaCF propone una nuova strategia di ripesatura che sopprime gli aggiornamenti dai campioni sensibili alle scorciatoie senza scartare i dati o alterare la distribuzione delle preferenze.
• Validazione Empirica: Il framework è validato attraverso molteplici benchmark (RM-Bench, RewardBench, RewardBench2) e scale di modello (Qwen3-4B e Qwen3-8B).

4. Risultati Sperimentali

Gli esperimenti dimostrano che DynaCF migliora costantemente la robustezza dei modelli di ricompensa rispetto all'addestramento standard di Bradley–Terry:

• Ragionamento Difficile e Sicurezza: I guadagni più significativi si osservano nelle divisioni "Hard" (difficili) e nelle valutazioni critiche per la sicurezza, dove gli indizi superficiali sono scarsi indicatori di qualità.
  • Su RM-Bench Hard, DynaCF ha migliorato Qwen3-4B di +8.7 punti (41.3% $\to$ 50.0%) e Qwen3-8B di +4.6 punti (49.8% $\to$ 54.4%).
  • Sui parametri di Sicurezza (Safety), Qwen3-4B ha registrato guadagni di +8.2 su RM-Bench e +4.0 su RewardBench.
• Scala del Modello: I modelli più piccoli (Qwen3-4B) hanno beneficiato in modo più costante in tutti i benchmark, suggerendo che sono più vulnerabili all'apprendimento di scorciatoie e quindi traggono maggior vantaggio dalla ripesatura dinamica.
• Studi di Ablazione:
  • Dinamico vs. Statico: I punteggi di sensibilità statici calcolati prima dell'addestramento hanno performato peggio rispetto al baseline, confermando che le stime di sensibilità devono essere aggiornate online per essere efficaci.
  • Utilizzo dei Controfattuali: L'uso dei controfattuali esclusivamente come sonde diagnostiche (senza aggiungere una perdita ausiliaria) ha superato le varianti che trattavano i controfattuali come etichette di preferenza aggiuntive.
  • Iperparametri: Una forza di ripesatura moderata ($\gamma$) e un breve periodo di warmup hanno prodotto i migliori compromessi, evitando che stime rumorose nelle fasi iniziali distorcessero l'obiettivo.

5. Significato e Rivendicazioni

Il documento afferma che DynaCF offre una soluzione robusta al problema del "reward hacking" e dell'overoptimization causati dall'apprendimento di scorciatoie. Passando da un filtraggio statico a una ripesatura dinamica e consapevole del modello, il metodo incoraggia i modelli di ricompensa a fare affidamento su segnali di preferenza rilevanti per il compito piuttosto che su pattern superficiali.

Gli autori sottolineano che questo approccio:

• Migliora la generalizzazione su compiti difficili e sensibili alla sicurezza.
• Non richiede lo scarto di dati o complessi cambiamenti architettonici.
• Fornisce uno strumento diagnostico per comprendere come modelli specifici apprendano le scorciatoie in diverse fasi dell'addestramento.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Qualità dei Controfattuali: L'efficacia dipende dalla qualità della costruzione dei controfattuali basata su regole, che può occasionalmente alterare informazioni utili o fallire nel rimuovere completamente i segnali target.
• Ambito (Scope): Gli esperimenti sono limitati ai modelli di ricompensa basati sul testo e ai relativi benchmark; l'applicabilità a modelli di ricompensa multimodali o di processo non è stata testata.
• Ambito di Probing: Attualmente, il probing controfattuale è applicato solo alle risposte scelte; anche le risposte scartate potrebbero contenere indizi di scorciatoia.
• Dinamiche di Addestramento: La relazione tra ripesatura delle scorciatoie, capacità del modello e dinamiche di addestramento richiede un'ulteriore esplorazione.