Riepilogo Tecnico: Quando i Guadaggi In-Distribution Falliscono: Valutazione di Modelli di Ricompensa da Debole a Forte sotto Spostamento delle Preferenze

1. Definizione del Problema

Il documento affronta un divario critico nella generalizzazione da Debole a Forte (W2S) per la supervisione scalabile. Mentre i framework W2S mirano ad addestrare un modello studente più forte utilizzando etichette provenienti da un insegnante più debole per elicitaare capacità oltre le prestazioni dell'insegnante stesso, le valutazioni esistenti si basano tipicamente su distribuzioni di addestramento e test corrispondenti.

Gli autori sostengono che questa impostazione sovrastima l'affidabilità dell'allineamento nel dispiegamento reale. Nello specifico, indagano l'apprendimento delle preferenze W2S sotto spostamento di distribuzione zero-shot. Il problema centrale è che gli studenti forti addestrati su etichette di preferenze deboli provenienti da un dominio sorgente spesso appaiono riusciti in-distribution (ID) ma falliscono nel trasferire il loro comportamento di allineamento appreso a domini target non visti (Out-of-Distribution, OOD).

Il documento identifica una specifica modalità di fallimento: il fallimento rappresentazionale. Il fine-tuning supervisionato da deboli può trascinare le rappresentazioni interne del modello forte verso artefatti specifici del dominio sorgente piuttosto che mantenere rappresentazioni delle preferenze ampiamente trasferibili. Di conseguenza, il modello si adatta ai dati sorgente ma perde la generalizzabilità.

2. Metodologia: Ancoraggio Rappresentazionale (ANCHOR)

Per mitigare la deriva rappresentazionale, gli autori propongono l'Ancoraggio Rappresentazionale (ANCHOR), una tecnica di regolarizzazione progettata per vincolare il modello studente durante il fine-tuning supervisionato da deboli.

Meccanismo Principale

ANCHOR potenzia l'obiettivo standard di apprendimento delle preferenze da debole a forte con un regolarizzatore che mantiene gli stati nascosti dello studente vicini a quelli di un modello di riferimento pre-addestrato congelato (inizializzato dallo stesso checkpoint dello studente prima del fine-tuning).

L'obiettivo di addestramento combina due termini:

1. Perdita di Preferenza Debole ($L_{w2s}$): La classica perdita di Bradley-Terry dove lo studente forte impara a corrispondere alle probabilità di preferenza morbide ($q_i$) generate dall'insegnante debole.
2. Perdita di Ancoraggio ($L_{anchor}$): Un Errore Quadratico Medio (MSE) mascherato tra gli stati nascosti dello studente addestrabile e del modello di riferimento congelato. Questa perdita viene applicata solo ai token di risposta, escludendo i token di prompt e di riempimento.

La perdita totale per un campione $i$ è:
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
dove $\lambda$ controlla la forza della preservazione della rappresentazione.

Varianti

Gli autori valutano due varianti basate su quali livelli vengono ancorati:

• ANCHOR dell'Ultimo Livello (Predefinito): Applica la perdita all'ultimo livello del trasformatore. Questo è computazionalmente efficiente e regolarizza direttamente la rappresentazione utilizzata dalla testa di ricompensa.
• ANCHOR del Livello Intermedio: Applica la perdita ai livelli intermedi (ad esempio, il 50% e il 75% dei livelli) per preservare le caratteristiche generali consentendo ai livelli finali maggiore flessibilità.

3. Protocollo di Valutazione e Metriche

Il documento introduce un protocollo di valutazione zero-shot dello spostamento del dominio delle preferenze. Invece di split di test tenuti da parte standard, i modelli vengono addestrati su un dataset (dominio sorgente) e valutati su:

• In-Distribution (ID): Split di test tenuto da parte dallo stesso dataset sorgente.
• Out-of-Distribution (OOD): Split di test da dataset diversi all'interno della stessa ampia categoria di preferenze (ad esempio, addestramento su HelpSteer3, test su Anthropic Helpful o UltraFeedback).

Per quantificare le prestazioni, gli autori propongono tre Metriche Consapevoli del Trasferimento:

1. Guadagno Grezzo da Debole a Forte (WRG): Misura il miglioramento ID rispetto all'insegnante debole ($Acc_{student} - Acc_{teacher}$ sulla sorgente).
2. Guadagno OOD Assoluto (AOG): Misura il trasferimento a un dominio target ($Acc_{student} - Acc_{teacher}$ sul target).
3. Punteggio Netto di Trasferimento (NTS): Una metrica composita che penalizza la regressione nel dominio sorgente.
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   Questo garantisce che i guadagni nei domini OOD non siano ottenuti sacrificando l'affidabilità nel dominio sorgente.

4. Risultati Chiave

Gli esperimenti sono stati condotti su due categorie di preferenze (Helpful e Harmless) e due famiglie di modelli (Llama e Qwen), utilizzando dataset come HelpSteer3, Anthropic Helpful/Harmless, UltraFeedback, PKU-SafeRLHF e RAIL.

• Il Successo ID Maschera il Fallimento OOD: I metodi di base (W2S Naive e W2S basato sulla Confidenza) spesso raggiungono prestazioni ID solide (alto WRG) ma mostrano significativi cali di prestazioni o trasferimenti negativi in impostazioni OOD. Ad esempio, un modello Naive addestrato su HelpSteer3 ha mostrato un calo di accuratezza di 20 punti quando valutato su Anthropic Helpful.
• Trade-off SEAM: La linea di base SEAM ha mostrato un trade-off netto, ottenendo guadagni OOD competitivi ma spesso a costo di una grave degradazione ID (WRG negativo).
• Prestazioni di ANCHOR: ANCHOR ha costantemente ottenuto i risultati più equilibrati. Ha mantenuto prestazioni ID competitive migliorando significativamente il trasferimento OOD.
  • Nell'impostazione Llama/Helpful, ANCHOR ha migliorato l'AOG su Anthropic Helpful da 0,60 (Naive) a 4,41.
  • Ha prodotto i punteggi Net di Trasferimento più alti nella maggior parte delle configurazioni, dimostrando che preserva con successo l'affidabilità del dominio sorgente abilitando al contempo la generalizzazione cross-domain.
• Risultati dell'Ablazione:
  • Forza di Ancoraggio ($\lambda$): Una forza di ancoraggio moderata (ad esempio, $\lambda = 10^{-4}$) ha fornito il miglior equilibrio. Vincoli più forti hanno ostacolato l'adattamento al segnale debole, mentre vincoli più deboli non sono riusciti a prevenire la deriva.
  • Scelta del Livello: L'ANCHOR dell'Ultimo Livello ha generalmente fornito un equilibrio complessivo migliore rispetto all'ANCHOR del Livello Intermedio, suggerendo che la regolarizzazione della rappresentazione finale è sufficiente ed efficiente per questo compito.

5. Significato e Affermazioni

Il documento afferma tre contributi principali:

1. Protocollo di Valutazione: Stabilisce un rigoroso protocollo zero-shot dello spostamento del dominio delle preferenze, sostenendo che l'accuratezza ID da sola è insufficiente per valutare i modelli di ricompensa W2S.
2. Evidenza Empirica: Dimostra che i metodi W2S attuali sono fragili sotto spostamento di distribuzione, rivelando che i guadagni in-distribution possono sovrastimare l'affidabilità dell'allineamento.
3. Metodo Robusto: Introduce ANCHOR, un semplice metodo di regolarizzazione che limita efficacemente la deriva rappresentazionale. Gli autori affermano che ciò fornisce una via pratica verso un trasferimento di preferenze più robusto senza alterare l'architettura al momento dell'inferenza.

Gli autori concludono che un allineamento W2S robusto deve essere valutato non solo in base al fatto che i modelli forti apprendono dalla supervisione debole, ma in base al fatto che la funzione di ricompensa appresa rimanga affidabile oltre il dominio di addestramento specifico.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Metriche Proxy Offline: La valutazione si basa sull'accuratezza pairwise offline, che potrebbe non catturare appieno le sfumature del dispiegamento a valle (ad esempio, selezione best-of-n, RLHF online o qualità della generazione aperta).
• Costo Computazionale: Sebbene l'inferenza rimanga standard, l'addestramento richiede un passaggio in avanti aggiuntivo attraverso il modello di riferimento congelato, aumentando i requisiti di VRAM e tempo.
• Ambito: Gli esperimenti sono limitati a specifici domini helpful/harmless e scale di modelli; è necessaria una valutazione più ampia su diversi domini di attività e famiglie di modelli più grandi.