Sintesi Tecnica: Rompere lo Specchio – Mitigazione della Self-Preference nei Giudici LLM basata sulle Attivazioni

Problematica

I Large Language Models (LLM) sono sempre più impiegati come valutatori automatizzati ("LLM-as-judges") per compiti privi di una verità di base (ground truth), come il fine-tuning delle preferenze e il routing dei modelli. Tuttavia, questi valutatori soffrono di self-preference bias (pregiudizio di auto-preferenza): una tendenza a favorire sproporzionatamente i propri output rispetto a quelli di altri modelli, anche quando l'autore è nascosto. Questo bias scala con la dimensione e le prestazioni del modello, minando l'equità e l'affidabilità delle pipeline di valutazione. Sebbene lavori precedenti si siano concentrati sul rilevamento di questo bias o sulla sua mitigazione attraverso un costoso fine-tuning (ad esempio, il Direct Preference Optimization - DPO) o cambiamenti di stile, esiste una mancanza di interventi leggeri durante l'inferenza in grado di correggere l'auto-preferenza ingiustificata senza riaddestrare il modello.

Metodologia

Gli autori propongono un framework per disaggregare il bias di auto-preferenza dalla qualità genuina dell'output e applicare steering vectors (vettori di guida) per mitigare il bias durante l'inferenza.

1. Disaggregare il Bias dalla Qualità

Per distinguere tra auto-preferenza illecita (bias) e auto-preferenza legittima (dove l'output del modello è oggettivamente migliore), gli autori costruiscono un set di valutazione curato basato sul dataset XSUM.

• Setup: Un modello auto-valutatore $J$ e un modello di confronto $K$ generano riassunti da articoli sorgente.
• Gold Standard: Un ensemble di "gold judges" ($G$) provenienti da diverse famiglie di modelli (Phi-4, DeepSeek V3, Claude 3.5-Sonnet) determina il riassunto oggettivamente migliore per ogni coppia.
• Categorizzazione: Ogni istanza di valutazione è classificata in tre esiti:
  1. Auto-preferenza Illecita: Il modello $J$ preferisce il proprio output, ma i gold judges preferiscono quello di $K$.
  2. Auto-preferenza Legittima: Sia $J$ che i gold judges preferiscono l'output di $J$.
  3. Accordo Incondizionato (Unbiased Agreement): Sia $J$ che i gold judges preferiscono l'output di $K$.
• Validazione: La validazione umana conferma un alto accordo tra i gold judges e gli umani per i casi legittimi e di accordo incondizionato, sebbene l'accordo diminuisca per il subset del bias, evidenziando la difficoltà del compito.

2. Costruzione degli Steering Vector

Gli autori costruiscono vettori di guida leggeri per modulare le attivazioni del modello durante l'inferenza utilizzando due metodi:

• Contrastive Activation Addition (CAA): Calcola la differenza nelle attivazioni degli stati nascosti tra i prompt che portano a completamenti imparziali ($X^+$) e completamenti distorti ($X^-$). Il vettore è la differenza media: $v_{CAA} = \text{mean}(h_L(X^+)) - \text{mean}(h_L(X^-))$.
• Steering Basato su Ottimizzazione: Utilizza la discesa del gradiente per apprendere un vettore additivo che minimizza una funzione di perdita contrastiva, promuovendo il completamento desiderato ($Y^+$) e sopprimendo quello indesiderato ($Y^-$). Questo è ottimizzato sui layer 14–16 di Llama-3.1-8B-Instruct.

3. Metriche di Valutazione

L'efficacia degli steering vector è misurata tramite:

• Efficacia: Il "flip rate" dell'auto-preferenza illecita (quanto spesso il modello guidato corregge una decisione distorta).
• Stabilità: La preservazione delle decisioni corrette nei casi di auto-preferenza legittima e di accordo incondizionato (si desiderano bassi tassi di flip in queste categorie).

Risultati Chiave

Lo studio valuta gli steering vector su Llama-3.1-8B-Instruct rispetto ai baseline, inclusi il prompting e il Direct Preference Optimization (DPO).

• Alta Efficacia sul Bias: Gli steering vector hanno ridotto con successo l'auto-preferenza ingiustificata fino al 97%. Sia il metodo CAA che quello basato su ottimizzazione hanno superato il prompting (0% di flip rate) e il DPO (49% di flip rate).
• Sorprendente Generalizzazione: I vettori costruiti in un setting "unaware" (autore sconosciuto) hanno performato comparabilmente o meglio di quelli in un setting "aware", suggerendo che la rappresentazione della self-preference abbia una struttura parzialmente lineare nello spazio delle attivazioni.
• Instabilità sui Casi Legittimi: Un limite critico è la mancanza di stabilità. Gli stessi vettori che riescono a invertire il bias illegittimo invertono frequentemente anche l'auto-preferenza legittima e l'accordo incondizionato. Ad esempio, i vettori CAA hanno invertito il 93% dei casi di auto-preferenza legittima e il 20% dei casi di accordo incondizionato.
• Implicazione: Questa instabilità suggerisce che, mentre l'auto-preferenza illecita può essere codificata linearmente, l'auto-preferenza legittima e l'accordo incondizionato occupano probabilmente direzioni multiple o non lineari nello spazio delle attivazioni, rendendoli difficili da isolare con un singolo vettore lineare.

Significato e Rivendicazioni

Il paper sostiene di dimostrare che gli steering vector leggeri offrono un'alternativa promettente e a basso costo al fine-tuning per mitigare il bias di auto-preferenza negli LLM valutatori. Il contributo primario è la dimostrazione empirica che le edizioni delle attivazioni durante l'inferenza possono ridurre drasticamente l'auto-preferenza ingiustificata (fino al 97% di correzione).

Tuttavia, gli autori mantengono una posizione modesta riguardo alla universalità di questa soluzione. Essi dichiarano esplicitamente che l'approccio attuale non è robusto per preservare i giudizi legittimi. I risultati sottolineano che la self-preference è un fenomeno complesso in cui bias e qualità sono intrecciati nella rappresentazione del modello. Il paper conclude che, sebbene gli steering vector siano uno strumento potente per "rompere lo specchio" della self-preference, i loro attuali limiti lineari richiedono interventi più robusti, potenzialmente non lineari, per salvaguardare i sistemi LLM-as-judge senza compromettere le valutazioni valide.

Gli autori enfatizzano che il loro lavoro fornisce un dataset curato e un framework riproducibile per la ricerca futura nella meccanicistica dell'interpretabilità e nella mitigazione del bias, piuttosto che una soluzione finale e perfetta per tutti gli scenari di valutazione.