Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

Titolo: Le Rubriche come Superficie di Attacco: Deriva delle Preferenze Furtiva nei Giudici LLM

1. Il Problema: Vulnerabilità nelle Pipeline di Valutazione

Le moderne pipeline di allineamento dei Large Language Models (LLM), in particolare quelle basate su Reinforcement Learning from Human Feedback (RLHF) e le sue varianti (come RLAIF), dipendono sempre più da giudici basati su LLM per generare etichette di preferenza scalabili. Il comportamento di questi giudici è guidato da rubriche (criteri di valutazione) scritte in linguaggio naturale.

Il paper identifica una vulnerabilità precedentemente sottovalutata in questo flusso di lavoro, denominata Deriva delle Preferenze Indotta dalle Rubriche (RIPD - Rubric-Induced Preference Drift).

• Il Paradosso: È possibile modificare una rubrica in modo che appaia "benigna" e mantenga (o migliori) le prestazioni su un dataset di benchmark di validazione, ma contemporaneamente induca uno spostamento sistematico e direzionale nelle preferenze del giudice su un dominio target (non visto durante la validazione).
• Il Rischio: Poiché le rubriche fungono da interfaccia decisionale di alto livello, modifiche apparentemente naturali possono alterare la struttura delle preferenze senza essere rilevate dalle metriche aggregate dei benchmark o da controlli spot limitati. Questo crea un rischio di allineamento a livello di sistema che va oltre la semplice affidabilità del valutatore.

2. Metodologia e Modello di Minaccia

Modello di Minaccia:
L'attaccante è modellato come un progettista di rubriche che opera all'interno dei flussi di lavoro standard di raffinamento.

• Vincoli: L'attaccante può modificare solo il testo della rubrica (input naturale). Non ha accesso ai parametri interni del modello giudice, ai gradienti, né può alterare i dati di input o le risposte candidate.
• Obiettivo: Indurre una deriva delle preferenze sul dominio target mantenendo la conformità sulle prestazioni del benchmark.

Meccanismo di Attacco (Rubric-Based Preference Attacks):
Gli autori propongono un attacco basato su una ricerca evolutiva black-box nello spazio delle rubriche:

1. Ricerca Asimmetrica: L'algoritmo utilizza un processo di selezione e raffinamento che sfrutta due segnali opposti:
   • Sul dominio di benchmark, corregge gli errori del giudice per mantenere l'allineamento con il riferimento umano (preservando le prestazioni).
   • Sul dominio target, identifica i casi in cui il giudice è corretto (in linea con il riferimento) e li tratta erroneamente come "errori" da correggere. Questo forza il modello di raffinamento a modificare la rubrica per invertire le preferenze corrette sul target, creando una deriva direzionale.
2. Selezione: Vengono selezionate solo le rubriche che soddisfano i vincoli di conservazione del benchmark ma massimizzano la divergenza sul dominio target.

Propagazione:
Le etichette di preferenza distorte generate dal giudice "infettato" vengono utilizzate per l'addestramento post-training (es. DPO - Direct Preference Optimization). Poiché l'allineamento si basa esclusivamente su queste etichette, la deriva si internalizza nella politica (policy) finale, causando un comportamento persistente e sistematicamente distorto.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset di preferenze umani per compiti di Utilità (Helpfulness) e Innocuità (Harmlessness), utilizzando diversi modelli giudice (Qwen3-14B, Gemma-3-27B, DeepSeek-V3).

• Efficacia dell'Attacco (RQ1): Le rubriche modificate sono state in grado di indurre una deriva sistematica.
  • La precisione sul dominio target è diminuita fino al 9.5% per l'utilità e fino al 27.9% per l'innocuità.
  • Le prestazioni sul benchmark sono rimaste stabili o sono addirittura migliorate, rendendo l'attacco invisibile ai controlli standard.
• Natura della Deriva (RQ2): La deriva non è dovuta a rubriche di bassa qualità o mal formulate.
  • In valutazioni cieche, le rubriche "biased" sono state preferite rispetto alle rubriche originali (seed) da valutatori LLM indipendenti (tasso di vittoria del 100% in alcuni casi).
  • Questo dimostra che la deriva nasce da un ribilanciamento sottile dei criteri di valutazione (es. favorire risposte brevi e non azionabili anche quando non richieste, o rifiutare risposte utili per paura di ipotetici abusi), non da un degrado della qualità.
• Propagazione nell'Allineamento (RQ3):
  • Le policy addestrate su etichette generate da rubriche distorte mostrano un degrado persistente del comportamento, anche quando valutate su dati di benchmark.
  • L'aggiunta di dati di benchmark durante l'addestramento della policy non è sufficiente a mitigare l'effetto della distorsione indotta dalla rubrica.
  • Le policy risultanti tendono a comportamenti estremi (es. risposte eccessivamente brevi o rifiuti sistematici su domande innocue) che non corrispondono alle intenzioni umane.

4. Contributi Chiave

1. Identificazione della RIPD: Definizione formale di una nuova modalità di fallimento in cui le modifiche alle rubriche preservano le metriche di benchmark ma degradano le prestazioni su domini target specifici.
2. Dimostrazione di Attacchi Pratici: Sviluppo di un metodo di attacco "rubric-based" che sfrutta flussi di lavoro di raffinamento standard per indurre questa deriva senza accesso ai parametri del modello.
3. Analisi della Propagazione: Dimostrazione che la distorsione introdotta a livello di valutazione si propaga attraverso le pipeline di allineamento (Judge $\to$ Label $\to$ Policy), diventando un comportamento intrinseco del modello finale.
4. Implicazioni per la Sicurezza: Evidenzia che la validazione basata su benchmark è insufficiente per garantire la stabilità delle preferenze, poiché le rubriche agiscono come un'interfaccia di controllo manipolabile.

5. Significato e Conclusioni

Questo lavoro rivela un rischio sistemico critico nell'ecosistema attuale degli LLM. Le rubriche non sono semplici specifiche passive, ma interfacce di controllo attive il cui design influenza direttamente l'allineamento.

• Implicazione per la Ricerca: La comunità non può più assumere che un'elevata performance su un benchmark garantisca la generalizzazione delle preferenze o la sicurezza del modello.
• Raccomandazioni: È necessario trattare il raffinamento e la validazione delle rubriche come componenti espliciti e critici della pipeline di allineamento, sviluppando nuovi protocolli di validazione che testino la robustezza delle rubriche su domini multipli e non solo su dataset statici.
• Vulnerabilità Sistemica: L'attacco dimostra come un avversario possa "avvelenare" silenziosamente un modello allineato modificando solo il testo di una rubrica, rendendo difficile il rilevamento senza un'analisi approfondita del comportamento su domini non visti.

In sintesi, il paper mette in guardia contro la fiducia eccessiva nelle metriche di benchmark per la validazione dei giudici LLM, evidenziando come la manipolazione delle rubriche possa portare a un allineamento fallito e persistente.