Riepilogo Tecnico: Attacco di Avvelenamento delle Preferenze Efficiente su RLHF Offline

1. Formulazione del Problema

Questo articolo investiga gli attacchi di inversione delle etichette (label flip attacks) contro l'Apprendimento per Rinforzo Offline da Feedback Umano (RLHF), prendendo di mira specificamente la pipeline di Ottimizzazione Diretta delle Preferenze (DPO) sotto una classe di politiche log-lineari.

Nell'RLHF offline, una politica viene addestrata su un dataset pre-collezionato di etichette di preferenza a coppie $(s, a, a', o)$, dove $o \in \{+1, -1\}$ indica la preferenza umana. L'obiettivo dell'attaccante è manipolare un sottoinsieme di queste etichette (invertendo $o_i$ in $-o_i$) per forzare la politica appresa $\pi_{\hat{\theta}}$ ad allinearsi a una politica target $\pi^\dagger$ (parametrizzata da $\theta^\dagger$), minimizzando al contempo il numero di etichette invertite.

La sfida centrale affrontata è che, a differenza degli attacchi di iniezione di dati dove gli attaccanti possono aggiungere dati avvelenati arbitrari, gli attacchi di inversione delle etichette sono vincolati al dataset esistente. Inoltre, l'effetto dell'inversione di una singola etichetta sulla politica finale è non banale da prevedere. Gli autori inquadrano questo problema come un problema di ottimizzazione combinatoria: trovare un vettore binario $x \in \{0, 1\}^n$ (che indica quali etichette invertire) che minimizzi la norma $L_0$ (numero di inversioni) soggetto al vincolo che la politica risultante sia vicina al target.

2. Insight Teorico Chiave

Il contributo fondamentale dell'articolo è il Teorema 3.1, che stabilisce una proprietà strutturale critica del DPO log-lineare:

• Spostamento del Gradiente Indipendente dai Parametri: Invertire una singola etichetta di preferenza $o_i$ in $-o_i$ induce una variazione nel gradiente DPO, $\Delta g_i$, che è un vettore costante indipendente dai parametri correnti della politica $\theta$.
• Nello specifico, $\Delta g_i = o_i \beta \Delta \psi_i$, dove $\Delta \psi_i$ è la differenza di caratteristiche tra le azioni preferite e quelle non preferite.

Questa proprietà permette agli autori di convertire il complesso problema di attacco nello spazio delle politiche in un problema strutturato di approssimazione binaria sparsa nello spazio dei gradienti. L'obiettivo dell'attaccante diventa selezionare un sottoinsieme di vettori gradiente (colonne di una matrice $V$) tale che la loro somma approssimi il gradiente negativo della perdita pulita alla politica target, $-g^\dagger$.

3. Metodologia

Per risolvere il conseguente problema NP-difficile di approssimazione binaria sparsa, gli autori propongono due distinti algoritmi di attacco:

A. Attacco a Reticolo Consapevole del Binario (BAL-A)

Progettato per l'obiettivo generale di inversione minima (trovare la soluzione più sparsa senza un budget rigido $K$).

• Approccio: Gli autori incorporano il problema di selezione binaria in una struttura reticolare. Costruiscono una base in cui il blocco superiore misura l'errore residuo ($\|Vz + g^\dagger\|^2$) e il blocco inferiore penalizza i coefficienti non binari ($M^2 \|z\|^2$).
• Algoritmo:
  1. Costruire una base reticolare consapevole del binario.
  2. Applicare la riduzione della base Lenstra-Lenstra-Lovász (LLL) per ottenere una base ben condizionata.
  3. Utilizzare l'algoritmo del piano più vicino di Babai per trovare il vettore reticolare più vicino.
  4. Mappare la soluzione intera indietro alle coordinate originali e troncarla a binario.
• Garanzie Teoriche: Gli autori forniscono condizioni sufficienti sul parametro di penalità $M$ per garantire che:
  1. I coefficienti interi siano ristretti a $\{0, 1\}$ (binari).
  2. La soluzione recuperi il vero pattern di attacco a inversione minima sotto una "condizione di separazione" riguardante gli errori residui delle soluzioni sotto-budget.

B. Attacco a Persecuzione di Corrispondenza Binaria (BMP-A)

Progettato per lo scenario di inversione $K$-limitata, dove l'attaccante è limitato a invertire al massimo $K$ etichette.

• Approccio: Si tratta di un algoritmo greedy adattato dalla Persecuzione di Corrispondenza Binaria (BMP). Seleziona iterativamente il campione la cui variazione di gradiente indotta dall'inversione ha la correlazione normalizzata più alta con il residuo corrente.
• Adattamento: A differenza del recupero sparsa standard, le colonne del gradiente in questo problema non sono normalizzate. BMP-A gestisce questo utilizzando correlazioni normalizzate ($\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$) per la selezione, aggiornando il residuo con i vettori originali non normalizzati.
• Garanzie Teoriche:
  • Recupero: Sotto una condizione di coerenza reciproca sul dizionario $V$ (aggiustata per norme di colonna non uniformi), BMP-A è garantito a recuperare il supporto del vettore di attacco vero entro $K^\star$ iterazioni.
  • Impossibilità (Robustezza): Gli autori derivano condizioni sufficienti (basate sulla norma spettrale e sulla coerenza) sotto le quali nessun attacco a $K$ inversioni può avere successo. Se lo spostamento del gradiente target richiesto supera lo spostamento massimo ottenibile con $K$ inversioni (data la geometria di $V$), l'attacco è impossibile.

4. Risultati Sperimentali

Gli autori validano la loro teoria su dataset sintetici e reali:

• Dizionari Sintetici:
  • BAL-A: Ha dimostrato che il Tasso di Veri Positivi (TPR) di recupero del supporto è elevato quando la penalità reticolare $M$ è al di sotto di una soglia di separazione predetta teoricamente. Al di sopra di questa soglia, le prestazioni peggiorano, confermando il compromesso teorico.
  • BMP-A: Ha mostrato un recupero perfetto del supporto entro i limiti teorici basati sulla coerenza. Oltre questi limiti, l'algoritmo è rimasto efficace, suggerendo che i limiti teorici sono conservativi.
• Dataset delle Preferenze Umane di Stanford (SHP):
  • Applicato a modelli DPO log-lineari addestrati su dati di preferenza reali.
  • BAL-A: Ha recuperato con successo pattern di attacco su sottoinsiemi piccoli, con prestazioni allineate all'analisi di separazione.
  • BMP-A: Ha dimostrato che ridurre la coerenza del dizionario dei gradienti (tramite selezione di sottoinsiemi) migliora significativamente i tassi di successo dell'attacco e la riduzione del residuo.
  • Impatto a valle: Gli esperimenti hanno mostrato che, anche con un recupero imperfetto del supporto, le politiche risultanti addestrate su dataset attaccati erano vicine alla politica target, validando il residuo del gradiente come surrogato sufficiente per il successo nello spazio delle politiche.

5. Significato e Affermazioni

L'articolo afferma di essere la prima analisi teorica degli attacchi di inversione delle etichette sull'RLHF offline, specificamente per la pipeline DPO. La sua rilevanza risiede in:

1. Colmare il Divario: Mentre gli attacchi di iniezione di dati sono stati analizzati teoricamente, gli attacchi di inversione delle etichette erano precedentemente compresi principalmente attraverso osservazioni empiriche. Questo lavoro fornisce un quadro combinatorio e geometrico rigoroso per comprenderli.
2. Insight Geometrico: Evidenzia che il successo di tali attacchi è governato dalla geometria del dizionario dei gradienti (in particolare coerenza e norme delle colonne). Ciò suggerisce che la robustezza di un sistema RLHF è intrinseca alla struttura dei suoi dati di preferenza.
3. Certificati di Robustezza: Le condizioni di impossibilità derivate offrono un modo per certificare che una specifica configurazione di RLHF offline è robusta contro qualsiasi attacco a $K$ inversioni, indipendentemente dall'algoritmo specifico utilizzato dall'attaccante.
4. Algoritmi Pratici: I metodi proposti BAL-A e BMP-A offrono strategie efficienti e teoricamente fondate per valutare la vulnerabilità dei sistemi RLHF ad avvelenamenti mirati.

Gli autori mantengono un tono modesto, notando che la loro analisi è specifica per la classe di politiche log-lineari e che i limiti derivati (ad esempio, per BMP-A) sono condizioni sufficienti ma non necessariamente necessarie. Sottolineano che la comprensione di queste vulnerabilità è cruciale per la progettazione di algoritmi di allineamento robusti per i Modelli Linguistici di Grande Dimensione (LLM).