Technische Samenvatting: Efficiënte Voorkeursvergiftigingsaanval op Offline RLHF

1. Probleemformulering

Dit artikel onderzoekt label-flip-aanvallen tegen Offline Reinforcement Learning from Human Feedback (RLHF), specifiek gericht op de Direct Preference Optimization (DPO)-piplijn onder een log-lineair policy-klassen.

Bij offline RLHF wordt een policy getraind op een vooraf verzameld dataset van paarwijze voorkeurslabels $(s, a, a', o)$, waarbij $o \in \{+1, -1\}$ de menselijke voorkeur aangeeft. Het doel van de aanvallers is om een subset van deze labels te manipuleren (door $o_i$ om te draaien naar $-o_i$) om de geleerde policy $\pi_{\hat{\theta}}$ te dwingen om te aligneren met een doelpolicy $\pi^\dagger$ (geparametriseerd door $\theta^\dagger$), terwijl het aantal omgedraaide labels geminimaliseerd wordt.

De kernuitdaging die wordt aangepakt, is dat, in tegenstelling tot data-injectie-aanvallen waarbij aanvallers willekeurige vergiftigde data kunnen toevoegen, label-flip-aanvallen beperkt zijn tot het bestaande dataset. Bovendien is het effect van het omdraaien van een enkel label op de uiteindelijke policy niet triviaal te voorspellen. De auteurs formuleren dit als een combinatorisch optimalisatieprobleem: het vinden van een binaire vector $x \in \{0, 1\}^n$ (die aangeeft welke labels omgedraaid moeten worden) die de $L_0$-norm (aantal flips) minimaliseert, onder de beperking dat de resulterende policy dicht bij het doel ligt.

2. Belangrijkste Theoretisch Inzicht

De fundamentele bijdrage van het artikel is Stelling 3.1, die een kritieke structurele eigenschap van log-lineaire DPO vaststelt:

• Parameter-onafhankelijke Gradiëntverschuiving: Het omdraaien van een enkel voorkeurslabel $o_i$ naar $-o_i$ induceert een verandering in de DPO-gradiënt, $\Delta g_i$, die een constante vector is, onafhankelijk van de huidige policy-parameters $\theta$.
• Specifiek geldt: $\Delta g_i = o_i \beta \Delta \psi_i$, waarbij $\Delta \psi_i$ het feature-verschil is tussen de geprefereerde en de niet-geprefereerde acties.

Deze eigenschap stelt de auteurs in staat om het complexe aanvalsprobleem in de policy-ruimte om te zetten in een gestructureerd binair spaarzaam benaderingsprobleem in de gradiëntruimte. Het doel van de aanval wordt het selecteren van een subset van gradiëntvectoren (kolommen van een matrix $V$) zodat hun som de negatieve gradiënt van de schone loss bij de doelpolicy benadert, $-g^\dagger$.

3. Methodologie

Om het resulterende NP-moeilijke binaire spaarzaam benaderingsprobleem op te lossen, stellen de auteurs twee verschillende aanvalsalgoritmen voor:

A. Binary-Aware Lattice Attack (BAL-A)

Ontworpen voor de algemene doelstelling van minimale flips (het vinden van de spaarzaamste oplossing zonder een strikt budget $K$).

• Aanpak: De auteurs embedden het binaire selectieprobleem in een roosterstructuur. Ze construeren een basis waarbij het bovenste blok de residufout meet ($\|Vz + g^\dagger\|^2$) en het onderste blok niet-binaire coëfficiënten bestraft ($M^2 \|z\|^2$).
• Algoritme:
  1. Construeer een binaire-bewuste roosterbasis.
  2. Pas Lenstra-Lenstra-Lovász (LLL) basisreductie toe om een goed geconditioneerde basis te verkrijgen.
  3. Gebruik Babai's dichtstbijzijnde-vlak-algoritme om de dichtstbijzijnde roostervector te vinden.
  4. Map de geheeltallige oplossing terug naar de oorspronkelijke coördinaten en truncateer naar binair.
• Theoretische Garanties: De auteurs geven voldoende voorwaarden voor de strafparameter $M$ om te waarborgen dat:
  1. De geheeltallige coëfficiënten beperkt blijven tot $\{0, 1\}$ (binair).
  2. De oplossing het ware minimale-flip-aanvalspatroon herstelt onder een "scheidingsvoorwaarde" met betrekking tot de residufouten van oplossingen onder het budget.

B. Binary Matching Pursuit Attack (BMP-A)

Ontworpen voor het gebudgeteerde $K$-flip-scenario, waarbij de aanval beperkt is tot maximaal $K$ labels om te draaien.

• Aanpak: Dit is een gulzig algoritme, aangepast van Binary Matching Pursuit (BMP). Het selecteert iteratief het sample waarvan de flip-geïnduceerde gradiëntverschuiving de hoogste genormaliseerde correlatie heeft met het huidige residu.
• Aanpassing: In tegenstelling tot standaard spaarzaam herstel, zijn de gradiëntkolommen in dit probleem niet genormaliseerd. BMP-A lost dit op door genormaliseerde correlaties ($\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$) te gebruiken voor selectie, terwijl het residu wordt bijgewerkt met de oorspronkelijke niet-genormaliseerde vectoren.
• Theoretische Garanties:
  • Herstel: Onder een wederzijdse coherentievoorwaarde voor de dictionary $V$ (aangepast voor niet-uniforme kolomnormen), wordt gegarandeerd dat BMP-A de support van de ware aanvalvector binnen $K^\star$ iteraties herstelt.
  • Onmogelijkheid (Robuustheid): De auteurs leiden voldoende voorwaarden af (gebaseerd op spectrale norm en coherentie) waaronder geen $K$-flip-aanval kan slagen. Als de vereiste gradiëntverschuiving voor het doel de maximale mogelijke verschuiving die bereikbaar is met $K$ flips overschrijdt (gegeven de geometrie van $V$), is de aanval onmogelijk.

4. Experimentele Resultaten

De auteurs valideren hun theorie op zowel synthetische als real-world datasets:

• Synthetische Dictionaries:
  • BAL-A: Toonde aan dat de True Positive Rate (TPR) van support-herstel hoog is wanneer de roosterstraf $M$ onder een theoretisch voorspelde scheidingsdrempel ligt. Boven deze drempel verslechtert de prestatie, wat de theoretische afweging bevestigt.
  • BMP-A: Toonde perfecte support-herstel binnen de coherentie-gebaseerde theoretische grenzen. Buiten deze grenzen bleef het algoritme effectief, wat suggereert dat de theoretische grenzen conservatief zijn.
• Stanford Human Preferences (SHP) Dataset:
  • Toegepast op log-lineaire DPO-modellen getraind op echte voorkeursdata.
  • BAL-A: Herstelde succesvol aanvalspatronen op kleine subsets, met prestaties die overeenkwamen met de scheidingsanalyse.
  • BMP-A: Toonde aan dat het verminderen van de coherentie van de gradiëntdictionary (via subsetselectie) de aanvalssuccespercentages en residureductie aanzienlijk verbetert.
  • Downstream Impact: Experimenten toonden aan dat zelfs met imperfect support-herstel, de resulterende policies getraind op aangevallen datasets dicht bij de doelpolicy lagen, wat de gradiëntresidu bevestigt als een voldoende surrogaat voor succes in de policy-ruimte.

5. Betekenis en Claims

Het artikel claimt de eerste theoretische analyse te zijn van label-flip-aanvallen op offline RLHF, specifiek voor de DPO-pijplijn. De betekenis ligt in:

1. Het Overbruggen van de Kloof: Waar data-injectie-aanvallen theoretisch zijn geanalyseerd, werden label-flip-aanvallen tot nu toe voornamelijk begrepen via empirische observatie. Dit werk biedt een rigoureuze combinatorische en geometrische raamwerk voor het begrijpen ervan.
2. Geometrisch Inzicht: Het benadrukt dat het succes van dergelijke aanvallen wordt bepaald door de geometrie van de gradiëntdictionary (specifiek coherentie en kolomnormen). Dit suggereert dat de robuustheid van een RLHF-systeem intrinsiek is aan de structuur van zijn voorkeursdata.
3. Robuustheidscertificaten: De afgeleide onmogelijkheidsvoorwaarden bieden een manier om te certificeren dat een specifieke offline RLHF-opstelling robuust is tegen elke $K$-flip-aanval, ongeacht het specifieke algoritme dat door de aanval wordt gebruikt.
4. Praktische Algoritmen: De voorgestelde BAL-A en BMP-A-methoden bieden efficiënte, theoretisch onderbouwde strategieën voor het evalueren van de kwetsbaarheid van RLHF-systemen voor gerichte vergiftiging.

De auteurs handhaven een bescheiden toon, noteren dat hun analyse specifiek is voor de log-lineaire policy-klasse en dat de afgeleide grenzen (bijvoorbeeld voor BMP-A) voldoende maar niet noodzakelijk voorwaarden zijn. Ze benadrukken dat het begrijpen van deze kwetsbaarheden cruciaal is voor het ontwerpen van robuuste alignement-algoritmen voor Large Language Models (LLM's).