Résumé Technique : Attaque de Poisonnement Préférentiel Efficace sur l'Apprentissage par Renforcement Hors Ligne à partir de Retours Humains (RLHF)

1. Formulation du Problème

Ce papier examine les attaques par retournement d'étiquettes contre l'Apprentissage par Renforcement à partir de Retours Humains Hors Ligne (RLHF), ciblant spécifiquement le pipeline d'Optimisation Directe des Préférences (DPO) sous une classe de politiques log-linéaires.

Dans le RLHF hors ligne, une politique est entraînée sur un ensemble de données pré-collecté d'étiquettes de préférences par paires $(s, a, a', o)$, où $o \in \{+1, -1\}$ indique la préférence humaine. L'objectif de l'attaquant est de manipuler un sous-ensemble de ces étiquettes (en inversant $o_i$ en $-o_i$) pour forcer la politique apprise $\pi_{\hat{\theta}}$ à s'aligner sur une politique cible $\pi^\dagger$ (paramétrée par $\theta^\dagger$) tout en minimisant le nombre d'étiquettes retournées.

Le défi central abordé est que, contrairement aux attaques par injection de données où les attaquants peuvent ajouter des données empoisonnées arbitraires, les attaques par retournement d'étiquettes sont contraintes à l'ensemble de données existant. De plus, l'effet du retournement d'une seule étiquette sur la politique finale est difficile à prédire de manière non triviale. Les auteurs formulent cela comme un problème d'optimisation combinatoire : trouver un vecteur binaire $x \in \{0, 1\}^n$ (indiquant quelles étiquettes retourner) qui minimise la norme $L_0$ (nombre de retournements) sous la contrainte que la politique résultante soit proche de la cible.

2. Insight Théorique Clé

La contribution fondamentale du papier est le Théorème 3.1, qui établit une propriété structurelle critique du DPO log-linéaire :

• Décalage de Gradient Indépendant des Paramètres : Le retournement d'une seule étiquette de préférence $o_i$ en $-o_i$ induit un changement dans le gradient DPO, $\Delta g_i$, qui est un vecteur constant indépendant des paramètres de la politique actuelle $\theta$.
• Spécifiquement, $\Delta g_i = o_i \beta \Delta \psi_i$, où $\Delta \psi_i$ est la différence de caractéristiques entre les actions préférées et non préférées.

Cette propriété permet aux auteurs de convertir le problème complexe d'attaque dans l'espace des politiques en un problème structuré d'approximation binaire parcimonieuse dans l'espace des gradients. L'objectif de l'attaquant devient la sélection d'un sous-ensemble de vecteurs de gradients (colonnes d'une matrice $V$) tels que leur somme approxime le gradient négatif de la perte propre à la politique cible, $-g^\dagger$.

3. Méthodologie

Pour résoudre le problème d'approximation binaire parcimonieuse NP-difficile résultant, les auteurs proposent deux algorithmes d'attaque distincts :

A. Attaque sur Réseau Consciente du Binaire (BAL-A)

Conçue pour l'objectif général de minimisation des retournements (trouver la solution la plus parcimonieuse sans budget strict $K$).

• Approche : Les auteurs intègrent le problème de sélection binaire dans une structure de réseau. Ils construisent une base où le bloc supérieur mesure l'erreur résiduelle ($\|Vz + g^\dagger\|^2$) et le bloc inférieur pénalise les coefficients non binaires ($M^2 \|z\|^2$).
• Algorithme :
  1. Construire une base de réseau consciente du binaire.
  2. Appliquer la réduction de base Lenstra-Lenstra-Lovász (LLL) pour obtenir une base bien conditionnée.
  3. Utiliser l'algorithme du plan le plus proche de Babai pour trouver le vecteur de réseau le plus proche.
  4. Mapper la solution entière de retour vers les coordonnées originales et tronquer en binaire.
• Garanties Théoriques : Les auteurs fournissent des conditions suffisantes sur le paramètre de pénalité $M$ pour garantir que :
  1. Les coefficients entiers sont restreints à $\{0, 1\}$ (binaire).
  2. La solution récupère le véritable motif d'attaque à retournement minimal sous une "condition de séparation" concernant les erreurs résiduelles des solutions sous-budgétisées.

B. Attaque par Pursuit Binaire (BMP-A)

Conçue pour le scénario budgété à $K$ retournements, où l'attaquant est limité à retourner au plus $K$ étiquettes.

• Approche : Il s'agit d'un algorithme glouton adapté du Pursuit Binaire (BMP). Il sélectionne itérativement l'échantillon dont le décalage de gradient induit par le retournement présente la corrélation normalisée la plus élevée avec le résidu actuel.
• Adaptation : Contrairement à la récupération parcimonieuse standard, les colonnes de gradients dans ce problème ne sont pas normalisées. BMP-A gère cela en utilisant des corrélations normalisées ($\frac{|\langle v_i, r \rangle|}{\|v_i\|_2}$) pour la sélection tout en mettant à jour le résidu avec les vecteurs originaux non normalisés.
• Garanties Théoriques :
  • Récupération : Sous une condition de cohérence mutuelle sur le dictionnaire $V$ (ajustée pour des normes de colonnes non uniformes), BMP-A est garanti de récupérer le support du vecteur d'attaque réel en $K^\star$ itérations.
  • Impossibilité (Robustesse) : Les auteurs dérivent des conditions suffisantes (basées sur la norme spectrale et la cohérence) selon lesquelles aucune attaque à $K$ retournements ne peut réussir. Si le décalage de gradient cible requis dépasse le décalage maximal réalisable par $K$ retournements (étant donné la géométrie de $V$), l'attaque est impossible.

4. Résultats Expérimentaux

Les auteurs valident leur théorie sur des ensembles de données synthétiques et réels :

• Dictionnaires Synthétiques :
  • BAL-A : A démontré que le taux de vrais positifs (TPR) de la récupération de support est élevé lorsque la pénalité de réseau $M$ est inférieure à un seuil de séparation prédit théoriquement. Au-dessus de ce seuil, les performances se dégradent, confirmant le compromis théorique.
  • BMP-A : A montré une récupération de support parfaite dans les limites théoriques basées sur la cohérence. Au-delà de ces limites, l'algorithme est resté efficace, suggérant que les limites théoriques sont conservatrices.
• Ensemble de Données de Préférences Humaines de Stanford (SHP) :
  • Appliqué à des modèles DPO log-linéaires entraînés sur des données de préférences réelles.
  • BAL-A : A récupéré avec succès des motifs d'attaque sur de petits sous-ensembles, les performances s'alignant avec l'analyse de séparation.
  • BMP-A : A démontré que la réduction de la cohérence du dictionnaire de gradients (via la sélection de sous-ensembles) améliore considérablement les taux de réussite des attaques et la réduction des résidus.
  • Impact en Aval : Les expériences ont montré que même avec une récupération de support imparfaite, les politiques résultantes entraînées sur des ensembles de données attaqués étaient proches de la politique cible, validant le résidu de gradient comme un substitut suffisant pour le succès dans l'espace des politiques.

5. Signification et Revendications

Le papier revendique d'être la première analyse théorique des attaques par retournement d'étiquettes sur le RLHF hors ligne, spécifiquement pour le pipeline DPO. Sa signification réside dans :

1. Combler le Fossé : Alors que les attaques par injection de données ont été analysées théoriquement, les attaques par retournement d'étiquettes étaient auparavant comprises principalement par l'observation empirique. Ce travail fournit un cadre combinatoire et géométrique rigoureux pour les comprendre.
2. Insight Géométrique : Il met en évidence que le succès de telles attaques est gouverné par la géométrie du dictionnaire de gradients (spécifiquement la cohérence et les normes de colonnes). Cela suggère que la robustesse d'un système RLHF est intrinsèque à la structure de ses données de préférences.
3. Certificats de Robustesse : Les conditions d'impossibilité dérivées offrent un moyen de certifier qu'une configuration spécifique de RLHF hors ligne est robuste contre toute attaque à $K$ retournements, indépendamment de l'algorithme spécifique utilisé par l'attaquant.
4. Algorithmes Pratiques : Les méthodes BAL-A et BMP-A proposées offrent des stratégies efficaces et théoriquement fondées pour évaluer la vulnérabilité des systèmes RLHF face au poisonnement ciblé.

Les auteurs maintiennent un ton modeste, notant que leur analyse est spécifique à la classe de politiques log-linéaires et que les limites dérivées (par exemple, pour BMP-A) sont des conditions suffisantes mais pas nécessairement nécessaires. Ils soulignent que la compréhension de ces vulnérabilités est cruciale pour concevoir des algorithmes d'alignement robustes pour les Grands Modèles de Langage (LLM).