Résumé Technique : Amélioration des Bornes pour l'Alignement Privé et Robuste

1. Énoncé du Problème

Cet article traite des défis théoriques liés à l'alignement des grands modèles de langage (LLM) lorsque les étiquettes de préférence sont soumises à des contraintes de confidentialité et/ou à une corruption adversaire. Dans le cadre classique de l'apprentissage par renforcement à partir de rétroaction humaine (RLHF), les modèles s'appuient sur des données de préférence pour garantir que les sorties sont utiles et inoffensives. Cependant, les données du monde réel souffrent souvent de :

• Problèmes de confidentialité : Les utilisateurs peuvent privatiser leurs véritables préférences (par exemple, via des mécanismes de confidentialité différentielle locale comme la réponse aléatoire ou Randomized Response) pour protéger des informations sensibles.
• Corruption adversaire : Les étiquettes peuvent être corrompues par des attaques d'empoisonnement de données ou des erreurs d'enregistrement, modélisées via le cadre de corruption de Huber.

L'article étudie l'écart de sous-optimalité (la différence entre la récompense de la politique optimale et la récompense de la politique apprise) dans les contextes hors ligne (jeu de données statique) et en ligne (exploration active) sous deux ordres d'interaction distincts de ces menaces :

1. Corruption-puis-LDP (CTL - Corruption-then-LDP) : Les étiquettes sont d'abord corrompues, puis privatisées.
2. LDP-puis-Corruption (LTC - LDP-then-Corruption) : Les étiquettes sont d'abord privatisées, puis corrompues.

Les auteurs visent à résoudre trois questions ouvertes spécifiques concernant les limites théoriques des approches existantes :

• Q1 : L'estimation du maximum de vraisemblance (MLE) standard avec la perte log peut-elle atteindre des taux quasi optimaux en alignement privé, ou une perte de débaisage spécialisée est-elle requise ?
• Q2 : Les algorithmes existants pour la confidentialité et la corruption conjointes peuvent-ils atteindre des bornes améliorées par rapport à l'état de l'art précédent ?
• Q3 : Des garanties théoriques peuvent-elles être établies pour l'alignement privé et/ou robuste en ligne ?

2. Méthodologie et Cœur Technique

Les contributions de l'article reposent sur l'établissement de nouvelles garanties de convergence uniforme pour deux fonctions de perte spécifiques sous confidentialité et corruption. Ces lemmes servent d'outils fondamentaux pour dériver les bornes de complexité d'échantillonnage pour les algorithmes d'alignement.

2.1 Convergence Uniforme pour la Perte Log sous Confidentialité

Les auteurs prouvent un nouveau résultat de convergence uniforme pour la perte log sous confidentialité différentielle locale (LDP).

• Idée Clé : Contrairement à la littérature précédente suggérant que la MLE standard échoue sous la confidentialité, les auteurs démontrent que la perte log de la MLE privée standard atteint des taux quasi optimaux.
• Mécanisme : En appliquant une borne de convergence uniforme à la séquence de données privatisées (où les étiquettes sont inversées via la réponse aléatoire), ils démontrent que l'erreur d'estimation évolue de manière optimale avec le paramètre de confidentialité $c(\varepsilon) = \frac{e^\varepsilon + 1}{e^\varepsilon - 1}$.
• Implication : Ce résultat valide l'utilisation d'objectifs de perte log standards pour l'apprentissage de modèles de récompense et l'alignement privés sans nécessiter de pertes de débaisage complexes et personnalisées.

2.2 Convergence Uniforme pour la Perte Carrée sous Confidentialité et Corruption

Les auteurs établissent la convergence uniforme pour la perte carrée sous les contextes conjoints de CTL et LTC.

• Idée Clé : La nature bornée de la perte carrée permet un meilleur contrôle des effets de la corruption de Huber par rapport à la perte log non bornée.
• Mécanisme : L'analyse exploite la structure probabiliste spécifique du modèle de corruption de Huber combinée à la LDP.
• Amélioration : Les bornes dérivées pour le terme de corruption sont strictement plus serrées que les résultats précédents. Plus précisément :
  • Pour CTL, la dépendance à la corruption passe de $O(\sqrt{\alpha})$ à $O(\alpha)$.
  • Pour LTC, la dépendance passe de $O(\sqrt{c(\varepsilon)\alpha})$ à $O(c(\varepsilon)\alpha)$.
• Implication : Ces bornes améliorées démontrent que les algorithmes existants utilisant la perte carrée (spécifiquement les variantes de l'optimisation de préférence $\chi^2$) sont plus robustes que ce qui avait été analysé précédemment.

2.3 Adaptations Algorithmiques

Sur la base de ces résultats de convergence, l'article propose ou analyse des algorithmes spécifiques pour différents contextes :

• Alignement Privé Hors Ligne (Priv$\chi$PO) : Une modification de l'algorithme $\chi$PO utilisant la perte log standard de la MLE privée.
• Alignement Privé en Ligne (PrivXPO) : Une modification de l'algorithme XPO (qui utilise l'exploration active) adaptée aux étiquettes privées en utilisant la perte log.
• Alignement Robuste Hors Ligne/En Ligne (Square$\chi$PO / SquareXPO) : Algorithmes utilisant la perte carrée pour gérer simultanément la confidentialité et la corruption. Ceux-ci se montrent adaptables à l'ordre spécifique de la corruption (CTL vs LTC) sans connaissance préalable.

3. Résultats Clés et Garanties Théoriques

3.1 Contexte Hors Ligne

• Confidentialité Uniquement : L'article prouve que Priv$\chi$PO (utilisant la perte log standard) atteint un écart de sous-optimalité de $O\left(\kappa(\pi^*) c(\varepsilon) \sqrt{\frac{\log(|\Pi|/\delta)}{n}}\right)$, où $\kappa(\pi^*)$ est le coefficient de concentration d'une politique unique. Cela confirme que la MLE standard est quasi optimale pour l'alignement privé.
• Confidentialité + Corruption : L'analyse de Square$\chi$PO produit des bornes améliorées :
  • CTL : $O\left(\kappa(\pi^*) \left(c(\varepsilon)\sqrt{\frac{\log(|\Pi|/\delta)}{n}} + \alpha\right)\right)$
  • LTC : $O\left(\kappa(\pi^*) \left(c(\varepsilon)\sqrt{\frac{\log(|\Pi|/\delta)}{n}} + c(\varepsilon)\alpha\right)\right)$
    Ces bornes sont montrées comme étant serrées (inégalables) en exploitant les bornes inférieures des problèmes de bandits multi-bras hors ligne.

3.2 Contexte En Ligne

• Confidentialité Uniquement : PrivXPO atteint un écart de sous-optimalité de $O\left(\kappa_{cov}(\Pi) c(\varepsilon) \sqrt{\frac{\log(|\Pi|T/\delta)}{T}}\right)$, où $\kappa_{cov}(\Pi)$ est le coefficient de couvrabilité. Il s'agit de la première garantie théorique pour l'alignement en ligne avec confidentialité des étiquettes.
• Confidentialité + Corruption : SquareXPO fournit les premières garanties théoriques pour l'alignement en ligne sous l'effet combiné de la confidentialité et de la corruption, atteignant des bornes analogues au cas hors ligne mais dépendant du coefficient de couvrabilité et du nombre de tours $T$.

4. Signification et Revendications

L'article affirme faire progresser les fondements théoriques de l'alignement privé et robuste de la manière suivante :

1. Correction des Idées Reçues : Il réfute l'idée que la perte log de type MLE standard est sous-optimale pour l'alignement privé, montrant au contraire qu'elle atteint des taux quasi optimaux. Cela simplifie le paysage algorithmique en éliminant le besoin de pertes de débaisage spécialisées dans les contextes de confidentialité pure.
2. Bornes plus Serrées pour la Robustesse : Il démontre que les algorithmes existants (comme Square$\chi$PO) possèdent des garanties théoriques plus fortes que ce qui était reconnu auparavant, améliorant spécifiquement la dépendance au paramètre de corruption $\alpha$ et son interaction avec la confidentialité $\varepsilon$.
3. Pont entre Hors Ligne et En Ligne : Il étend la compréhension théorique de l'alignement robuste et privé au régime en ligne, montrant que l'exploration active peut atteindre des taux déterminés par la complexité intrinsèque de la classe de politiques (couvrabilité) plutôt que par la couverture du jeu de données.
4. Applicabilité Générale : Les nouveaux résultats de convergence uniforme pour les pertes log et carrées sous confidentialité et corruption sont présentés comme ayant une large applicabilité au-delà de l'alignement, pouvant potentiellement impacter la théorie de l'apprentissage général et les statistiques impliquant des données bruitées ou privatisées.

Les auteurs maintiennent une position modeste, notant que bien que leurs bornes théoriques soient serrées pour les modèles spécifiques considérés (préférences de Bradley-Terry, corruption de Huber, LDP), l'extension de ces résultats à des modèles de corruption adaptatifs plus forts ou à des contextes hybrides hors ligne-en ligne reste un défi ouvert. Des évaluations empiriques sur des jeux de données synthétiques et réels (PKU-SafeRLHF) sont fournies pour montrer que les différentes fonctions de perte (log MLE, log débaisé et carrée) présentent des performances pratiques comparables, cohérentes avec leurs taux de convergence théoriques.