Résumé Technique : Apprentissage par Renforcement Hors Ligne avec Feedback Humain Robuste à la Corruption

Définition du Problème

Cet article traite du défi de la robustesse à la corruption dans l'Apprentissage par Renforcement Hors Ligne avec Feedback Humain (Offline RLHF). Les auteurs considèrent un contexte où un ensemble de données hors ligne consiste en des paires de trajectoires $(\tau^0, \tau^1)$ accompagnées d'un feedback de préférence humaine $o \in \{+1, -1\}$. Le problème central est qu'une fraction $\epsilon$ de ces données est corrompue par un adversaire. Cette corruption peut se manifester de deux manières :

1. Manipulation du feedback : Inversion de l'étiquette de préférence $o$.
2. Manipulation des caractéristiques de la trajectoire : Altération des caractéristiques (features) des trajectoires $\tau$.

L'objectif est de concevoir des algorithmes capables d'identifier une politique quasi-optimale à partir de ces données corrompues avec des garanties théoriques prouvables. Les auteurs opèrent sous l'hypothèse de Processus de Décision de Markov Linéaires (MDP Linéaires), où les récompenses et les transitions sont des fonctions linéaires d'une application de caractéristiques $\phi$ de dimension $d$, avec une longueur d'horizon $H$.

La littérature existante a étudié séparément le RL robuste à la corruption (apprentissage à partir de récompenses scalaires sous corruption) et le RLHF hors ligne (apprentissage à partir de préférences sous données propres). Cependant, ces approches sont inapplicables à l'intersection spécifique de l'apprentissage à partir de données de préférence qui sont corrompues dans un cadre hors ligne.

Méthodologie

La méthodologie proposée suit un cadre en trois étapes pour réduire le problème du RLHF hors ligne robuste au problème du RL hors ligne robuste :

1. Estimation Robuste du Modèle de Récompense : Les auteurs apprennent d'abord de manière robuste le paramètre de récompense $\theta$ en résolant un problème d'Estimation de Maximum de Vraisemblance (MLE) Élaguée (Trimmed MLE). Au lieu d'utiliser toutes les données, l'algorithme sélectionne un sous-ensemble de $(1-\epsilon)N$ échantillons qui maximise la vraisemblance. Pour gérer les caractéristiques corrompues, la méthode utilise une estimation robuste de la covariance pour blanchir les covariables avant d'exécuter une procédure d'optimisation alternée afin de trouver un point stationnaire approximatif.
2. Construction de l'Ensemble de Confiance : Un ensemble de confiance $\Theta(\mathcal{D})$ est construit autour du paramètre de récompense estimé $\hat{\theta}$. Cet ensemble est défini sur la base du rapport de vraisemblance entre le paramètre estimé et le paramètre réel, garantissant que le paramètre réel se trouve dans l'ensemble avec une haute probabilité malgré la corruption.
3. Optimisation de la Politique Pessimiste : L'étape finale consiste à apprendre une politique optimale pessimiste sur l'ensemble de confiance construit. Cela est réalisé en réduisant le problème au RL hors ligne robuste à la corruption. L'algorithme spécifique utilisé pour cette réduction dépend des hypothèses de couverture de la distribution des données hors ligne.

L'article instancie ce cadre général sous trois hypothèses distinctes de couverture de données, en utilisant différents oracles de RL robuste pour chacune :

1. Couverture Uniforme

Sous l'hypothèse que les données hors ligne couvrent uniformément l'espace des caractéristiques (spécifiquement, la matrice de covariance des différences de caractéristiques $\Sigma^{diff}$ est bien conditionnée), les auteurs utilisent un algorithme de RL hors ligne robuste existant, R-LSVI [Zha+22], comme un oracle d'ordre zéro.

• Mécanisme : L'algorithme traite la méthode de RL hors ligne robuste comme une boîte noire qui renvoie une politique et une estimation de valeur, mais ne fournit pas d'information de gradient.
• Résultat : Cela produit un écart de sous-optimalité de $O(\epsilon^{1-o(1)})$, ce qui est quasi optimal par rapport à la fraction de corruption $\epsilon$.

2. Faible Nombre de Condition Relative

Reconnaissant que la couverture uniforme est une hypothèse forte, les auteurs l'assouplissent en une hypothèse de Faible Nombre de Condition Relative. Cette condition est plus faible, exigeant seulement que le ratio de la covariance des caractéristiques de la politique cible par rapport à celle de la politique de comportement soit borné.

• Mécanisme : Puisque l'oracle d'ordre zéro (R-LSVI) ne peut pas fournir de gradients, les auteurs emploient une technique d'approximation gaussienne [NS17] pour construire un sous-gradient approximatif de la fonction de valeur optimale $V^*(\theta)$. Ils traitent l'oracle de RL hors ligne robuste comme un oracle d'ordre zéro biaisé et effectuent une Descente de Sous-Gradient Projetée sur l'ensemble de confiance.
• Résultat : Cette approche atteint un écart de sous-optimalité de $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, où $\alpha$ est le nombre de condition relatif. La dépendance vis-à-vis de $\epsilon$ est de $O(\epsilon^{1/4})$.

3. Ratio de Couverture Généralisée Borné

Pour améliorer davantage la dépendance vis-à-vis de $\epsilon$, les auteurs considèrent une hypothèse de Ratio de Couverture Généralisée Bornée, récemment introduite par Gabbianelli et al. [Gab+24].

• Mécanisme : Sous cette hypothèse, les auteurs conçoivent une nouvelle méthode de RL hors ligne robuste à la corruption (Algorithme 7) qui agit comme un oracle de premier ordre. Cette méthode, basée sur un cadre primal-dual pour les MDP linéaires, renvoie non seulement une politique approximativement optimale mais aussi un sous-gradient approximatif de la fonction de valeur optimale. Cela permet à l'algorithme principal de RLHF d'effectuer une descente de sous-gradient projetée directe sans nécessiter de lissage d'ordre zéro.
• Résultat : Cela produit un écart de sous-optimalité nettement amélioré de $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, où $\nu$ est le ratio de couverture généralisée. La dépendance vis-à-vis de $\epsilon$ s'améliore pour atteindre $O(\sqrt{\epsilon})$.

Contributions Clés et Résultats

L'article fournit les premières méthodes de RLHF hors ligne robustes à la corruption. Les principales contributions et résultats théoriques sont résumés dans le Tableau 1 de l'article :

• Cadre Novel : La réduction du RLHF robuste au RL hors ligne robuste via l'estimation robuste de la récompense et la construction d'un ensemble de confiance.
• Instanciations Algorithmiques :
  • Algorithme 1 : Pour la couverture uniforme, atteignant une sous-optimalité de $O(\epsilon^{1-o(1)})$ en utilisant R-LSVI comme oracle d'ordre zéro.
  • Algorithme 3 : Pour le faible nombre de condition relatif, atteignant une sous-optimalité de $\tilde{O}(\epsilon^{1/4})$ en utilisant l'approximation gaussienne avec un oracle d'ordre zéro.
  • Algorithme 4 & 7 : Pour le ratio de couverture généralisée borné, atteignant une sous-optimalité de $\tilde{O}(\sqrt{\epsilon})$ en utilisant un nouvel oracle de RL hors ligne de premier ordre.
• Efficacité de l'Oracle : L'article souligne que le passage d'un accès d'ordre zéro à un accès de premier ordre (Algorithme 7) réduit considérablement le nombre d'appels d'oracle et améliore la dépendance vis-à-vis du paramètre de corruption $\epsilon$.

Signification et Revendications

Les auteurs affirment que ce travail est le premier à combiner la robustesse à la corruption avec le RLHF hors ligne, fournissant des garanties théoriques rigoureuses là où les travaux précédents ne le pouvaient pas.

• Robustesse aux Attaques Adversaires : Les méthodes sont conçues pour résister à la manipulation de l'adversaire tant sur les étiquettes de préférence que sur les caractéristiques des trajectoires, une exigence critique pour le déploiement en conditions réelles où la fiabilité des données est compromise.
• Garanties Théoriques : L'article fournit des bornes explicites sur l'écart de sous-optimalité en termes de fraction de corruption $\epsilon$, d'horizon $H$, de dimension de caractéristique $d$ et de constantes de couverture ($\xi, \alpha, \nu$).
• Portée Modeste et Travaux Futurs : Les auteurs font preuve de modestie quant à la portée actuelle, notant que les résultats sont spécifiques aux MDP linéaires. Ils reconnaissent que l'extension de ces résultats à des fonctions de récompense non convexes ou à l'approximation de fonctions générales (par exemple, les réseaux de neurones profonds) est un défi majeur, car la convexité de la fonction de valeur optimale $V^*(\theta)$ par rapport à $\theta$ — cruciale pour leurs preuves basées sur le gradient — peut ne pas se tenir dans des contextes non linéaires. Ils notent également que bien qu'ils fournissent des résultats de simulation préliminaires, l'application de ces méthodes à des contextes pratiques comme le fine-tuning des Grands Modèles de Langage (LLM) reste une direction ouverte et complexe pour la recherche future.