Résumé Technique : Apprentissage par Renforcement en Ligne avec Régularisation KL et Approximation de Fonction sous Spécification Incorrecte

1. Formulation du Problème

Ce travail traite du problème des bandits contextuels et de l'apprentissage par renforcement (RL) épisodique avec régularisation KL sous une approximation de fonction générale lorsque la classe de modèles choisie est spécifiée de manière incorrecte (misspecified).

Dans les configurations standards, les garanties théoriques reposent souvent sur l'hypothèse de réalisabilité, qui postule que la fonction de récompense ou de valeur réelle appartient exactement à la classe de fonctions de l'apprenant. Cependant, dans les applications pratiques telles que l'apprentissage par renforcement à partir de rétroaction humaine (RLHF) et le post-entraînement des grands modèles de langage (LLM), les apprenants utilisent fréquemment des classes de fonctions restreintes (par exemple, des modèles linéaires ou de faible rang) qui ne peuvent pas capturer parfaitement des structures de récompense non linéaires complexes. Cela conduit à une spécification incorrecte du modèle, où même avec une quantité infinie de données, le meilleur prédicteur dans la classe choisie conserve un biais d'approximation non nul.

Les objectifs spécifiques sont :

• Bandits contextuels : Minimiser le regret KL cumulé par rapport à une politique de Gibbs KL-optimale, définie par une politique de référence $\pi_{\text{ref}}$ et un paramètre de régularisation $\eta$.
• RL épisodique : Minimiser le regret KL cumulé dans un cadre de MDP épisodique, où les mises à jour de politique sont régularisées par une pénalité KL par rapport aux politiques de référence par étape.

Le défi central est que les analyses de spécification incorrecte existantes pour les formulations de regret de récompense standard ne se transfèrent pas directement aux cadres de régularisation KL en raison des différences structurelles dans la géométrie d'optimisation et les cibles de Bellman.

2. Méthodologie

2.1 Formulations de la spécification incorrecte

Les auteurs introduisent des conditions de spécification incorrecte spécifiques adaptées à l'objectif de régularisation KL :

• Bandits contextuels : Une formulation de spécification incorrecte ponctuelle où l'erreur quadratique entre la récompense réelle $R^\star$ et le meilleur approximateur dans la classe $\mathcal{R}$ est bornée par $\zeta_{\text{Bandit}}^2$.
• RL épisodique : Une condition de spécification incorrecte par étape alignée avec les cibles de Bellman de régularisation KL. Cela borne l'erreur entre le backup de Bellman réel (impliquant l'opérateur de partition logarithmique) et le meilleur approximateur dans la classe de fonctions par étape $\mathcal{R}_h$, bornée par $\zeta_{\text{RL}}$.

2.2 Algorithmes

Le papier propose deux algorithmes basés sur la régression qui incorporent l'optimisme pour gérer l'incertitude et la spécification incorrecte :

1. MR-KL-UCB (Bandits contextuels) :

   • Ajuste un estimateur de risque empirique (ERM) sur les données observées.
   • Calcule un bonus d'incertitude basé sur la dimension d'Eluder de la classe de fonctions.
   • Ajoute le niveau de spécification incorrecte connu $\zeta_{\text{Bandit}}$ au bonus.
   • Met à jour la politique en utilisant une distribution de Gibbs dérivée de l'estimation optimiste de la récompense : $\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$.

2. MR-KL-LSVI (RL épisodique) :

   • Une extension de l'itération de valeur par moindres carrés (LSVI) au cadre de régularisation KL.
   • Effectue une planification en arrière (backward planning) : à chaque étape $h$, il recalcule les étiquettes de régression en utilisant la valeur de continuation de l'étape suivante.
   • Ajuste un ERM par étape, calcule un bonus d'incertitude et ajoute le niveau de spécification incorrecte $\zeta_{\text{RL}}$.
   • Met à jour la politique via une amélioration de politique de Gibbs par rapport à la politique de référence par étape.
   • Utilise une mise à jour de valeur douce (opérateur de partition logarithmique) pour gérer la régularisation KL.

2.3 Techniques d'analyse théorique

L'analyse combine plusieurs techniques avancées :

• Identité variationnelle de Gibbs : Utilise la relation exacte entre l'écart KL et la différence de scores pour borner le regret.
• Auto-encadrement quadratique (Quadratic Self-Bounding) : Établit que l'écart KL entre la politique de l'apprenant et la politique optimale est majoré par le carré de la différence de leurs fonctions de score (écart d'optimisme).
• Réduction aux résidus de Bellman : Convertit les écarts de Q-on-policy au carré en termes de résidus de Bellman au carré, isolant les contributions spécifiques au KL.
• Inégalité de Freedman : Utilisée pour aligner les sommes prévisibles de bonus au carré avec les sommes réalisées, garantissant des garanties de haute probabilité.

3. Contributions Clés

1. Nouvelles formulations de spécification incorrecte : Le papier définit les premières conditions de spécification incorrecte alignées sur le KL pour les bandits contextuels (ponctuelle) et le RL épisodique (par étape le long des chemins de Bellman).
2. Conception algorithmique : Il introduit MR-KL-UCB et MR-KL-LSVI, qui calibrent explicitement les bonus d'optimisme par rapport aux niveaux de spécification incorrecte connus ($\zeta$) tout en maintenant la structure de politique de Gibbs requise pour les objectifs de régularisation KL.
3. Garanties de regret de haute probabilité : Les auteurs établissent des bornes de regret KL de haute probabilité qui séparent explicitement la complexité statistique (via la dimension d'Eluder) de l'erreur d'approximation due à la spécification incorrecte.
   • Pour les bandits : $O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$.
   • Pour le RL : $\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$.
4. Récupération des cas réalisables : L'analyse démontre que lorsque le niveau de spécification incorrecte est nul ($\zeta = 0$), les bornes récupèrent les garanties de l'état de l'art pour les contextes de régularisation KL réalisables.

4. Résultats

Les principaux résultats théoriques (Théorème 5.1 et Corollaire 5.4) fournissent les garanties suivantes :

• Bandits contextuels : Sous le modèle de spécification incorrecte ponctuelle, le regret KL cumulé croît avec la racine carrée de la dimension d'Eluder de la classe de fonctions et linéairement avec l'horizon temporel total $T$ multiplié par le carré de l'erreur de spécification incorrecte $\zeta_{\text{Bandit}}^2$.
• RL épisodique : Sous la condition de spécification incorrecte par étape, le regret croît avec l'horizon $H$, le paramètre de régularisation $\eta$, la dimension d'Eluder agrégée et le carré de l'erreur de spécification incorrecte $\zeta_{\text{RL}}^2$. La borne inclut un terme explicite pour la somme des bonus au carré, qui est contrôlé par le niveau de spécification incorrecte.

Ces résultats sont valables avec une haute probabilité ($1-\delta$) et supposent un bruit sub-gaussien conditionnel.

5. Signification et Revendications

Le papier affirme combler une lacune critique dans la compréhension théorique du RLHF et de l'apprentissage basé sur les préférences, où la spécification incorrecte du modèle est courante mais souvent ignorée dans les analyses théoriques.

• Pont entre théorie et pratique : En allant au-delà de l'hypothèse de réalisabilité, ce travail fournit un cadre théorique plus réaliste pour les applications modernes de RL où des classes de fonctions simples (comme les modèles linéaires) sont utilisées pour approximer des paysages de récompense complexes.
• Aperçu structurel : L'analyse souligne que les objectifs de régularisation KL introduisent des défis géométriques spécifiques (par exemple, les opérateurs de partition logarithmique et les politiques de Gibbs) qui nécessitent des conditions de spécification incorrecte distinctes par rapport aux formulations standards de regret de récompense.
• Robustesse : Les algorithmes proposés sont montrés comme étant robustes aux erreurs d'approximation, se dégradant gracieusement à mesure que le niveau de spécification incorrecte augmente, plutôt que de faillir complètement comme pourraient le suggérer certaines bornes dépendantes de la réalisabilité.

Les auteurs notent que leur modèle suppose une spécification incorrecte ponctuelle et un bruit à queue légère. Ils reconnaissent que l'extension de ces garanties aux mesures de spécification incorrecte on-policy, aux contextes à queue lourde et à des modèles de feedback plus larges (comme les formulations basées sur les préférences au-delà de la portée actuelle) reste une direction importante pour les travaux futurs.