Résumé technique : TabQL – Apprentissage Q en contexte avec des modèles de base tabulaires

Énoncé du problème

L'apprentissage Q profond (DQN) a permis de mettre à l'échelle l'apprentissage par renforcement (RL) vers des espaces d'états de haute dimension en approximatant la fonction valeur-action à l'aide de réseaux de neurones profonds. Cependant, le DQN repose sur d'énormes quantités d'interactions en ligne, est sensible aux changements de distribution et généralise souvent mal au-delà de son régime d'entraînement. Ces limitations découlent de sa dépendance à la descente de gradient stochastique (SGD) lente et lourde en interactions pour effectuer des mises à jour de Bellman répétées.

À l'inverse, les récents progrès des modèles de base ont démontré l'« apprentissage en contexte » (ICL), où de grands modèles de séquences peuvent s'adapter à de nouvelles tâches en se conditionnant sur un petit nombre d'exemples sans mises à jour explicites des paramètres. Bien que des méthodes de RL basées sur les séquences (par exemple, les Transformateurs de Décision) existent, elles se concentrent principalement sur des settings hors ligne ou d'imitation et ne modélisent pas explicitement l'optimalité de Bellman ni ne fournissent de garanties de convergence pour l'apprentissage Q en ligne.

La question centrale abordée par ce travail est : L'apprentissage de la valeur-action peut-il être réalisé par inférence en contexte plutôt que par des mises à jour de Bellman itératives basées sur le gradient ? Les auteurs soutiennent que l'apprentissage Q peut être reformulé comme un problème de prédiction conditionnelle sur l'expérience, où l'estimation d'une valeur Q pour une nouvelle paire état-action est une prédiction conditionnée à un historique de tuples passés.

Méthodologie : Apprentissage Q tabulaire (TabQL)

TabQL est un cadre d'apprentissage par renforcement qui remplace le réseau Q paramétrique du DQN par un Modèle de Base Tabulaire (TFM) capable d'effectuer une inférence de Bellman en contexte. Le cadre fonctionne via une architecture hybride combinant une phase de préchauffage et une phase d'inférence en ligne.

1. Composants principaux

• Modèle de Base Tabulaire (TFM) : Un modèle de séquence préentraîné et figé (par exemple, TabPFN, TabDPT) qui mappe un contexte de transitions tabularisées et une paire état-action requête $(s, a)$ vers une prédiction scalaire de valeur Q. Le TFM n'est pas fine-tuné ; l'adaptation se produit entièrement via la fenêtre de contexte.
• Représentation de l'expérience : Les transitions sont augmentées en tuples $x_i = (s_i, a_i, r_i, s'_i, \hat{Q}^{DQN}(s_i, a_i))$. La dernière coordonnée, $\hat{Q}^{DQN}$, sert d'« étiquette douce » dérivée d'un DQN, agissant comme la cible pour la régression du TFM.
• Décomposition de la mémoire :
  • DQN de préchauffage : Encode les informations de valeur globales et fournit une prior grossière. Il fournit des étiquettes Q approximatives pour les transitions absentes du contexte immédiat.
  • Contexte roulant ($C_t$) : Encode les informations de valeur locales et récentes. Le TFM utilise ce contexte pour effectuer une inférence en contexte fine.

2. Cadre algorithmique

L'algorithme procède en deux phases distinctes :

• Phase 1 : Préchauffage (Lignes 2–4) : Un DQN standard s'entraîne pendant $T_0$ étapes. Cette phase peuple le tampon de replay avec des transitions informatives et assure que le DQN a suffisamment convergé pour fournir des étiquettes « douces » de haute qualité ($\hat{Q}^{DQN}$). Ces étiquettes sont ajoutées au tampon de replay aux côtés des données de transition standard.
• Phase 2 : Inférence de Bellman en contexte (Lignes 10–17) :
  • Construction du contexte : Une fenêtre de contexte $C_t$ de taille $K$ est échantillonnée à partir des transitions les plus récentes dans le tampon de replay.
  • Inférence de la valeur Q : Le TFM prédit les valeurs Q pour l'état courant $s_t$ et toutes les actions possibles $a$ en se conditionnant sur $C_t$ : $\hat{Q}^{TFM}_t(s_t, a) = f_\phi(C_t, s_t, a)$.
  • Sélection d'actions : Les actions sont sélectionnées via une politique $\epsilon$-gloutonne basée sur les prédictions du TFM.
  • Génération d'étiquettes et mise à jour : Crucialement, tandis que le TFM sélectionne les actions, le DQN (toujours en cours d'exécution en parallèle) est utilisé pour prédire les valeurs Q pour les transitions exécutées. Ces valeurs prédites par le DQN servent d'étiquettes pour les nouvelles transitions, qui sont ensuite ajoutées au tampon. Cela maintient la qualité du contexte pour les inférences futures.
  • Mise à jour du DQN : Les paramètres du DQN sont mis à jour via une perte TD standard sur des mini-lots provenant du tampon, assurant que les étiquettes « enseignantes » restent précises.

3. Mécanisme théorique

TabQL traite l'apprentissage Q comme un problème d'inférence conditionnelle. Le TFM approxime le point fixe d'un opérateur de Bellman empirique induit par le contexte $C_t$.

• Amortissement : Au lieu de mises à jour de gradient itératives, les mises à jour de Bellman sont « amorties » en une seule passe avant du TFM.
• Structure de l'erreur : L'erreur totale est décomposée en :
  1. Contraction de Bellman : Décroissance géométrique standard de l'erreur.
  2. Erreur statistique : Provenant de la taille finie du contexte et du bruit des étiquettes.
  3. Erreur ICL : L'erreur d'approximation du TFM dans la prédiction du point fixe.
     Contrairement au DQN, où les erreurs par étape s'accumulent via l'accumulation de bruit SGD, les erreurs par étape de TabQL sont bornées par des constantes fixes (en supposant que la capacité du TFM et la qualité du contexte sont suffisantes).

Contributions clés

1. Cadre conceptuel : L'article reformule l'apprentissage Q comme un problème d'inférence en contexte utilisant des modèles de base tabulaires, comblant le fossé entre les méthodes tabulaires classiques, le RL profond et les modèles de base.
2. Algorithme pratique : Introduction de TabQL, qui combine une phase de préchauffage DQN avec une estimation Q contextuelle en ligne. Une innovation clé est l'utilisation du DQN pour générer des signaux de supervision (étiquettes) pour le TFM pendant l'apprentissage en ligne, assurant la qualité du contexte sans nécessiter le réentraînement du TFM.
3. Analyse théorique : Les auteurs fournissent des garanties rigoureuses de convergence et de complexité d'échantillonnage. Ils démontrent que TabQL atteint un contrôle quasi-optimal lorsque l'erreur d'approximation ICL et l'erreur d'étiquette sont faibles. L'analyse montre que TabQL évite l'accumulation de variance inhérente au DQN basé sur SGD, conduisant à une efficacité d'échantillonnage améliorée dans des conditions spécifiques (par exemple, lorsque l'exploration se concentre sur des sous-ensembles pertinents d'états-actions).
4. Validation empirique : Des expériences extensives sur des environnements Gymnasium (Taxi-v3, CliffWalking-v1, FrozenLake-v1, CartPole-v1) démontrent que TabQL atteint des performances quasi-optimales avec significativement moins d'interactions avec l'environnement par rapport au DQN, au Double DQN et au Dueling DQN.

Résultats expérimentaux

• Efficacité d'échantillonnage : Dans les environnements discrets (Taxi, CliffWalking, FrozenLake), les variantes de TabQL (utilisant les architectures TabPFN et TabDPT) atteignent des retours quasi-optimales substantiellement plus rapidement que les bases de RL profond, nécessitant souvent un ordre de grandeur moins d'interactions.
• Sensibilité du point de basculement : Les expériences révèlent un comportement de seuil pour la durée de préchauffage $T_0$. Si le passage à l'apprentissage en contexte se produit trop tôt (avant que le DQN ne fournisse des étiquettes précises), TabQL converge vers une politique sous-optimale et ne peut pas se rétablir. Une fois que $T_0$ dépasse un seuil spécifique, les performances se stabilisent au niveau optimal.
• Taille du contexte : L'augmentation de la taille du contexte $K$ accélère l'entraînement et stabilise les courbes d'apprentissage jusqu'à un point de saturation, au-delà duquel des rendements décroissants sont observés.
• Généralisation : TabQL démontre une généralisation supérieure à travers des conditions initiales invisibles par rapport au DQN, qui échoue souvent à transférer. L'agrégation de l'expérience sur plusieurs graines permet au TFM d'apprendre des motifs d'inférence de valeur transférables plutôt que de mémoriser des statistiques de trajectoires spécifiques.
• Espaces continus : Le cadre a également été testé sur CartPole-v1 (observation continue), où TabQL avec TabPFN a surpassé les bases DQN, suggérant une applicabilité au-delà des espaces d'états purement discrets.

Importance et revendications

L'article revendique que TabQL représente un nouveau paradigme d'apprentissage où l'adaptation se produit principalement par construction de contexte plutôt que par modification des paramètres. En découplant l'apprentissage de l'optimisation en ligne, TabQL offre :

• Une efficacité d'échantillonnage améliorée : Réduisant le besoin d'interactions en ligne massives, ce qui est critique pour des domaines réels comme la robotique et la santé où la collecte de données est coûteuse.
• Une stabilité théorique : Évitant l'accumulation de variance des mises à jour de gradient stochastiques, fournissant une structure théorique plus robuste pour la convergence.
• Interpolation : Le cadre interpole avec succès entre l'apprentissage Q tabulaire vanilla, l'apprentissage Q profond et l'apprentissage par renforcement en contexte.

Les auteurs reconnaissent les limites, notant que le point de basculement reste un hyperparamètre ajustable et que l'approche actuelle est mieux adaptée aux espaces d'états-actions de faible dimension. Étendre la méthode aux entrées de haute dimension (par exemple, des images) nécessiterait des modèles plus expressifs, ce qui est identifié comme une direction future. Le travail positionne TabQL non pas comme un remplacement de tout le RL, mais comme une approche spécialisée et efficace pour des settings limités en interactions où la réduction des interactions avec l'environnement est priorisée par rapport à la minimisation du coût d'inférence.