🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

Cet article propose BC-ICL, une nouvelle politique de bandit contextuel qui exploite des modèles de fondation tabulaires pré-entraînés avec l'apprentissage en contexte et le rééchantillonnage par bootstrap pour parvenir à une prise de décision en ligne robuste et efficace en termes d'échantillonnage, surpassant ainsi les bases de référence établies dans les scénarios de parcimonie et de démarrage à froid.

Auteurs originaux : Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Publié 2026-08-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le capitaine d'un vaisseau spatial tentant de trouver la meilleure route à travers une vaste galaxie brumeuse. Chaque fois que vous choisissez un chemin, vous recevez un indice infime — peut-être un éclat de lumière ou un sursaut de statique — vous indiquant si vous étiez proche du trésor ou si vous voliez simplement vers une impasse. C'est le cœur d'un problème que les scientifiques appellent « bandits contextuels ». C'est la mathématique derrière la façon dont les ordinateurs apprennent à faire des choix personnalisés, comme suggérer un film que vous allez adorer ou une chanson qui vous fera danser, en fonction de qui vous êtes et de ce que vous avez aimé auparavant. La partie délicate est le « démarrage à froid » (cold start) : quand l'ordinateur ne sait presque rien de vous, il doit deviner de manière sauvage pour apprendre. Les méthodes traditionnelles se retrouvent souvent coincées à deviner la même chose de travers encore et encore, ou deviennent si nerveuses à l'idée de se tromper qu'elles arrêtent de tenter de nouvelles choses. Elles ont besoin d'être courageuses mais intelligentes, d'explorer l'inconnu sans faire s'écraser le vaisseau.

Entrez un nouveau membre d'équipage pour votre vaisseau spatial : un « modèle de fondation ». Considérez cela comme un détective super intelligent, pré-entraîné, qui a déjà lu des millions de romans policiers et sait repérer des motifs dans les données mieux que quiconque. Habituellement, ces détectives se contentent de donner des réponses. Mais et si nous pouvions transformer ce détective en explorateur ? C'est exactement ce que les chercheurs de ce document, Devansh Gupta et son équipe, ont entrepris de faire. Ils se sont demandé : pouvons-nous prendre ce détective pré-entraîné, qui est figé et ne peut pas apprendre de nouveaux tours à la volée, et le faire jouer à un jeu de « deviner le meilleur mouvement » en secouant les indices qu'il voit ?

Ils ont construit une méthode appelée BC-ICL (Bootstrap-conditioned action selection using ICL). Voici comment elle fonctionne en langage clair : Imaginez que le détective examine l'historique de tous les voyages passés du vaisseau spatial. Au lieu de regarder l'historique complet d'un coup, l'ordinateur prend un échantillon « bootstrap ». C'est comme faire une photocopie du journal de bord, mais avec une nuance : il choisit aléatoirement certaines entrées pour les inclure deux fois et en laisse d'autres entièrement de côté, créant ainsi une version légèrement différente, une version « et si » du passé. Le détective figé examine alors cette version légèrement déformée de l'historique et fait une supposition sur le meilleur chemin. Parce que le journal de bord a légèrement changé, la supposition du détective change aussi. En répétant ce processus — mélanger les indices, interroger le détective et choisir la meilleure supposition — l'ordinateur crée une stratégie qui explore naturellement de nouveaux chemins sans avoir besoin de réentraîner le détective à partir de zéro.

Pour rendre cela encore meilleur, l'équipe a ajouté une caractéristique spéciale de « contexte d'action » (arm-context). Imaginez que le vaisseau spatial possède de nombreux moteurs différents (actions) qu'il peut utiliser. Habituellement, un ordinateur pourrait traiter chaque moteur comme une machine séparée et isolée. Mais cette nouvelle méthode traite les moteurs comme une équipe. Elle utilise une carte « multiplicative » qui permet au détective de voir comment la situation actuelle (le contexte) interagit avec chaque moteur à la fois. Cela signifie que si le détective apprend quelque chose sur le fonctionnement du moteur de « vitesse » dans une tempête, il peut instantanément appliquer cette sagesse au moteur de « direction » dans la même tempête. C'est comme un chef qui, après avoir appris comment le sel affecte une tomate, sait immédiatement comment le sel affectera un champignon, plutôt que de devoir goûter chaque légume séparément.

Les chercheurs ont testé cette idée sur une variété de puzzles difficiles, allant de la prédiction de la toxicité d'un champignon au tri de chiffres manuscrits. Ils ont découvert que BC-ICL était un joueur étoile. Dans de nombreux cas, elle commettait moins d'erreurs (une métrique appelée « regret ») que les anciennes méthodes qui reposent sur les mathématiques linéaires ou des réseaux de neurones complexes entraînés à partir de zéro. Par exemple, sur un ensemble de données appelé « Mushroom », la nouvelle méthode a commis 85 % d'erreurs en moins qu'une approche populaire de réseau neuronal. Plus impressionnant encore, elle l'a fait en étant étonnamment efficace ; en utilisant une manière intelligente de choisir quels journaux d'historique regarder (comme ne se souvenir que des voyages les plus récents ou des plus similaires), elle pouvait fonctionner presque aussi vite que les anciennes méthodes, malgré une pensée plus complexe.

Cependant, l'article trace une ligne claire dans le sable. Ils ont testé ce qui se passe si l'on laisse simplement le détective deviner le « meilleur » chemin à chaque fois sans mélanger l'historique (une approche « gourmande » ou greedy). Les résultats ont montré que cette stratégie gourmande échoue souvent, restant bloquée sur de mauvais chemins tôt dans le processus et ne parvenant jamais à s'en remettre. De même, laisser simplement l'incertitude naturelle du détective guider les choix n'était pas suffisant pour battre la nouvelle méthode. L'article suggère que la magie ne réside pas seulement dans le cerveau du détective, mais dans l'acte de secouer les indices avant de demander une opinion. Les chercheurs sont confiants dans ces résultats basés sur leurs simulations à travers huit ensembles de données différents, mais ils notent également que cette approche dépend fortement du fait que le détective possède le bon type de pré-entraînement. Si le passé entraînement du détective ne correspond pas à la galaxie actuelle, la méthode pourrait éprouver des difficultés. Pourtant, pour le bon type de données, cette stratégie de « secouer et deviner » offre un moyen puissant et pratique de transformer un modèle statique et pré-entraîné en un décideur dynamique et explorateur.

Résumé Technique : Sélection d'Actions Conditionnée par Bootstrap avec des Modèles de Fondations Tabulaires

Énoncé du Problème

Les bandits contextuels fournissent un cadre pour la personnalisation efficace en termes d'échantillonnage, mais leur déploiement pratique est entravé par des données d'interaction éparses et biaisées, des estimations d'incertitude peu fiables et des scénarios de démarrage à froid (cold-start) sévères. Bien que les approches de politique globale soient la norme dans les systèmes à grande échelle pour éviter l'inefficacité des données des bandits par utilisateur, parvenir à une exploration fondée sur des principes sans sacrifier l'expressivité du modèle de récompense reste difficile.

Les méthodes classiques reposent souvent sur des modèles de récompense linéaires avec optimisme ou échantillonnage de la distribution postérieure, ce qui limite le pouvoir de représentation. À l'inverse, les méthodes de bandits contextuels neuronaux peuvent modéliser des récompenses complexes mais nécessitent l'entraînement de réseaux spécifiques à la tâche à partir de zéro en utilisant uniquement un feedback de bandit. Leurs estimations d'incertitude (souvent basées sur la linéarisation ou le dropout) sont sensibles aux hyperparamètres et fragiles dans les régimes de faibles données. Parallèlement, les avancées récentes de l'Apprentissage en Contexte (In-Context Learning - ICL) pour les données tabulaires ont produit des prédicteurs puissants (par exemple, TabPFN, TabICL) qui s'adaptent à de nouvelles tâches via une seule passe avant (forward pass), amortissant efficacement l'inférence bayésienne. Cependant, il reste une question ouverte de savoir si ces prédicteurs ICL pré-entraînés peuvent être directement utilisés pour la sélection d'actions dans les bandits contextuels.

Méthodologie : BC-ICL

Les auteurs proposent BC-ICL (Bootstrap-conditioned action selection using ICL), une méthode qui transforme un prédicteur ICL tabulaire pré-entraîné et gelé en une politique randomisée pour la prise de décision en ligne.

Mécanisme Central

Au lieu de mettre à jour les paramètres du modèle en ligne, BC-ICL induit l'exploration en randomisant l'historique de conditionnement vu par le modèle dorsal (backbone) fixe. L'algorithme opère comme suit à chaque tour $t$ :

Rééchantillonnage par Bootstrap : Un échantillon bootstrap $\tilde{D}_t$ est tiré de l'historique des interactions observées $D_t$ (échantillonnage de $|D_t|$ observations avec remise).
Conditionnement : Le prédicteur ICL gelé $M$ est conditionné sur ce jeu de données rééchantillonné $\tilde{D}_t$ .
Scoring : Le modèle évalue tous les candidats d'actions $a \in \mathcal{A}$ étant donné le contexte actuel $x_t$ .
Sélection : L'action avec le score échantillonné le plus élevé est sélectionnée : $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ .
Mise à jour : La récompense observée est ajoutée à l'historique, et le processus se répète.

Architecture de Conditionnement Bras-Contexte

Pour remédier aux modes de défaillance des bandits à bras isolés et promouvoir un partage statistique, les auteurs introduisent une cartographie de caractéristiques spécifique $\Phi_{mult}(x, a)$ :
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
Où :

$x$ est le contexte brut.
$e_a$ est un embedding de bras fixe.
$P$ est une matrice de projection partagée.
$\odot$ désigne le produit de Hadamard (élément par élément).

Cette représentation préserve le contexte brut, encode l'identité du bras et modélise explicitement les interactions bras-contexte via le contexte projeté partagé. Crucialement, les perturbations dans l'historique de conditionnement se propagent à travers cette représentation commune, affectant les scores de plusieurs bras simultanément, permettant ainsi une exploration partagée.

Contributions Clés

Proposition d'Algorithme : L'introduction de BC-ICL, qui couple le rééchantillonnage par bootstrap avec un prédicteur ICL gelé pour convertir un modèle supervisé en une règle de décision capable d'exploration sans réentraînement en ligne.
Innovation Architecturale : La conception d'une carte de caractéristiques multiplicative bras-contexte qui facilite l'exploration partagée entre les actions grâce à une représentation de contexte projeté commune.
Validation Empirique : Une évaluation complète démontrant que BC-ICL (instancié avec TabPFN ou TabICL) surpasse les bases de comparaison de bandits contextuels linéaires, à noyau et neuronaux sous des protocoles en ligne stricts.

Résultats Expérimentaux

Les auteurs ont évalué BC-ICL sur huit jeux de données (incluant les dépôts UCI comme Covertype, ISOLET, Letter et MNIST) convertis en problèmes de bandits contextuels.

Performance : BC-ICL a obtenu le regret cumulé le plus faible sur la plupart des jeux de données, surpassant substantiellement les bases établies telles que Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS et BootstrapNN.
- Exemple : Sur le jeu de données Mushroom, BC-ICL-TabICL a atteint un regret de 37,7 contre 252,3 pour NeuralTS (une réduction de 85 %).
- Exemple : Sur ISOLET, BC-ICL a maintenu un regret systématiquement plus bas tout au long du processus d'apprentissage par rapport aux bases neuronales.
Mécanisme d'Exploration : Les études d'ablation ont révélé que l'incertitude prédictive interne du modèle ICL seule (via une sélection gourmande ou l'échantillonnage de la distribution prédictive) est insuffisante pour une prise de décision séquentielle efficace. Le mécanisme de rééchantillonnage par bootstrap a montré qu'il réduisait le regret de 5 à 19 % par rapport aux bases gourmandes et d'échantillonnage sur des jeux de données difficiles, prouvant que le bootstrapping au niveau des données est nécessaire pour une exploration efficace.
Encodage des Caractéristiques : La carte de caractéristiques multiplicative ( $\Phi_{mult}$ ) a nettement surperformé l'encodage one-hot simple ( $\Phi_{one-hot}$ ), réduisant le regret final de 30 à 40 % sur ISOLET, confirmant l'importance de modéliser explicitement les interactions bras-contexte.
Efficacité Computationnelle : Bien que l'utilisation de l'historique complet des interactions rende BC-ICL plus lent que les bases neuronales (par exemple, 7 fois plus lent pour TabPFN), les auteurs ont démontré que les stratégies de sélection de contexte comme KNN (plus proches voisins) ou FIFO (fenêtre glissante) réduisent considérablement le temps d'exécution tout en maintenant une performance de regret comparable à l'utilisation de l'historique complet.

Signification et Revendications

L'article affirme que BC-ICL offre une approche pratique et efficace pour les bandits contextuels en exploitant les biais inductifs de modèles de fondation tabulaires pré-entraînés. En évitant la nécessité d'entraîner des réseaux spécifiques à la tâche à partir de zéro, la méthode atteint une forte efficacité d'échantillonnage, particulièrement dans les régimes de démarrage à froid et de faibles données.

Les auteurs notent que la méthode suppose l'accès à un modèle pré-entraîné dont les biais inductifs s'alignent avec la tâche cible ; la performance peut se dégrader en cas de décalage important avec la tâche précédente. De plus, bien que la procédure de bootstrap introduise une surcharge computationnelle, l'utilisation de stratégies de sélection de contexte (KNN/FIFO) rend l'approche scalable. Théoriquement, les auteurs suggèrent que sous de légères hypothèses de stabilité, le regret de BC-ICL peut être décomposé en un terme de stabilité et un terme de représentation, bien que la formalisation de cela reste une direction de travail future.

Le travail soutient l'intuition selon laquelle les représentations multiplicatives bras-contexte permettent un partage statistique utile entre les actions et que les modèles ICL pré-entraînés, lorsqu'ils sont combinés avec un conditionnement par bootstrap, peuvent servir de politiques robustes et capables d'exploration pour la prise de décision en ligne.