🤖 machine learning

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

Cet article propose un nouveau cadre d'évaluation et d'apprentissage hors politique trans-domaine qui exploite des ensembles de données historiques provenant à la fois des domaines cibles et sources pour surmonter des défis critiques tels que les données à tirage limité, les politiques de journalisation déterministes et les nouvelles actions, permettant ainsi une évaluation et une optimisation de politique efficaces dans des scénarios où les méthodes existantes échouent en raison d'une variance élevée ou d'une exploration limitée.

Auteurs originaux : Yuta Natsubori, Masataka Ushiku, Yuta Saito

Publié 2026-07-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuta Natsubori, Masataka Ushiku, Yuta Saito

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le capitaine d'un navire tentant de naviguer sur une mer agitée, mais que vous n'avez jamais parcouru cet itinéraire spécifique auparavant. Vous possédez une carte des anciens voyages de votre navire (les « données enregistrées »), mais cette carte est incomplète. Peut-être que l'ancien capitaine était trop prudent et n'a navigué que dans des eaux calmes, laissant les récifs dangereux non cartographiés. Ou peut-être que la carte est totalement absente parce que le navire était trop petit pour explorer l'océan entier. Dans le monde de l'informatique, plus précisément dans un domaine appelé l'apprentissage automatique (Machine Learning), il s'agit d'un problème courant connu sous le nom de Contextual Bandits (bandits contextuels). C'est ainsi que les ordinateurs apprennent à prendre des décisions — comme recommander un film, suggérer un médicament ou montrer une publicité — en fonction de la situation (le « contexte ») sans avoir à tester chaque option dans le monde réel, ce qui pourrait être coûteux ou risqué.

Pour résoudre cela, les scientifiques utilisent une technique appelée Off-Policy Evaluation (OPE) (évaluation hors politique). Considérez l'OPE comme un « simulateur de vol » pour la prise de décision. Au lieu de tester une nouvelle stratégie sur de vraies personnes (ce qui est risqué), vous la faites passer par un ordinateur en utilisant d'anciennes données pour voir comment elle se serait comportée. Le problème est que la plupart des simulateurs tombent en panne si les anciennes données sont trop ennuyeuses (le capitaine n'a fait qu'une seule chose) ou si la nouvelle stratégie veut essayer quelque chose que l'ancien capitaine n'a jamais fait. Si les anciennes données n'ont aucune trace d'une action spécifique, le simulateur ne peut pas deviner ce qui se passerait, ce qui mène à des suppositions sauvages ou à un échec total. Ce document traite de ce scénario délicat où les anciennes données sont soit trop limitées, soit trop rigides, soit totalement dépourvues de nouvelles options cruciales.

C'est ici qu'interviennent les chercheurs de Hakuhodo DY Holdings et de l'Université de Cornell, qui proposent une nouvelle façon ingénieuse de réparer ce simulateur défaillant. Ils appellent leur idée Cross-Domain Off-Policy Evaluation and Learning (Évaluation et apprentissage hors politique inter-domaines). Imaginez que vous essayez d'apprendre à surfer dans un nouvel océan inconnu (le « domaine cible »), mais que votre plage locale (le « domaine source ») présente un motif de vagues différent. Si vous ne regardez que votre plage locale, vous pourriez être confus face à une vague géante qui n'est jamais apparue chez vous. Mais, et si vous pouviez aussi regarder une vidéo de surf dans un océan voisin qui possède des vagues similaires ? Même si l'eau est légèrement différente, la physique de la vague peut être la même.

Les auteurs suggèrent qu'au lieu d'être coincés avec les données ennuyeuses ou incomplètes de votre situation actuelle, vous pouvez emprunter des enseignements d'autres situations similaires (d'autres « domaines »). Ils ont réalisé que, bien que chaque hôpital, pays ou groupe d'utilisateurs soit unique, ils partagent souvent des modèles sous-jacents. Par exemple, un traitement peut fonctionner de manière similaire dans deux hôpitaux différents, même si la démographie des patients varie légèrement. Le document introduit une nouvelle méthode appelée COPE (Cross-domain Off-Policy Evaluation). Elle fonctionne en divisant la « récompense » (le résultat positif) en deux parties : une partie commune qui est partagée entre des groupes similaires (comme la physique générale de la vague) et une partie unique qui est spécifique à votre groupe (comme le vent local).

En utilisant les données d'autres domaines pour comprendre la « partie commune », COPE peut combler les lacunes pour des actions qui n'ont jamais été testées dans vos données spécifiques. C'est comme utiliser la carte d'une ville voisine pour comprendre le tracé d'une rue dans votre propre ville que votre propre carte a oublié de dessiner. Les chercheurs ont testé cette méthode sur des données réelles provenant d'une application de partage de vidéos (KuaiRec) et ont découvert que lorsque les données cibles étaient rares, ou lorsque les anciennes données étaient trop rigides (déterministes), ou lorsqu'il y avait de toutes nouvelles actions à tester, leur méthode était bien plus précise que les anciennes méthodes. Ils ont montré qu'en combinant les données de plusieurs sources tout en tenant compte de leurs différences, on pouvait évaluer et apprendre de nouvelles politiques bien plus efficacement, même dans des situations où les méthodes précédentes abandonnaient simplement ou commettaient des erreurs énormes.

Dans leurs expériences, ils ont simulé des scénarios où les nouvelles actions représentaient jusqu'à 80 % des choix possibles, ou bien où les anciennes données étaient si limitées qu'il n'y avait qu'un seul point de donnée par action. Dans ces cas difficiles, leur nouvelle méthode a réduit les erreurs de manière significative par rapport aux approches standards. Ils ont également montré que cela fonctionne pour « l'apprentissage » (trouver la meilleure stratégie), et pas seulement pour « l'évaluation » (vérifier une stratégie). Le document suggère qu'en traitant les différentes sources de données comme une famille connectée plutôt que comme des îles isolées, nous pouvons construire des systèmes de prise de décision plus intelligents, plus sûrs et plus adaptables, surtout lorsque nous n'avons pas assez de données pour apprendre à partir de zéro.

Résumé Technique : Évaluation et Apprentissage Hors-Politique Trans-Domaines pour les Bandits Contextuels

1. Formulation du Problème

Le papier traite des limites des méthodes existantes d'Évaluation Hors-Politique (OPE) et d'Apprentissage Hors-Politique (OPL) dans le cadre des bandits contextuels face à trois scénarios spécifiques et complexes, fréquents dans les applications réelles (ex: médecine personnalisée, publicité, éducation) :

Politiques de Journalisation Déterministes : La politique de journalisation historique sélectionne une action spécifique avec une probabilité de un, ne laissant aucune exploration stochastique.
Nouvelles Actions : Des actions disponibles pour la nouvelle politique n'ont jamais été observées dans les données historiques journalisées.
Données à Faible Échantillonnage (Few-Shot Data) : Le domaine cible dispose de données journalisées extrêmement limitées.

Les estimateurs standards comme l'Inverse Propensity Scoring (IPS) et le Doubly Robust (DR) reposent sur l'hypothèse de Support Commun (Condition 2.1), qui exige que toute action entreprise par la nouvelle politique ait une probabilité non nulle d'être entreprise par la politique de journalisation. Lorsque cette hypothèse est violée (en raison du déterminisme ou de nouvelles actions), ces estimateurs souffrent d'un biais sévère car ils manquent d'informations sur les récompenses des actions inexplorées. De plus, les tentatives naïves pour atténuer cela en regroupant les données de plusieurs domaines (ex: IPS-ALL) introduisent souvent un biais substantiel en ignorant les différences de Processus Générateurs de Données (DGP) entre les domaines.

Pour résoudre cela, les auteurs proposent une nouvelle formulation de problème : l'OPE/L Trans-Domaine. Dans cette configuration, l'objectif est d'évaluer et d'optimiser une politique dans un domaine cible ( $T$ ) en exploitant non seulement les données journalisées limitées de $T$ , mais aussi les ensembles de données journalisées historiques provenant de plusieurs domaines sources ( $S$ ). Ces domaines sources peuvent avoir des distributions de contextes, des distributions de récompenses et des politiques de journalisation différentes, mais ils partagent le même espace d'actions.

2. Méthodologie

2.1 Décomposition de la Fonction de Récompense

Le cœur de la méthode proposée est une décomposition de la fonction de récompense attendue $q_k(x, a)$ pour tout domaine $k$ en deux composantes :
$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{Effet de Cluster de Domaine}} + \underbrace{h(x, a, k)}_{\text{Effet Spécifique au Domaine}}$

Effet de Cluster de Domaine ( $g$ ) : Une composante commune aux domaines au sein du même cluster $\phi(k)$ . Elle capture les effets causaux partagés (ex: l'efficacité générale d'un traitement à travers des hôpitaux similaires).
Effet Spécifique au Domaine ( $h$ ) : Une composante unique à chaque domaine spécifique $k$ , représentant les écarts par rapport à la moyenne du cluster.

2.2 L'Estimateur COPE

Les auteurs proposent l'Évaluation Hors-Politique Trans-Domaine (COPE), un estimateur qui exploite cette décomposition pour gérer le déficit de support :

Estimation de l'Effet de Cluster : Pour l'effet de cluster de domaine $g$ , COPE applique une Pondération par Importance Multiple (MIW) en utilisant les données de tous les domaines au sein du cluster cible $\phi(T)$ . Cela permet à l'estimateur d'utiliser les données d'exploration des domaines sources pour évaluer les actions inexplorées dans le domaine cible, à condition qu'elles soient explorées au sein du cluster.
Estimation de l'Effet Spécifique : Pour l'effet spécifique au domaine $h$ , COPE utilise une Régression de Récompense ( $\hat{q}_T$ ) entraînée exclusivement sur les données journalisées du domaine cible. Cela corrige les caractéristiques uniques du domaine cible.

L'estimateur final COPE combine ces deux parties :
$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{MIW sur les données du Cluster}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{Régression sur les données Cibles}}$
Ici, $p_{\phi(T)}(a|x)$ est la distribution jointe du contexte et de l'action moyennée sur le cluster cible, servant de dénominateur pour les poids d'importance.

2.3 Extension à l'Apprentissage de Politique (COPE-PG)

Le cadre est étendu à l'Apprentissage Hors-Politique (OPL) en dérivant un estimateur de gradient de politique (COPE-PG). Cet estimateur utilise la même décomposition pour mettre à jour les paramètres de la politique $\theta$ , permettant l'apprentissage de politiques qui sélectionnent de nouvelles actions ou gèrent des scénarios de journalisation déterministes en exploitant les gradients des domaines sources.

2.4 Propriétés Théoriques

Condition de Support Relaxée : La méthode repose sur un Support de Cluster Commun (Condition 3.1), qui est satisfait si la politique de journalisation possède un support commun au sein du cluster de domaines, et pas nécessairement du seul domaine cible. Cela permet l'évaluation même lorsque la politique de journalisation du domaine cible est déterministe ou que de nouvelles actions existent, tant que le cluster contient des données d'exploration.
Analyse du Biais : Le biais de COPE est caractérisé par la différence entre la moyenne pondérée des erreurs de régression dans le cluster et l'erreur dans le domaine cible. Sous la condition de Correction Par Paire Conditionnelle (CPC) (où le modèle de régression préserve avec précision les différences de récompense relatives entre les domaines du cluster et le domaine cible), COPE est prouvé comme étant sans biais.
Généralisation : COPE est montré comme une généralisation stricte des estimateurs existants. Si la taille du cluster est de 1 (uniquement le domaine cible), il se réduit au DR standard. Si le cluster inclut tous les domaines, il se rapproche de DR-ALL (bien qu'avec des ajustements de biais).

3. Contributions Clés

Formulation du Problème : Introduction de l'OPE/L Trans-Domaine, une nouvelle configuration qui utilise les données de domaines sources pour résoudre les défis de l'OPE/L (journalisation déterministe, nouvelles actions, données à faible échantillonnage) dans le domaine cible.
Nouvel Estimateur (COPE) : Un nouvel estimateur basé sur la décomposition de la fonction de récompense (effets de cluster vs effets spécifiques) et la pondération par importance multiple. Il atteint théoriquement l'absence de biais sous des conditions plus souples que l'IPS/DR standard.
Extension au Gradient de Politique : Développement de COPE-PG, permettant l'apprentissage de politique dans des scénarios où les estimateurs de gradient traditionnels échouent en raison du manque d'exploration.
Validation Empirique : Expériences exhaustives sur un ensemble de données de recommandation réel (KuaiRec) et sur des données synthétiques, démontrant une performance supérieure en termes d'erreur quadratique moyenne (MSE), de réduction du biais et d'optimisation de la valeur de la politique par rapport aux lignes de base (IPS, DR, DM, et leurs variantes "ALL" de domaines).

4. Résultats Expérimentaux

Les auteurs ont évalué COPE et COPE-PG par rapport aux lignes de base (IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL) sous diverses conditions :

Nouvelles Actions : À mesure que le ratio de nouvelles actions dans le domaine cible augmentait, COPE maintenait un biais et une MSE faibles, tandis que les méthodes limitées au domaine cible (IPS(T), DR(T)) souffraient d'un biais élevé, et les méthodes de regroupement naïves (IPS-ALL) échouaient en raison des décalages de DGP.
Journalisation Déterministe : Lorsqu'une grande partie des utilisateurs dans le domaine cible avait des politiques de journalisation déterministes, COPE restait robuste avec un faible biais, alors que les méthodes standards présentaient un biais croissant rapidement.
Données à Faible Échantillonnage : Dans les régimes de données limitées (ex: 1 point de donnée par action), COPE a nettement surpassé la meilleure ligne de base (DM), atteignant une réduction de 6,79x de la MSE dans un scénage donné.
Performance OPL : COPE-PG a réussi à apprendre des politiques qui sélectionnaient des actions nouvelles à haute récompense, une capacité absente des méthodes limitées au domaine cible. Il a maintenu des valeurs de politique élevées même lorsque le degré de journalisation déterministe augmentait.
Sensibilité aux Hyperparamètres : La méthode a montré une robustesse à la taille du cluster cible $|\phi(T)|$ , performant bien sur une gamme de tailles de clusters, bien que des tailles modérées (ex: 6-8) aient donné des résultats optimaux.

5. Signification et Revendications

Le papier affirme que les méthodes d'OPE/L existantes sont fondamentalement limitées par l'hypothèse de support commun, ce qui les rend inefficaces dans des scénarios réalistes impliquant une journalisation déterministe, de nouvelles actions ou des données éparses. En formulant le problème comme un OPE/L Trans-Domaine, les auteurs fournissent une solution pratique qui exploite l'abondance de données historiques disponibles dans des domaines connexes (ex: autres hôpitaux, pays ou segments d'utilisateurs).

La signification de ce travail réside dans sa capacité à :

Permettre l'évaluation et l'apprentissage sécurisés de nouvelles politiques dans des environnements à enjeux élevés où les tests A/B en ligne sont risqués ou impossibles.
Surmonter le compromis "variance vs biais" dans les contextes de faible échantillonnage en transférant l'information d'exploration des domaines sources sans introduire le biais associé au regroupement de données naïf.
Offrir une approche théoriquement fondée (via la décomposition de la récompense et la MIW) qui garantit analytiquement l'absence de biais là où les méthodes standards échouent.

Les auteurs concluent que bien que leur clustering de domaines actuel repose sur des heuristiques (moyennes empiriques des récompenses), le cadre ouvre une nouvelle voie de recherche pour un transfert trans-domaine documenté dans les problèmes de bandits, ciblant spécifiquement les problèmes non résolus de la journalisation déterministe et des nouvelles actions.