🤖 machine learning

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

Dit artikel stelt een nieuw Cross-Domain Off-Policy Evaluation en Learning framework voor dat historische datasets van zowel doel- als brondomeinen benut om kritieke uitdagingen zoals few-shot data, deterministische logging-policies en nieuwe acties te overwinnen, waardoor effectieve policy-evaluatie en -optimalisatie mogelijk wordt in scenario's waar bestaande methoden falen vanwege hoge variantie of beperkte exploratie.

Oorspronkelijke auteurs: Yuta Natsubori, Masataka Ushiku, Yuta Saito

Gepubliceerd 2026-07-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuta Natsubori, Masataka Ushiku, Yuta Saito

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een schip dat probeert te navigeren door een stormachtige zee, maar je hebt deze specifieke route nog nooit eerder gevaren. Je hebt een kaart van de eerdere reizen van je huidige schip (de "gelogde data"), maar die kaart is incompleet. Misschien was je oude kapitein te voorzichtig en voer hij alleen in kalme wateren, waardoor de gevaarlijke riffen niet in kaart zijn gebracht. Of misschien ontbreekt de kaart zelfs volledig omdat het schip te klein was om de hele oceaan te verkennen. In de wereld van de computerwetenschap, specif으로 een veld genaamd Machine Learning, is dit een bekend probleem dat bekend staat als Contextual Bandits. Dit is hoe computers leren beslissingen te nemen—zoals het aanbevelen van een film, het suggereren van een medicijn of het tonen van een advertentie—gebaseerd op de situatie (de "context") zonder dat ze elke optie in de echte wereld daadwerkelijk hoeven uit te proberen, wat duur of riskant kan zijn.

Om dit op te lossen, gebruiken wetenschappers een techniek genaamd Off-Policy Evaluation (OPE). Denk aan OPE als een "vluchtsimulator" voor besluitvorming. In plaats van een nieuwe strategie te testen op echte mensen (wat riskant is), draai je deze door een computer met behulp van oude data om te zien hoe het er zou hebben uitgezien. Het probleem is dat de meeste simulators vastlopen als de oude data te saai is (de kapitein deed maar één ding) of als de nieuwe strategie iets wil proberen wat de oude kapitein nooit heeft gedaan. Als de oude data geen verslag heeft van een specifieke actie, kan de simulator niet raden wat er zou gebeuren, wat leidt tot wilde gokken of totaal falen. Dit artikel pakt het lastige scenario aan waarbij de oude data ofwel te beperkt, te rigide, of volledig afwezig is wat betreft cruciale nieuwe opties.

Hier komen de onderzoekers van Hakuhodo DY Holdings en Cornell University kijken, die een slimme nieuwe manier voorstellen om deze defecte simulator te repareren. Ze noemen hun idee Cross-Domain Off-Policy Evaluation and Learning. Stel je voor dat je probeert te leren surfen in een nieuwe, onbekende oceaan (het "doeldomein"), maar je lokale strand (het "brondomein") heeft een ander golfpatroon. Als je alleen naar je lokale strand kijkt, raak je in de war wanneer je een enorme golf ziet die daar nooit is voorgekomen. Maar wat als je ook een video kunt bekijken van surfen in een naburige oceaan die vergelijkbare golven heeft? Zelfs als het water iets anders is, kan de fysica van de golf hetzelfde zijn.

De auteurs stellen voor dat je, in plaats van vast te zitten met de saaie of incomplete data van je huidige situatie, inzichten kunt lenen uit andere, vergelijkbare situaties (andere "domeinen"). Ze realiseerden zich dat hoewel elke ziekenhuis, land of gebruikersgroep uniek is, ze vaak onderliggende patronen delen. Bijvoorbeeld, een behandeling kan in twee verschillende ziekenhuizen vergelijkbaar werken, zelfs als de patiëntendemografie varieert. Het artikel introduceert een nieuwe methode genaamd COPE (Cross-domain Off-Policy Evaluation). Deze werkt door de "beloning" (de goede uitkomst) op te splitsen in twee delen: een gedeeld deel dat gemeenschappelijk is voor vergelijkbare groepen (zoals de algemene fysica van de golf) en een uniek deel dat specifiek is voor jouw groep (zoals de lokale wind).

Door data uit andere domeinen te gebruiken om het "gedeelde deel" te achterhalen, kan COPE de gaten opvullen voor acties die in jouw specifieke data nooit zijn geprobeerd. Het is alsoam met een kaart van een naburige stad gebruiken om de lay-out van een straat in jouw eigen stad te achterhalen die je eigen kaart vergeten was te tekenen. De onderzoekers hebben dit getest op echte data van een video-app (KuaiRec) en ontdekten dat wanneer de doeldata schaars was, of wanneer de oude data te rigide (deterministisch) was, of wanneer er volledig nieuwe acties waren om te proberen, hun methode veel nauwkeuriger was dan de oude manieren. Ze lieten zien dat door data van meerdere bronnen te combineren maar er zorgvuldig rekening mee te houden dat ze verschillen, ze nieuwe beleidstrategieën veel effectiever kunnen evalueren en leren.

In hun experimenten simuleerden ze scenario's waarbij de nieuwe acties tot wel 80% van de mogelijke keuzes vormden, of waarbij de oude data zo beperkt was dat er slechts één datapunt per actie was. In deze zware gevallen verminderde hun nieuwe methode de fouten aanzienlijk vergeleken met de standaard benaderingen. Ze toonden ook aan dat dit werkt voor "leren" (het vinden van de beste strategie), niet alleen voor "evalueren" (het controleren van een strategie). Het artikel suggereert dat door verschillende databronnen te behandelen als een verbonden familie in plaats van geïsoleerde eilanden, we slimmere, veiligere en aanpasbaardere beslissingssystemen kunnen bouwen, vooral wanneer we niet genoeg data hebben om vanaf nul te leren.

Technische Samenvatting: Cross-Domain Off-Policy Evaluatie en Leren voor Contextuele Bandieten

1. Probleemformulering

Het artikel behandelt de beperkingen van bestaande Off-Policy Evaluation (OPE) en Off-Policy Learning (OPL) methoden in contextuele bandieten wanneer zij te maken krijgen met drie specifieke, uitdagende scenario's die veel voorkomen in real-world toepassingen (bijv. gepersonaliseerde geneeskunde, advertenties, onderwijs):

Deterministische Logging-policies: De historische logging-policy selecteert een specifieke actie met een waarschijnlijkheid van één, waardoor er geen stochastische exploratie plaatsvindt.
Nieuwe Acties: Acties die beschikbaar zijn voor de nieuwe policy werden nooit waargenomen in de historisch gelogde data.
Few-Shot Data: Het doel-domein heeft extreem beperkte gelogde data.

Standaard estimators zoals Inverse Propensity Scoring (IPS) en Doubly Robust (DR) vertrouwen op de Common Support assumptie (Conditie 2.1), die vereist dat elke actie die door de nieuwe policy wordt ondernomen, een niet-nul waarschijnlijkheid heeft om door de logging-policy te worden ondernomen. Wanneer deze assumptie wordt geschonden (door determinisme of nieuwe acties), lijden deze estimators aan ernstige bias omdat ze geen beloningsinformatie hebben voor niet-verkende acties. Bovendien introduceren naïeve pogingen om dit te mitigeren door data uit meerdere domeinen te poolen (bijv. IPS-ALL) vaak substantiële bias door verschillen in de Data Generating Processes (DGP's) over domeinen heen te negeren.

Om dit op te lossen, stellen de auteurs een nieuwe probleemformulering voor: Cross-Domain OPE/L. In deze opzet is het doel om een policy te evalueren en te optimaliseren in een doel-domein ( $T$ ) door niet alleen de beperkte gelogde data van $T$ te benutten, maar ook historische gelogde datasets van meerdere bron-domeinen ( $S$ ). Deze bron-domeinen kunnen verschillende context-distributies, belonings-distributies en logging-policies hebben, maar delen hetzelfde actieruimte.

2. Methodologie

2.1 Decompositie van de Beloningsfunctie

De kern van de voorgestelde methode is een decompositie van de verwachte beloningsfunctie $q_k(x, a)$ voor elk domein $k$ in twee componenten:
$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{Domain-Cluster Effect}} + \underbrace{h(x, a, k)}_{\text{Domain-Specific Effect}}$

Domain-Cluster Effect ( $g$ ): Een component die gemeenschappelijk is voor domeinen binnen dezelfde cluster $\phi(k)$ . Dit vangt gedeelde causale effecten op (bijv. de algemene effectiviteit van een behandeling over vergelijkbare ziekenhuizen heen).
Domain-Specific Effect ( $h$ ): Een component die uniek is voor elk specifiek domein $k$ , en die afwijkingen van het clustergemiddelde vertegenwoordigt.

2.2 De COPE Estimator

De auteurs stellen Cross-domain Off-Policy Evaluation (COPE) voor, een estimator die deze decompositie benut om de tekortkoming in de support te behandelen:

Schatten van het Cluster Effect: Voor het domain-cluster effect $g$ past COPE Multiple Importance Weighting (MIW) toe met behulp van data van alle domeinen binnen de doel-cluster $\phi(T)$ . Dit stelt de estimator in staat om exploratie-data van bron-domeinen te gebruiken om acties te evalueren die niet verkend zijn in het doel-domein, mits ze wel verkend zijn binnen de cluster.
Schatten van het Specifieke Effect: Voor het domain-specific effect $h$ gebruikt COPE Reward Regression ( $\hat{q}_T$ ) die uitsluitend getraind is op de gelogde data van het doel-domein. Dit corrigeert voor de unieke kenmerken van het doel-domein.

De uiteindelijke COPE estimator combineert deze twee delen:
$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{MIW op Cluster Data}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{Regressie op Target Data}}$
Hier is $p_{\phi(T)}(a|x)$ de gezamenlijke distributie van context en actie, gemiddeld over de doel-cluster, wat dient als de noemer voor de importance weights.

2.3 Uitbreiding naar Policy Learning (COPE-PG)

Het framework wordt uitgebreid naar Off-Policy Learning (OPL) door een policy gradient estimator (COPE-PG) af te leiden. Deze estimator gebruikt dezelfde decompositie om de policy-parameters $\theta$ bij te werken, wat het leren van policies mogelijk maakt die nieuwe acties selecteren of met deterministische logging-scenario's omgaan door gebruik te maken van gradiënten uit bron-domeinen.

2.4 Theoretische Eigenschappen

Verzwakte Support Conditie: De methode steunt op Common Cluster Support (Conditie 3.1), die wordt voldaan als de logging-policy gemeenschappelijke support heeft binnen de cluster van domeinen, en niet noodzakelijkerwijs binnen het doel-domein alleen. Dit maakt evaluatie mogelijk zelfs wanneer de logging-policy van het doel-domein deterministisch is of nieuwe acties aanwezig zijn, zolang de cluster exploratie-data bevat.
Bias Analyse: De bias van COPE wordt gekarakteriseerd door het verschil tussen het gewogen gemiddelde van regressiefouten in de cluster en de fout in het doel-domein. Onder de Conditional Pairwise Correctness (CPC) conditie (waarbij het regressiemodel relatieve beloningsverschillen tussen domeinen in de cluster en het doel-domein accuraat behoudt), is bewezen dat COPE onbevooroordeeld (unbiased) is.
Generalisatie: Er wordt aangetoond dat COPE een strikte generalisatie is van bestaande estimators. Als de clustergrootte 1 is (alleen het doel-domein), reduceert het tot standaard DR. Als de clustergrootte alle domeinen omvat, nadert het DR-ALL (hoewel met bias-correcties).

3. Belangrijkste Bijdragen

Probleemformulering: Introductie van Cross-Domain OPE/L, een nieuw setup dat bron-domein data gebruikt om OPE/L uitdagingen (deterministische logging, nieuwe acties, few-shot data) in het doel-domein op te lossen.
Nieuwe Estimator (COPE): Een nieuwe estimator gebaseerd op de decompositie van de beloningsfunctie (cluster versus specifieke effecten) en multiple importance weighting. Het bereikt theoretisch onbevooroordeeldheid onder mildere condities dan standaard IPS/DR.
Policy Gradient Uitbreiding: Ontwikkeling van COPE-PG, wat policy learning mogelijk maakt in scenario's waar traditionele gradient estimators falen door een gebrek aan exploratie.
Empirische Validatie: Uitgebreide experimenten op een real-world aanbevelingsdataset (KuaiRec) en synthetische data die de superieure prestaties van COPE en COPE-PG aantonen in termen van Mean Squared Error (MSE), bias-reductie en policy waarde optimalisatie vergeleken met baselines (IPS, DR, en DM, en hun "ALL" domein varianten).

4. Experimentele Resultaten

De auteurs evalueerden COPE en COPE-PG tegen baselines (IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL) onder variërende condities:

Nieuwe Acties: Naarmate de ratio van nieuwe acties in het doel-domein toenam, behield COPE een lage bias en MSE, terwijl target-only methoden (IPS(T), DR(T)) leden onder hoge bias, en naïeve pooling methoden (IPS-ALL) faalden door DGP mismatches.
Deterministische Logging: Wanneer een groot deel van de gebruikers in het doel-domein deterministische logging-policies had, bleef COPE robuust met een lage bias, terwijl standaard methoden een snel toenemende bias vertoonden.
Few-Shot Data: In low-data regimes (bijv. 1 datapunt per actie), presteerde COPE significant beter dan de beste baseline (DM), waarbij een 6.79x reductie in MSE werd bereikt in één scenario.
OPL Prestaties: COPE-PG slaagde erin om policies te leren die acties met een hoge beloning selecteerden, een capaciteit die afwezig was in target-only methoden. Het behield hoge policy waarden, zelfs naarmate de mate van deterministische logging toenam.
Hyperparameter Sensitiviteit: De methode toonde robuustheid aan tegen de grootte van de doel-cluster $|\phi(T)|$ , en presteerde goed over een reeks clustergroottes, hoewel matige groottes (bijv. 6-8) optimale resultaten opleverden.

5. Betekenis en Claims

Het artikel claimt dat bestaande OPE/L methoden fundamenteel beperkt worden door de common support assumptie, wat hen ineffectief maakt in realistische scenario's met deterministische logging, nieuwe acties of schaarse data. Door het probleem te formuleren als Cross-Domain OPE/L, bieden de auteurs een praktische oplossing die de overvloed aan historische data uit gerelateerde domeinen (bijv. andere ziekenhuizen, landen of gebruikerssegmenten) benut.

De betekenis van dit werk ligt in het vermogen om:

Veilige evaluatie en het leren van nieuwe policies mogelijk te maken in omgevingen met hoge inzet waar online A/B-testen riskant of onmogelijk is.
De "variance vs. bias" trade-off in few-shot settings te overwinnen door exploratie-informatie over te dragen van bron-domeinen zonder de bias te introduceren die gepaard gaat met naïeve data pooling.
Een theoretisch gefundeerde aanpak te bieden (via beloningsdecompositie en MIW) die analytisch garandeert onbevooroordeeld te zijn onder condities waar standaard methoden falen.

De auteurs concluderen dat hoewel hun huidige domein-clustering berust op heuristieken (empirisch gemiddelde beloningen), het framework een nieuwe richting opent voor onderzoek naar principiële cross-domain transfer in bandit problemen, specifiek gericht op de onopgeloste kwesties van deterministische logging en nieuwe acties.