🤖 machine learning

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

Dieses Paper schlägt ein neuartiges Framework für die domänenübergreifende Off-Policy-Evaluation und das Lernen vor, das historische Datensätze sowohl aus Ziel- als auch aus Quellbereichen nutzt, um kritische Herausforderungen wie Few-Shot-Daten, deterministische Logging-Policies und neue Aktionen zu bewältigen und dadurch eine effektive Policy-Evaluation und -Optimierung in Szenarien zu ermöglichen, in denen bestehende Methoden aufgrund hoher Varianz oder begrenzter Exploration scheitern.

Ursprüngliche Autoren: Yuta Natsubori, Masataka Ushiku, Yuta Saito

Veröffentlicht 2026-07-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuta Natsubori, Masataka Ushiku, Yuta Saito

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Schiffes, das versucht, durch eine stürmische See zu navigieren, aber Sie sind diese spezifische Route noch nie zuvor gefahren. Sie haben eine Karte der vergangenen Fahrten Ihres aktuellen Schiffes (die „protokollierten Daten“), aber diese Karte ist unvollständig. Vielleicht war Ihr alter Kapitän zu vorsichtig und segelte nur in ruhigen Gewässern, wodurch die gefährlichen Riffe nicht kartiert wurden. Oder vielleicht fehlt die Karte gänzlich, weil das Schiff zu klein war, um den gesamten Ozean zu erkunden. In der Welt der Informatik, speziell in einem Bereich namens Maschinelles Lernen, ist dies ein bekanntes Problem namens Contextual Bandits. So lernen Computer Entscheidungen zu treffen – wie etwa einen Film zu empfehlen, eine Medikation vorzuschlagen oder eine Anzeige anzuzeigen – basierend auf der Situation (dem „Kontext“), ohne dafür jede einzelne Option in der realen Welt ausprobieren zu müssen, was teuer oder riskant sein könnte.

Um dies zu lösen, nutzen Wissenschaftler eine Technik namens Off-Policy Evaluation (OPE). Stellen Sie sich OPE als einen „Flugsimulator“ für Entscheidungsfindungen vor. Anstatt eine neue Strategie an echten Menschen zu testen (was riskant ist), lassen Sie sie durch einen Computer laufen, um zu sehen, wie sie mit alten Daten performt hätte. Das Problem ist, dass die meisten Simulatoren versagen, wenn die alten Daten zu langweilig sind (der Kapitän hat nur eines getan) oder wenn die neue Strategie etwas ausprobieren möchte, das der alte Kapitän nie getan hat. Wenn die alten Daten keine Aufzeichnung über eine bestimmte Aktion besitzen, kann der Simulator nicht erraten, was passieren würde, was zu wilden Vermutungen oder totalem Scheitern führt. Diese Arbeit befasst sich mit dem kniffligen Szenario, in dem die alten Daten entweder zu begrenzt, zu starr oder es fehlen gänzlich entscheidende neue Optionen.

Hier kommen die Forscher von Hakuhodo DY Holdings und der Cornell University ins Spiel, die eine clevere neue Methode vorschlagen, um diesen defekten Simulator zu reparieren. Sie nennen ihre Idee Cross-Domain Off-Policy Evaluation and Learning. Stellen Sie sich vor, Sie versuchen zu lernen, wie man in einem neuen, unbekannten Ozean zu surfen (die „Ziel-Domäne“), aber Ihr lokaler Strand (die „Quell-Domäne“) hat ein anderes Wellenmuster. Wenn Sie nur an Ihrem lokalen Strand schauen, könnten Sie verwirrt sein, wenn Sie eine riesige Welle sehen, die dort noch nie vorgekommen ist. Aber was wäre, wenn Sie auch ein Video vom Surfen in einem benachbarten Ozean ansehen könnten, der ähnliche Wellen hat? Selbst wenn das Wasser etwas anders ist, könnte die Physik der Welle dieselbe sein.

Die Autoren schlagen vor, dass man, anstatt bei den langweiligen oder unvollständigen Daten der aktuellen Situation festzusitzen, Erkenntnisse aus anderen, ähnlichen Situationen (anderen „Domänen“) entlehnen kann. Sie haben erkannt, dass, obwohl jede Klinik, jedes Land oder jede Nutzergruppe einzigartig ist, sie oft gemeinsame Muster teilen. Zum Beispiel könnte eine Behandlung in zwei verschiedenen Krankenhäusern ähnlich funktionieren, selbst wenn die Patientendemografie leicht variiert. Das Paper führt eine neue Methode namens COPE (Cross-domain Off-Policy Evaluation) ein. Diese funktioniert, indem sie die „Belohnung“ (das gute Ergebnis) in zwei Teile aufteilt: einen gemeinsamen Teil, der über ähnliche Gruppen hinweg üblich ist (wie die allgemeine Physik der Welle), und einen einzigartigen Teil, der spezifisch für nur Ihre Gruppe ist (wie der lokale Wind).

Indem COPE Daten aus anderen Domänen nutzt, um den „gemeinsamen Teil“ zu bestimmen, kann es die Lücken für Aktionen füllen, die in Ihren spezifischen Daten nie ausprobiert wurden. Es ist, als würde man eine Karte einer benachbarten Stadt nutzen, um den Verlauf einer Straße in der eigenen Stadt zu bestimmen, die die eigene Karte vergessen hat zu zeichnen. Die Forscher testeten dies mit realen Daten einer Video-Sharing-App (KuaiRec) und fanden heraus, dass ihr Verfahren weitaus genauer war als die alten Methoden, wenn die Ziel-Daten spärlich waren, wenn die alten Daten zu starr (deterministisch) waren oder wenn es brandneue Aktionen zu probieren gab. Sie zeigten, dass sie durch die Kombination von Daten aus mehreren Quellen – unter Berücksichtigung ihrer Unterschiede – neue Strategien weitaus effektiver evaluieren und erlernen können, selbst in Situationen, in denen bisherige Methoden einfach aufgaben oder enorme Fehler machten.

In ihren Experimenten simulierten sie Szenarien, in denen die neuen Aktionen bis zu 80 % der möglichen Entscheidungen ausmachten oder in denen die alten Daten so begrenzt waren, dass es nur einen Datenpunkt pro Aktion gab. In diesen schwierigen Fällen reduzierte ihre neue Methode die Fehler signifikant im Vergleich zu den Standardansätzen. Sie zeigten auch, dass dies nicht nur für das „Evaluieren“ (das Überprüfen einer Strategie) funktioniert, sondern auch für das „Lernen“ (das Finden der besten Strategie). Das Paper legt nahe, dass wir, indem wir verschiedene Datenquellen als eine verbundene Familie statt als isolierte Inseln behandeln, smartere, sicherere und anpassungsfähigere Entscheidungssysteme bauen können, insbesondere wenn wir nicht genug Daten haben, um von Grund auf neu zu lernen.

Technisches Resümee: Cross-Domain Off-Policy Evaluation und Learning für kontextuelle Banditen

1. Problemformulierung

Die Arbeit adressiert die Einschränkungen bestehender Methoden zur Off-Policy Evaluation (OPE) und zum Off-Policy Learning (OPL) bei kontextuellen Banditen angesichts drei spezifischer, herausfordernder Szenarien, die in realen Anwendungen (z. B. personalisierte Medizin, Werbung, Bildung) häufig vorkommen:

Deterministische Logging-Policies: Die historische Logging-Policy wählt eine bestimmte Aktion mit einer Wahrscheinlichkeit von eins aus, wodurch keine stochastische Exploration stattfindet.
Neue Aktionen: Aktionen, die der neuen Policy zur Verfügung stehen, wurden in den historischen geloggten Daten nie beobachtet.
Few-Shot Data: Die Zieldomäne verfügt über extrem begrenzte geloggte Daten.

Standard-Schätzer wie Inverse Propensity Scoring (IPS) und Doubly Robust (DR) stützen sich auf die Annahme des gemeinsamen Supports (Common Support, Bedingung 2.1), welche voraussetzt, dass jede von der neuen Policy gewählte Aktion eine Wahrscheinlichkeit von ungleich Null hat, auch von der historischen Logging-Policy gewählt worden zu sein. Wenn diese Annahme verletzt wird (aufgrund von Determinismus oder neuen Aktionen), leiden diese Schätzer unter einem schweren Bias, da ihnen Informationen über die Belohnungen nicht explorierter Aktionen fehlen. Darüber hinaus führen naive Versuche, dies durch das Zusammenführen von Daten aus mehreren Domänen zu mildern (z. B. IPS-ALL), oft zu einem erheblichen Bias ein, da die Unterschiede in den Datengenerierungsprozessen (DGPs) über die Domänen hinweg ignoriert werden.

Um dies zu lösen, schlagen die Autoren eine neue Problemformulierung vor: Cross-Domain OPE/L. In diesem Setup besteht das Ziel, eine Policy in einer Zieldomäne ( $T$ ) zu evaluieren und zu optimieren, indem nicht nur die begrenzten geloggten Daten aus $T$ , sondern auch historische geloggte Datensätze aus mehreren Quell-Domänen ( $S$ ) genutzt werden. Diese Quell-Domänen können unterschiedliche Kontextverteilungen, Belohnungsverteilungen und Logging-Policies aufweisen, teilen jedoch denselben Aktionsraum.

2. Methodik

2.1 Zerlegung der Belohnungsfunktion

Der Kern der vorgeschlagenen Methode ist eine Zerlegung der erwarteten Belohnungsfunktion $q_k(x, a)$ für jede Domäne $k$ in zwei Komponenten:
$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{Domain-Cluster-Effekt}} + \underbrace{h(x, a, k)}_{\text{domänenspezifischer Effekt}}$

Domain-Cluster-Effekt ( $g$ ): Eine Komponente, die für alle Domänen innerhalb desselben Clusters $\phi(k)$ gemeinsam ist. Sie erfasst geteilte kausale Effekte (z. B. die allgemeine Wirksamkeit einer Behandlung über ähnliche Krankenhäuser hinweg).
Domänenspezifischer Effekt ( $h$ ): Eine Komponente, die einzigartig für jede spezifische Domäne $k$ ist und Abweichungen vom Cluster-Durchschnitt darstellt.

2.2 Der COPE-Schätzer

Die Autoren schlagen den Cross-domain Off-Policy Evaluation (COPE) vor, einen Schätzer, der diese Zerlegung nutzt, um den Support-Mangel zu bewältigen:

Schätzung des Cluster-Effekts: Für den Domain-Cluster-Effekt $g$ wendet COPE Multiple Importance Weighting (MIW) unter Verwendung von Daten aus allen Domänen innerhalb des Ziel-Clusters $\phi(T)$ an. Dies ermöglicht es dem Schätzer, Explorationsdaten aus Quell-Domänen zu nutzen, um Aktionen zu bewerten, die in der Zieldomäne nicht exploriert wurden, sofern sie innerhalb des Clusters exploriert wurden.
Schätzung des spezifischen Effekts: Für den domänenspezifischen Effekt $h$ verwendet COPE eine Belohnungsregression ( $\hat{q}_T$ ), die ausschließlich auf den geloggten Daten der Zieldomäne trainiert wurde. Dies korrigiert die einzigartigen Charakteristika der Zieldomäne.

Der endgültige COPE-Schätzer kombiniert diese beiden Teile:
$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{MIW auf Cluster-Daten}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{Regression auf Ziel-Daten}}$
Hierbei ist $p_{\phi(T)}(a|x)$ die gemeinsame Verteilung von Kontext und Aktion, gemittelt über den Ziel-Cluster, was als Nenner für die Importance Weights dient.

2.3 Erweiterung auf Policy Learning (COPE-PG)

Das Framework wird durch die Ableitung eines Policy-Gradient-Schätzers (COPE-PG) auf Off-Policy Learning (OPL) erweitert. Dieser Schätzer nutzt dieselbe Zerlegung, um die Policy-Parameter $\theta$ zu aktualisieren, was das Lernen von Policies ermöglicht, die neue Aktionen auswählen oder deterministische Logging-Szenarien handhaben können, indem sie auf Gradienten aus Quell-Domänen zurückgreifen.

2.4 Theoretische Eigenschaften

Gelockerte Support-Bedingung: Die Methode beruht auf Common Cluster Support (Bedingung 3.1), welche erfüllt ist, wenn die Logging-Policy innerhalb des Clusters von Domänen gemeinsamen Support besitzt, nicht notwendigerweise innerhalb der Zieldomäne allein. Dies ermöglicht die Evaluation, selbst wenn die Logging-Policy der Zieldomäne deterministisch ist oder neue Aktionen existieren, solange der Cluster Explorationsdaten enthält.
Bias-Analyse: Der Bias von COPE wird durch die Differenz zwischen dem gewichteten Durchschnitt der Regressionsfehler im Cluster und dem Fehler in der Zieldomäne charakterisiert. Unter der Bedingung der Conditional Pairwise Correctness (CPC) (wo das Regressionsmodell die relativen Belohnungsunterschiede zwischen den Domänen im Cluster und der Zieldomäne korrekt bewahrt), ist COPE nachweislich erwartungstreu (unbiased).
Generalisierung: Es wird gezeigt, dass COPE ein strikter Generalisierungsfall bestehender Schätzer ist. Wenn die Clustergröße 1 ist (nur die Zieldomäne), reduziert es sich auf den Standard-DR. Wenn der Cluster alle Domänen umfasst, nähert es sich DR-ALL an (wenn auch mit Bias-Korrekturen).

3. Zentrale Beiträge

Problemformulierung: Einführung von Cross-Domain OPE/L, einem neuartigen Setup, das Daten aus Quell-Domänen nutzt, um OPE/L-Herausforderungen (deterministisches Logging, neue Aktionen, Few-Shot Data) in der Zieldomäne zu lösen.
Neuer Schätzer (COPE): Ein neuartiger Schätzer basierend auf der Zerlegung der Belohnungsfunktion (Cluster- vs. spezifische Effekte) und Multiple Importance Weighting. Er erreicht theoretisch Unbiasedness unter milderen Bedingungen als Standard-IPS/DR.
Policy Gradient Erweiterung: Entwicklung von COPE-PG, was das Lernen von Policies ermöglicht, wo traditionelle Gradienten-Schätzer aufgrund mangelnder Exploration versagen.
Empirische Validierung: Umfassende Experimente auf einem realen Empfehlungsdatensatz (KuaiRec) und synthetischen Daten, die eine überlegene Leistung in Bezug auf den mittleren quadratischen Fehler (MSE), Bias-Reduktion und Policy-Wert-Optimierung gegenüber Baselines (IPS, DR und deren "ALL"-Domänen-Varianten) demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten COPE und COPE-PG gegen Baselines (IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL) unter variierenden Bedingungen:

Neue Aktionen: Mit steigendem Anteil neuer Aktionen in der Zieldomäne behielt COPE einen niedrigen Bias und MSE bei, während Ziel-nur-Methoden (IPS(T), DR(T)) unter hohem Bias litten und naive Pooling-Methoden (IPS-ALL) aufgrund von DGP-Mismatches scheiterten.
Deterministisches Logging: Wenn ein großer Teil der Nutzer in der Zieldomäne deterministische Logging-Policies hatte, blieb COPE robust mit niedrigem Bias, während Standardmethoden einen rapide ansteigenden Bias zeigten.
Few-Shot Data: In Low-Data-Regimen (z. B. 1 Datenpunkt pro Aktion) übertraf COPE die beste Baseline (DM) signifikant und erreichte in einem Szenario eine 6,79-fache Reduktion des MSE.
OPL-Performance: COPE-PG lernte erfolgreich Policies, die hochbelohnte neue Aktionen auswählten – eine Fähigkeit, die Ziel-nur-Methoden fehlt. Es hielt hohe Policy-Werte selbst bei zunehmendem Grad an deterministischem Logging aufrecht.
Hyperparameter-Sensitivität: Die Methode zeigte Robustheit gegenüber der Größe des Ziel-Clusters $|\phi(T)|$ und funktionierte über einen Bereich von Clustergrößen hinweg gut, wobei moderate Größen (z. B. 6–8) optimale Ergebnisse lieferten.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass bestehende OPE/L-Methoden fundamental durch die Common-Support-Annahme eingeschränkt sind, was sie in realistischen Szenarien mit deterministischem Logging, neuen Aktionen oder spärlichen Daten unwirksam macht. Durch die Formulierung des Problems als Cross-Domain OPE/L bieten die Autoren eine praktische Lösung, die die Fülle an historischen Daten aus verwandten Domänen (z. B. andere Krankenhäuser, Länder oder Nutzersegmente) nutzt.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit:

Eine sichere Evaluation und das Lernen neuer Policies in Hochrisiko-Umgebungen zu ermöglichen, in denen Online-A/B-Tests riskant oder unmöglich sind.
Den "Varianz-vs.-Bias"-Trade-off in Few-Shot-Settings zu überwinden, indem Exploration-Informationen aus Quell-Domänen übertragen werden, ohne den mit naivem Daten-Pooling verbundenen Bias einzuführen.
Einen theoretisch fundierten Ansatz (via Belohnungszerlegung und MIW) zu bieten, der analytisch Unbiasedness unter Bedingungen garantiert, unter denen Standardmethoden versagen.

Die Autoren kommen zu dem Schluss, dass auch wenn ihr aktuelles Domänen-Clustering auf Heuristiken (empirische durchschnittliche Belohnungen) beruht, das Framework eine neue Forschungsrichtung für den prinzipienbasierten Cross-Domain-Transfer in Bandit-Problemen eröffnet, insbesondere mit Blick auf die ungelösten Probleme des deterministischen Loggings und neuer Aktionen.