Technische Zusammenfassung: Regime-konditionierte Evaluation im Multi-Kontext-Bayesschen Optimieren

Problemstellung

Aktuelle Evaluierungen von Transfer-Bayesscher Optimierung (BO) und Akquisitionsfunktionen leiden unter einem fundamentalen Messfehler: Sie berichten Durchschnittliche Behandlungseffekte (ATE) über versteckte Regime-Variablen hinweg, anstatt Kontext-spezifische Durchschnittliche Behandlungseffekte (CATE) für den Kontext des Praktikers zu melden. Die Arbeit argumentiert, dass das Leistungs-Ranking von Akquisitionsfunktionen (z. B. Greedy vs. UCB) keine intrinsische Eigenschaft des Algorithmus ist, sondern eine Funktion des Evaluierungsregimes, das spezifisch durch das Budgetverhältnis ($B/|A|$), die Qualität der Prior ($\rho$), die Anzahl der Kontexte ($K$) und den Metriktyp definiert wird.

Eine Prüfung von 40 aktuellen Arbeiten (2022–2025) zeigt, dass 98 % das Budgetverhältnis $B/|A|$ nicht als kontrollierte Achse variieren und 80 % nur eine einzige Metrikfamilie berichten. Folglich sind bestehende Leaderboards „regime-unkontrolliert". Die Autoren zeigen, dass identische Benchmarks allein basierend auf dem Budget zu entgegengesetzten Schlussfolgerungen führen können: Auf dem GDSC2-Drug-Response-Benchmark übertrifft Greedy UCB bei $B=50$ um 0,050 Hit@1, während UCB Greedy bei $B=100$ um 0,035 Hit@1 übertrifft. Dies sind keine Widersprüche, sondern unterschiedliche CATEs. Die Arbeit geht davon aus, dass ohne Kontrolle dieser Regime-Variablen jedes gemeldete Ranking eine Eigenschaft des Messaufbaus und nicht des Algorithmus ist.

Methodik

1. Der Portable Regime Score (PRS)

Um das Regime beobachtbar zu machen, definieren die Autoren den Portable Regime Score (PRS):
$$PRS = \frac{B}{|A|} (1 - \rho)$$
Wobei:

• $B$: Budget pro Kontext.
• $|A|$: Größe des Aktionsraums.
• $\rho$: Spearman-Rangkorrelation zwischen Prior-Mitteln und wahren Aktionswerten (messbar aus einem Pilotlauf).

Der PRS dient als eindimensionaler Ordnungsparameter. Ein hoher PRS deutet auf ein großes Budget relativ zum Aktionsraum und/oder einen schwachen Prior hin, was nahelegt, dass Exploration sich lohnen wird. Ein niedriger PRS deutet auf einen starken Prior oder ein begrenztes Budget hin, was die Ausbeutung (Greedy) begünstigt.

2. Theoretischer Rahmen

Die Arbeit führt die No-Free-Leaderboard-Proposition (Proposition A.11) ein. Sie beweist, dass, wenn sich der CATE einer Akquisitionsentscheidung über eine Regime-Variable hinweg im Vorzeichen ändert (wie beim PRS beobachtet), der auf einem Benchmark berichtete ATE ein freier Parameter ist, der durch die Benchmark-Mischung bestimmt wird. Durch geeignete Wahl der Evaluierungsbedingungen kann jedes Ranking (einschließlich Gleichstände oder Umkehrungen) ohne Fälschung erreicht werden. Dies formalisiert, warum regime-agnostische Leaderboards unzuverlässige Entscheidungsinstrumente sind.

3. REGIMEPLANNER

Um zu demonstrieren, dass die Regime-Perspektive ausnutzbar ist, schlagen die Autoren REGIMEPLANNER vor, einen adaptiven Algorithmus, der:

1. $\hat{\rho}$ online innerhalb jedes Kontexts unter Verwendung von gecachten Prior-Mitteln und beobachteten Ergebnissen schätzt.
2. Den dynamischen PRS ($\hat{PRS}_t$) berechnet.
3. Basierend auf einem Schwellenwert $\theta = 0,10$ zwischen Greedy und UCB wechselt.
   • Wenn $\hat{PRS}_t < \theta$: Wechsel zu Greedy (Ausbeutung).
   • Wenn $\hat{PRS}_t \ge \theta$: Wechsel zu UCB (Exploration).

Dies ermöglicht dem Planer, sich an Regime-Shifts innerhalb eines einzelnen Kontexts anzupassen, eine Fähigkeit, die festen Strategien fehlt.

4. Empirische Prüfung und Validierung

• Prüfung: Eine systematische Überprüfung von 40 Transfer-BO-Papers (NeurIPS, ICML, ICLR usw.) quantifizierte das Fehlen von Regime-Kontrolle (98 % sweepen $B/|A|$ nicht).
• Benchmarks: Experimente wurden an drei primären Benchmarks durchgeführt:
  • Buchwald-Hartwig: Eine Chemie-Reaktionsoptimierungsaufgabe mit gemischten Priors, um Prior-Qualitätseffekte zu isolieren.
  • GDSC2: Ein Drug-Response-Biologie-Benchmark mit verrauschten Beobachtungen.
  • HPO-B: Ein Community-Hyperparameter-Optimierungs-Benchmark über 16 Suchräume.
• Analyse: Die Autoren analysierten 79 Bedingungen, die diese Benchmarks umfassen, und maßen Hit@1 und Discovery AUC.

Hauptergebnisse

1. Regime-Vorhersagbarkeit

Der PRS sagt den „Explorationsvorteil" (die Leistungslücke zwischen Explorations- und Ausbeutungsstrategien) stark voraus.

• Über 79 Bedingungen hinweg korreliert der PRS mit dem Explorationsvorteil mit einem hierarchischen Modellkoeffizienten $\beta = 0,50$ ($p = 1,1 \times 10^{-9}$).
• Korrelationen innerhalb der Benchmarks sind stark: GDSC2 ($r=0,96$), HPO-B ($r=0,83$) und Buchwald ($r=0,75$).
• Der PRS übertrifft seine einzelnen Komponenten ($B/|A|$ allein oder $1-\rho$ allein) als Prädiktor.

2. Umkehrung von Rankings

Die Studie bestätigt, dass Akquisitions-Rankings vollständig basierend auf dem Regime umkehren:

• Budget-Umkehrung: Auf GDSC2 gewinnt Greedy bei niedrigen Budgets ($B=50$), während UCB/REIGN bei hohen Budgets ($B=100$) gewinnen.
• Prior-Qualitäts-Umkehrung: Auf Buchwald gewinnt bei einem schwachen Prior die Exploration; bei einem starken strukturierten Prior dominiert Greedy mit großem Abstand (0,481 vs 0,389 Hit@1), wodurch der Wert der Akquisitionsentscheidung komprimiert wird.
• Metrik-Umkehrung: Auf GDSC2 dominiert Greedy den Discovery AUC bei allen Budgets, während UCB/REIGN den Hit@1 nur oberhalb des Regime-Schwellenwerts dominieren.

3. Leistung von REGIMEPLANNER

• GDSC2: Bei $B=50$ erreicht REGIMEPLANNER 0,676 Hit@1, übertrifft alle festen Planer und übersteigt den angepassten {Greedy, UCB}-pro-Kontext-Oracle um 18 %.
• HPO-B: Bei $B=100$ gewinnt REGIMEPLANNER auf allen 16 Suchräumen gegen Greedy (durchschnittlich +0,103 Hit@1) und rangiert insgesamt auf Platz 1, während Greedy den letzten Platz belegt.
• Adaptivität: REGIMEPLANNER gelingt es, indem er die Entwicklung von $\hat{\rho}$ innerhalb eines Kontexts verfolgt. Auf GDSC2 steigt $\hat{\rho}$ während eines Episoden von ~0,12 auf ~0,66, was dem Planer ermöglicht, mitten im Prozess von Exploration zu Ausbeutung zu wechseln – eine Leistung, die für feste Strategien unmöglich ist.

4. Fehlermodi und Äquivalenzbereiche

• Genauigkeit: Der PRS sagt den empirischen Gewinner in 74,7 % der 79 Bedingungen voraus.
• Äquivalenzbereich: 19 % der Bedingungen fallen in einen Äquivalenzbereich ($|Vorteil| < 0,01$ Hit@1), in dem Unterschiede praktisch nicht unterscheidbar sind, doch diese „Nicht-Unterschiede" erzeugen oft publizierbare Rankings.
• Grenzfälle: Vorhersagen verschlechtern sich in der Nähe des Schwellenwerts ($PRS \in [0,05, 0,15)$) und in Fällen mit sehr niedrigen Kontextzahlen ($K < K_{min}$), wo der Prior die Planer noch nicht differenziert hat.
• Vorregistrierte Validierung: Auf 40 zurückgehaltenen Bedingungen erreichte die Methode 67,5 % Genauigkeit, unter dem Ziel von 90 %, was hervorhebt, dass der Schwellenwert ohne Rauschschätzung nicht universell regime-agnostisch ist.

Bedeutung und Behauptungen

Die Arbeit beansprucht drei Hauptbeiträge:

1. Vorhersagbarkeit: Das Regime ist vor jedem Vergleichslauf mittels des PRS vorhersagbar, der den Explorationsvorteil über diverse Domänen (Chemie, Biologie, HPO) ordnet.
2. Ausnutzbarkeit: Der CATE ist online ausnutzbar. REGIMEPLANNER zeigt, dass eine adaptive Regel, die auf beobachtbaren Größen ($B/|A|$ und $\hat{\rho}$) basiert, feste Strategien und sogar pro-Kontext-Orakel in spezifischen Regimen übertreffen kann.
3. Diagnostische Transparenz: Die „No-Free-Leaderboard"-Proposition formalisiert, warum regime-agnostische Rankings unzuverlässig sind. Die Arbeit argumentiert, dass das Weglassen von $B/|A|$, $\rho$, $K$ und Metriktyp „Messbehauptungen, keine algorithmischen" erzeugt.

Die Autoren schließen, dass das Feld über Nicht-Unterschiede (Äquivalenzbereiche) diskutiert hat und dass die „beste" Akquisitionsfunktion eine Eigenschaft des Regimes ist, in dem sie evaluiert wurde. Sie schlagen ein neues Berichtsprotokoll vor: Akquisitionsvergleiche müssen die Prior-Bedingung, das Budgetverhältnis, den Metriktyp und die Kontextanzahl berichten, um interpretierbar zu sein. Die Arbeit dient als diagnostisches Werkzeug (PRS) und Existenznachweis (REGIMEPLANNER), dass regime-konditionierte Evaluation für eine zuverlässige algorithmische Bewertung notwendig ist.