Technische Zusammenfassung: Elicitation-Augmented Bayesian Optimization (EA-BO)

Problemstellung

Bayesian Optimization (BO) ist ein stichproben-effizientes Framework zur Optimierung teurer Black-Box-Funktionen. Während Human-in-the-Loop (HITL) BO-Methoden darauf abzielen, die Kosteneffizienz durch die Nutzung von Domänenwissen zu verbessern, gehen bestehende Ansätze typischerweise davon aus, dass Experten ihr Wissen explizit quantifizieren können (z. B. durch Angabe von Prior-Verteilungen oder das Festlegen von Abfrageorten). Menschliche Expertise ist jedoch oft implizit und qualitativ; Menschen sind im Allgemeinen zuverlässiger beim Rangieren von Kandidaten als beim Zuweisen kalibrierter numerischer Werte.

Dieser Artikel adressiert die Herausforderung, implizites Expertenwissen in BO über Paarvergleiche (Rangfolge zweier Designs) anstelle einer direkten Quantifizierung einzubeziehen. Das Kernproblem besteht darin, eine Methode zu entwickeln, die:

1. Direkte Funktionsauswertungen (teuer, hochfidel) mit Paarvergleichen (günstig, geringere Fidelität, verrauscht) kombiniert.
2. Sowohl ein- als auch mehrzieloptimierung unter einer bekannten Nutzenfunktion behandelt.
3. Ein festes Budget dynamisch zwischen diesen beiden Informationsquellen basierend auf ihren relativen Kosten und Informationsgehalt zuweist.

Methodik

1. Surrogatmodell: Mixed-Likelihood Sparse Variational GP

Die Autoren schlagen ein Gauß-Prozess (GP)-Surrogatmodell vor, das sowohl direkte Beobachtungen als auch Paarvergleiche als verrauschte Evidenz über die Zielfunktion $f$ behandelt.

• Direkte Beobachtungen: Modelliert mit einer standardmäßigen Gauß-Likelihood: $y = f(x) + \epsilon_{eval}$.
• Paarvergleiche: Modelliert unter Verwendung einer Probit-Link-Funktion. Eine binäre Entscheidung $d \in \{0, 1\}$ gibt an, ob $x$ basierend auf der Nutzen-Differenz $\Delta = U(f(x)) - U(f(x'))$ höher als $x'$ eingestuft wird. Die Likelihood ist $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$.
• Inferenz: Das Modell verwendet Sparse Variational Inference (SVGP), um die Posterior-Verteilung zu approximieren. Die Evidence Lower Bound (ELBO) lässt sich in separate Terme für Beobachtungen und Vergleiche zerlegen.
  • Der Beobachtungsterm erlaubt eine geschlossene Gauß-Lösung.
  • Der Vergleichsterm beinhaltet einen Erwartungswert von $\log \Phi(\cdot)$. Für lineare Nutzenfunktionen ist die Nutzen-Differenz Gauß-verteilt, was die Berechnung des Erwartungswerts über eine eindimensionale Gauss-Hermite-Quadratur ermöglicht. Nichtlineare Nutzenfunktionen werden über Momentenabgleich behandelt.

2. Akquisitionsfunktion: Kostenbewerteter Informationswert (VoI)

Die Methode adopts eine myopische, einstufige Lookahead-Strategie, um die nächste Aktion auszuwählen. Der Aktionsraum umfasst sowohl direkte Auswertungen ($x \in \mathcal{X}$) als auch Paarabfragen ($(x, x') \in \mathcal{X}^2$).

• Ziel: Maximierung des kosten-normalisierten Informationswerts: $\frac{\alpha(a; D)}{c(a)}$, wobei $\alpha$ der erwartete Nutzenzuwachs und $c(a)$ die Kosten sind.
• VoI für direkte Auswertung ($\alpha_{eval}$): Reduziert sich auf den Knowledge Gradient für lineare Nutzenfunktionen. Wird mittels einer „one-shot"-Umformulierung mit Fantasy-Punkten optimiert.
• VoI für Paarvergleiche ($\alpha_{comp}$): Die Autoren leiten eine geschlossene Fantasy-Posterior-Aktualisierung unter der Probit-Likelihood für Multi-Output-Ziele mit bekanntem Nutzen her. Dies erweitert den pairwise knowledge gradient (Wu und Gardner, 2026) auf den Multi-Output-Fall. Der VoI wird exakt als diskreter Erwartungswert über das binäre Ergebnis berechnet, wodurch eine Monte-Carlo-Approximation für den Vergleichsschritt vermieden wird.
• Optimierung: Beide Akquisitionsfunktionen werden gemeinsam mit den Kandidaten-Eingaben unter Verwendung der one-shot-Umformulierung und des Adam-Optimierers optimiert.

Hauptbeiträge

1. Mixed-Likelihood Sparse Variational GP: Eine prinzipielle Methode zur Aktualisierung einer GP-Posterior-Verteilung durch Kopplung einer Gauß-Beobachtungs-Likelihood mit einer Probit-Vergleichs-Likelihood, was eine zerlegbare ELBO mit handhabbaren Termen ergibt.
2. Kostenbewusste Akquisitionsregel: Herleitung einer geschlossenen Posterior-Mittelwert-Aktualisierung unter Probit-Vergleichen für Multi-Output-Ziele, die eine kosten-normalisierte VoI-Akquisitionsfunktion ermöglicht, die direkte Auswertungen und Paarabfragen ohne manuelle Planung ausbalanciert.
3. Einheitliches Framework: Ein einziger Algorithmus (EA-BO), der sowohl ein- als auch mehrzieloptimierung einheitlich behandelt, indem Paar-Rangfolgen als Evidenz über die beobachtbaren Funktionswert der Zielfunktion betrachtet werden.

Experimentelle Ergebnisse

Die Methode, benannt Elicitation-Augmented Bayesian Optimization (EA-BO), wurde an Standard-Benchmarks für ein- und mehrzieloptimierung (Branin, Hartmann6, BraninCurrin, VLMOP2) mit linearen und Chebyshev-Nutzenfunktionen evaluiert.

• Leistung im Vergleich zu Einzelquellen: EA-BO nähert sich der konvexen Hülle der Trajektorien einzelner Informationsquellen an.
  • Wenn Paarvergleiche günstig sind (z. B. 5-mal günstiger als Auswertungen), weist EA-BO den Großteil des frühen Budgets Vergleichen zu und erzielt eine schnelle initiale Konvergenz, die mit reinen Vergleichsmethoden (KG-Comp) vergleichbar ist.
  • Wenn sich die Posterior-Verteilung verfeinert oder Vergleiche verrauscht werden, verschiebt sich EA-BO hin zu direkten Auswertungen und erreicht die asymptotische Genauigkeit von reinen Auswertungs-BO (KG-Eval).
• Leistung im Vergleich zu HITL-Baselines: EA-BO übertrifft CoExBO (Adachi et al., 2024), die nächste bestehende HITL-Methode, die Paarvergleiche verwendet, erheblich. Im Gegensatz zu CoExBO, das Vergleiche zur Steuerung der Kandidatenauswahl über ein Hilfsmodell nutzt, integriert EA-BO sie direkt als Likelihood-Evidenz.
• Sensitivität:
  • Kostenverhältnis: EA-BO gibt Vergleiche automatisch auf, wenn sie teurer als Auswertungen sind, und erhöht die Zuweisung, wenn das Kostenverhältnis wächst.
  • Rauschen: Die Methode priorisiert Vergleiche, wenn sie informativ sind. Wenn das Vergleichsrauschen zunimmt, verschiebt sich der Algorithmus progressiv zu direkten Auswertungen. Interessanterweise tritt bei moderatem Rauschpegel ein nicht-monotoner Leistungsabfall auf, da der myopische VoI verrauschten Vergleichen vor ihrer vollständigen Aufgabe bei hohem Rauschpegel noch einen positiven Wert zuschreibt.

Bedeutung und Behauptungen

Der Artikel behauptet, dass EA-BO ein robustes, adaptives Framework zur Nutzung impliziter menschlicher Expertise in BO bietet. Seine primäre Bedeutung liegt in der Fähigkeit, automatisch auszugleichen zwischen günstigen, verrauschten qualitativen Daten (Rangfolgen) und teuren, hochfidenalen quantitativen Daten (Auswertungen).

Die Autoren stellen fest, dass die Methode:

• Die Stichprobeneffizienz erheblich verbessert, wenn Paarabfragen günstiger sind als Auswertungen.
• Die Leistung von Standard-BO wiederherstellt, wenn Paarabfragen zu teuer oder zu verrauscht sind, um nützlich zu sein.
• Die Notwendigkeit manueller Planung oder heuristischer Umschaltung zwischen Informationsquellen vermeidet.
• Eine prinzipielle Erweiterung von pairwise knowledge gradients auf Multi-Objective-Szenarien mit bekannten Nutzenfunktionen bietet.

Der Artikel erkennt Einschränkungen an, insbesondere die Annahme, dass Expertenurteile durch die wahre Nutzenfunktion $U \circ f$ gesteuert werden (unter Vernachlässigung möglicher Abweichungen im mentalen Modell des Experten) und die Anforderung, dass die Nutzenfunktion $U$ vor der Optimierung bekannt ist. Als zukünftige Arbeit wird die Behandlung lernbarer Nutzenfunktionen und lernbarer Korrelationen zwischen Experten-Mentalmodellen und dem wahren Ziel vorgeschlagen.