Posterior and Likelihood Sensitivity in Bayesian Distributionally Robust Optimization

Technische Samenvatting: Posterior- en Likelihood-gevoeligheid in Bayesiaanse Distributionele Robuuste Optimalisatie

Probleemstelling
Bayesiaanse modellen bieden een raamwerk voor het leren van data door een likelihood-functie $L_\theta(\cdot)$ te combineren met een prior-verdeling $\rho$ om een predictieve verdeling te vormen. Echter, besluitvormers (DMs) maken zich vaak zorgen over model-misspecificatie. Specifiek kan de verwachte kosten van een beslissing zeer gevoelig zijn voor afwijkingen van de veronderstelde predictieve verdeling. Hoewel de bestaande literatuur robuustheid in empirische optimalisatie behandelt, is er een behoefte om de gevoeligheid van Bayesiaanse beslissingen specifiek te kwantificeren ten opzichte van afwijkingen in twee afzonderlijke componenten: de posterior-verdeling (die de parameteronzekerheid vertegenwoordigt) en de likelihood-functie (die het structurele model van het datageneratieproces vertegenwoordigt). Dit artikel behandelt het probleem van het karakteriseren en beheren van de afweging tussen prestaties (verwachte kosten) en robuustheid tegen deze specifieke bronnen van onzekerheid.

Methodologie
De auteurs introduceren de concepten worst-case posterior-gevoeligheid en worst-case likelihood-gevoeligheid. Deze zijn gedefinieerd binnen een Bayesiaans Distributioneel Robuust Optimalisatie (DRO) raamwerk.

1. Onzekerheidssets: De methodologie definieert onzekerheidssets voor de posterior $\eta$ en de likelihood $Q_\theta$ met behulp van afwijkingsmaten $d(\cdot|\cdot)$.

   • $P(\epsilon) = \{ \eta \mid d(\eta|\rho) \le \epsilon \}$ vertegenwoordigt afwijkingen van de nominale posterior.
   • $L_\theta(\delta) = \{ Q \mid d(Q|L_\theta) \le \delta \}$ vertegenwoordigt afwijkingen van de nominale likelihood voor elke parameter $\theta$.

2. Worst-case Verwachte Kosten: De auteurs formuleren de worst-case verwachte kosten $V(\epsilon, \delta)$ als een geneste maximalisatieprobleem:
   $$V(\epsilon, \delta) = \max_{\eta \in P(\epsilon)} \mathbb{E}_\eta \left[ \max_{Q_\theta \in L_\theta(\delta)} \mathbb{E}_{Q_\theta}[f(\theta, Y)] \right]$$
   Hier houdt de binnenste maximalisatie rekening met worst-case likelihood-afwijkingen geconditioneerd op $\theta$, en de buitenste maximalisatie met worst-case posterior-afwijkingen over de parameterruimte.

3. Regularisatie en Gevoeligheidsexpansie: Door gebruik te maken van technieken uit robuuste empirische optimalisatie (specifiek verwijzend naar werken [8, 9, 10]), leiden de auteurs een lokale expansie af van de worst-case kosten voor kleine onzekerheidsset-groottes ($\epsilon, \delta$). Onder Aanname 4.1 (met betrekking tot het gedrag van ambiguïteitskosten) wordt aangetoond dat de worst-case kosten benaderd kunnen worden door de nominale verwachte kosten plus een gewogen som van gevoeligheidstermen:
   $$V(\epsilon, \delta) \approx \mathbb{E}_\rho[\mathbb{E}_{L_\theta}[f]] + g(\delta)\mathbb{E}_\rho[S_{L_\theta}(f)] + g(\epsilon)S_\rho(\mathbb{E}_{L_\theta}[f])$$
   waarbij $g(\cdot)$ een functie is die bepaald wordt door de afwijkingsmaat, $S_{L_\theta}$ de likelihood-gevoeligheid is, en $S_\rho$ de posterior-gevoeligheid is.

4. Specifieke Afwijkingsmaten: Het artikel leidt deze gevoeligheden expliciet af voor gladde $\phi$-divergenties. In dit geval komen de gevoelijkheidsmaten overeen met standaarddeviaties:

   • Posterior-gevoeligheid: Proportioneel aan de standaarddeviatie van de conditionele verwachte kosten onder de posterior, $\sigma_\rho(\mathbb{E}_{L_\theta}[f])$.
   • Likelihood-gevoeligheid: Proportioneel aan de posterior-verwachting van de conditionele standaarddeviatie van de kosten, $\mathbb{E}_\rho[\sigma_{L_\theta}(f)]$.
     Het raamwerk staat ook "mix and match"-scenario's toe waarbij verschillende afwijkingsmaten (bijv. een $\phi$-divergentie voor de posterior en CVaR-gebaseerde maten voor de likelihood) worden gebruikt.

Belangrijkste Bijdragen

• Nieuwe Gevoeligheidsmetrieken: Het artikel introduceert onderscheidende kwantitatieve maten voor de gevoeligheid van Bayesiaanse beslissingen voor zowel posterior-misspecificatie als likelihood-misspecificatie.
• Decompositie van Robuustheid: Het toont aan dat een Bayesiaans DRO-probleem benaderd kan worden als een geregulariseerd nominaal probleem waarbij de regularisator een gewogen som is van posterior- en likelihood-gevoeligheid. Dit legt een directe link tussen distributionele robuustheid en gevoeligheidsanalyse.
• Asymptotisch Gedrag: Een cruciaal theoretisch resultaat is het differentiële gedrag van de twee gevoelijkheden tijdens het leerproces. Het artikel bewijst dat de posterior-gevoeligheid verdwijnt wanneer de posterior degenereert naar een puntmassa (d.w.z. wanneer parameteronzekerheid wordt geëlimineerd door leren). In contrast hiermee verdwijnt de likelihood-gevoeligheid niet, zelfs wanneer parameters bekend zijn, aangezien deze de inherente onzekerheid in de datadistributie $Y$ gegeven $\theta$ reflecteert.
• Pareto-afwegingen: De auteurs tonen aan dat het oplossen van een Bayesiaans DRO-probleem een bijna Pareto-optimale grens beschrijft tussen prestaties (verwachte kosten) en robuustheid (posterior- en likelihood-gevoeligheid).

Resultaten
Het artikel valideert deze theoretische bevindingen via een prijsstellingstoepassing waarbij de vraag normaal verdeeld is met onbekende parameters $a$ en $b$.

• Leereffecten: Numerieke experimenten laten zien dat naarmate de variantie van de posterior afneemt (wat het accumuleren van data simuleert), de posterior-gevoeligheid afneemt en uiteindelijk verdwijnt. De likelihood-gevoeligheid blijft echter constant, wat bevestigt dat leren de parameteronzekerheid vermindert maar niet de structurele onzekerheid van het model.
• Frontier-analyse: De reward-gevoeligheidsfronten illustreren dat DRO het mogelijk maakt om gevoeligheid aanzienlijk te verminderen met minimale kosten voor de verwachte beloning, vooral wanneer de initiële parameteronzekerheid hoog is.
• Onafhankelijkheid: In het specifieke prijsstellingvoorbeeld werd gevonden dat de reward-likelihood-gevoeligheidsfront onafhankelijk is van de posterior-variantie, terwijl de reward-posterior-gevoeligheidsfront onafhankelijk is van de likelihood-variantie (een eigenschap die specifiek is voor de lineair-kwadratische structuur van het voorbeeld).

Betekenis en Claims
Het artikel claimt een systematische aanpak te bieden voor besluitvormers die zich zorgen maken over de fragiliteit van hun aannames. Door onderscheid te maken tussen posterior- en likelihood-gevoeligheid, stelt het raamwerk DMs in staat om te identificeren welk onderdeel van hun model (parameterchatting versus structurele vorm) de robuustheidszorgen aanjaagt.

• Robuustheid versus Prestaties: De primaire betekenis ligt in het formaliseren van de "prijs van robuustheid" als een afweging tussen verwachte kosten en gevoeligheid.
• Richtlijnen voor Systeemontwerp: De auteurs suggereren dat deze gevoelijkheidsmaten kunnen dienen als gids voor de selectie van onzekerheidssets en kunnen identificeren wanneer de kosten van robuustheid hoog zijn, wat potentieel kan aanzetten tot systeemherontwerp.
• Beperkingen van Leren: Een belangrijk inzicht is dat hoewel leren de posterior-gevoeligheid elimineert, het de likelihood-gevoeligheid niet elimineert. Daarom moet een robuuste Bayesiaanse beslissing rekening houden met de potentiële misspecificatie van het likelihood-model, zelfs nadat de parameters goed zijn geschat.

Het artikel concludeert dat een distributioneel robuuste formulering een bijna Pareto-optimaal mechanisme biedt om prestaties en robuustheid tegen beide soorten modelonzekerheid in balans te brengen.