A Tale of Two Cities: Pessimism and Opportunism in Offline Dynamic Pricing

Technische Samenvatting: Een Verhaal van Twee Steden: Pessimisme en Opportunisme in Offline Dynamische Prijstelling

Probleemstelling
Dit artikel adresseert de uitdaging van offline dynamische prijstelling in omgevingen waar historische data een onvolledige dekking van de prijsruimte bieden. In vele praktische toepassingen kunnen bedrijven de kosten of risico's van uitgebreide experimenten niet dragen, wat leidt tot datasets waarin bepaalde kandidaatprijzen – inclusief potentieel de optimale prijzen – volledig niet-geobserveerd zijn. Standaard offline versterkende leer (RL) methoden, waaronder die welke vertrouwen op aannames van volledige dekking of partiële dekking (waarbij de acties van het optimale beleid in de data vertegenwoordigd moeten zijn), falen in deze "geen-dekking" scenario's. Wanneer de optimale prijs ontbreekt, zijn vraag en Q-functies niet langer punt-geïdentificeerd, waardoor standaard schatters suboptimaal of niet-toepasbaar worden. De auteurs beogen een statistisch onderbouwd kader te ontwikkelen voor offline dynamische prijstelling dat opereert zonder enige data-dekking-aanname, gebruikmakend van de fundamentele economische regelmaat dat de vraag niet-stijgend is in de prijs.

Methodologie
De auteurs stellen een niet-parametrisch kader voor partiële identificatie voor dat gebruikmaakt van de monotonie van de vraag met betrekking tot de prijs om de waarde van niet-geobserveerde prijzen te begrenzen.

1. Kader voor Partiële Identificatie:
   In plaats van te extrapoleren via parametrische modellen, construeert de methode intervalgrenzen voor de vraag-verdelingsfunctie $F_t(d|a)$ bij niet-geobserveerde prijzen $a$. Deze grenzen worden afgeleid van de geobserveerde vraagverdelingen bij de dichtstbijzijnde lagere ($a^L_t$) en hogere ($a^U_t$) geobserveerde prijzen. Specifiek wordt voor een niet-geobserveerde prijs $a$ de conditionele CDF begrensd door $F_t(d|a^L_t) \le F_t(d|a) \le F_t(d|a^U_t)$. Om steekproeffouten te compenseren, verfijnen de auteurs deze grenzen met behulp van betrouwbaarheidsintervallen die zijn afgeleid uit de ongelijkheid van Dvoretzky–Kiefer–Wolfowitz, zodat de ware CDF met hoge waarschijnlijkheid binnen het geconstrueerde interval ligt.

2. Beslissingsregels:
   Binnen dit kader formuleren de auteurs twee verschillende dynamische beslissingsregels die zijn toegesneden op sequentiële "geen-dekking" omgevingen:

   • Pessimistisch Beleid: Dit beleid maximaliseert de worst-case omzet. Het selecteert de prijs die de ondergrens van de Q-functie maximaliseert, geconstrueerd door de Q-functie te minimaliseren over de betrouwbaarheidsset van mogelijke vraagverdelingen. Deze aanpak biedt bescherming tegen neerwaartse risico's wanneer de onzekerheid over niet-geobserveerde prijzen substantieel is.
   • Opportunistisch Beleid: Dit beleid minimaliseert de worst-case regret ten opzichte van het beste haalbare alternatief. In tegenstelling tot de pessimistische aanpak die zich richt op de ondergrens van de omzet, overweegt de opportunistische aanpak de maximale regret die een actie kan opleveren vergeleken met de beste alternatieve actie onder de worst-case realisatie van de onbekende vraag. Dit stelt bedrijven in staat om potentieel voordeel te halen uit onder-geëxploiteerde prijzen.

3. Algoritmen:
   De auteurs ontwikkelen efficiënte algoritmen voor beide beleidsvormen met behulp van achterwaartse induktie (dynamische programmering). De kernberekening bestaat uit het oplossen van een lineair programma om de worst-case Q-waarde (voor het pessimistische beleid) of de worst-case regret (voor het opportunistische beleid) te vinden binnen de geconstrueerde betrouwbaarheidssets.

Belangrijkste Bijdragen

1. Kader zonder Dekking: Het artikel presenteert de eerste techniek voor offline dynamische prijstelling die geldig blijft zonder enige data-dekking-aanname. Het introduceert een kader voor partiële identificatie voor beleidsleren wanneer optimale prijzen ontbreken in offline data, zonder parametrische restricties op te leggen aan de vraag, de beleidsklasse of de Q-functieklasse.
2. Theoretische Waarborgen: De auteurs stellen eind-steekproef regret-begrenzingen vast voor zowel het pessimistische als het opportunistische beleid. De begrenzingen ontleden in twee termen: één die schattingsfout voor geobserveerde prijzen vastlegt en een andere die de extra kosten kwantificeert die worden veroorzaakt door niet-geobserveerde optimale prijzen.
   • Wanneer de optimale prijs is gedekt, herstelt de regret de standaard snelheid van $O_p(\sqrt{\log N / N})$.
   • Wanneer dekking faalt, kwantificeren de resultaten de precieze kosten van leren onder partiële identificatie, waarbij wordt aangetoond dat de begrenzing strak (haalbaar) is.
3. Managerschappelijke Toepassing: Het kader biedt een praktische vertaalslag van de risicohouding van een bedrijf naar zijn prijstellingsbeleid. Het onderscheidt tussen bedrijven die omzetstabiliteit zoeken (pessimistisch beleid) en die bereid zijn gemeten risico te dragen voor potentiële winst (opportunistisch beleid).

Resultaten
De auteurs evalueren hun methoden via simulaties en een toepassing op echte data met betrekking tot het prijzen van vliegtickets.

• Simulaties: Met behulp van Poisson- en Negatief Binomiale vraagmodellen met diverse mechanismen voor ontbrekende data, worden de voorgestelde methoden vergeleken met standaard offline RL-baselines (Greedy, Vanilla Pessimistic, Conservative Q-Learning en Batch-Constrained Q-learning). De resultaten tonen aan dat de voorgestelde opportunistische methode vaak beter presteert dan de baselines, met name in scenario's waar het gedragsbeleid suboptimaal is of de data-dekking schaars is. De opportunistische methode bereikt frequent prestaties die vergelijkbaar zijn met een orakel-optimaal beleid, zelfs bij ontbrekende prijzen. De verfijnde pessimistische methode presteert in meerdere gevallen ook beter dan de vanilla pessimistische aanpak. Opmerkelijk is dat de opportunistische methode de enige is die in staat is om niet-geobserveerde prijzen die optimaal zijn, te selecteren, terwijl pessimistische baselines (inclusief de verfijnde versie in de meeste gevallen) deze neigen uit te sluiten.
• Toepassing op Echte Data: In een analyse van Expedia-vliegticketdata (JFK naar CLT), waarbij bepaalde prijsniveaus ondervertegenwoordigd waren, behaalde de opportunistische methode de hoogste empirische totale omzet in Monte Carlo-simulaties. De verfijnde pessimistische methode eindigde op de derde plaats, met een iets slechtere prestatie dan CQL, terwijl de vanilla pessimistische aanpak de laagste omzet opleverde. De opportunistische aanpak selecteerde succesvol het niet-geobserveerde prijsniveau in specifieke toestanden, terwijl CQL dit niet deed.

Betekenis en Claims
Het artikel claimt de kloof te dichten tussen offline dynamische prijstelling en partiële identificatie in een sequentiële omgeving zonder dekking. Het betoogt dat bestaande offline RL-methoden ontoereikend zijn voor prijstellingsproblemen waarbij de optimale prijs mogelijk volledig afwezig is in historische data. Door gebruik te maken van de monotonie van de vraag, maakt het voorgestelde kader beleidsleren mogelijk buiten de steun van geobserveerde data, zonder te vertrouwen op parametrische aannames. De auteurs benadrukken dat hun regret-begrenzingen strak en snelheidsoptimaal zijn. Managerschappelijk biedt het werk een genuanceerd instrument voor besluitvormers, waarmee zij kunnen kiezen tussen een conservatieve strategie (pessimisme) voor neerwaartse bescherming en een agressieve strategie (opportunisme) voor potentiële winst, afhankelijk van hun risicotolerantie en beschikbaarheid van middelen. Het artikel concludeert dat hoewel geen enkele strategie uniform beter presteert dan de andere, de keuze afhangt van de specifieke context en de strategische doelen van het bedrijf met betrekking tot risico en onzekerheid.