Feasibility Determination for Subjective Probability Constraints

Technische Samenvatting: Bepaling van Haalbaarheid voor Subjectieve Kansbeperkingen

Probleemstelling
Dit artikel behandelt het probleem van het identificeren van haalbare systemen binnen een eindige set gesimuleerde alternatieven waarbij de prestatie-indicatoren onderhevig zijn aan kansenbeperkingen. In tegenstelling tot traditionele Ranking and Selection (R&S) problemen die vaak aannemen dat waarnemingen normaal verdeeld zijn en zich richten op verwachte prestatie-indicatoren, behandelt dit werk scenario's waarbij waarnemingen Bernoulli-verdelingen volgen (uitkomsten van 0 of 1). De kernuitdaging is om haalbaarheid te bepalen wanneer de besluitnemer subjectieve beperkingen oplegt, wat betekent dat hij of zij bereid is om meerdere drempelwaarden voor elke beperking gelijktijdig of sequentieel te overwegen.

Een belangrijke moeilijkheid ontstaat omdat standaard statistisch geldige procedures voor haalbaarheidsbepaling zijn ontworpen voor normaal verdeelde data. Hoewel deze kunnen worden aangepast aan Bernoulli-data door het gebruik van batchgemiddelden om benaderende normaliteit te bereiken, vereist deze aanpak vaak grote batchgroottes, wat leidt tot onnodige verspilling van simulatiewaarnemingen voordat een beslissing wordt genomen. Bovendien hanteren bestaande procedures doorgaans één vaste set drempelwaarden, terwijl besluitnemers in gebieden zoals militaire operaties of voorraadbeheer vaak een reeks drempelwaarden moeten verkennen (bijvoorbeeld het versoepelen van een beperking van 90% naar 85% als er geen oplossing wordt gevonden).

Methodologie
De auteurs stellen een nieuwe procedure voor, MPB (Multi-pass Bernoulli), die een statistisch geldige eerste-pass procedure (BRF) bevat en heuristische multi-pass extensies voor het sequentieel toevoegen van drempelwaarden.

1. Odds-Ratio Onverschilligheidszone (IZ):
   In plaats van een op verschil gebaseerde IZ (die onpraktisch kan zijn voor kansen dicht bij 0 of 1) of een relative risk IZ, hanteren de auteurs een odds-ratio IZ ($\theta > 1$). Deze parameter definieert de "slip" tussen een wenselijk systeem (een systeem dat de beperking duidelijk voldoet) en een onaanvaardbaar systeem. De odds-ratio-aanpak wordt verkozen omdat deze rekening houdt met de moeilijkheid om kansen dicht bij de uitersten (0 of 1) te veranderen, en het gebruik toelaat van een random walk-model zonder vereisten voor variantieschatting of normaliteitsaannames.

2. Random Walk-model met Dummy Variabelen:
   De procedure maakt gebruik van een eenvoudig random walk-model om Bernoulli-data direct te verwerken. Het introduceert dummy Bernoulli-variabelen ($I_{i\ell mn}$) met een succeskans gelijk aan de drempelwaarde $h$. De beslissing om een systeem haalbaar of onhaalbaar te verklaren, is gebaseerd op het cumulatieve verschil tussen de waargenomen Bernoulli-uitkomsten ($Y_{i\ell n}$) en deze dummy-variabelen. Het proces stopt wanneer de cumulatieve som een voortgangsgebied $(-H_\ell, H_\ell)$ verlaat, waarbij $H_\ell$ een geheel getal is afgeleid van het gewenste betrouwbaarheidsniveau en de odds-ratio-parameter. Dit elimineert de noodzaak van initiële steekproefgroottes om variantie te schatten of om waarnemingen te batchen.

3. Subjectieve Beperkingen en Multi-Pass Heuristieken:

   • Eerste Pass (BRF): De procedure is bewezen statistisch geldig wanneer alle drempelwaarden in één pass worden gedefinieerd. Het hergebruikt waarnemingen over verschillende drempelwaarden binnen dezelfde pass door bovengrenzen en ondergrenzen voor de steekproefgemiddelden aan te houden.
   • Vervolgpassen (Heuristisch): Om besluitnemers tegemoet te komen die drempelwaarden sequentieel willen toevoegen (bijvoorbeeld beperkingen aanscherpen als veel systemen haalbaar zijn, of versoepelen als er geen enkele haalbaar is), stellen de auteurs drie heuristische benaderingen voor:
     • $BRF_B$: Gebruikt dezelfde random walk-logica als de eerste pass, maar vergelijkt nieuwe drempelwaarden met de grenzen die in eerdere passes zijn vastgesteld.
     • $BRF_N$: Gaat ervan uit dat na de eerste pass de steekproefgemiddelden ongeveer normaal verdeeld zijn, wat haalbaarheidscontroles mogelijk maakt die lijken op procedures voor normale data.
     • $BRF_{BN}$: Een hybride aanpak die $BRF_B$ en $BRF_N$ combineert en een beslissing neemt zodra een van beide methoden tot een conclusie komt.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

1. Directe Bernoulli Haalbaarheidsprocedure: Het stelt een procedure voor voor haalbaarheidsbepaling met kansenbeperkingen die direct gebruikmaakt van Bernoulli-verdeelde waarnemingen, waardoor de inefficiënties van batchgemiddelden en normale benaderingen worden vermeden.
2. Subjectieve Beperkingen: Het breidt de analyse uit om subjectieve kansenbeperkingen op te nemen, waardoor meerdere drempelwaarden per beperking gelijktijdig of sequentieel kunnen worden overwogen.
3. Statistische Geldigheid en Efficiëntie: De auteurs bewijzen de statistische geldigheid van de eerste-pass procedure (BRF) en tonen empirisch aan dat deze aanzienlijke besparingen oplevert in het aantal waarnemingen in vergelijking met de bestaande RF procedure (Zhou et al., 2022), die is ontworpen voor normale data en aangepast voor Bernoulli-data.
4. Heuristische Multi-Pass Procedures: Het introduceert heuristische procedures die besluitnemers toestaan drempelwaarden sequentieel toe te voegen, en toont door middel van experimenten aan dat deze benaderingen efficiënt haalbare systemen kunnen identificeren met betrekking tot voorkeurscombinaties van drempelwaarden.

Experimentele Resultaten
De auteurs hebben uitgebreide experimenten uitgevoerd om de voorgestelde procedures te evalueren:

• Vergelijking met RF: In single-pass scenario's behaalde BRF consistent de doelkansen van correcte beslissing (PCD) over verschillende kanswaarden en odds-ratio-instellingen. Daarentegen was de RF procedure (aangepast voor Bernoulli-data) zeer gevoelig voor batchgrootte en tolerantieniveaus. Om vergelijkbare PCD te bereiken, vereiste RF batchgroottes tot wel 400, wat resulteerde in waarnemingsaantallen ongeveer 1,5 tot 9,3 keer groter dan bij BRF.
• Multi-Pass Efficiëntie: De heuristische multi-pass procedures (specifiek MPB$_{BN}$) bleken aanzienlijk efficiënter dan het uitvoeren van een single-pass BRF met alle drempelwaarden inbegrepen. In een optimalisatiesetting met 100 systemen vereiste MPB$_{BN}$ slechts ongeveer 6% van de waarnemingen die nodig waren voor BRF, terwijl de PCD behouden bleef of verbeterde.
• Toepassing Voorraadbeheer: In een realistisch $(s, S)$ voorraadprobleem met 77 systemen en twee kansenbeperkingen vereiste MPB$_{BN}$ ongeveer 33% van de waarnemingen die nodig waren voor BRF en ongeveer 1/13e van de waarnemingen die nodig waren voor RF, terwijl een hoge statistische geldigheid werd behouden.

Betekenis en Beweringen
Het artikel beweert dat de voorgestelde procedures een statistisch geldig en zeer efficiënt alternatief bieden voor bestaande methoden voor haalbaarheidsbepaling onder kansenbeperkingen. Door gebruik te maken van de odds-ratio IZ en een random walk-model, elimineren de auteurs de noodzaak voor variantieschatting en de inefficiënties die gepaard gaan met het batchen van Bernoulli-data. Het vermogen om om te gaan met subjectieve beperkingen, waarbij besluitnemers drempelwaarden iteratief aanpassen, maakt een meer praktische en hulpbron-efficiënte aanpak van op simulatie gebaseerde besluitvorming mogelijk. De auteurs benadrukken dat hoewel de multi-pass procedures heuristisch zijn en niet strikt bewezen zijn statistisch geldig in alle sequentiële scenario's, experimentele resultaten aangeven dat ze geen geldigheidseisen schenden en aanzienlijke rekenkundige besparingen bieden.