Technische Samenvatting: Optimalisatie van Sociale Nuttigheid in Sequentiële Experimenten

Probleemstelling

In hoog-risicodomeinen zoals geneesmiddelenontwikkeling rust de regelgevende goedkeuring op Gerandomiseerde Gecontroleerde Studies (RCT's) om veiligheid en werkzaamheid vast te stellen. De aanzienlijke financiële kosten van deze trials weerhouden ontwikkelaars echter vaak van het nastreven van "moonshot"-producten met een hoge potentiële sociale nuttigheid, vooral wanneer ze geen absolute zekerheid hebben over de werkzaamheid van een product. Hoewel adaptieve trials en gerichte subsidies zijn voorgesteld om dit te mitigeren, hangt hun effectiviteit af van hoe ontwikkelaars strategisch reageren op prikkels. Bestaande literatuur modelleert regelgevende goedkeuring vaak als een principal-agent spel, maar richt zich typisch op statische hypothetetoetsing of contractontwerp om deelname door agenten met inefficiënte producten te ontmoedigen. Er is een lacune in het begrijpen van hoe sequentiële experimentatie optimaal gesubsidieerd kan worden wanneer zowel de regulator (principal) als de ontwikkelaar (agent) onzeker zijn over de ware werkzaamheid van het product, met als doel het maximaliseren van sociale nuttigheid in plaats van alleen het beheersen van foutpercentages.

Methodologie

De auteurs stellen een statistisch protocol voor voor sequentiële experimentatie, waarbij de agent een reeks RCT's uitvoert en de principal (regulator) de experimentatiekosten gedeeltelijk subsidieert, afhankelijk van goedkeuring. Het kader is gebaseerd op drie kerncomponenten:

1. Sequentiële Hypothetetoetsing met e-waarden:
   In plaats van traditionele p-waarden, maakt het protocol gebruik van e-waarden om "any-time validity" te waarborgen. De principal stelt een basislijn voor werkzaamheid $\theta_b$ en een bovengrens voor het vals-positief percentage $\kappa$ in. Bij elke stap $t$ kiest de agent een steekproefgrootte $n_t$. De principal berekent een e-waarde $E(X_t, n_t)$ op basis van de uitkomst $X_t$ (succesvol in de trial). Deze e-waarden worden multiplicatief geaggregeerd tot een testproces $M_t$. De nulhypothese $H_0$ (werkzaamheid $\theta^* < \theta_b$) wordt verworpen (en het product goedgekeurd) zodra $M_t \geq 1/\kappa$. Deze structuur garandeert dat de kans op een vals-positief resultaat begrensd is door $\kappa$, ongeacht wanneer het experiment wordt gestopt.

2. Geloof-Markov Beslissingsproces (MDP) voor de Agent:
   Omdat de agent de ware werkzaamheid $\theta^*$ niet kent, handelt deze op basis van zijn posterior-geloof, gemodelleerd als een Beta-verdeling $B_t = \text{Beta}(\alpha_t, \beta_t)$. Het beslissingsprobleem van de agent wordt gemodelleerd als een geloof-MDP ($M_\epsilon$) waarbij:

   • Staat: Gekenmerkt door geloofsparameters $(\alpha, \beta)$, opgebouwde kosten $C$, en tijdstap.
   • Actie: Het selecteren van een steekproefgrootte $n$ of het afzien van deelname ($n=0$).
   • Overgang: Update het geloof via Bayesiaanse inferentie en accumuleert kosten.
   • Beloning: Omvat het voordeel van goedkeuring ($\rho_A$) plus de subsidie ($\epsilon$) minus de kosten van de trial.
     De agent zoekt een beleid $\pi$ dat zijn verwachte nut maximaliseert. De auteurs tonen aan dat het optimale beleid efficiënt kan worden berekend met dynamische programmering (waarde-iteratie).

3. Optimalisatie door de Principal via Delen-en-Heersen:
   De principal streeft naar het selecteren van een subsidieniveau $\epsilon$ dat de sociale nuttigheid ($U^S$) maximaliseert, gedefinieerd als het sociale voordeel van goedkeuring ($\rho_S$) minus de verwachte subsidiekosten.

   • Structurele Eigenschappen: De auteurs bewijzen dat de verwachte nuttigheid van de agent een stuksgewijs lineaire en convexe functie is van de subsidie $\epsilon$. Bijgevolg is de verwachte sociale nuttigheid van de principal een stuksgewijs lineaire functie over intervallen waarin het optimale beleid van de agent constant blijft.
   • Algoritme: Door gebruik te maken van deze eigenschappen ontwikkelen de auteurs een delen-en-heersen algoritme (Algoritme 1) om de optimale subsidie $\epsilon^*$ te vinden. Het algoritme identificeert iteratief de "hoekpunten" van de stuksgewijs lineaire nuttigheidsfunctie door het MDP van de agent op kandidaat-subsidiepunten op te lossen en te controleren op beleidsveranderingen.

Belangrijkste Bijdragen

1. Nieuw Protocol: Introductie van een sequentieel goedkeuringsprotocol dat hypothetetoetsing op basis van e-waarden combineert met gedeeltelijke kostensubsidies, ontworpen om de prikkels van ontwikkelaars en regulators onder onzekerheid op één lijn te brengen.
2. Berekenings-efficiëntie:
   • Aantonen dat de optimale strategie van de agent in het geloof-MDP efficiënt kan worden gevonden met dynamische programmering, met een staatruimtegrootte van $O((n_{max})^2 \cdot T^3)$.
   • Bewijs dat de sociale nuttigheidsfunctie stuksgewijs lineair en convex is met betrekking tot de subsidie, waardoor een efficiënt delen-en-heersen-algoritme kan worden gebruikt om de sociaal optimale subsidie te vinden zonder uitputtend zoeken.
3. Theoretische Karakterisering:
   • Vaststellen van de monotonie van de optimale waardenfunctie met betrekking tot geloofsparameters en kosten.
   • Bewijs dat het optimale beleid van de agent een drempelstructuur vertoont met betrekking tot de beslissing om af te zien van deelname.
   • Aantonen dat de verwachte nuttigheid van de agent lineair is in de subsidie binnen specifieke intervallen, wat de decompositie van de waardenfunctie mogelijk maakt.

Experimentele Resultaten

De auteurs hebben het protocol gevalideerd met simulatie-experimenten gebaseerd op publiek beschikbare gegevens over ontwikkeling en goedkeuring van antibiotica.

• Opzet: Het scenario betrof een antibioticum met een ware werkzaamheid $\theta^* = 0,65$ en een basislijn $\theta_b = 0,5$. De agent kon maximaal vier trials uitvoeren met een maximale steekproefgrootte van 200. Kosten werden gemodelleerd op basis van realistische schattingen (vaste kosten $\approx 48,9$ miljoen USD, kosten per patiënt $\approx 66$ duizend USD).
• Vondsten:
  • Onder de optimale subsidie ($\epsilon^* \approx 0,108$) verhoogde het protocol de sociale nuttigheid met ongeveer 5,5% ten opzichte van een scenario zonder subsidie en verlaagde het de kans dat de agent afziet van deelname met ~22%.
  • In vergelijking met standaard niet-sequentiële protocollen (waarbij de agent beperkt is tot één trial) leverde het sequentiële gesubsidieerde protocol aanzienlijke winsten op. Specifiek verhoogde het de sociale nuttigheid met ~50–60% ten opzichte van niet-sequentiële protocollen zonder subsidies, en met >35% ten opzichte van niet-sequentiële protocollen met optimale subsidies.
  • De optimale subsidie bleek toe te nemen met de verhouding van sociaal voordeel tot voordeel voor de agent ($\rho_S/\rho_A$), wat sterkere prikkels voor de principal weerspiegelt om te subsidiëren wanneer de sociale inzet hoger is.
  • Het algoritme was berekeningsefficiënt en loste de optimale subsidie op in ongeveer 271 seconden voor de fiduciële instelling.

Betekenis en Beweringen

Het artikel claimt een geprincipeerd kader te bieden voor het ontwerpen van subsidiemechanismen die de sociale nuttigheid in regelgevende goedkeuringsprocessen verbeteren. Door de interactie te modelleren als een Stackelberg-spel binnen een geloof-MDP, tonen de auteurs aan dat het mogelijk is om:

• Experimentatie te stimuleren voor producten met hoog potentieel maar met onzekerheid, zonder afbreuk te doen aan statistische strenghid (via e-waarden).
• Optimale strategieën en subsidies efficiënt te berekenen, waardoor de aanpak berekeningstechnisch haalbaar wordt voor toepassing in de echte wereld.
• Traditionele niet-sequentiële ontwerpen aanzienlijk te overtreffen, met name in scenario's gekenmerkt door marktfalen en onderinvestering (zoals antibiotica-ontwikkeling).

De auteurs positioneren dit werk als een bijdrage aan de bredere richting van regelgevende instanties en ontwikkelaars die flexibele, datagedreven goedkeuringsmethodologieën (waaronder Bayesiaanse benaderingen) verkennen om veiligheid en innovatie beter in evenwicht te brengen. Zij merken expliciet op dat hoewel het huidige model een Beta-Binomiaal kader gebruikt, de aanpak kan worden uitgebreid naar generalere settings, hoewel dit berekeningstechnische uitdagingen introduceert. Het artikel concludeert dat hun sequentiële, gesubsidieerde protocol een haalbaar pad biedt om de prikkels van de agent op één lijn te brengen met sociale doelstellingen, wat toekomstige beleidsdiscussies kan informeren.