Technische Samenvatting: Bayesianse Inferentie Krachtiger Maken met Betrouwbare, AI-Ingestuurde Priors

Probleemstelling

Moderne voorspellsystemen, met name machine learning (ML) en fundamentele modellen, kunnen output genereren die informatief is over wetenschappelijke grootheden van belang. In situaties met beperkte data biedt het benutten van deze output voor het eliciteren van Bayesianse priors een weg naar aanzienlijke statistische efficiëntie. Er bestaat echter een fundamentele spanning: hoewel een informatieve prior die is afgeleid van een ML-systeem de posterior-massa kan concentreren en de variantie kan verkleinen, bestaat het risico dat systematische fouten (miscalibratie) van het ML-model in de posterior-verdeling worden doorgegeven. Als de overtuigingen van het ML-systeem bevooroordeeld zijn, kan een sterke prior de posterior van de ware parameter wegtrekken, waardoor inferentie onbetrouwbaar wordt. De kernuitdaging bestaat erin AI-genererde informatie op te nemen om de efficiëntie te verbeteren, zonder de inferentiële geldigheid te offeren of ongecontroleerde bias in te voeren.

Methodologie

De auteurs stellen een raamwerk voor voor AI-ingestuurde prior-elicitering dat deze spanning mitigeert door de door AI veroorzaakte wet te "rectificeren" voordat deze wordt gebruikt om een prior te construeren. De methodologie draait om drie kerncomponenten:

1. Constructie van een Gerechtvaardigde Basemaat:
   In plaats van de ruwe verdeling van door AI ingevulde data ($P_{AI}$) te gebruiken als basemaat voor een Dirichlet-proces (DP) prior, introduceren de auteurs een rectifier ($T_\eta$). Dit is een datagebaseerde afbeelding die $P_{AI}$ transformeert naar een gerechtvaardigde basemaat $P_{\hat{\eta}_m} = T_{\hat{\eta}_m}(P_{AI})$.

   • De rectifier wordt geleerd met behulp van een klein gelabeld kalibratiesteekproef ($m$).
   • Het doel is om de door de gerechtvaardigde maat geïnduceerde schattingsvergelijking af te stemmen op die van het ware data-genererende proces ($P_0$). Specifiek streeft de methode ernaar om de score-discrepantie $\|(P_0 - P_{\hat{\eta}_m})g_{\theta_0}\|$ te minimaliseren, waarbij $g_\theta$ de gradiënt van de verliesfunctie is.
   • Twee primaire rectificatiestrategieën worden besproken:
     • Kwantielmapping: Voor univariate uitkomsten transporteert dit de marginale verdeling van door AI ingevulde uitkomsten om te matchen met de kalibratiegegevens, terwijl de rangordebehoud wordt behouden.
     • Gerichte Rectificatie: Dit stemt specifieke momenten die relevant zijn voor de verliesfunctie af (bijvoorbeeld gemiddelde matching voor kwadratische foutverlies) om ervoor te zorgen dat de scorevergelijking onder de ware verdeling overeenkomt.

2. Gerechtvaardigde AI-prior en Posterior:
   De gerechtvaardigde maat $P_{\hat{\eta}_m}$ dient als basemaat voor een Dirichlet-proces prior: $P_0 \sim \text{DP}(\alpha, P_{\hat{\eta}_m})$.

   • De concentratieparameter $\alpha$ (geschaald als $\gamma = \alpha/n$) controleert de sterkte van de prior ten opzichte van de gelabelde data.
   • Posterior-steekproeftrekking wordt uitgevoerd via de posterior bootstrap, die gebruikmaakt van de conjugatie van de DP-prior. Dit maakt belachelijk makkelijk parallelle steekproeftrekking mogelijk door een gewogen som van verliezen over de gelabelde data en de synthetische data gegenereerd vanuit de gerechtvaardigde basemaat te minimaliseren.

3. Theoretisch Kader:
   De auteurs stellen asymptotische eigenschappen vast voor de gerechtvaardigde AI-posterior.

   • Gaussische Asymptotiek: Bij niet-verdwijnende priorsterkte convergeert de posterior-verdeling naar een Gaussische verdeling gecentreerd rond een gemengd orakel-doelwit.
   • Karakterisering van Bias: De leidende orde centreringsbias wordt expliciet afgeleid als een functie van de score-discrepantie $(P_0 - P_{\hat{\eta}_m})g_{\theta_0}$. De theorie toont aan dat als de rectifier deze discrepantie reduceert tot $O_p(m^{-1/2})$, de resulterende bias gecontroleerd is en vergelijkbaar met standaard posterior-fluctuaties, mits de kalibratiesteekproefgrootte $m$ voldoende is.

Belangrijkste Bijdragen

• Rectificatiekader: Het artikel introduceert een algemene procedure om door AI veroorzaakte wetten te corrigeren met behulp van gelabelde kalibratiegegevens, waardoor ze worden omgezet in betrouwbare basemaat voor prior-construktie.
• Theoretische Waarborgen: De auteurs leiden de asymptotische verdeling van de gerechtvaardigde AI-posterior af en bieden een uitdrukking van de eerste orde voor de centreringsbias. Dit verduidelijkt de voorwaarden waaronder AI-ingestuurde priors betrouwbaar blijven, zelfs wanneer de priorsterkte niet verdwijnt.
• Praktische Rectifiers: Het artikel biedt concrete, implementeerbare rectificatiestrategieën, waaronder kwantielmapping en momentmatching, die zijn toegespitst op verschillende probleemstructuren (bijvoorbeeld univariate uitkomsten versus regressie).
• Empirische Validatie: De methodologie wordt gevalideerd over drie verschillende domeinen:
  1. Genexpressie: Inferentie over kwantielen van genexpressieniveaus met behulp van door transformatoren ingevulde data.
  2. Demografische Regressie: Schatting van regressiecoëfficiënten voor leeftijd-inkomen met behulp van volkstellingsdata en voorspellingen van gradient-boosted bomen.
  3. Huidaandoening Classificatie: Een downstream classificatietaken met behulp van een LLM (GPT-5.5) om klassenprobabiliteiten voor erythemato-squameuze aandoeningen in te vullen.

Resultaten

De empirische resultaten tonen aan dat de gerechtvaardigde AI-prior aanzienlijk beter presteert dan zowel standaardbenaderingen (alleen gebruikmakend van gelabelde data) als ongecorrigeerde AI-priors (met behulp van ruwe AI-basemaat):

• Inferentiële Geldigheid: In de experimenten met genexpressie en leeftijd-inkomen regressie leed de ruwe AI-prior aan ernstige bias, wat resulteerde in geloofwaardige intervallen met een dekking van bijna nul (bijvoorbeeld 0% dekking voor de 0,25-kwantiel bij genexpressie) en hoge intervalscores. Daarentegen herstelde de gerechtvaardigde AI-prior de dekking tot bijna nominale niveaus (ongeveer 90%) en behaalde intervalscores die concurrerend waren met Prediction-Powered Inference (PPI++) en klassieke methoden.
• Voorspellende Prestaties: Bij de taak voor huidaandoening-classificatie maakte de gerechtvaardigde AI-prior het voor een Bayesianse deep learner mogelijk om aanzienlijke winst in testnauwkeurigheid te behalen over een breed scala aan priorsterktes ($\gamma \in [0.01, 64]$). De ruwe AI-prior toonde slechts marginale verbeteringen in een smal venster van $\gamma$ en was zeer gevoelig voor kalibratie, terwijl de gerechtvaardigde prior robuuste, additieve prestatieverbeteringen bood (ongeveer 4,9% nauwkeurigheidswinst ten opzichte van de baseline alleen met gelabelde data).
• Robuustheid ten opzichte van Priorsterkte: De gerechtvaardigde benadering ontkoppelt de voordelen van variantievermindering van informatieve priors van het risico op systematische bias, waardoor practitioners sterkere priors kunnen gebruiken zonder bang te hoeven zijn voor het ongeldig maken van inferentie.

Betekenis en Beweringen

Het artikel beweert dat de primaire bijdrage ligt in het bruikbaar maken van moderne voorspellsystemen als bronnen van betrouwbare prior-kennis. Door de focus te verschuiven van het kalibreren van de priorsterkte-parameter naar het rectificeren van de basemaat, betogen de auteurs dat men het "beste van twee werelden" kan bereiken: de variantievermindering van een informatieve prior zonder de systematische bias van een miscalibreerd model.

De auteurs positioneren dit werk als een oplossing voor de "spanning" tussen efficiëntie en betrouwbaarheid in door AI aangevulde statistiek. Ze benadrukken dat hun methode toelaat om externe informatie (zoals LLM-outputs of complexe ML-modellen) op te nemen op een manier die filosofisch consistent is met Bayesianse updating (waarbij data overtuigingen corrigeert), terwijl het praktisch robuust is tegen modelmisspecificatie. Het werk suggereert dat met de juiste rectificatie AI-systemen kunnen worden vertrouwd om inferentie te sturen in regimes met schaarste aan data, wat potentiële ontdekkingen kan versnellen op gebieden zoals genomica en klinische diagnostiek waar gouden standaardlabels schaars zijn.

Het artikel blijft bescheiden wat beperkingen betreft, en merkt op dat de keuze van de rectifier probleemafhankelijk is en dat de kwantielmapping-benadering specifiek is voor univariate uitkomsten. Ze suggereren toekomstig werk op het gebied van selectie van rectifier-modellen en volledig Bayesianse benaderingen voor het doorgeven van onzekerheid vanuit de schatting van de rectifier.