Wetenschappers worden al lang geconfronteerd met een fundamenteel raadsel: hoe leer je de verborgen regels van het universum kennen als je alleen de resultaten kunt zien? Stel je voor dat je naar een schaduw op een muur kijkt en probeert de exacte vorm te achterhalen van het object dat deze werpt. In gebieden variërend van astronomie tot deeltjesfysica observeren onderzoekers data—licht van verre sterren, botsingen van subatomaire deeltjes, of patronen in de atmosfeer—en moeten zij achteruit werken om de eigenschappen af te leiden die deze hebben gecreëerd. Dit staat bekend als een invers probleem. Decennialang vertrouwden wetenschappers op complexe wiskundige formules om deze deducties te maken, maar naarmate onze instrumenten krachtiger zijn geworden en enorme hoeveelheden hoogresolutiedata genereren, zijn die oude formules vaak te traag of te moeilijk geworden om te gebruiken. Als reactie hierop hebben velen zich tot generatieve kunstmatige intelligentie gewend. Dit zijn computersystemen die getraind zijn op voorbeelden en kunnen leren om de verborgen oorzaken van geobserveerde data met ongelooflijke snelheid te voorspellen. Ze zijn essentieel geworden voor het analyseren van alles, van de beelden van de James Webb Space Telescope van het vroege universum tot de chaotische spuit van deeltjes in ondergrondse detectoren.

Er is echter een kritiek gebrek aan de dag gekomen bij deze nieuwe aanpak. Hoewel deze modellen voor kunstmatige intelligentie uitstekend zijn in het raden van het meest waarschijnlijke antwoord, falen ze er vaak in om wetenschappers te vertellen hoe zeker ze moeten zijn. Wanneer een model is getraind op een specifieke set voorbeelden, kan het overmoedig worden en nauwe, precies klinkende antwoorden bieden die in werkelijkheid fout zijn, vooral wanneer de real-world data die het tegenkomt iets anders is dan de trainingsdata. Dit is gevaarlijk voor ontdekkingen. Als een wetenschapper gelooft dat een meting precies is terwijl dat niet zo is, kan hij onjuiste conclusies trekken over het bestaan van nieuwe deeltjes of de geschiedenis van een sterrenstelsel. De kernuitdaging is niet alleen het doen van een voorspelling, maar het waarborgen dat het bereik van mogelijke antwoorden die de computer biedt, daadwerkelijk de ware waarde bevat met een bekende, betrouwbare waarschijnlijkheid, ongeacht wat de ware waarde ook mag zijn.

Een team van onderzoekers heeft nu een oplossing voor dit probleem ontwikkeld door een nieuw protocol geïntroduceerd genaamd Frequentist-Bayes, of FreB. Deze methode fungeert als een strikte kwaliteitscontrole voor de outputs van generatieve AI. In plaats van simpelweg het initiële gokje van de AI te accepteren, hervormt FreB de waarschijnlijkheidskaart van de computer tot een statistisch betrouwbare betrouwbaarheidsregio. Het proces begint met het trainen van de AI op een grote set gelabelde voorbeelden, waarbij zowel de verborgen eigenschappen als de resulterende data bekend zijn. De AI leert een "posterior" verdeling te creëren, wat in essentie een kaart is die laat zien waar het ware antwoord zich waarschijnlijk bevindt. De onderzoekers gebruiken vervolgens een aparte set kalibratiedata om het systeem te leren hoe het deze kaart moet aanpassen. Zij transformeren de ruwe waarschijnlijkheden van de AI naar wat bekend staat als p-waarde functies. Deze functies fungeren als een gekalibreerd liniaal, die ervoor zorgt dat wanneer het systeem een grens trekt rond een verzameling mogelijke antwoorden, die grens de ware waarde precies zo vaak zal bevatten als de wetenschappers beweren dat het zal gebeuren.

De kracht van deze aanpak ligt in het vermogen om om te gaan met imperfecties in de echte wereld. In veel wetenschappelijke studies komt de data die wordt gebruikt om de AI te trainen niet perfect overeen met de onderzochte data. Deze mismatch, bekend als dataset shift, kan gebeuren door de manier waarop telescopen zijn gebouwd, welke sterren ze kunnen zien, of omdat de theoretische modellen die voor de training worden gebruikt, enigszinds onnauwkeurig zijn. Traditionele AI-methoden produceren in dergelijke situaties vaak bevooroordeelde resultaten, waarbij ze te zwaar leunen op de trainingsdata. FreB is echter ontworpen om deze verschillen te corrigeren. Door de kalibratiedata te gebruiken om de noodzakelijke aanpassingen te leren, zorgt de methode ervoor dat de uiteindelijke betrouwbaarheidsregio's geldig blijven, zelfs wanneer de trainingsdata en de doeldata uit verschillende distributies komen. De onderzoekers hebben aangetoond dat dit werkt, zelfs wanneer het AI-model zelf licht mis gespecificeerd is, wat betekent dat het onderliggende natuurkundige model dat werd gebruikt om de trainingsvoorbeelden te genereren, geen perfecte representatie van de werkelijkheid was.

Om te bewijzen dat hun methode werkt, testte het team deze op drie verschillende uitdagingen in de fysieke wetenschappen. In het eerste geval pakten ze de reconstructie van gammastraling aan, hoogenergetische deeltjes uit de ruimte die niet direct zichtbaar zijn, maar worden afgeleid van de hoeveelheid secundaire deeltjes die ze in de aardatmosfeer creëren. De AI werd getraind op data van de Krabnevel, een bekende bron, maar werd vervolgens gevraagd om signalen van een donkere materiebron te identificeren, die zeer verschillende, zeldzamere patronen produceert. Standaard AI-methoden faalden hier, waarbij ze schattingen produceerden die bevooroordeeld waren richting de energieniveaus van de trainingsdata en de ware, hogere energie-events misten. De FreB-methode slaagde er echter in de output van de AI te hervormen om geldige betrouwbaarheidsintervallen te bieden die de ware energie van de zeldzame events correct vastlegden, waardoor wetenschappers in staat waren om verschillende astrofysische bronnen met betrouwbaarheid te onderscheiden.

De tweede test betrof het begrijpen van de geschiedenis van ons eigen sterrenstelsel, de Melkweg. Astronomen gebruiken verschillende theoretische modellen om te beschrijven hoe sterren verdeeld zijn en hoe ze bewegen. Deze modellen kunnen soms leiden tot tegenstrijdige conclusies over de leeftijd of de chemische samenstelling van een ster. Wanneer de onderzoekers standaard AI-inferentie toepasten, produceerden de verschillende modellen resultaten die sterk met elkaar in strijd waren en met de ware waarden, zonder een duidelijke manier om de spanning op te lossen. Door FreB toe te passen, was het team in staat de outputs van beide modellen aan te passen. Het resultaat was een set betrouwbaarheidsregio's die, ondanks dat ze uit verschillende startveronderstellingen kwamen, beide de ware eigenschappen van de ster correct bevatten. Dit toonde aan dat FreB concurrerende theorieën kon verzoenen, waarbij werd gewaarborgd dat de onzekerheidsschattingen eerlijk en consistent waren, ongeacht het gebruikte onderliggende model.

De laatste uitdaging richtte zich op het probleem van selectiebias, een veelvoorkomend probleem in grote astronomische surveys. Telescopen kunnen niet elke ster even goed zien; ze zijn beter in het detecteren van heldere, grote sterren dan van zwakke, kleine sterren. Dit betekent dat de data die wordt gebruikt om AI-modellen te trainen vaak scheef is, waarbij de objecten die wetenschappers juist het meest willen bestuderen, ontbreken. In dit experiment simuleerden de onderzoekers een scenario waarin de AI werd getraind op data die gedomineerd werd door grote, heldere sterren, maar die vervolgens gevraagd werd de eigenschappen van kleinere, zwakkere sterren zoals onze zon in te schatten. De ongewijzigde AI produceerde systematisch foutieve schattingen, waarbij de ware waarden voor deze kleinere sterren niet werden gedekt. FreB corrigeerde deze bias door een kleine set vervolgdata te gebruiken om het systeem te herkalibreren. De aangepaste methode produceerde betrouwbaarheidsregio's die zowel nauw als accuraat waren, en slaagde erin de ware parameters van de zwakke sterren te dekken, zelfs toen de trainingsdata zwaar tegen hen was bevooroordeeld.

De betekenis van dit werk reikt verder dan deze specifieke voorbeelden. Het biedt een wiskundige garantie dat de betrouwbaarheidsintervallen gegenereerd door deze krachtige AI-instrumenten betrouwbaar zijn. In het verleden moesten wetenschappers hopen dat hun modellen nauwkeurig genoeg waren om geldige onzekerheidsschattingen te geven. Nu hebben ze een protocol dat een snelle, flexibele AI-model kan nemen en de output ervan kan hervormen om te voldoen aan de strikte standaarden van wetenschappelijk bewijs. Dit betekent dat in velden waar directe berekening onmogelijk of te kostbaar is, onderzoekers generatieve AI kunnen gebruiken om complexe systemen te verkennen met hetzelfde niveau van statistische strengheid als traditionele methoden. De methode is efficiënt, vereist geen hertraining bij toepassing op nieuwe data, en werkt zelfs wanneer de trainingsdata imperfect is. Door de kloof te overbruggen tussen de snelheid van moderne kunstmatige intelligentie en de betrouwbaarheid van klassieke statistiek, biedt FreB een pad naar meer betrouwbare wetenschappelijke ontdekkingen, waarbij wordt gewaarborgd dat wanneer wetenschappers naar de schaduwen op de muur kijken, zij kunnen vertrouwen op de vorm van het object dat deze werpt.