📊 statistics

Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates

Dit artikel introduceert een raamwerk dat polynomiale chaos-superaten gebruikt om epistemische onzekerheid in sequentiële generatieve modellen analytisch te ontleden en te interpreteren, waardoor specifieke beloningscomponenten die generatieve beslissingen sturen kunnen worden geïdentificeerd met aanzienlijk hogere computerefficiëntie en formele verificatie dan bestaande deep learning-methoden.

Oorspronkelijke auteurs: Ramón Nartallo-Kaluarachchi, Shashanka Ubaru, Małgorzata J Zimoń, Dongsung Huh, Robert Manson-Sawko, Lior Horesh, Yoshua Bengio

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ramón Nartallo-Kaluarachchi, Shashanka Ubaru, Małgorzata J Zimoń, Dongsung Huh, Robert Manson-Sawko, Lior Horesh, Yoshua Bengio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert een nieuw recept te bedenken. Je hebt een "proever" (een AI) die je vertelt hoe goed een gerecht misschien wel is. Maar hier zit de adder onder het gras: je proever is een beetje wankel. Soms is hij dol op een gerecht vanwege het zout; andere keren is hij er dol op vanwege de peper. Je weet niet waarom de proever je een specifieke score geeft, en je weet niet of het recept dat hij voorstelt echt goed is, of dat hij gewoon geluk had met de ingrediënten die je hem toonde.

Dit artikel introduceert een nieuw hulpmiddel om dat exacte probleem voor AI-wetenschappers op te lossen. Het helpt hen uit te zoeken waarom een AI een specifieke keuze maakt en hoezeer ze die keuze kunnen vertrouwen, vooral wanneer de "regels" waar de AI van leert, onvolmaakt zijn.

Hier is een eenvoudige uitleg van hoe het werkt, met de analogieën uit het artikel:

1. Het Probleem: Het "Zwarte Doos"-ensemble

Meestal trainen wetenschappers, om met onzekerheid om te gaan, vele versies van dezelfde AI (alsof je 50 verschillende chefs vraagt om hetzelfde gerecht te maken). Als alle 50 chefs het eens zijn over het recept, voel je je zeker. Als ze allemaal verschillende dingen voorstellen, weet je dat je in de problemen zit.

Maar er zit een gebrek aan: Je weet dat ze het oneens zijn, maar je weet niet waarom.

Is het oneens omdat het zout onzeker is?
Is het omdat de hitte onzeker is?
Of is het gewoon willekeurige ruis?

Standaardmethoden kunnen je vertellen "het recept is wankel", maar ze kunnen niet wijzen op het specifieke ingrediënt dat de wankelheid veroorzaakt.

2. De Oplossing: De "Kristallen Prisma" (Polynomial Chaos Surrogates)

De auteurs hebben een speciaal "prisma" gebouwd (een Polynomial Chaos Expansion of PCE) dat tussen de AI en de data zit.

Stel je het besluitvormingsproces van de AI voor als een bundel wit licht (totale onzekerheid) die een donkere kamer binnenkomt.

Oude Methode: Je ziet alleen of het licht helder of dof is. Je weet dat er onzekerheid is, maar je kunt de kleuren erin niet zien.
Nieuwe Methode (Het Prisma): Het prisma splitst dat witte licht in een regenboog. Plotseling kun je precies zien welke "kleur" (welk specifiek deel van de data) de meeste problemen veroorzaakt.

Dit prisma raadt niet alleen; het gebruikt wiskunde om analytisch te berekenen hoeveel elk deel van de invoer (zoals het zout, de peper of de hitte) bijdraagt aan de uiteindelijke beslissing van de AI.

3. Wereldwijde Voorbeelden uit het Artikel

De auteurs hebben dit prisma getest op drie zeer verschillende "keukens" om te zien of het werkte:

A. De Scheikundekeuken (Het Maken van Geneesmiddelen)

De Taak: Een AI probeert uit te vinden welke mengeling van chemicaliën het beste is om een nieuw medicijn te maken.
De Verrassing: Iedereen dacht dat de "basisstructuur" van het molecuul het belangrijkste en stabielste deel was.
Wat het Prisma Vond: Het prisma onthulde het tegenovergestelde! De "linker" (het stukje dat delen van het molecuul verbindt) was eigenlijk het kwetsbaarste deel. Als de data over de linker iets afweek, veranderde het hele recept. De basisstructuur was eigenlijk vrij robuust.
De Conclusie: Wetenschappers weten nu dat ze meer data moeten verzamelen, specifiek over de linker en niet over de basis, om de AI betrouwbaarder te maken.

B. De Biologiekeuken (Het Kaartleggen van Proteïne Signalen)

De Taak: Een AI probeert een kaart te tekenen van hoe proteïnen met elkaar praten in een cel.
De Verrassing: Sommige delen van de kaart waren duidelijk, terwijl andere een puinhoop waren.
Wat het Prisma Vond: Het splitste de kaart op in twee distincte zones. Eén zone (de "MAPK"-route) was gevoelig voor één type datafout, terwijl een andere zone (de "PKA/PKC"-knooppunten) gevoelig was voor een ander type.
De Conclusie: In plaats van te raden waar meer experimenten nodig zijn, kunnen wetenschappers nu naar de regenboog van het prisma kijken en precies zien welk deel van de kaart meer data nodig heeft om duidelijk te worden.

C. De Taalkeuken (AI Leren Redeneren)

De Taak: Een AI leert wiskundeproblemen stap voor stap op te lossen.
De Verrassing: De AI stopt soms te vroeg of gaat te lang door.
Wat het Prisma Vond: Het toonde aan dat vroege stappen in het redeneren stabiel waren, maar latere stappen (waar de AI moet kiezen tussen zeer gelijkend ogende antwoorden) zeer gevoelig waren voor onzekerheid.
De Conclusie: Het "vertrouwen" van de AI daalt op specifieke momenten, en het prisma vertelt ons precies wanneer en waarom.

4. Waarom Dit Een Grote Zaal is

Snelheid: Het prisma is ongelooflijk snel. Het kan 10.000 verschillende scenario's simuleren in een fractie van een seconde. Dit doen door de AI 10.000 keer opnieuw te trainen, zou dagen duren. Het prisma doet het in milliseconden.
Duidelijkheid: Het zegt niet alleen "Ik weet het niet zeker." Het zegt: "Ik weet het niet zeker vanwege dit specifieke ingrediënt."
Vertrouwen: Het helpt wetenschappers beslissen welke AI-suggesties stevig zijn en welke slechts gelukkige gokken zijn op basis van onvolledige data.

Samenvatting

Dit artikel geeft wetenschappers een vergrootglas voor AI-onzekerheid. In plaats van alleen een wazige afbeelding te zien van "misschien dit, misschien dat", splitst het nieuwe hulpmiddel de wazigheid op om precies te tonen welk stukje informatie de verwarring veroorzaakt. Hierdoor kunnen onderzoekers de specifieke zwakke plekken in hun data oplossen, in plaats van blind te gissen.

Technische Samenvatting: Interpreteerbare Epistemische Uncertainty Decompositie in Sequentiële Generatieve Modellen via Polynoom Chaos Surrogaten

Probleemstelling

Sequentiële generatieve modellen, zoals Generative Flow Networks (GFlowNets), worden steeds centraler in door AI aangedreven wetenschappelijke ontdekking, combinatorische optimalisatie en biologisch ontwerp. Deze modellen opereren vaak onder omstandigheden van epistemische onzekerheid, specifiek wanneer de beloningsfuncties die hun generatie sturen, zelf onzeker zijn (bijvoorbeeld neurale netwerk-surrogaten getraind op beperkte experimentele data). Hoewel bestaande methoden zoals diepe ensemble's en Bayesiaanse neurale netwerken de grootte van voorspellingonzekerheid kunnen kwantificeren, slagen ze er niet in een interpreteerbare decompositie van die onzekerheid te bieden. Bijgevolg kunnen praktijkmensen niet bepalen welke specifieke componenten van de invoer-beloningsonzekerheid welke generatieve beslissingen aandrijven, noch kunnen ze onderscheid maken tussen robuuste chemische signalen en statistische artefacten die voortvloeien uit vertekeningen in de trainingsset.

Methodologie

De auteurs stellen een surrogaatmodelleringskader voor dat epistemische onzekerheid door GFlowNets voortplant met behulp van Polynoom Chaos-ontwikkelingen (PCE). De aanpak verloopt in drie fasen:

Ensemble-training en Parametrisatie: Een bescheiden ensemble van GFlowNets wordt getraind onder variërende beloningscondities. De ruimte van de beloningsfunctie wordt geparametriseerd in een laag-dimensionale latente ruimte $\mu \in \mathbb{R}^d$ met behulp van Principal Component Analysis (PCA) of analytische ontwikkelingen (bijvoorbeeld Karhunen–Loève). PCA wordt de voorkeur gegeven omdat zijn orthogonale componenten onafhankelijke Gaussische invoer benaderen, een vereiste voor een geldige analytische Sobol-decompositie.
PCE-surrogaatfitting: Voor elke actie $k$ op trajectstap $t$ wordt een PCE gefit om de laag-dimensionale beloningsparameters $\mu$ af te beelden op de log-ratio-getransformeerde actiewaarschijnlijkheden (met behulp van een Additieve Log-Ratio-transformatie ten opzichte van een referentie-actie). De coëfficiënten worden geschat via geregulariseerde ridge-regressie.
Analytische Decompositie: De gefitte PCE-coëfficiënten maken de analytische berekening van Sobol-sensitiviteitsindices mogelijk. In tegenstelling tot Monte Carlo-methoden, die dure integratie vereisen, worden deze indices direct afgeleid uit de polynoomcoëfficiënten, waardoor een exacte, op variantie gebaseerde decompositie wordt verkregen van hoeveel elke component van beloningsonzekerheid bijdraagt aan de variantie in de beleidsverdeling.

Het kader omvat formele convergentiegaranties voor het surrogaat en diens Sobol-indices. Vier van de vijf belangrijke theoretische eigenschappen (PCE-convergentie, Sobol-indexconvergentie, simplexbehoud en onzekerheidsvoortplantingsgrenzen) zijn formeel geverifieerd in de Lean 4 bewijshulpmiddel.

Belangrijkste Bijdragen

Algemeen Kader: Een computerefficiënte methode voor het voortplanten en decomponeren van epistemische onzekerheid in geconditioneerde sequentiële generatieve modellen met behulp van PCE-surrogaten die zijn gefit op kleine ensemble's.
Formele Verificatie: Theoretische convergentiegaranties voor het surrogaat en diens sensitiviteitsindices, waarbij vier van de vijf theorema's formeel zijn geverifieerd in Lean 4.
Interpreteerbare Sensitiviteitsdecompositie: De eerste analytische methode om beleidsonzekerheid in generatieve modellen te decomponeren, waardoor exact wordt onthuld welke beloningscomponenten specifieke generatieve beslissingen aandrijven. Deze mogelijkheid is niet beschikbaar bij standaard diepe ensemble's, Bayesiaanse neurale netwerken of Monte Carlo-dropout.
Empirische Validatie: Demonstraties over zeven taken van toenemende complexiteit, inclusief drie real-world toepassingen en vier synthetische validatietaken.

Resultaten en Toepassingen

Het kader is geëvalueerd op drie primaire real-world domeinen:

Optimalisatie van Chemische Reacties (Buchwald–Hartwig): Op de Doyle–Dreher-dataset analyseerde het kader de selectie van katalysator, base, arylhalide en additief. Het onthulde dat katalysatorselectie robuust is (lage Sobol-index, $D \approx 71$ ), wat wijst op een echt chemisch signaal, terwijl additiefselectie fragiel is (hoge Sobol-index, $D \approx 179$ , 2,5 $\times$ hoger), wat wijst op vatbaarheid voor vertekeningen in de trainingsset. Dit adresseert direct het "Chuang–Keiser-debat" over statistische artefacten in opbrengstpredictoren.
Bayesiaanse Causale Ontdekking (Sachs-eiwitsignaleringsnetwerk): Toegepast op het Sachs-netwerk toonde de analyse aan dat hoewel alle randen hoge variantie vertoonden door beperkte data (200 observaties), de onzekerheid zich decomponeerde in distincte regimes. MAPK-pad-randen werden aangedreven door één hoofdcomponent van covariantievariatie, terwijl PKA/PKC-hub-randen door een andere werden aangedreven. Dit biedt een gerichte kaart voor perturbatie-experimenten.
Fragment-gebaseerd Moleculair Ontwerp: In een taak voor het ontwerpen van drug-achtige moleculen draaide het kader de conventionele aanname om dat scaffolds robuust en decoraties fragiel zijn. De resultaten toonden aan dat de linkerpositie het meest fragiele component was ( $D \approx 28,2$ ), terwijl scaffold- en decoratieposities robuuster waren. Dit suggereert dat experimentele inspanningen prioriteit moeten geven aan linkerdiversiteit.

In synthetische taken (grid-werelden, symbolische regressie en LLM-resonantieproxies) bereikte de PCE-surrogaat 95% kalibratiecoverage tussen 0,97 en 1,00 voor dominante stappen. Computationeel evalueerde het surrogaat 10.000 beleidsstalen in milliseconden, wat een snelheidswinst van $10^3$ tot $10^4\times$ biedt ten opzichte van exhaustief hertrainen van het ensemble.

Betekenis en Claims

Het artikel claimt dat dit kader een unieke mogelijkheid biedt: interpreteerbare onzekerheidsdecompositie. Waar andere methoden kunnen aangeven dat een voorspelling onzeker is, verklaart deze aanpak waarom door variantie toe te schrijven aan specifieke beloningscomponenten. Dit stelt wetenschappers in staat om:

Onderscheid te maken tussen robuuste signalen en statistische artefacten in trainingsdata.
Te identificeren welke delen van een ontwerpruimte (bijvoorbeeld linkers versus scaffolds) extra experimentele validatie vereisen.
Experimentele middelen efficiënt toe te wijzen door te richten op de specifieke bronnen van epistemische onzekerheid.

De auteurs benadrukken dat de methode agnostisch is ten opzichte van de GFlowNet-architectuur en het trainingsdoel. Zij wijzen op beperkingen, zoals de afhankelijkheid van een laag-rangstructuur in het beloningslandschap voor effectieve PCA en de noodzaak om het surrogaat opnieuw te fiten voor verschillende trajecten (hoewel het ensemble niet opnieuw getraind hoeft te worden). Het werk positioneert zichzelf als een brug tussen computationele technische onzekerheidskwantificering en moderne generatieve AI, en biedt een schaalbaar pad naar het begrijpen van de "black box" van sequentiële besluitvorming onder onzekerheid.