ConfHit: Conformal Generative Design with Oracle Free Guarantees

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een uitvinder bent die een machine heeft gebouwd om nieuwe medicijnen te ontwerpen. Deze machine (een "generatief model") kan duizenden nieuwe moleculen per seconde bedenken. Het probleem? De machine is een beetje als een dromer: ze bedenkt veel mooie ideeën, maar de meeste zijn in het echt waardeloos of zelfs gevaarlijk.

Om te weten of een idee werkt, moet je het in een laboratorium testen. Maar labtests zijn extreem duur en tijdrovend. Je kunt niet elk van de duizenden ideeën testen; je hebt maar een klein budget.

Hier komt CONFHIT in beeld. Het is een slimme "veiligheidscontrole" die je helpt om te weten: "Zijn we er zeker van dat er in deze stapel van 50 ideeën minstens één echt goed medicijn tussen zit, voordat we geld uitgeven aan testen?"

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Orakel" die niet bestaat

In de oude methoden hadden wetenschappers een "Orakel" nodig. Een Orakel is iemand die direct kan zeggen: "Ja, dit molecuul werkt!" of "Nee, dit werkt niet."

In de echte wereld: Die Orakel bestaat niet. Je moet het molecuul eerst in het lab maken om het te weten.
Het probleem: Als je de machine vraagt om 100 moleculen te maken, en je hebt geen Orakel, hoe weet je dan of je tijd en geld verspil?

CONFHIT lost dit op door te zeggen: "We hebben geen Orakel nodig. We gebruiken de statistiek van wat we al weten om een garantie te geven."

2. De Twee Vragen die CONFHIT beantwoordt

CONFHIT stelt twee simpele vragen:

Vraag 1: Certificering (De "Ja/Nee" check)
- "Als ik deze stapel van 50 nieuwe ideeën neem, kan ik met 95% zekerheid zeggen dat er minstens één winnaar tussen zit?"
- Als het antwoord nee is, gooi je de hele stapel weg en vraag je de machine om iets nieuws te proberen. Je verspillen geen geld aan testen.
- Als het antwoord ja is, weet je dat je investering veilig is.
Vraag 2: Ontwerp (De "Schere" check)
- "Oké, we weten dat er een winnaar in deze stapel van 50 zit. Maar kunnen we die stapel niet kleiner maken? Kunnen we de 45 slechte ideeën weggooien en alleen de 5 beste houden, zonder die 95% zekerheid te verliezen?"
- Dit bespaart je nog meer geld, want je hoeft maar 5 dingen te testen in plaats van 50.

3. Hoe werkt het? (De Creatieve Analogieën)

A. De "Gewogen" Vergelijking (Het Dichtstbijzijnde Vriendje)

Stel je voor dat je een nieuwe groep kandidaten hebt (de nieuwe medicijnen) en een oude groep (de bekende medicijnen uit het verleden).

Soms lijken de nieuwe kandidaten heel erg op de oude groep. Soms lijken ze er totaal niet op (dit noemen ze distribution shift).
CONFHIT gebruikt een slimme weegschaal. Het kijkt naar de nieuwe kandidaten en zegt: "Deze nieuwe kandidaat lijkt heel erg op een oude, bekende winnaar, dus we geven hem meer gewicht. Die andere lijkt op een loser, dus we geven hem minder gewicht."
Door deze weging te gebruiken, kan het systeem eerlijk vergelijken, zelfs als de nieuwe ideeën er anders uitzien dan de oude.

B. De "Schuifdeur" Test (De Nestende Test)

Stel je voor dat je een lange rij met 50 deuren hebt. Achter elke deur zit een pot met een bal. Je weet dat er minstens één rode bal (een winnaar) in de hele rij zit.

De oude methoden zouden zeggen: "Open alle deuren en kijk." (Te duur!)
CONFHIT doet het slim:
1. Kijk naar de eerste deur. Is de kans dat er een rode bal achter zit groot? Nee? Sluit hem.
2. Kijk naar de eerste twee deuren samen. Is de kans nu groot? Nee? Sluit ze.
3. Blijf dit doen tot je een groep deuren hebt gevonden waarbij de statistiek zegt: "Hé, hierachter zit zeker een rode bal!"
4. Dan stop je en open je alleen die kleine groep. Je hebt de "schuifdeur" op de juiste plek gestopt.

4. Waarom is dit belangrijk?

In de farmaceutische industrie (het maken van medicijnen) is geld en tijd schaars.

Vroeger: Je maakte 1000 ideeën, testte er 100 willekeurig, en hoopte dat je iets vond. Als je niets vond, was je geld weg.
Met CONFHIT: Je maakt 1000 ideeën, en het systeem zegt: "Doe deze 50 niet, die zijn hopeloos. Maar deze 5 hier? Die hebben een 95% kans om te werken. Test alleen die 5."

Samenvatting

CONFHIT is als een slimme filter voor een dromerige uitvinder.

Het heeft geen magische "Orakel" nodig om te weten of iets werkt.
Het gebruikt slimme wiskunde om te garanderen dat je niet tijd verspilt aan testen van rommel.
Het helpt je om de beste ideeën te vinden met het minste aantal dure labtests.

Het maakt wetenschappelijke ontdekkingen veiliger, goedkoper en betrouwbaarder.

Each language version is independently generated for its own context, not a direct translation.

1. Probleemstelling

In het veld van wetenschappelijke ontdekking, en specifiek in de drug discovery, hebben diepe generatieve modellen (zoals VAE's, Transformers en Diffusiemodellen) de capaciteit getoond om nieuwe moleculen te ontwerpen. Een groot obstakel voor de praktische toepassing hiervan is echter het ontbreken van betrouwbare garanties dat de gegenereerde kandidaten daadwerkelijk de gewenste eigenschappen bezitten (bijv. binding aan een eiwit of hoge drug-likeness).

Traditionele methoden vereisen vaak een "oracle" (een experimentele validatie of een perfecte voorspeller) om nieuwe samples te evalueren, wat in resource-beperkte omgevingen (zoals wet-lab experimenten) onhaalbaar is. Bovendien treedt er vaak een distributieverandering (covariate shift) op: de gegenereerde moleculen volgen een andere verdeling dan de historische kalibratiegegevens. Bestaande conformal prediction-methoden falen hier vaak omdat ze:

Toegang tot een oracle vereisen.
Aannemen dat data uitwisselbaar (exchangeable) is, wat niet geldt bij distributieverandering.
Geen garanties bieden voor het selecteren van een compacte set van kandidaten zonder de validiteit te verliezen.

Het centrale vraagstuk is: Hoe kunnen we, gegeven een generatief model en een input, een batch van gegenereerde samples produceren die met een vooraf gespecificeerd statistisch vertrouwen ( $1-\alpha$ ) garandeert dat er ten minste één geldig "hit" (succesvol molecuul) in zit, zonder experimentele validatie tijdens het generatieproces?

2. Methodologie: CONFHIT

CONFHIT is een model-agnostisch raamwerk dat twee kernvragen adresseert:

Certificering: Kan een gegenereerde batch gegarandeerd worden als bevattende minstens één hit?
Ontwerp (Design): Kan deze batch worden ingekrompen tot een compacte set zonder de garantie te verliezen?

De methode bestaat uit drie hoofdcomponenten:

A. Gewogen Uitwisselbaarheid en Dichtheidsverhouding

Om het probleem van distributieverandering en het ontbreken van een oracle op te lossen, maakt CONFHIT gebruik van gewogen uitwisselbaarheid (weighted exchangeability).

In plaats van aan te nemen dat gegenereerde samples onderling uitwisselbaar zijn, wordt de relatie tussen historische (gelabelde) kalibratiegegevens en de nieuwe gegenereerde samples benut.
Er wordt een dichtheidsverhouding (density ratio) $w(x) = dQ/dP$ geschat, waarbij $P$ de verdeling van de kalibratiegegevens is en $Q$ die van de gegenereerde data.
Deze verhouding wordt gebruikt om de kalibratiegegevens te herschalen, waardoor de statistische garanties behouden blijven ondanks de verschuiving in verdeling.

B. Gezamenlijke Gewogen Conformal P-waarde (Certificering)

Voor het certificeren van een batch wordt een gecombineerde p-waarde geconstrueerd die test tegen de nulhypothese dat geen enkel sample in de batch een hit is.

Conformity Score: Een functie $V$ (bijv. het maximum van een voorspelde eigenschap over de batch) wordt gebruikt om de "kwaliteit" van de batch te meten.
Randomisatie: Om de berekening haalbaar te houden voor grote batches, worden permutaties van de kalibratie- en testdata gebruikt.
Gewogen P-waarde: De p-waarde wordt berekend als een gewogen fractie van permutaties waarbij de gescoorde batch "extreem" is ten opzichte van de kalibratie. Als deze p-waarde onder de drempel $\alpha$ valt, wordt de batch gecertificeerd.
Theoretische Garantie: Het bewijs toont aan dat de kans op een vals-positief (een batch certifiëren zonder hits) begrensd is door $\alpha$ , ongeacht het generatieve model of de scorefunctie, mits de dichtheidsverhouding correct is.

C. Geneste Conformal Testen (Ontwerp/Design)

Om een compacte set te vinden, gebruikt CONFHIT een geneste testprocedure:

Er wordt een reeks p-waarden berekend voor geneste subsets van de gegenereerde samples (van groot naar klein).
De procedure stopt bij het eerste (kleinste) subset waarvoor de p-waarde onder $\alpha$ blijft.
Monotonisatie: Om de geldigheid te garanderen, worden de p-waarden monotoon gemaakt (de p-waarde voor een subset is het maximum van de p-waarden van alle grotere subsets).
Resultaat: Dit levert de kleinste mogelijke set op die nog steeds voldoet aan de statistische garantie, wat essentieel is voor het beperken van experimentele kosten.

3. Belangrijkste Bijdragen

Oracle-vrije garanties: CONFHIT is het eerste raamwerk dat geldige conformal garanties biedt voor generatief ontwerp zonder toegang tot een experimentele oracle of perfecte voorspeller.
Correctie voor Covariate Shift: Door gebruik te maken van geschatte dichtheidsverhoudingen, corrigeert de methode voor de discrepantie tussen historische data en gegenereerde samples, wat cruciaal is voor realistische drug discovery-scenario's.
Geneste Testprocedure: Het introduceert een nieuwe methode om niet alleen te certificeren, maar ook een compacte, actievere shortlist te genereren met strikte foutcontrole.
Robuustheid: De methode is model-agnostisch en behoudt zijn geldigheid zelfs als de eigendomsvoorspeller (predictor) imperfect is; dit beïnvloedt alleen de "power" (hoe vaak een hit wordt gevonden), niet de foutcontrole.

4. Resultaten

De auteurs evalueren CONFHIT op twee representatieve taken:

Beperkte Molecule Optimalisatie (CMO): Het genereren van moleculen die dicht bij een seed-molecuul liggen maar een betere eigenschap (bijv. DRD2 binding of QED) hebben.
Structuurgebaseerde Drug Discovery (SBDD): Het genereren van liganden die binden aan een specifiek eiwit (3D pocket).

Kernbevindingen:

Geldige Dekking: In alle experimenten (met verschillende generatieve modellen zoals HGraph2Graph, Self-Edit, TargetDiff, MolCraft) hield CONFHIT de empirische foutkans onder de theoretische drempel $\alpha$ .
Compacte Sets: In vergelijking met baselines (zoals Bonferroni-correctie of certificering zonder pruning), produceerde CONFHIT aanzienlijk kleinere sets (vaak 2-5 moleculen in plaats van de volledige batch) terwijl de foutcontrole behouden bleef.
Vermijden van Lege Sets: Bestaande methoden leverden bij strenge eisen vaak lege sets op (geen vertrouwen). CONFHIT slaagde erin om in veel gevallen een geldige shortlist te leveren (bijv. slechts 16% lege sets bij SBDD vs. ~100% voor Bonferroni).
Robuustheid: De methode bleef geldig zelfs bij gebruik van ruisachtige of omgekeerde voorspellers, wat aantoont dat de statistische garanties niet afhankelijk zijn van de nauwkeurigheid van het onderliggende model.

5. Betekenis en Impact

CONFHIT biedt een principieel en betrouwbaar raamwerk voor het toepassen van generatieve AI in wetenschappelijke ontdekkingen waar resources schaars zijn.

Efficiëntie: Het reduceert de kosten van wet-lab experimenten door alleen de meest veelbelovende kandidaten te selecteren, zonder het risico van valse garanties.
Toepasbaarheid: Het maakt het mogelijk om generatieve modellen in te zetten in realistische scenario's waar geen perfecte voorspellers of uitgebreide experimentele validatie beschikbaar is tijdens het ontwerpproces.
Toekomst: Hoewel de huidige validatie plaatsvond via computationele orakels, legt CONFHIT de basis voor toekomstige toepassingen in echte wet-lab workflows, waarbij het de overgang van "genereren" naar "vertrouwbaar selecteren" mogelijk maakt.

Samenvattend transformeert CONFHIT generatief ontwerp van een puur exploratief proces naar een statistisch gefundeerd besluitvormingsproces met kwantificeerbare risico's.