Conformal Tradeoffs: Guarantees Beyond Coverage

Dit paper introduceert methoden voor split-conformale voorspelling die, naast marginale dekking, ook operationele garanties bieden voor besluitvormingsfrequentie en foutblootstelling door middel van kleine-steekproefcorrecties, onafhankelijke audits en een geometrische analyse van de afwegingen tussen deze operationele grootheden.

De kern

Stel je voor dat je een kooktoets hebt voor een nieuwe, dure oven. Je wilt weten of de oven de koekjes perfect bakt.

De traditionele manier om dit te testen (wat de wetenschap al jaren doet) is: "Kijk, in 90% van de gevallen zijn de koekjes niet verbrand." Dat is de dekking (coverage). Het is een veiligheidsnet. Maar als je de oven in een echte bakkerij zet, maakt dat niet genoeg uit. De bakker wil weten:

1. Hoe vaak moet ik de koekjes uit de oven halen om ze te eten? (Commitment)
2. Hoe vaak moet ik zeggen: "Ik weet het niet, wacht maar even" en de koekjes laten staan? (Deferral/Afstappen)
3. Hoe vaak haal ik een verbrande koek uit de oven terwijl ik dacht dat hij goed was? (Fouten)

Dit artikel, geschreven door Petrus H. Zwart, zegt: "Stop met alleen kijken naar het veiligheidsnet. Kijk naar hoe de oven zich in de praktijk gedraagt."

Hier is de uitleg in drie simpele stappen, met een paar creatieve vergelijkingen:

1. Het probleem: De "Grijze Zone" is niet leeg

Stel je een thermometer voor die de temperatuur van de koekjes meet.

• Als de temperatuur laag is, zegt de oven: "Nog niet klaar."
• Als de temperatuur hoog is, zegt de oven: "Klaar om te eten!"
• Maar wat als de temperatuur precies in het midden zit? Dan zegt de oven: "Ik weet het niet, wacht even."

In de oude wereld keken we alleen naar: "Zit de juiste temperatuur binnen ons bereik?"
In deze nieuwe wereld kijken we naar de geometrie (de vorm) van die thermometer. Twee ovens kunnen beide 90% van de tijd goed zijn, maar:

• Oven A zegt vaak "Wacht even" (veel afstappen), maar als hij zegt "Eten!", is hij bijna altijd goed.
• Oven B zegt zelden "Wacht even", maar als hij zegt "Eten!", is hij vaker verbrand dan Oven A.

De auteurs zeggen: "Je moet weten welke oven je koopt, niet alleen of hij veilig is."

2. De Oplossing: Twee nieuwe gereedschappen

De auteurs hebben twee slimme methoden bedacht om dit te regelen.

Gereedschap 1: De "Kleine Steekproef-Regelaar" (SSBC)

Stel je voor dat je een nieuwe oven test met slechts 10 koekjes. Als je zegt: "Ik wil 90% zekerheid", kan dat met 10 koekjes lastig zijn. Soms is 90% onmogelijk te garanderen zonder heel conservatief te zijn (dus heel vaak "Wacht even" zeggen).

Deze nieuwe regelaar (SSBC) kijkt precies naar je kleine steekproef en zegt: "Oké, met 10 koekjes kun je niet 90% garanderen zonder te veel af te stappen. Maar als we het iets aanpassen, kunnen we 85% garanderen met 90% zekerheid dat het klopt."
Het vertaalt jouw wens ("Ik wil zekerheid!") naar een concreet instelpunt op de oven, zodat je precies weet wat je krijgt, zelfs als je weinig data hebt.

Gereedschap 2: De "Keuken-Auditeur" (Calibrate-and-Audit)

Dit is het belangrijkste deel. Stel je voor dat je de oven hebt ingesteld. Nu moet je weten hoe hij zich gedraagt in de echte wereld.

• De oude manier: Je kijkt naar de instellingen en hoopt dat het goed komt.
• De nieuwe manier: Je pakt een tweede, onafhankelijke set koekjes (de audit-set) en test de oven daarop.

Je maakt een menukaart (een "Operational Menu"). Op deze kaart zie je niet alleen de temperatuur, maar ook:

• Hoe vaak haal ik een koekje uit de oven?
• Hoe vaak moet ik wachten?
• Hoe vaak is de koek verbrand?

Het mooie is: je kunt op deze kaart zien hoe je de oven kunt schuiven. Als je de "wacht-tijd" verlaagt, zie je direct dat het risico op verbrande koekjes omhoog gaat. Het is als een balansspel: je kunt niet alles maximaliseren. Je moet kiezen wat belangrijk is voor jouw bakkerij.

3. De "Geometrie van de Koekjes"

De auteurs laten zien dat deze keuzes niet zomaar willekeurig zijn. Ze worden bepaald door de vorm van de data.
Stel je voor dat de koekjes in een ruimte liggen. De oven tekent lijnen in die ruimte om te beslissen wat "klaar" is.

• Als je de lijnen verplaatst, verandert de vorm van de groep koekjes die je eet.
• Soms is het onmogelijk om een bepaalde combinatie te krijgen (bijvoorbeeld: "Ik wil weinig wachten én geen verbrande koekjes"). De auteurs laten zien waarom dat onmogelijk is, door naar de vorm van de ruimte te kijken.

Samenvatting in één zin

In plaats van alleen te zeggen "De AI is 90% betrouwbaar", helpt dit artikel bedrijven om een menu te maken waarin ze precies kunnen zien: "Als we deze instelling kiezen, krijgen we X keer een fout, Y keer een afstap, en Z keer een goede voorspelling," zodat ze een weloverwogen keuze kunnen maken voor hun specifieke situatie.

De kernboodschap: Vertrouw niet alleen op het veiligheidsnet (dekking), maar kijk naar het gedrag van het systeem in de echte wereld, en gebruik een tweede testgroep om precies te weten wat je kunt verwachten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Conformal Tradeoffs: Guarantees Beyond Coverage" van Petrus H. Zwart, geschreven in het Nederlands.

Titel: Conformal Tradeoffs: Garanties voorbij Dekking

Auteur: Petrus H. Zwart
Context: Toepassing van conformale voorspelling in operationele systemen (bijv. toxiciteit en oplosbaarheid van moleculen).

---

1. Het Probleem: De Kloof tussen Dekking en Operationeel Gedrag

Conformale voorspelling (Conformal Prediction) is een wijdverspreide methode om voorspellingen te maken met gegarandeerde dekking (coverage) onder de aanname van uitwisselbaarheid (exchangeability). Traditioneel garandeert deze methode dat het ware label met een bepaalde kans in de voorspelde verzameling zit.

Het artikel identificeert echter een kritiek probleem voor geïmplementeerde systemen:

• Operationele realiteit: Stakeholders zijn niet alleen geïnteresseerd in de marginale dekking, maar in operationele grootheden over een eindige tijdspanne: hoe vaak maakt het systeem een definitieve voorspelling ("commit") versus een uitstel ("deferral/abstention"), en wat is het risico op fouten bij definitieve voorspellingen?
• De beperking: Dekking alleen bepaalt niet het operationele profiel. Twee conformale regels met exact dezelfde nominale dekking kunnen radicaal verschillend gedrag vertonen (bijv. veel uitstellen vs. weinig uitstellen maar meer fouten) afhankelijk van de geometrie van de scores en de gekozen drempelwaarden.
• Het risico: Bestaande methoden bieden geen garanties voor deze operationele KPI's (Key Performance Indicators) zoals beslissingsfrequentie of blootstelling aan beslissingsfouten, omdat deze niet puur afhankelijk zijn van rangordes (ranks) zoals dekking.

2. Methodologie: Calibreren, Geometrie blootleggen en Auditeren

De auteur introduceert een raamwerk om operationele grootheden als "eersteklas objecten" te behandelen voor een vastgezet, geïmplementeerd conformal model. De aanpak bestaat uit drie pijlers:

A. Small-Sample Beta Correction (SSBC)

Om de gebruiker een betekenisvolle garantie te geven voor een eindige steekproef, wordt de exacte eindige-steekproef wet van de rangorde/Beta-verdeling omgekeerd.

• Doel: Een gebruikersverzoek $(\alpha^\star, \delta)$ (bijv. "minstens 90% dekking met 90% zekerheid") vertalen naar een concreet, minst conservatief punt op het calibratiegrid.
• Mechanisme: In plaats van een ruwe schatting te gebruiken, invert SSBC de Beta- of Beta-Binomiaal wet om een drempelwaarde te selecteren die voldoet aan een "PAC-style" (Probably Approximately Correct) staartconstraint. Dit levert een expliciete, auditbare garantie op voor de daadwerkelijke dekking in een eindig operationeel venster.

B. Calibrate-and-Audit (Calibreren en Auditeren)

Omdat er geen rangorde-pivot bestaat voor operationele grootheden (zoals uitstel of fouten), kan dekking niet worden gegarandeerd zonder extra data.

• Tweestapsontwerp:
  1. Calibreren: Vaststellen van drempelwaarden op een calibratieset ($D_{cal}$), wat een vaste partitie van de score-ruimte creëert (regio's zoals "singleton", "hedge", "abstain").
  2. Auditeren: Gebruik van een onafhankelijke, uitwisselbare auditset ($D_{audit}$) om de gezamenlijke verdeling van regio's en labels te schatten.
• Resultaat: Dit levert een "region-label table" op. Operationele KPI's worden vervolgens berekend als lineaire projecties (som van specifieke cellen) uit deze tabel.
• Voorspellende Envelopes: Op basis van de auditdata worden Binomiale/Beta-Binomiale voorspellende enveloppen gegenereerd voor toekomstige operationele rates over een eindig venster. Dit geeft een garantie voor de operationele prestaties, niet alleen voor de dekking.
• Alternatief: Voor situaties zonder extra auditset wordt een conservatieve "Leave-One-Out" (LOO) proxy voorgesteld, hoewel deze minder strikt is dan de tweestapsmethode.

C. Geometrische Karakterisering en Pareto-analyse

Het artikel analyseert de beperkingen die worden opgelegd door de vaste conformale partitie.

• Regimegrenzen: In het geval van genormaliseerde scores (waar $s(x,0) + s(x,1) = 1$) ontstaan scherpe grenzen. Afhankelijk van de som van de drempels ($\tau_0 + \tau_1$) kan het systeem alleen "hedge" (twee labels) of alleen "abstain" (geen label), maar niet beide tegelijk.
• Pareto-front: Door de calibratieparameters te variëren, traceert men de haalbare set van operationele profielen. De auteurs gebruiken een georiënteerde Pareto-filtering om de "niet-gedomineerde" regimes te identificeren (de beste trade-offs tussen bijvoorbeeld uitstel en fouten) zonder een specifieke kostenfunctie vooraf te definiëren.
• Kosten-coherentie: Er wordt geanalyseerd onder welke kostenverhoudingen een vast actieprotocol (bijv. "commit op singletons") rationeel is. Een regio die als "singleton" wordt gelabeld, kan toch een uitstel vereisen als de kosten van een fout te hoog zijn ten opzichte van de kosten van uitstel.

3. Belangrijkste Bijdragen

1. SSBC: Een methode om gebruikersverzoeken over dekking en zekerheid om te zetten in een exacte, eindige-steekproef calibratie-instelling, wat een semantisch anker biedt voor operationele navigatie.
2. Calibrate-and-Audit Framework: Een nieuw protocol om operationele grootheden (buiten dekking om) te certificeren met eindige-steekproef garanties via een onafhankelijke auditset en projectie op een region-label tabel.
3. Operationeel Menu: Een visuele en analytische tool die de haalbare trade-offs (Pareto-front) tussen operationele KPI's toont, inclusief voorspellende enveloppen voor onzekerheid.
4. Geometrisch Inzicht: Een duidelijke uitleg waarom operationele grootheden gekoppeld zijn (gecoupleerd) door de onderliggende score-geometrie, en waarom het onmogelijk is om alle KPI's onafhankelijk te optimaliseren.

4. Resultaten en Validatie

De methoden zijn getest op twee benchmarks:

• Tox21 (Moleculaire toxiciteit): Een dataset met ernstige class-imbalance (weinig positieve voorbeelden).
  • Vindst: Standaard conformale voorspelling leidt hier vaak tot te hoge schendingen van de dekking (violation rates). SSBC verlaagt deze schendingen aanzienlijk terwijl het behoudt van een hogere frequentie van definitieve voorspellingen dan conservatieve methoden (zoals DKWM).
  • De voorspellende enveloppen voor operationele rates (zoals "wrong-singleton rate") bleven nauwkeurig, zelfs bij kleine steekproeven.
• AquaSolDB (Oplosbaarheid): Gebruikt voor scenario-planning.
  • De auteurs toonden aan hoe men een "operationeel menu" kan genereren voor een specifieke subpopulatie (bijv. lipofiele verbindingen).
  • De analyse onthulde dat bepaalde operationele profielen onhaalbaar zijn door de geometrische beperkingen van de conformale partitie.
  • De kosten-coherentie analyse toonde aan dat een vast actieprotocol niet altijd optimaal is; de "Pareto-front" is alleen coherent binnen een specifiek bereik van kostenverhoudingen.

5. Betekenis en Conclusie

Dit artikel verschuift de focus van conformale voorspelling van een puur theoretische dekkingsgarantie naar een operationeel instrument voor besluitvorming.

• Praktische relevantie: Het biedt tools voor stakeholders om te plannen en risico's te managen in echte implementaties, waarbij ze rekening moeten houden met uitstel, fouten en resources.
• Nieuw paradigma: Het stelt dat calibratie niet alleen een drempelwaarde kiest, maar een vast interface selecteert. De prestaties van dit interface moeten worden geauditeerd en begrepen in termen van geometrie en trade-offs.
• Toekomst: Hoewel het artikel zich beperkt tot binaire classificatie en uitwisselbaarheid, legt het de basis voor robuustere, kostenbewuste conformale systemen in complexe omgevingen.

Kortom, het paper levert de wiskundige en praktische middelen om conformale voorspellers te "certificeren" voor wat er echt toe doet in de praktijk: de kwaliteit van de beslissingen die het systeem neemt, niet alleen de statistische dekking.