Efficient Credal Prediction through Decalibration

Deze paper introduceert een efficiënte methode genaamd 'decalibration' om credale voorspellingen te genereren voor complexe modellen zoals foundation models, waardoor onzekerheid op een rekenkundig haalbare manier kan worden weergegeven zonder het noodzakelijke hertrainen van modelensembles.

De kern

Titel: Hoe maak je slimme computers een beetje nederiger? (De "Decalibratie"-methode)

Stel je voor dat je een zeer slimme computer hebt die foto's herkent. Als je hem een foto van een hond toont, zegt hij: "Dat is 99% zeker een hond." Maar wat als het een hond is die op een vreemde manier staat, of als de foto wazig is? De computer weet het misschien niet zeker, maar hij durft het niet toe te geven. Hij blijft maar zeggen: "99% zeker!" Dit is gevaarlijk, vooral in situaties waar fouten kostbaar zijn, zoals bij medische diagnoses of zelfrijdende auto's.

In de wereld van kunstmatige intelligentie noemen we dit onzekerheid. Er zijn twee soorten:

1. Toeval: De foto is echt wazig, zelfs voor een mens is het lastig. (Dit kan de computer niet veranderen).
2. Onwetendheid: De computer heeft de hond nog nooit in deze hoek gezien. Hij zou het kunnen weten als hij meer training had, maar nu weet hij het niet. (Dit is waar deze nieuwe methode om gaat).

Het oude probleem: De "Ensemble"-methode

Vroeger was de enige manier om deze onwetendheid te meten, om 100 verschillende versies van dezelfde computer te trainen. Je gaf ze allemaal dezelfde foto, en keek of ze het eens waren.

• Als 99 computers zeggen "hond" en 1 zegt "kat", weet je: "Oké, we zijn het bijna eens, maar er is een klein twijfelmoment."
• Het nadeel: Dit is extreem duur en traag. Het is alsof je 100 chefs nodig hebt om één gerecht te koken, alleen om te zien of ze het eens zijn over de smaak. Voor de allermodernste, gigantische computers (zoals die in ChatGPT of medische scanners) is dit onmogelijk. Je kunt die niet 100 keer opnieuw trainen.

De nieuwe oplossing: "Decalibratie" (Het omgekeerde van kalibreren)

De auteurs van dit paper hebben een slimme truc bedacht. Ze noemen het Decalibratie.

Stel je voor dat je een kompas hebt dat perfect werkt (de computer).

• Kalibreren betekent: "Kijk, dit kompas wijst net iets te ver naar het noorden, laten we het corrigeren zodat het precies goed wijst."
• Decalibreren (in dit geval) betekent: "Laten we het kompas opzettelijk een beetje verdraaien. Hoe ver kunnen we het draaien voordat we zeggen: 'Oké, dit is nu echt onzin en past niet meer bij de werkelijkheid'?"

Hoe werkt het in de praktijk?

1. De computer kijkt naar een foto en zegt: "90% hond, 5% kat, 5% auto."
2. De nieuwe methode zegt: "Oké, laten we die 90% iets verlagen en de 5% voor de kat iets verhogen. Is dat nog steeds een geloofwaardige uitspraak?"
3. Ze blijven dit doen tot ze de grens bereiken waar de computer zegt: "Nee, dit is te gek. Als ik nu 40% kat zeg, klopt dat niet meer met wat ik heb geleerd."
4. Het resultaat is geen enkel getal, maar een bereik: "De kans dat het een hond is, ligt ergens tussen 40% en 90%."

Dit bereik is de Credale Set. Het is een eerlijke manier om te zeggen: "Ik denk dat het een hond is, maar ik ben niet 100% zeker, dus ik geef je een marge."

Waarom is dit zo cool?

• Snel en goedkoop: Je hoeft de computer niet opnieuw te trainen. Je pakt gewoon de uitkomst van de computer en "schuift" de knoppen een beetje. Het is alsof je een bestaande kaart gebruikt en er een nieuwe laag overheen legt, in plaats van een hele nieuwe kaart te tekenen.
• Werkt met de "Giganten": Omdat het zo snel is, werkt het zelfs met de grootste, geheimzinnigste computers (zoals CLIP of TabPFN) waar niemand de interne code van mag zien of aan mag sleutelen.
• Veiligheid: Het helpt de computer om te zeggen "Ik weet het niet zeker" in plaats van een fout te maken met een glimlach.

Een analogie uit het dagelijks leven

Stel je bent een meteoroloog.

• Oude manier: Je vraagt 100 collega's om een voorspelling te doen. Als ze het niet eens zijn, maak je een gemiddelde. (Duur en tijdrovend).
• Nieuwe manier (Decalibratie): Je kijkt naar je eigen voorspelling: "Het regent met 90% kans." Vervolgens vraag je jezelf af: "Hoeveel moet ik mijn voorspelling veranderen voordat het niet meer logisch is?" Misschien zeg je: "Zelfs als ik mijn voorspelling verlaag naar 60%, is het nog steeds een geloofwaardige voorspelling op basis van de data."
• Het resultaat: Je zegt tegen de mensen: "Er is een kans van 60% tot 90% dat het regent." Dat is veel eerlijker dan "90%".

Conclusie

Deze paper introduceert een manier om slimme computers nederiger te maken. Ze leren ze om niet alleen te zeggen "Ik weet het", maar ook "Ik weet het binnen dit bereik". En het beste van alles: ze doen dit zonder dat je de computer opnieuw hoeft op te bouwen. Het is een snelle, slimme truc om onzekerheid te meten in de wereld van de moderne AI.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Efficient Credal Prediction through Decalibration", gepubliceerd bij ICLR 2026, in het Nederlands.

Probleemstelling

In veiligheidskritieke toepassingen van machine learning (zoals gezondheidszorg en energiesystemen) is het essentieel dat modellen niet alleen accurate voorspellingen doen, maar ook hun onzekerheid kunnen kwantificeren. Er wordt onderscheid gemaakt tussen:

• Aleatorische onzekerheid: Onherleidbare ruis in de data.
• Epistemische onzekerheid: Onzekerheid door gebrek aan kennis, die theoretisch verkleind kan worden met meer of betere data.

Traditionele probabilistische voorspellers kunnen aleatorische onzekerheid vastleggen, maar niet epistemische onzekerheid. Credale verzamelingen (convexe verzamelingen van waarschijnlijkheidsverdelingen) worden voorgesteld als een geschikte methode om epistemische onzekerheid expliciet te maken. Echter, bestaande methoden om deze verzamelingen te construeren (zoals het trainen van ensemble-modellen of het benaderen van Bayesiaanse posteriors) zijn computationeel zeer complex. Dit maakt ze onpraktisch voor complexe, moderne modellen zoals foundation models (bijv. TabPFN) en multi-modale systemen (bijv. CLIP), waar het opnieuw trainen van ensembles vaak onmogelijk of te duur is.

Methodologie: Decalibratie

De auteurs stellen een efficiënte, model-onafhankelijke post-hoc methode voor genaamd Decalibratie. In plaats van nieuwe modellen te trainen, manipuleren ze de uitkomsten van een reeds getraind model (de Maximum Likelihood Estimator, MLE).

1. Relatieve Waarschijnlijkheid: De methode is gebaseerd op het concept van relatieve waarschijnlijkheid. Een model wordt als "plausibel" beschouwd als zijn waarschijnlijkheid (likelihood) binnen een bepaald percentage ($\alpha$) van de maximale waarschijnlijkheid ligt.
2. Logit-perturbatie: De kern van de methode is het systematisch verstoren (decalibreren) van de logits (de ruwe uitkomsten voor de softmax) van het getrainde model.
   • Er wordt een bias-vector $c$ toegevoegd aan de logits.
   • Dit verandert de voorspelde kansen, waardoor ze zich verplaatsen van de beste fit (MLE) naar minder waarschijnlijke configuraties.
   • De perturbatie wordt beperkt door een relatieve waarschijnlijkheidsbudget ($\alpha$). De methode zoekt de grenzen van de plausibiliteit: hoe ver kunnen de kansen voor een specifieke klasse worden verschoven zonder dat de relatieve waarschijnlijkheid onder de drempel $\alpha$ zakt?
3. Convexe Optimalisatie:
   • Het bereik van plausibele kansen voor elke klasse wordt uitgedrukt als een interval $[p_k, \bar{p}_k]$.
   • De auteurs bewijzen dat de zoekruimte voor deze intervallen convex is.
   • De bovengrens van het interval kan worden gevonden via een enkel convex optimalisatieprobleem.
   • Voor de ondergrens wordt in de praktijk een een-dimensionale benadering gebruikt (per klasse apart schuiven), wat het probleem reduceert tot het vinden van de eindpunten van een interval, wat zeer efficiënt oplosbaar is.
4. Credale Verzameling: Het product van deze per-klasse intervallen vormt een "box credal set" in het simplex, die de epistemische onzekerheid representeert zonder het model opnieuw te hoeven trainen.

Belangrijkste Bijdragen

1. Efficiënte Post-hoc Methode: Een nieuwe aanpak voor credale voorspelling die geen opnieuw trainen vereist en werkt op elk vooraf getraind model (zolang de logits beschikbaar zijn).
2. Theoretische Fundamenten:
   • Bewijs dat de haalbaarheidsruimte van logit-verschuivingen convex is.
   • Toon aan dat de bovengrens van de credale set via één convex optimalisatieprobleem kan worden berekend.
   • Demonstreer dat de intervallen genest zijn naarmate het waarschijnlijkheidsbudget ($\alpha$) strakker wordt.
3. Toepasbaarheid op Foundation Models: De methode maakt credale voorspelling mogelijk voor modellen waar dit eerder onmogelijk was, zoals TabPFN (voor tabulaire data) en CLIP (voor visueel-taalmodellen), omdat deze modellen vaak gesloten zijn of te groot zijn om te ensemble-trainen.
4. Visualisatie: Introductie van credale spinnenwebgrafieken (spider plots) om intervallen voor meer dan drie klassen visueel te maken.

Resultaten

De methode (genaamd EffCre) is uitgebreid getest op diverse benchmarks en taken:

• Coverage vs. Efficiency: EffCre presteert sterk in de afweging tussen dekking (coverage) en efficiëntie (grootte van de set). Het domineert vaak bestaande methoden (zoals CreRL, CreBNN, CreWra) op de Pareto-voorrand, wat betekent dat het kleinere sets kan genereren voor dezelfde dekking, of betere dekking voor dezelfde setgrootte.
• Out-of-Distribution (OOD) Detectie: De methode presteert concurrerend bij het detecteren van data die niet overeenkomt met de trainingsverdeling. Cruciaal is dat EffCre dit doet met enkel een getraind model, terwijl concurrenten vaak ensembles van 10 of meer modellen nodig hebben, wat leidt tot een reductie in rekentijd met orde van grootte.
• In-Context Learning (TabPFN): De methode werd succesvol toegepast op TabPFN voor actief leren. Hierdoor kon het model de meest informatieve voorbeelden selecteren om de prestaties te verbeteren, iets wat zonder betrouwbare onzekerheidsmeting lastig is.
• Zero-Shot Classification (CLIP): EffCre werd toegepast op CLIP, SigLIP en SigLIP-2 voor zero-shot classificatie. De methode slaagde erin om credale verzamelingen te genereren die de epistemische onzekerheid correct weergaven (bijv. bij moeilijke afbeeldingen of taalbarrières), zonder dat de modellen opnieuw moesten worden getraind.

Betekenis en Impact

Deze paper lost een fundamenteel probleem op in het veld van onzekerheidskwantificering: de schaalbaarheid. Bestaande methoden voor epistemische onzekerheid zijn vaak te zwaar voor de moderne generatie grote, vooraf getrainde modellen.

Door decalibratie te gebruiken, biedt de auteurs een brug tussen de theoretische wenselijkheid van credale verzamelingen en de praktische beperkingen van grote modellen. Het stelt onderzoekers en ingenieurs in staat om betrouwbare onzekerheidsmetingen toe te passen op state-of-the-art systemen (zoals LLMs en vision-language modellen) in real-time of API-gedreven omgevingen, waar het opnieuw trainen of ensemble-trainen van modellen niet haalbaar is. Dit is een belangrijke stap voor de veilige implementatie van AI in kritieke domeinen.