🤖 machine learning

Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration

Dit artikel stelt Invertible Logits Transformation (InvLT) voor, een post-hoc kalibratiemethode die een gedeelde, monotone scalaire MLP toepast op logits om miskalibratie te corrigeren en efficiënt te schalen naar grote labelruimtes, terwijl de oorspronkelijke voorspellingen van de classifier strikt worden behouden zonder hertraining.

Oorspronkelijke auteurs: Lening Zhao, Qipeng Zhan, Li Shen

Gepubliceerd 2026-08-12

📖 10 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lening Zhao, Qipeng Zhan, Li Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je trouwe vergrootglas heeft een defect. Het laat de juiste verdachte zien, maar het blijft uitroepen: "Ik weet het voor 99% zeker!", terwijl het eigenlijk slechts 60% zeker is. In de wereld van kunstmatige intelligentie is dit een veelvoorkomend probleem. AI-modellen zijn als briljante detectives die katten, honden of tumoren kunnen identificeren met ongelooflijke nauwkeurigheid, maar ze krijgen hun vertrouwensniveaus vaak verkeerd. Ze kunnen overdreven zelfverzekerd zijn over een fout antwoord, wat gevaarlijk is als een arts of een zelfrijdende auto naar hen luistert. Dit vakgebied wordt "kalibratie" genoemd. Het gaat er niet om de AI nieuwe trucjes te leren of zijn brein opnieuw te trainen; het gaat erom zijn "stem" achteraf te repareren, zodat wanneer hij zegt "90% zeker", hij ook echt bedoelt "ik heb 9 van de 10 keer gelijk". Het doel is om de AI eerlijk te maken zonder het antwoord te veranderen dat hij geeft.

Maak kennis met een nieuwe methode genaamd Invertible Logits Transformation (InvLT), voorgesteld door onderzoekers Zhao, Zhan en Shen. Beschouw de ruwe gedachten van de AI (genaamd "logits") als een rommelige stapel getallen voordat hij een definitief antwoord besluit te nemen. Eerdere methoden probeerden het vertrouwen te corrigeren door ofwel alle getallen evenveel omlaag te drukken (zoals het volume van een heel liedje zachter zetten) of door complexe, zware machines te gebruiken die de getallen voor elke klasse anders veranderen. Het probleem met de zware machines is dat ze traag en onhandig worden wanneer er duizenden categorieën zijn, en de simpele volumeknop is niet flexibel genoeg om specifieke vreemde plekken in de data te repareren.

InvLT is als een slimme, individuele redacteur die de stapel getallen één voor één doorgaat. In plaats van het hele liedje te veranderen of een gigantische machine te gebruiken, past deze redacteur een geleerde, flexibele regel toe op elk getal afzonderlijk. De magische truc hier is dat deze redacteur getraind is om "invertible" (omkeerbaar) te zijn, wat een chique wiskundige manier is om te zeggen "omkeerbaar". Als je de bewerking perfect kunt terugdraaien, weet je dat de volgorde van de getallen niet is gehusseld. Dit zorgt ervoor dat als de AI oorspronkelijk dacht dat "Hond" de beste gok was, hij na de bewerking nog steeds denkt dat "Hond" de beste gok is. De onderzoekers hebben dit getest op beroemde beelddatasets zoals CIFAR-10, CIFAR-100 en de enorme ImageNet. Ze ontdekten dat InvLT de vertrouwensniveaus van de AI consequent beter liet aansluiten bij de werkelijke nauwkeurigheid dan bijna elke andere methode, terwijl het veel sneller traint dan zijn dichtstbijzijnde concurrent. Het is een eenvoudige, snelle en eerlijke manier om de AI te laten toegeven wanneer hij het niet zeker weet, zonder ooit het antwoord te veranderen dat hij geeft.

De Glitch van de Detective: Waarom we Kalibratie nodig hebben

Om te begrijpen waarom dit papier ertoe doet, moeten we eerst de "detective" (de AI) en zijn "glitch" (miskalibratie) begrijpen.

In de wereld van machine learning kijkt een AI-model naar een afbeelding en spuwt een lijst met getallen uit. Deze getallen vertegenwoordigen hoeveel de AI elk mogelijk antwoord "leuk vindt". Als de AI bijvoorbeeld een foto van een kat ziet, kan hij de categorie "kat" een hoog getal geven en de categorie "hond" een laag getal. Om deze ruwe getallen om te zetten in een percentage (zoals "85% kans dat dit een kat is"), gebruikt het model een wiskundige stap die "softmax" wordt genoemd.

Het probleem is dat moderne AI-modellen vaak slecht zijn in het beoordelen van hun eigen vertrouwen. Ze kunnen 99% zeker zijn dat een foto een kat is, terwijl het eigenlijk een hond is. Dit wordt "overconfident" (overdreven zelfverzekerd) genoemd. Als u een arts bent die een AI gebruikt om een ziekte te diagnosticeren, wilt u niet alleen weten wat de ziekte is; u moet ook weten hoe zeker de AI is. Als de AI zegt "99% zeker dat het kanker is" maar hij is slechts in 50% van de gevallen juist, dan is dat een ramp.

Dit is waar Post-Hoc Kalibratie in beeld komt. "Post-hoc" betekent simpelweg "achteraf". In plaats van het hele AI-model opnieuw te trainen (wat dagen en enorme computers vereist), probeert kalibratie de output van het model te repareren met een klein, apart hulpmiddel. Het is alsof je een foto neemt die iets onscherp is en er een filter overheen haalt om hem scherp te maken, zonder de foto opnieuw te hoeven maken.

Het doel is simpel: als de AI zegt dat hij 80% zeker is, moet hij ook 80% van de tijd gelijk hebben. Als hij 50% zegt, moet hij de helft van de tijd gelijk hebben. Het papier richt zich op methoden die dit doen zonder de uiteindelijke beslissing van de AI te veranderen. Als de AI oorspronkelijk "Kat" koos, mag het kalibratie-instrument niet per ongeluk "Hond" maken. Dit wordt Accuracy Preservation (behoud van nauwkeurigheid) genoemd.

De Oude Manieren: Te Simpel of Te Zwaar

Voordat InvLT bestond, hadden wetenschappers een paar manieren om deze vertrouwensglitch te herstellen:

Temperature Scaling (TS): Stel je voor dat de ruwe getallen van de AI een hete soep zijn. Temperature Scaling voegt gewoon een beetje ijs toe aan de hele pot om het af te koelen. Het gebruikt één enkel getal (een "temperatuur") om alles aan te passen. Het is snel en simpel, en het verandert de winnaar nooit (de "Kat" blijft de "Kat"). Maar het is te rigide. Het kan geen specifieke problemen oplossen. Als de AI overdreven zelfverzekerd is voor "Katten", maar onderbezet is voor "Honden", kan deze methode niet beide tegelijkertijd oplossen.
De Zware Machines (UMNN en anderen): Om specifieke problemen op te lossen, bouwden sommige onderzoekers complexe tools die een unieke regel leren voor elk getal. Een populaire methode, genaamd UMNN, gebruikt een speciale vorm van wiskunde die de regels strikt "monotoon" dwingt (wat betekent dat als de input stijgt, de output ook moet stijgen). Dit garandeert dat de volgorde van de antwoorden hetzelfde blijft. Echter, deze methode is computationeel duur. Het is alsond een grote, trage robot gebruiken om een kaartspel te sorteren. Het werkt, maar het duurt lang om te trainen en zelfs nog langer om te gebruiken. Bovendien, naarmate het aantal categorieën groeit (zoals bij ImageNet met 1.000 klassen), kunnen deze methoden traag worden of overfitten (de trainingsdata uit het hoofd leren in plaats van de regels te leren).

De Nieuwe Held: InvLT

De auteurs van dit papier, Zhao, Zhan en Shen, stellen een nieuwe methode voor genaamd Invertible Logits Transformation (InvLT).

Het Kernidee:
In plaats van één simpele knop (zoals Temperature Scaling) of een gigantische robot (zoals UMNN), gebruikt InvLT een kleine, flexibele "vertaler" (een neuraal netwerk) die naar elk getal afzonderlijk kijkt en een aangepaste regel toepast.

Gedeelde Vertaler: Dezelfde vertaler wordt gebruikt voor elk getal, of het nu voor een kat, een hond of een auto is. Dit betekent dat de methode niet langzamer of complexer wordt naarmig je meer categorieën toevoegt. Het schaalt prachtig naar enorme datasets.
De "Invertible" Truc: De grootste uitdaging is ervoor te zorgen dat de vertaler de volgorde niet door elkaar haalt. Als de vertaler een "9" in een "2" verandert en een "5" in een "10", kan de AI plotseling denken dat de "Hond" beter is dan de "Kat", waardoor het uiteindelijke antwoord verandert. Om dit te voorkomen, gebruikt het papier een slimme truc: Reconstructie.

Hoe de Reconstructie-truc werkt:
Stel je hebt een vertaler die Engels in Frans vertaalt. Om er zeker van te zijn dat het een "goede" vertaler is die de boel niet door elkaar haalt, vraag je hem om een zin naar het Frans te vertalen, en deze vervolgens direct weer terug naar het Engels te vertalen. Als de uiteindelijke Engelse zin hetzelfde is als de originele zin, weet je dat de vertaler correct werkt en de betekenis niet heeft gehusseld.

In InvLT trainen ze twee netwerken samen:

Het Forward Network (f): Dit is de hoofvertaler die het vertrouwen van de AI aanpast.
Het Inverse Network (g): Dit is de "terugvertaler".

Ze voeren een reeks testgetallen in het Forward Network, krijgen het resultaat, en voeren dat resultaat vervolgens in het Inverse Network. Ze controleren of het Inverse Network het terug kan veranderen naar het originele getal. Als dat niet lukt, passen ze het Forward Network aan totdat dat wel kan. Deze "reconstructie-verlies" fungeert als een zachte duw, die het Forward Network aanmoedigt om monotoon te zijn (de volgorde van getallen behouden) zonder dat het complexe, trage wiskunde hoeft te gebruiken.

Waarom dit beter is:

Snelheid: Omdat het geen zware, trage wiskunde (zoals numerieke integratie) nodig heeft om monotoniciteit te bewijzen, traint het veel sneller. Het papier rapporteert dat InvLT ongeveer 3,5 keer sneller traint dan de vorige beste methode (UMNN) en 5 keer sneller tijdens de inferentie (wanneer het model daadwerkelijk wordt gebruikt).
Nauwkeurigheid: Het behoudt de oorspronkelijke beslissing van de AI (het verandert de "Kat" niet in een "Hond") terwijl het de vertrouwensniveaus corrigeert.
Prestaties: In tests op CIFAR-10, CIFAR-100 en ImageNet presteerde InvLT consequent beter dan bijna alle andere methoden in het laten aansluiten van het vertrouwen van de AI bij de werkelijke nauwkeurigheid. Bijvoorbeeld, op ImageNet verminderde InvLT de fout in vertrouwen (ECE) tot 0,39%, waarmee het de op één na beste methode (UMNN) versloeg, die op 0,56% zat.

De Resultaten: Een Duidelijke Overwinning

De onderzoekers hebben hun methode getest op drie belangrijke datasets:

CIFAR-10: 10 categorieën van kleine afbeeldingen.
CIFAR-100: 100 categorieën.
ImageNet: 1.000 categorieën van echte afbeeldingen.

Ze gebruikten verschillende AI-architecturen (zoals ResNet, VGG en ViT) om te laten zien dat de methode op verschillende soorten modellen werkt.

Belangrijkste bevindingen:

Beste Prestaties: InvLT behaalde de laagste foutpercentages in bijna elke test. Op ImageNet met een ResNet-152 model bereikte het een ECE van 0,39%, aanzienlijk beter dan het ongekalibreerde model (dat op 12,83% zat) en beter dan alle andere kalibratiemethoden.
Robuustheid: Zelfs toen ze de methode heel weinig data gaven om van te leren (slechts 500 monsters), presteerde het nog steeds goed, terwijl andere methoden die afhankelijk zijn van complexe parameters (zoals Matrix Scaling) volledig faalden en simpelweg de identiteitsafbeelding werden.
Behoud: Het papier bevestigt dat de "reconstructie"-truc de oorspronkelijke antwoorden van de AI intact houdt. Zonder deze truc zou de nauwkeurigheid van de AI licht dalen omdat de volgorde van de antwoorden zou kunnen worden gehusseld. Met de truc blijft de nauwkeurigheid exact hetzelfde als die van het originele model.

De Limieten en de Toekomst

De auteurs zijn eerlijk over de beperkingen. Omdat InvLT elk getal onafhankelijk behandelt, kan het geen complexe relaties tussen verschillende categorieën vastleggen (zoals weten dat "Kat" en "Hond" beide dieren zijn en met elkaar verward kunnen worden). Ze betogen echter dat voor de meeste praktische toepassingen de snelheid en eenvoud van InvLT de beste keuze zijn.

Ze merken ook op dat hoewel de reconstructie-truc suggereert dat de volgorde behouden blijft, het een "zachte" garantie is, geen wiskundig ijzersterke garantie. In extreem veiligheidskritische situaties (zoals een zelfrijdende auto) stellen ze voor om een laatste controle toe te voegen om te verzekeren dat het antwoord niet is veranderd.

Conclusie

Uiteindelijk is InvLT een slimme, efficiënte manier om AI-modellen eerlijker te maken. Het neemt het "glitchy" vertrouwen van een krachtige AI en repareert dit met een lichtgewicht, flexibel hulpmiddel dat de boel niet vertraagt of de antwoorden verandert. Het is een herinnering dat je soms niet een grotere, zwaardere machine nodig hebt om een probleem op te lossen; je hebt alleen een slimme, omkeerbare truc nodig. Voor iedereen die vertrouwt op AI om beslissingen te nemen, biedt deze methode een manier om de getallen waarop de AI je vertrouwt te kunnen vertrouwen, wetende dat ze de waarheid reflecteren.

Probleemstelling
Post-hoc kalibratie beoogt de voorspelde betrouwbaarheid van een classifier af te stemmen op de empirische nauwkeurigheid zonder het onderliggende model opnieuw te trainen. Hoewel moderne diepe netwerken vaak overmoedig zijn, kampen bestaande kalibratiemethoden met een afruil tussen expressiviteit, schaalbaarheid en het behoud van nauwkeurigheid. Temperature Scaling (TS) behoudt de voorspelde klasse (argmax), maar mist de expressiviteit om niet-lineaire miskalibratie te corrigeren. Flexibelere methoden, zoals die gebruikmaken van de UMNN-architectuur om monotoniciteit af te dwingen, kunnen niet-lineaire fouten corrigeren, maar introduceren een aanzienlijke computationele overhead door numerieke integratie en schalen vaak slecht met het aantal klassen ( $C$ ). Daarentegen kunnen zeer expressieve methoden die de rangorde van de logits niet behouden, de oorspronkelijke voorspelling van de classifier veranderen, wat onwenselijk is in situaties waar de beslissingsgrens vast moet blijven staan.

Methodologie: Invertible Logits Transformation (InvLT)
De auteurs stellen InvLT voor, een post-hoc kalibrator die een geleerde, gedeelde scalaire Multi-Layer Perceptron (MLP), $f: \mathbb{R} \to \mathbb{R}$ , elementgewijs toepast op de pre-softmax logits. De gekalibreerde waarschijnlijkheden worden berekend als $\hat{p}^{cal} = \text{softmax}(f(z_1), \dots, f(z_C))$ .

De kernuitdaging is het waarborgen dat $f$ strikt monotoon is om de argmax te behouden (d.w.z. de voorspelde klasse blijft onveranderd). Eerdere benaderingen dwongen dit af via harde architecturale beperkingen (het parametriseren van de afgeleide $f'$ als een positief netwerk en het terugwinnen van $f$ via numerieke integratie). InvLT vervangt dit door een zachte regularisator gebaseerd op het theoretische inzicht dat een continue injectieve functie op een interval strikt monotoon is.

Om injectiviteit af te dwingen zonder architecturale beperkingen, traint InvLT $f$ gezamenlijk met een hulp-inversenetwerk $g$ . Een reconstructieverlies wordt geminimaliseerd over een set referentiepunten $\{u_k\}$ getrokken uit het logit-bereik:
$\mathcal{L}_{rec} = \frac{1}{K} \sum_{k=1}^K (g(f(u_k)) - u_k)^2$
Dit moedigt $g \circ f \approx \text{id}$ aan, wat $f$ richting injectiviteit en daarmee richting monotoniciteit drijft. Het hulpnetwerk $g$ wordt bij de inferentie weggegooid. De totale doelfunctie combineert een standaard kalibratieverlies (NLL of Brier) met deze reconstructieregularisator.

Belangrijkste Bijdragen

Architectuur: InvLT introduceert een post-hoc kalibrator die een gedeelde scalaire MLP elementgewijs op de logits toepast. Cruciaal is dat het aantal leerbare parameters onafhankelijk is van het aantal klassen $C$ , waardoor het gracieus kan schalen naar grote labelruimtes (bijv. ImageNet met $C=1000$ ).
Monotoniciteit via Reconstructie: Het artikel stelt een reconstructieregularisator voor via een invers netwerk om monotoniciteit zacht af te dwingen. Dit vermijdt de computationele overhead van de numerieke kwadratuur die vereist is door eerdere monotone kalibratiemethoden (bijv. UMNN) en staat toe dat $f$ een standaard MLP met elke gewenste activatiefunctie is.
Empirische Prestaties: Over CIFAR-10, CIFAR-100 en ImageNet met zeven verschillende architecturen presteert InvLT consistent beter dan een breed scala aan baselines (inclusief TS, Vector/Matrix Scaling, Spline, Dirichlet en UMNN) op standaard kalibratiemetrieken (ECE, AdaECE, KDE-ECE, NLL), terwijl de oorspronkelijke classificatienauwkeurigheid behouden blijft.

Resultaten

Kalibratienauwkeurigheid: InvLT bereikt de beste Expected Calibration Error (ECE) en Negative Log-Likelihood (NLL) over alle datasets. Op ImageNet (ResNet-152) bereikt InvLT een ECE van 0,39%, waarmee het de op één na beste nauwkeurigheidsbehoudende baseline (UMNN met 0,56%) en niet-behoudende baselines zoals Spline Calibration (1,10%) aanzienlijk verslaat.
Schaalbaarheid: In tegenstelling tot Matrix Scaling of Dirichlet Calibration, die $O(C^2)$ parameters vereisen en ernstig presteren op ImageNet met beperkte kalibratiedata (bijv. 500 monsters), behoudt InvLT zijn prestaties omdat het aantal parameters onafhankelijk is van $C$ .
Efficiëntie: InvLT is aanzienlijk sneller dan UMNN. Op CIFAR-100 is het 3,5× sneller om te trainen (22,7s vs. 80,2s) en 5× sneller bij inferentie (74,8ms vs. 372,7ms). Dit komt doordat InvLT numerieke kwadratuur vermijdt tijdens zowel training als inferentie.
Robuustheid: De geleerde transformaties zijn robuust tegen de grootte van de kalibratieset (bijv. 1.000 vs. 5.000 monsters) en behouden consequent de oorspronkelijke classificatienauwkeurigheid in alle geteste settings.

Significantie en Claims
Het artikel claimt dat InvLT een eenvoudige, efficiënte en flexibele benadering biedt voor post-hoc kalibratie die de spanning tussen expressiviteit en het behoud van nauwkeurigheid oplost. Door harde monotoniciteitsbeperkingen te vervangen door een zachte, op reconstructie gebaseerde regularisator, bereikt de methode state-of-the-art kalibratieprestaties zonder de computationele kosten van eerdere monotone methoden of het risico op het wijzigen van voorspellingen dat inherent is aan niet-monotone expressieve methoden. De auteurs merken op dat hoewel de zachte afdwinging geen formele wiskundige garantie biedt voor argmax-behoud (in tegenstelling tot harde beperkingen), de empirische resultaten bevestigen dat de nauwkeurigheid in elke geteste setting behouden blijft. De methode is bijzonder significant voor grootschalige toepassingen waar klasse-afhankelijke methoden falen door overfitting en computationele beperkingen.