Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift

Stel je voor dat je een robot leert om dieren te herkennen. Je laat het de robot duizenden foto's van honden en katten zien, en het leert om met volkomen zelfvertrouwen te zeggen: "Dat is een zoogdier!" Maar wat gebeurt er als je het een foto van een nieuw dier laat zien, zoals een miereneter, die het nog nooit heeft gezien? Als de robot nog steeds zegt: "Dat is een zoogdier!", maar het specifieke dier fout heeft, doet hij dan zijn werk goed? Deze vraag staat in het hart van een vakgebied genaamd machine learning, specifiek gericht op hoe kunstmatige intelligentie omgaat met nieuwe variaties van dingen die het al kent.

In de wereld van AI zijn er twee grote ideeën die we moeten begrijpen om dit verhaal te volgen. Ten eerste is er nauwkeurigheid (accuracy), wat simpelweg is hoe vaak de robot het juiste antwoord geeft. Als het "zoogdier" zegt en het is een zoogdier, dan krijgt het een punt voor nauwkeurigheid. Ten tweede is er kalibratie (calibration). Dit is wat lastiger; het gaat erom of het zelfvertrouwen van de robot overeenkomt met zijn nauwkeurigheid. Een goed gekalibreerde robot die voor 90% zeker is van zijn antwoord, zou 90% van de tijd gelijk moeten hebben. Als de robot voor 90% zeker is, maar slechts in 50% van de gevallen gelijk heeft, is hij "overgeconfident", wat gevaarlijk is omdat hij niet weet wanneer hij om hulp moet vragen. We geven hierom omdat AI-systemen in de echte wereld constant nieuwe versies van oude categorieën tegenkomen — zoals een nieuwe vogelsoort of een nieuw automodel — en we moeten weten of ze bescheiden en eerlijk kunnen blijven wanneer ze het onbekende tegenkomen.

De Valstrik van de Stille Overconfidentie

Dit artikel, getiteld "Subtype Robustness Is Not Just Accuracy", onderzoekt een sluipend probleem waarbij AI-modellen falen op een manier die standaardtests missen. De onderzoekers stelden een scenario op waarbij een model wordt getraind op specifieke "subtypes" (zoals alleen Golden Retrievers en Poedels zien) maar wordt getest op volledig nieuwe subtypes binnen dezelfde brede categorie (zoals een Dalmatier voor het eerst zien). Het model is bedoeld om de brede categorie (bijv. "Hond") nog steeds correct te identificeren, zelfs als het de specifieke soort niet kent.

Het team ontdekte iets verontrustends: de modellen verliezen hun nauwkeurigheid op deze nieuwe subtypes, maar ze verliezen niet hun zelfvertrouwen.

Stel je een student voor die een toets maakt. Ze hebben alleen Golden Retrievers en Poedels bestudeerd. Wanneer ze een Dalmatier zien, raden ze "Hond" correct, maar ze zijn eigenlijk gewoon aan het gokken. In een perfecte wereld zouden ze onzeker zijn en zeggen: "Ik weet het niet zeker, maar ik denk dat het een hond is." In plaats daarvan gedragen deze AI-modellen zich als een student die voor 95% zeker is van zijn zaak, ook al zijn ze fout over de specifieke details. Het artikel laat zien dat naarmate de nauwkeurigheid van het model daalt op deze ongeziene subtypes, het zelfvertrouwen nauwelijks afneemt. Dit creëert een "stille overconfidentie" waarbij het systeem zelfverzekerd fout zit, en omdat het zich zo zeker voelt, worden er geen alarmen afgegeven.

Waarom het niet alleen om "Slechte Foto's" gaat

Je zou kunnen denken: "Nou, misschien zien de nieuwe foto's er wel raar of wazig uit, dus raakt de AI in de war." De onderzoekers testten dit door het probleem van de "nieuwe subtype" te vergelijken met "generieke corruptie", wat is als het een normale foto besmeurt met modder, ruis toevoegt of de foto wazig maakt.

Ze ontdekten een enorm verschil. Wanneer ze de foto's er slecht uit lieten zien (generieke corruptie), daalde het zelfvertrouwen van de AI scherp samen met de nauwkeurigheid. De AI wist dat het naar een rommeltje keek. Maar wanneer ze het een schone, perfecte foto van een nieuw subtype lieten zien dat het nog nooit had gezien, bleef de AI koppig zelfverzekerd, ook al had het moeite met de nauwkeurigheid. Het model reageert op zichtbare schade, maar blijft blind voor "in-taxonomy novelty" — nieuwe dingen die er normaal uitzien, maar technisch gezien nieuw zijn voor het systeem.

De Tools die we hebben, lossen het niet op

De onderzoekers vroegen vervolgens: "Kunnen we dit niet gewoon achteraf oplossen?" Ze probeerden twee veelvoorkomende oplossingen:

1. Recalibratie: Ze probeerden de zelfvertrouwen-scores van het model aan te passen met behulp van gegevens van de types die het wel kende. Dit hielp een beetje, het verkleinde de kloof tussen het bekende en het onbekende, maar het loste het niet op. Het model was nog steeds te zelfverzekerd op het nieuwe materiaal.
2. Out-of-Distribution Detectie: Ze probeerden standaardtools te gebruiken die ontworpen zijn om "vreemde" inputs te signaleren. Deze tools faalden jammerlijk. Ze konden het verschil niet zien tussen een bekende hond en een nieuwe, ongeziene hond. De scores waren zo vergelijkbaar dat de tools in feite aan het gokken waren.

De Oorzaak: Hoeveel Voorbeelden heb je Gezien?

Het artikel ontdekte ook een patroon dat verklaart waarom dit gebeurt. Hoe meer voorbeelden van een specifieke categorie het model tijdens de training zag, hoe beter het gekalibreerd bleef op nieuwe varianten. Als het model bijvoorbeeld 100 verschillende soorten honden zag, ging het veel beter om met nieuwe honden dan wanneer het er slechts 2 zag. Het is als een chef die heeft gekookt met 50 soorten appels; zij kunnen de smaak van een nieuwe appel veel beter raden dan een chef die er slechts één heeft gekookt. Het artikel suggereert dat de "overconfidentie" direct gelinkt is aan hoe schaars de trainingsdata was voor die specifieke groep.

De Kern van de Zaak

De belangrijkste conclusie is dat we niet alleen naar nauwkeurigheid kunnen kijken om te zien of een AI robuust is. Als een model het juiste brede antwoord krijgt, maar extreem overgeconfident is op nieuwe variaties, dan faalt het eigenlijk. Het artikel betoogt dat we moeten beginnen met het meten van kalibratie naast nauwkeurigheid. Totdat we betere tools bouwen die deze "stille" fouten kunnen detecten, moeten we voorzichtig zijn met het vertrouwen op AI-systemen die beweren robuust te zijn, terwijl ze in werkelijkheid gewoon zelfverzekerd aan het gokken zijn op de nieuwe dingen die ze tegenkomen.