The Calibration Transfer Gap: When Recalibration Parameters Fail to Transfer under Distribution Shift

In de wereld van kunstmatige intelligentie is een model dat simpelweg het juiste antwoord raadt, vaak niet genoeg. Om deze systemen echt nuttig te maken in risicovolle gebieden zoals de geneeskunde of de financiële sector, moeten ze ook weten hoe zeker ze zijn. Dit concept wordt kalibratie genoemd. Een goed gekalibreerd model is een model dat, wanneer het iets voorspelt met 80 procent zekerheid, ook daadwerkelijk 80 procent van de tijd correct is. Als het model overmoedig is, kan het beweren zeker te zijn over een foutief antwoord, wat tot gevaarlijke fouten kan leiden. Als het ondermoedig is, kan het aarzelen wanneer het zou moeten handelen. Om dit te oplossen, passen onderzoekers vaak een eenvoudige aanpassing toe nadat het model is getraind, waarbij ze de zekerheidsscores bijsturen zodat deze overeenkomen met de werkelijkheid. Dit werkt prachtig wanneer het model wordt getest op data die precies lijkt op de data waarop het is getraind.

De echte wereld blijft echter zelden stilstaan. Een model dat getraind is om filmrecensies te lezen, kan gevraagd worden om productrecensies te analyseren. Een systeem dat getraind is op een bepaald type tekst, kan een compleet ander genre tegenkomen. Deze verandering in de omgeving staat bekend als distributieverschuiving (distribution shift). Het is een bekend feit dat wanneer de data verandert, de nauwkeurigheid van het model daalt. Maar een scherpere, meer praktische vraag is onbeantwoord gebleven: wanneer de zekerheid van het model onbetrouwbaar wordt in deze nieuwe omgeving, ligt het probleem dan aan de methode die wordt gebruikt om de zekerheid te corrigeren, of aan de specifieke getallen die zijn berekend om de correctie te laten werken? Als de getallen zelf er niet in slagen om van de oude wereld naar de nieuwe wereld te reizen, dan is het simpelweg toepassen van de oude correctie nutteloos, zelfs als de methode deugt.

Een onderzoeker genaamd Bheema Shanker Neyigapula zette zich af om dit puzzelstukje op te lossen door te isoleren op welk specifiek moment een correctie van de zekerheid faalt. De studie richtte zich op een fenomeen dat de kalibratie-transferkloof (calibration transfer gap) wordt genoemd. Stel je een model voor dat zorgvuldig is afgestemd om eerlijk te zijn over zijn zekerheid op een specifieke set trainingsdata. Onderzoekers namen dit afgestemde model en pasten het toe op een nieuwe, andere set data. Ze vergeleken vervolgens twee scenario's: één waarbij ze de oorspronkelijke afstemmingsgetallen van de trainingsdata behielden, en een andere waarbij ze een kleine, verse steekproef van de nieuwe data namen om specifiek voor die omgeving nieuwe afstemmingsgetallen te berekenen. Het verschil in prestaties tussen deze twee scenario's is de kloof. Als de kloof groot is, betekent dit dat de oude getallen er niet in slagen over te dragen, en dat het model opnieuw moet worden afgestemd op de nieuwe data om betrouwbaar te zijn.

Het onderzoek onthulde dat dit falen geen universele natuurwet is, maar volledig afhangt van de situatie. In experimenten met sentimentanalyse, waarbij modellen beoordeelden of een tekst positief of negatief was, was de kloof verwaarloosbaar wanneer het model in zijn vertrouwde omgeving bleef. Maar wanneer het model werd verschoven naar een ander type tekst, werd de kloof aanzienlijk groter. De oorspronkelijke afstemmingsgetallen, die voorheen perfect werkten, werden ineffectief, waardoor de zekerheidsscores van het model onbetrouwbaar werden. Dit gebeurde bij verschillende soorten modellen, van eenvoudige lineaire classificaties tot complexe, moderne neurale netwerken. De studie toonde aan dat het probleem niet was dat de methode om de zekerheid te corrigeren te rigide was; zelfs wanneer onderzoekers meer flexibele en krachtige methoden gebruikten om de scores aan te passen, faalden de specifieke getallen die op de oude data waren berekend nog steeds bij de nieuwe data.

Toch bevat het verhaal een cruciale wending. De onderzoekers testten het model ook op een andere taak betreffende natuurlijke taalinferentie (natural language inference), waarbij het doel is om de logische relatie tussen zinnen te bepalen. Hierbij gebruikten ze een zeer capabel model dat al erg goed was in deze taak. Wanneer dit sterke model geconfronteerd werd met een verschuiving naar een ander genre tekst, verdween de kloof. De oorspronkelijke afstemmingsgetallen werkten in de nieuwe omgeving net zo goed als in de oude. Deze bevinding is essentieel omdat het bewijst dat het falen van de herkalibratie geen onvermijdelijk gevolg is van veranderende data. In plaats daarvan is het een regime-afhankelijk probleem. Het falen treedt alleen op wanneer de verschuiving in de data een significante drift veroorzaakt in hoe de zekerheid van het model zich gedraagt. Als de verschuiving mild genoeg is zodat de interne mate van zekerheid van het model stabiel blijft, reist de oude correctie met het mee. Als de verschuiving ernstig is, breekt de oude correctie.

Om te begrijpen wat deze breuk voorspelt, keek de studie naar hoeveel het optimale afstemmingsgetal veranderde tussen de oude en de nieuwe data. Ze vonden een sterke link: hoe groter de verandering in het vereiste afstemmingsgetal, hoe groter de kloof in prestaties. Dit suggereert dat de drift in de getallen zelf het primaire signaal van problemen is. De onderzoekers ontdekten echter ook een nuchtere beperking voor iedereen die hoopt dit zonder nieuwe data op te lossen. Ze testten verschillende strategieën die probeerden de nieuwe afstemmingsgetallen te schatten met alleen de bestaande zekerheidsscores van het model, zonder correcte antwoorden van de nieuwe data te zien. Deze methoden zonder labels (label-free), die onder meer het matchen van de gemiddelde zekerheid aan een geschatte nauwkeurigheid of het matchen van de spreiding van de scores omvatten, faalden consequent. Ze konden het oorspronkelijke bronmodel niet verslaan. Sterker nog, het proberen te herafstemmen van het model met een zeer kleine hoeveelheid nieuwe data, zoals slechts een paar dozijn voorbeelden, maakte de situatie vaak slechter dan simpelweg de oude getallen aanhouden.

De studie concludeerde dat hoewel een kleine hoeveelheid nieuwe data kan helpen, deze met zorg moet worden gebruikt. Onvoorwaardelijke herafstemming op basis van een zeer klein budget is vaak schadelijk. De onderzoekers ontdekten dat het gebruiken van een bescheiden hoeveelheid nieuwe labels, rond de vijftig tot honderd, ongeveer de helft van de potentiële verbetering kon herstellen, maar alleen als de beslissing om te herafstemmen werd gestuurd door onzekerheid-bewuste regels in plaats van een blinde gok. De meest betrouwbare weg vooruit, ontdekten zij, is te erkennen dat de zekerheid van een model in de ene wereld geen garantie biedt voor de betrouwbaarheid ervan in een andere wereld. De enige manier om zeker te zijn, is door de drift te meten. Als het gedrag van de zekerheid van het model aanzienlijk is verschoven, is de oorspronkelijke kalibratie gebroken en is nieuwe data vereist om het opnieuw op te bouwen. Zonder die nieuwe data is de beste strategie vaak om het risico te erkennen en de oorspronkelijke instellingen aan te houden, in plaats van een risico te nemen met een slecht geschatte correctie. Dit werk biedt een duidelijke kaart voor wanneer we de zekerheid van onze AI kunnen vertrouwen en wanneer we nieuw bewijs moeten eisen.