Universal distribution of the empirical coverage in split conformal prediction

In de wereld van de moderne voorspellingen, van het voorspellen van het weer van morgen tot het schatten van de prijs van een huis, is de meest voorkomende output een enkel getal. Een model kijkt naar de gegevens en zegt: "De temperatuur zal 72 graden zijn," of "Het huis is $450.000 waard." Hoewel deze puntvoorspellingen nuttig zijn, verbergen ze vaak een cruciaal stuk informatie: hoe zeker het model is. Als een model maar wat gokt, geeft een enkel getal een vals gevoel van precisie. Om dit op te lossen, hebben statistici een raamwerk ontwikkeld genaamd conformal prediction (conforme voorspelling). In plaats van slechts één antwoord te bieden, produceert deze methode een reeks mogelijkheden, of een set waarschijnlijke uitkomsten, die gepaard gaat met een statistische garantie. Het belooft dat het ware antwoord een bepaald percentage van de tijd binnen deze set valt, zeg 95 procent. Deze aanpak is krachtig omdat het werkt met bijna elk bestaand voorspellingsinstrument, geen specifieke aannames vereist over hoe de gegevens verdeeld zijn, en deze garanties biedt, zelfs wanneer de hoeveelheid gegevens beperkt is.

Er blijft echter een praktische vraag over voor iedereen die deze tools probeert te gebruiken: hoeveel gegevens zijn er nodig om de garantie waar te laten zijn? In een typische opstelling wordt een dataset in twee delen gesplitst. Eén deel traint het model, en het andere deel, bekend als de kalibratiesample, wordt gebruikt om de grootte van de voorspellingsset af te stemmen. Als de kalibratiesample te klein is, kunnen de resulterende voorspellingssets te nauw zijn om de werkelijke waarden daadwerkelijk te bevatten, waardoor de beloofde garantie wordt geschonden. Als deze te groot is, worden de voorspellingssets onnodig breed, waardoor ze minder bruikbaar zijn. Jarenlang hebben beoefenaars moeten gissen naar de juiste grootte voor deze kalibratiesample, waarbij ze vaak vertrouwden op grove vuistregels of conservatieve schattingen die mogelijk waardevolle gegevens verspillen.

Een recente studie door Paulo C. Marques F. aan het Insper Instituut voor Onderwijs en Onderzoek in Brazilië heeft dit probleem opgelost door het exacte wiskundige gedrag van deze voorspellingssets te vinden. De onderzoeker richtte zich op een specifieke versie van de methode, genaamd split conformal prediction, die in batches werkt. Stel je een scenario voor waarin een model al getraind en gekalibreerd is, en nu wordt gevraagd om de uitkomsten voor een grote groep toekomstige gebeurtenissen te voorspellen, allemaal tegelijkertijd. De studie stelt een eenvoudige maar diepgaande vraag: als we naar een batch toekomstige voorspellingen kijken, wat is dan de werkelijke distributie van het aantal dat correct blijkt te zijn?

Het artikel stelt vast dat het antwoord universeel is. Het hangt niet af van het specifieke type gegevens, de complexiteit van het model of de onderliggende patronen in de wereld. In plaats daarvan wordt het gedrag van de voorspellingssets volledig bepaald door twee getallen: het gewenste betrouwbaarheidsniveau (het nominale miscoverageniveau) en de grootte van de kalibratiesample die wordt gebruikt om het systeem af te stemmen. De onderzoeker heeft bewezen dat, voor een eindige batch toekomstige observaties, het aantal correcte voorspellingen een precieze statistische patron volgt die bekend staat als een Beta-Binomiale distributie. Bovendien, naarmate de batch van toekomstige observaties oneindig groot wordt, settleert de proportie correcte voorspellingen in een specifiek patroon dat bekend staat als een Beta-distributie. Deze bevindingen zijn niet louter suggesties of resultaten uit computersimulaties; het zijn rigoureuze wiskundige bewijzen afgeleid van de aanname dat de gegevenspunten uitwisselbaar zijn, wat betekent dat hun volgorde er niet toe doet en dat ze uit dezelfde onderliggende bron komen.

De meest significante uitkomst van dit werk is een nieuw, precies criterium voor het kiezen van de omvang van de kalibratiesample. Omdat de onderzoeker nu de exacte distributie van de dekking kent, is het mogelijk om de minimale hoeveelheid kalibratiegegevens te berekenen die nodig is om ervoor te zorgen dat de voorspellingssets nauwkeurig zijn binnen een specifieke foutmarge, met een hoge mate van zekerheid. Als een gebruiker bijvoorbeeld 95 procent zeker wil zijn dat hun voorspellingssets correct zijn binnen een foutmarge van 5 procent, biedt het artikel een directe manier om het exacte aantal benodigde kalibratiesamples te vinden. De studie presenteert een uitgebreide tabel die deze minimale samplegroottes vermeldt voor diverse combinaties van betrouwbaarheidsniveaus, foutmarges en zekerheidseisen.

Deze tabel onthult dat de vereiste steekproefomvang drastisch kan variëren afhankelijk van hoe strikt de eisen zijn. Voor een standaard betrouwbaarheidsniveau van 90 procent met een genereuze foutmarge van 10 procent, zou een relatief kleine kalibratiesample van ongeveer 40 tot 50 observaties kunnen volstaan. Echter, als de gebruiker een betrouwbaarheidsniveau van 99 procent eist met een zeer krappe foutmarge van 1 procent, springt de vereiste samplegrootte naar meer dan 40.000 observaties. De studie verduidelijkt dat deze getallen niet willekeurig zijn; het zijn de wiskundige minima die zijn afgeleid van de exacte distributie van de empirische dekking. Dit stelt beoefenaars in staat om te stoppen met gissen en te beginnen met rekenen, waardoor ze ervoor zorgen dat ze net genoeg gegevens gebruiken om aan hun betrouwbaarheidsdoelen te voldoen zonder middelen te verspillen aan excessieve kalibratie.

Het artikel behandelt ook een subtiel maar belangrijk onderscheid in hoe deze voorspellingen zich gedragen. Hoewel de gemiddelde prestaties van de voorspellingssets wel bekend zijn als zij dicht bij het doelbetrouwbaarheidsniveau liggen, kan de werkelijke prestatie in een enkele batch variëren. De studie laat zien dat deze variatie geen willekeurige ruis is, maar een voorspelbare vorm volgt. Door deze vorm te begrijpen, kunnen gebruikers inzien dat zelfs met een perfect model en een correct gesalibreerde sample, er een natuurlijke fluctuatie bestaat in het aantal toekomstige correcte voorspellingen. De onderzoeksresultaten bevestigen dat deze fluctuatie inherent is aan de methode en volledig wordt gekarakteriseerd door de grootte van de kalibratiesample en het gekozen betrouwbaarheidsniveau.

In de context van machine learning-toepassingen biedt dit werk een fundamentele tool voor betrouwbaarheid. Het transformeert de keuze van de kalibratiesamplegrootte van een kunst naar een wetenschap. De onderzoeker demonstreert dat de eigenschappen van split conformal prediction robuust en universeel zijn, ongeacht het specifieke algoritme dat wordt gebruikt om de voorspellingen te genereren. Of de taak nu het voorspellen van een continue waarde is zoals een aandelenprijs, of een categorische label zoals een diagnose, de regels voor het bepalen van de benodigde kalibratiegegevens blijven hetzelfde. De studie beweert niet de nauwkeurigheid van de onderliggende modellen zelf te verbeteren, maar zorgt er wel voor dat de betrouwbaarheidsintervallen die rond die modellen worden gebouwd, wiskundig sluitend en optimaal van omvang zijn.

De bevindingen zijn bijzonder relevant voor velden waar gegevens duur of schaars zijn, aangezien ze gebruikers in staat stellen om de exacte ondergrens van de benodigde gegevens te bepalen om een gewenst niveau van vertrouwen te bereiken. Omgekeerd, in scenario's waar gegevens overvloedig aanwezig zijn, waarschuwt de studie tegen de inefficiëntie van het gebruik van onnodig grote kalibratiesets, wat kan leiden tot te conservatieve en oninformatieve voorspellingsintervallen. Door een heldere, universele formule voor de distributie van de empirische dekking te bieden, rust het artikel onderzoekers en beoefenaars uit met het vermogen om hun voorspellingssystemen te ontwerpen met een niveau van precisie dat voorheen onbeschikbaar was. Het resultaat is een efficiënter en betrouwbaarder raamwerk voor het kwantificeren van onzekerheid in het tijdperk van kunstmatige intelligentie.