Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

In de wereld van machine learning worden computers vaak geleerd om patronen te herkennen door ze voorbeelden te tonen van waar ze naar op zoek zijn en voorbeelden van wat ze niet zijn. Stel je een arts voor die probeert een algoritme te leren om een specifiek type tumor te herkennen. De computer moet duidelijke afbeeldingen van tumoren zien en duidelijke afbeeldingen van gezond weefsel om het verschil te leren. Maar in veel realistische situaties is het moeilijk om die duidelijke voorbeelden van "gezond" te verkrijgen. Vaak hebben onderzoekers alleen een lijst met bevestigde positieve gevallen en een grote, rommelige stapel ongelabelde gegevens die een mix bevat van zowel de positieve als de negatieve gevallen, zonder een manier om ze van elkaar te onderscheiden. Dit staat bekend als positive-unlabeled learning. Het doel is om een systeem te bouwen dat nog steeds de goede gevallen hoger kan rangschikken dan de slechte, zelfs wanneer de slechte gevallen verborgen zitten in de menigte. De standaardmanier om te meten hoe goed een systeem dit doet, is door een score te berekenen die de bekwaamheid van het systeem vertegenwoordigt om de twee groepen van elkaar te onderscheiden. Echter, wanneer de negatieve groep verborgen en gemengd is, wordt de standaardscore misleidend. Het vertelt je hoe goed het systeem rangschikt ten opzichte van de rommelige stapel, niet ten opzichte van de ware negatieven, en het presenteert dit getal meestal als een enkel, exact punt zonder enige indicatie van hoeveel dat getal door toeval fout kan zijn.

Een onderzoeker genaamd Vincent Looten heeft dit probleem aangepakt door een nieuwe manier te ontwikkelen om prestaties te meten die rekening houdt met de verborgen mix en een betrouwbaar betrouwbaarheidsbereik biedt. De kern van het werk is een wiskundige correctie die de contaminatie van de ongelabelde data wegpeelt om de ware prestaties tegen de negatieve gevallen te onthullen. De onderzoeker ontdekte dat je niet simpelweg naar de rommelige stapel kunt kijken en het antwoord kunt raden; je moet eerst schatten hoeveel van die stapel daadwerkelijk de positieve casus is waar je naar op zoek bent. Zodra je die schatting hebt, kun je een specifieke formule gebruiken om de prestatiescore aan te passen. Maar de onderzoeker ging verder en realiseerde zich dat het simpelweg aanpassen van het getal niet genoeg is. Omdat de schatting van de mix zelf onzeker is, moet die onzekerheid door de berekening worden meegenomen. De studie toont aan dat als je deze onzekerheid negeert, je uiteindelijke score fout zal zijn. Door zorgvuldig bij te houden hoe de onzekerheid in de schatting van de mix de uiteindelijke score beïnvloedt, heeft de onderzoeker een methode afgeleid om een gekalibreerd interval te produceren. Dit interval werkt als een vangnet en vertelt de gebruiker binnen welk bereik de ware prestaties bijna zeker liggen, in plaats van slechts een enkel, potentieel misleidend getal te geven.

De studie laat zien dat deze methode prachtig werkt wanneer de positieve en negatieve gevallen duidelijk genoeg van elkaar te onderscheiden zijn. In deze heldere situaties produceert de nieuwe methode een tweezijdig bereik dat de ware prestaties bijna even vaak vastlegt als een standaard statistische regel zou verwachten. De onderzoeker ontdekte echter ook een harde limiet aan deze aanpak. Wanneer de positieve en negatieve gevallen zo vergelijkbaar zijn dat ze in elkaar overvloeien, is de mix onmogelijk met zekerheid vast te stellen. In dit specifieke scenario stort het tweezijdige bereik in omdat de wiskunde het simpelweg niet kan ondersteunen. In plaats daarvan schakelt de methode over naar een eenzijdige grens. Deze grens biedt een gegarandeerd minimumvloer voor de prestaties en geeft toe dat hoewel de exacte score onbekend is, het systeem zeker minstens zó goed is. Deze overgang is geen falen van de methode, maar een kenmerk ervan, wat ervoor zorgt dat de rapportage eerlijk blijft, zelfs wanneer de data te ambigu is om een precieze schatting te ondersteunen.

Om deze ideeën te testen, paste de onderzoeker de methode toe op real-world data, specifiek gebruikmakend van medische dossiers voor borstkanker waarbij de ware labels bekend waren maar als verborgen werden behandeld om het probleem te simuleren. De resultaten waren scherp. Een traditionele aanpak die de verborgen mix negeert en een enkel getal rapporteert, faalde volledig en legde de ware prestaties nooit vast in de tests. Een andere aanpak die probeerde het getal te corrigeren maar een eenvoudige schatting voor de mix gebruikte, worstelde ook, vooral wanneer de data niet een perfecte klokvorm volgde. Alleen de nieuwe methode, die de correctie combineerde met een robuuste manier om de mix te schatten en een zorgvuldige berekening van de onzekerheid, slaagde. Het produceerde consistent intervallen die de ware prestaties bevatten, mits de positieve en negatieve gevallen niet te vergelijkbaar waren. De studie bevestigt dat de sleutel tot het krijgen van een betrouwbaar antwoord niet alleen het algoritme dat de rangschikking uitvoert is, maar de kwaliteit van de schatting die wordt gebruikt om de verborgen mix te beschrijven. Als die schatting vertekend of onnauwkeurig is, zal de uiteindelijke prestatiescore fout zijn, ongeacht hoe geavanceerd het rankingsysteem ook is.

Het werk verduidelijkt ook wanneer een onderzoeker een tweezijdig bereik moet vertrouwen en wanneer hij moet genoegen nemen met een eenzijdige vloer. Het overgangspunt hangt af van hoe onderscheidend de twee groepen zijn ten opzichte van de hoeveelheid beschikbare data. Als de groepen goed gescheiden zijn, is het volledige bereik geldig. Als ze heel dicht bij elkaar liggen, identificeert de methode correct dat een precieze tweezijdige range onmogelijk is en biedt zij in plaats daarvan de veiligere, eenzijdige garantie aan. Dit onderscheid is cruciaal voor beoefenaars die niet alleen moeten weten hoe goed een systeem werkt, maar ook hoe zeker ze kunnen zijn van dat getal. De onderzoeker heeft dit hele proces verpakt in een tool die rond elk bestaand scoringssysteem kan worden gewikkeld, waardoor gebruikers hun gegevens kunnen invoeren en een gedetoneerde score samen met een betrouwbaarheidsinterval of een veiligheidsvloer kunnen ontvangen. Deze tool vereist niet dat de data een specifieke wiskundige vorm volgt, wat het nuttig maakt voor de rommelige, real-world datasets die vaak eenvoudige modellen tarten.

Uiteindelijk verschuift dit onderzoek de focus van het simpelweg bouwen van betere classificaties naar het begrijpen van hoe we ze correct kunnen meten wanneer de data incompleet is. Het demonstreert dat in afwezigheid van duidelijke negatieve voorbeelden, het meest kritieke stuk informatie de schatting is van hoeveel positieve gevallen er verborgen zitten in de ongelabelde stapel. De studie bewijst dat het met de juiste wiskundige aanpassingen mogelijk is om een ware maatstaf voor prestaties te herstellen en een betrouwbare foutmarge eraan te koppelen. Het stelt echter ook een duidelijke grens: wanneer het signaal te zwak is om de groepen te scheiden, weigert de methode te gokken en biedt zij in plaats daarvan een conservatieve ondergrens. Deze eerlijkheid over de grenzen van wat bekend kan worden, is misschien wel de meest waardevolle bevinding van allemaal, wat ervoor zorgt dat beslissingen gebaseerd op deze scores worden genomen met een duidelijk begrip van de onderliggende onzekerheid.