Singular model selection for trustworthy label-free classifier evaluation
Dit artikel toont aan dat de evaluatie van classificators zonder labels een singulier statistisch probleem is waarbij klassieke modelselectiecriteria falen door degeneratieve Fisher-informatie, en stelt het gebruik van singuliere en breed toepasbare Bayesiaanse informatiecriteria voor om latente structuren nauwkeurig te herstellen en betrouwbare prestatieschattingen te waarborgen zonder grondwaarheid-labels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie vertrouwen we vaak op machines om beslissingen te nemen, maar we weten zelden hoe we de machines moeten vertrouwen die die beslissingen beoordelen. Wanneer een nieuw computerprogramma wordt gebouwd om ziekten in medische scans te herkennen of vogels in foto's te identificeren, wordt de prestatie meestal gemeten door de antwoorden ervan te vergelijken met een bekende "gouden standaard"—een set juiste antwoorden geleverd door menselijke experts. Maar wat gebeurt er als dergelijke perfecte antwoorden niet bestaan? Dit is een veelvoorkomende realiteit in velden zoals de geneeskunde, waar een diagnose onzeker kan zijn, of in grootschalige dataprojecten waar menselijke experts te duur of te traag zijn om elk item te labelen. In deze situaties vertrouwen onderzoekers op een slimme workaround: ze vragen verschillende imperfecte beoordelaars om naar dezelfde items te kijken en hun overeenstemming te vergelijken. Als een groep artsen of een menigte arbeiders het grotendeels eens is over een diagnose, gaan we ervan uit dat ze waarschijnlijk gelijk hebben. Echter, deze methode verbergt een gevaarlijke valstrik. De wiskundige instrumenten die worden gebruikt om te bepalen hoeveel verschillende soorten antwoorden er in de data aanwezig zijn, zijn vaak gebouwd op aannames die juist instorten wanneer de data het moeilijkst te interpreteren is. Wanneer het signaal zwak is of de conditie zeldzaam is, kunnen deze standaardinstrumenten de complexiteit van de waarheid stilletjes uitwissen, door onderscheidende groepen antwoorden samen te voegen tot één misleidend gemiddelde.
Een onderzoeker heeft nu aangetoond dat deze ineenstorting niet slechts een kleine rekenfout is, maar een fundamentele fout in de manier waarop we mogelijkheden tellen. De onderzoeker bestudeerde een specifiek type statistisch model dat wordt gebruikt om deze imperfecte beoordelaars te evalueren, bekend als een latent class model. In deze opstelling is de "ware" categorie van een item verborgen, en proberen we deze te raden op basis van de ruisige, soms tegenstrijdige stemmen van verschillende beoordelaars. De onderzoeker ontdekte dat de geometrie van dit probleem "singulier" is, een technische manier om te zeggen dat het landschap van mogelijke antwoorden een vlakke, gedegenereerde plek heeft waar de standaard statistische regels niet langer van toepassing zijn. In deze singuliere zone falen de gebruikelijke methoden voor het kiezen van het juiste aantal verborgen categorieën systematisch. Ze kiezen de neiging om te weinig categorieën te kiezen, waardoor onderscheidende groepen data worden samengevoegd. Dit is niet een kwestie van de computer die er net naast zit; het is een structureel falen waarbij het model besluit dat twee verschillende realiteiten eigenlijk hetzelfde zijn.
Om dit te bewijzen, voerde de onderzoeker duizenden computersimulaties uit waarbij de exacte waarheid vooraf bekend was. Er werden scenario's gecreëerd waarin er duidelijk twee verschillende soorten items waren, maar de signalen van de beoordelaars zwak waren of de items zeldzaam waren. Wanneer de gebruikelijke, breed toegepaste methode bekend als het Bayesiaans Informatiecriterium werd toegepast, faalde deze bijna altijd in het zien van de tweede groep. In plaats daarvan rapporteerde het dat er slechts één type item was, waardoor het onderscheid effectief werd uitgewist. Dit gebeurde zelfs wanneer de onderzoeker over een grote hoeveelheid data beschikte. De standaardmethode was zo gedreven om het model simpel te houden dat het het bewijs van een tweede groep volledig negeerde. In contrast hiermee testte de onderzoeker twee nieuwere methoden die specifiek zijn ontworig voor deze lastige, singuliere situaties. Deze nieuwe methoden, die een andere manier gebruiken om complexiteit te meten, vonden in de overgrote meerderheid van de gevallen succesvol de tweede groep. Ze vonden deze groep niet alleen; ze deden dat zonder nepgroepen te verzinnen wanneer de waarheid simpel was, een probleem dat andere, meer lijdzame methoden teistert.
De gevolgen van het foutief tellen hiervan zijn ernstig. In een medische context, als een model twee verschillende groepen patiënten samenvoegt tot één groep, kan het geen accurate sensitiviteit of specificiteit rapporteren—de maten van hoe goed een test een ziekte detecteert versus hoe goed het valse alarmen vermijdt. De onderzoeker toonde aan dat wanneer de standaardmethode een ineenstorting afdwingt, de gerapporteerde nauwkeurigheid van de tests degradeert tot een betekenisloos getal dat simpelweg het algemene percentage van de ziekte in de populatie reflecteert. Het wordt onmogelijk om te zeggen of een test uitstekend of nutteloos is. Om dit met echte data te demonstreren, analyseerde de onderzoeker een beroemde dataset van huidkanker-slides beoordeeld door zeven pathologen, van wie er geen enkele een gouden standaard had om mee te vergelijken. Wanneer de onderzoeker de standaardmethode op kleinere deelsets van de data toepaste, miste deze consequent een derde, onderscheidende groep slides waar de artsen verward waren of het oneens waren. De nieuwere, singuliere-bewuste methoden vonden deze verwarde groep onmiddellijk. Deze derde groep vertegenwoordigde een echt, moeilijk stratum van gevallen dat de standaardmethode stilletjes had samengevoegd in de duidelijke "ja" en "nee" categorieën.
De onderzoeker testte deze aanpak ook op een machine-learning dataset waarbij crowd workers afbeeldingen van vogels hadden gelabeld. Ook hier hield de standaardmethode vol dat er slechts twee soorten afbeeldingen waren, terwijl de nieuwe methoden een derde, omstreden groep afbeeldingen onthulden die werkelijk moeilijker te classificeren waren. Door de nieuwe methoden te gebruiken, kon de onderzoeker deze moeilijke gevallen isoleren en aantonen dat ze niet slechts ruis waren, maar een echt, identificeerbaar deel van de data vormden. De studie bevestigt dat de keuze van hoe men deze verborgen groepen telt geen minder technisch detail is, maar een vereiste voor vertrouwen. Als de telmethode gebrekkig is, is de gehele evaluatie van het machine learning-systeem gebouwd op een ingestorte fundering. De onderzoeker concludeert dat voor elke evaluatie zonder een perfecte referentiestandaard, we moeten stoppen met het gebruik van de oude, standaardinstrumenten en deze nieuwe, singuliere-bewuste methoden moeten adopteren. Alleen dan kunnen we er zeker van zijn dat de prestatiecijfers die we rapporteren eerlijk zijn, en dat we een complexe realiteit niet aanzien voor een simpele.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.