Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
Deze kritische review synthetiseert 150 referenties om 72 evaluatiemetrieken voor beeldclassificatie, segmentatie en lokalisatie systematisch te categoriseren en te vergelijken, waarbij wiskundige fundamenten, uitgewerkte voorbeelden en onderzoeksaanbevelingen worden geboden om de selectie van geschikte, complementaire metrieken te begeleiden voor reproduceerbare en klinisch valide studies.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische beeldvorming zijn computers bijzonder bekwaam geworden in het bekijken van foto's van het menselijk lichaam. Ze kunnen een tumor opsporen, de contouren van een orgaan traceren of een specifiek kenmerk op een bot aanwijzen. Maar er zit een verborgen valstrik in hoe we deze machines beoordelen. Stel je een student voor die een toets maakt waarbij de leraar alleen beoordeelt op het eindcijfer, zonder te kijken naar de specifieke vragen die hij fout had. Als de student op een paar moeilijke vragen het juiste antwoord gokte maar tientallen makkelijke vragen fout had, kan een simpel cijfer verhullen dat hij eigenlijk faalt voor het vak. Op dezelfde manier kan een computermodel briljant lijken omdat het een hoog aantal haalt op een standaardtest, terwijl het in werkelijkheid stiekem faalt om de zeldzame ziekten te vinden die artsen het meest dringend moeten detecteren, of de randen van een tumor zo slecht tekent dat een chirurg de kaart niet kan gebruiken. Het kernprobleem is dat de instrumenten die we gebruiken om succes te meten vaak niet overeenkomen met de werkelijke taak die de computer in de echte wereld moet uitvoんでも doen.
Twee onderzoekers, Behnam Kiani Kalejahi en Mohammad Javad Rajabi, hebben een uitgebreide gids geschreven om deze mismatch te herstellen. Ze hebben geen nieuw computerprogramma gebouwd om ziekten te vinden. In plaats daarvan hebben ze een nieuwe manier bedacht om de programma's die al bestaan te meten. Ze bekeken honderden bestaande studies en wiskundige methoden om een duidelijke kaart te maken van wat verschillende metingen ons daadwerkelijk vertellen. Hun werk is een kritische review, wat betekent dat ze de regels van het spel analyseerden in plaats van het spel zelf te spelen. Ze ontdekten dat het veld vol verwarring zit omdat wetenschappers vaak dezelfde woorden gebruiken om verschillende dingen te beschrijven, of dat ze een meting kiezen die hun model goed laat lijken terwijl het de fouten ervan verbergt. Het artikel betoogt dat er niet één "beste" score is. In plaats daarvan vereist een betrouwbare evaluatie een kleine, zorgvuldig gekozen set van verschillende metingen die specifieke vragen beantwoorden over hoe de computer zich gedraagt.
De onderzoekers hebben hun bevindingen georganiseerd op basis van het type taak dat de computer uitvoert. Voor de taak om simpelweg te beslissen of een ziekte aanwezig of afwezig is, leggen ze uit dat een hoge algemene nauwkeurigheid misleidend kan zijn als de ziekte zeldzaam is. Ze laten zien dat een model 99 procent van de tijd gelijk kan hebben door simpelweg voor elke patiënt "geen ziekte" te zeggen, terwijl het er toch niet in slaagt om één zieke persoon te vinden. Om dit te voorkomen, eisen ze dat wetenschappers rapporteren hoe goed het model de zieke mensen vindt en hoe vaak het vals alarm slaat bij gezonde mensen, in plaats van alleen een enkel gemiddeld getal te geven. Ze wijzen ook erop dat de vertrouwensscore van een model niet hetzelfde is als de werkelijke nauwkeurigheid. Een computer kan zeer zelfverzekerd zijn over een fout antwoord, en standaardtests missen dit vaak. De auteurs suggeries dat onderzoekers moeten controleren of het vertrouwen van de computer overeenkomt met de realiteit, om te verzekeren dat wanneer het zegt dat het 90 procent zeker is, het ook daadwerkelijk 90 procent van de tijd gelijk heeft.
Wanneer de taak verschuift van eenvoudige ja-of-nee antwoorden naar het tekenen van contouren, veranderen de regels opnieuw. In dit gebied, bekend als segmentatie, moet de computer een vorm rond een specifiek orgaan of laesie tekenen. De onderzoekers laten zien dat twee modellen exact dezelfde score kunnen hebben voor de mate waarin hun tekening overlapt met de juiste vorm, terwijl het ene model een perfecte cirkel op de verkeerde plek tekent, terwijl het andere een grillige lijn tekent die de juiste plek raakt. Ze laten zien dat één getal het verschil niet kan verklaren tussen een kleine fout in het midden van een groot orgaan en een enorme fout op een kleine, kritieke structuur. Ze ontdekten dat wetenschappers de randen van deze tekeningen vaak negeren, maar in de geneeskunde is de rand vaak het belangrijkste deel. Als een computer een klein stukje van een tumorrand mist, kan dat ertoe leiden dat een patiënt te weinig behandeling krijgt. Het artikel dringt er bij onderzoekers toe om de afstand tussen de getekende lijn en de ware lijn te meten, niet alleen hoeveel de vormen overlappen.
Voor de taak van het vinden en tellen van specifieke objecten, zoals individuele cellen of tumoren, benadrukken de onderzoekers hoe gemakkelijk resultaten gemanipuleerd kunnen worden door hoe de computer zijn bevindingen met de waarheid koppelt. Ze leggen uit dat als een computer dezelfde tumor twee keer vindt, dit als een fout moet worden geteld, maar dat veel standaardtests dit niet oppikken. Ze laten ook zien dat de manier waarop onderzoekers hun resultaten middelen, de rangschikking van welke computer het beste is volledig kan veranderen. In een van hun gedetailleerde voorbeelden creëerden ze een scenario waarin één computer er beter uitzag wanneer je de scores van elke patiënt middelde, terwijl een andere computer er beter uitzag wanneer je het totale aantal pixels middelde. Beide computers waren hetzelfde; alleen de wiskunde veranderde het verhaal. Dit bewijst dat de keuze van hoe je getallen combineert net zo belangrijk is als de getallen zelf.
Het artikel behandelt ook de kwestie van onzekerheid en het menselijke element. In een echt ziekenhuis werkt een computer niet in een vacuüm; hij werkt samen met artsen. De onderzoekers laten zien dat een model dat weigert antwoord te geven wanneer het onzeker is, nuttiger kan zijn dan een model dat zelfverzekerd gokt en het fout heeft. Ze beschrijven een methode waarbij een computer "Ik weet het niet" kan zeggen en het geval doorverwijst naar een menselijke arts. Dit verbetert de algehele veiligheid van het systeem, maar standaardtests negeren deze doorverwijzingen vaak en kijken alleen naar de gevallen die de computer probeerde op te lossen. De auteurs betogen dat een volledige evaluatie ook de doorverwijzingen en de fouten moet tellen die gebeuren nadat een mens het werk heeft gecontroleerd. Ze waarschuwen ook tegen het gebruik van "fidelity"-scores, die meten hoe realistisch een gegenereerde afbeelding eruitziet, als vervanging voor het controleren of de computer daadwerkelijk de ziekte heeft gevonden. Een afbeelding kan prachtig en perfect ogen terwijl de cruciale medische details volledig ontbreken.
Gedurende hun hele analyse bieden de auteurs tien specifieke, uitgewerkte voorbeelden om hun punten te bewijzen. Dit zijn geen echte patiëntgegevens, maar zorgvuldig geconstrueerde scenario's die fungeren als gecontroleerde experimenten. In het ene laten ze zien hoe een model een hoge score kan hebben voor het vinden van tumoren, maar faalt in het vinden van de zeldzame, gevaarlijke varianten omdat de test gericht was op veelvoorkomende gevallen. In een ander demonstreren ze hoe een kleine verschuiving in de fysieke grootte van een pixel een computer er beter of slechter uit kan laten zien, zelfs als de werkelijke prestatie niet is veranderd. Deze voorbeelden dienen als een waarschuwing dat de cijfers die in wetenschappelijke artikelen worden gerapporteerd fragiel kunnen zijn en volledig afhangen van de specifieke regels die gebruikt worden om ze te berekenen.
De onderzoekers concluderen dat het veld moet stoppen met het najagen van een enkele score op een leaderboard. In plaats daarvan stellen ze een checklist voor iedereen die een studie ontwerpt voor. Deze checklist dwingt wetenschappers om exact te definiëren wat ze meten, op wie ze het meten en wat de regels zijn voor het tellen van een succes of een falen voordat ze überhaupt naar de resultaten kijken. Ze benadrukken dat de meeteenheid moet overeenkomen met de eenheid van de claim. Als een arts om de patiënt geeft, moet de score over de patiënt gaan, niet alleen over de individuele beeldcoupes. Als een chirurg de rand van een tumor moet weten, moet de score de rand meten, niet alleen het volume. Het artikel beweert niet dat het het probleem van medische AI heeft opgelost, maar het biedt de essentiële instrumenten om te stoppen met het meten van de verkeerde dingen. Door de meting af te stemmen op het werkelijke doel, kunnen onderzoekers eindelijk zien welke modellen werkelijk nuttig zijn en welke er alleen goed in zijn om tests te halen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.