A systematic review of quality control efforts for histopathology annotation
Deze systematische review van 16 in aanmerking komende studies vond dat hoewel 62,5% van het onderzoek naar annotatie van histopathologische afbeeldingen inspanningen voor kwaliteitscontrole omvat, het veld gefragmenteerd blijft met implementaties die variëren tussen kwaliteitscontrolemaatregelen, functies, of een combinatie van beide.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de wereld van de medische diagnose is een patholoog een detective die onder een microscoop naar minuscule weefselsneden kijkt om tekenen van ziekte te vinden. Om computers dit werk te leren, moeten wetenschappers hen eerst duizenden van deze weefselafbeeldingen laten zien, waarbij ze zorgvuldig lijnen rond de belangrijke onderdelen trekken om de machine te leren waar hij naar moet zoeken. Dit proces van het trekken van de lijnen wordt annotatie genoemd. Echter, net zoals een mens een fout kan maken bij het labelen van een kaart, kan een computer of een menselijke annotator een cel verkeerd identificeren of een tumor missen. Als de computer van deze fouten leert, zullen zijn toekomstige diagnoses gebrekkig zijn. Om dit te voorkomen, gebruiken onderzoekers specifieke controles en hulpmiddelen om te garanderen dat de labels correct zijn. Deze controles, bekend als kwaliteitscontrolesystemen, omvatten het door mensen beoordelen van het werk, terwijl de hulpmiddelen, de kwaliteitscontrolefuncties genoemd, de knoppen en menu's zijn waarmee een beoordelaar een label kan accepteren, verwerpen of kan vragen om het te laten corrigeren. Zonder deze waarborgen zouden de digitale pathologen van de toekomst getraind kunnen worden op foutieve informatie.
Een recente systematische review door Olivier Rukundo, een onderzoeker aan de University of Limerick en de Medical University of Vienna, kijkt nauwgezet naar hoe goed deze vangnetten momenteel worden gebruikt in het specifieke veld van de histopathologie, oftewel de studie van weefselmonsters. De studie heeft geen nieuwe software ontwikkeld of nieuwe experimenten uitgevoerd; in plaats daarvan fungeerde het als een uitgebreide audit van bestaand onderzoek. De auteur doorzocht vijf grote wetenschappelijke databases en wierp een breed net voor elke studie die besprak hoe de kwaliteit van weefselafbeelding-labels gecontroleerd kan worden. Na het vinden van eenentwintig potentiële records, filterde de onderzoeker deze zorgvuldig, waarbij duplicaten, conferentiepapers die aan detailtekort hadden en studies die geen methode voor kwaliteitscontrole beschreven, werden verwijderd. Dit rigoureuze proces liet een definitieve groep van zestien studies over die voldeden aan de strikte criteria voor inclusie.
De review sorteerde deze zestien studies in drie verschillende groepen op basis van wat ze boden. Sommige studies richtten zich primair op de menselijke kant van kwaliteitscontrole, waarbij methoden werden voorgesteld voor experts om annotaties te beoordelen en te corrigeren. Anderen richtten zich op de softwarekant, waarbij digitale functies werden geïntroduceerd die gebruikers helpen beslissen of een label goed of slecht is. Een derde groep combineerde beide benaderingen, waarbij een systeem werd geboden waarin menselijke beoordeling en digitale tools samenwerken. De bevindingen toonden een duidelijke splitsing in het veld aan. In totaal implementeerden 62,5% van de studies kwaliteitscontroles voor histopathologische beeldannotatie, terwijl 37,5% dat niet deed. Dit suggereert dat hoewel een meerderheid van de onderzoekers zich bewust is van de noodzaak van deze waarborgen, een aanzienlijk deel van het werk in dit gebied nog steeds plaatsvindt zonder een formeel systeem om fouten te ontdekken.
De studies die deze controles wel implementeerden, toonden een verscheidenheid aan benaderingen. Sommige vertrouwden op menselijke samenwerking, waarbij pathologen elkaars werk beoordeelden of waarbij ervaren senior artsen toezicht hielden op de annotaties gemaakt door junior fellows. Anderen introduceerden softwaretools die fungeerden als een tweede paar ogen. Zo gebruikten sommige programma's kunstmatige intelligentie om voor te stellen waar een structuur getekend zou moeten worden, waardoor een mens simpelweg de suggestie kon accepteren of deze kon corrigeren als het fout was. Andere tools waren ontworpen om inconsistenties op te sporen, door gebieden te markeren waar verschillende mensen dezelfde afbeelding anders hadden gelabeld, zodat er een definitieve beslissing genomen kon worden. In de meest geavanceerde voorbeelden werkten de software en de mens in een lus: de computer deed een suggestie, de mens beoordeelde deze, en het systeem legde vast of de mens de wijziging accepteerde of verwierp, wat een continue cyclus van verbetering creëerde.
Ondanks de vooruitgang getoond in de meerderheid van de beoordeelde studies, benadrukt de review dat het veld nog niet uniform is. Het feit dat meer dan een derde van de opgenomen studies deze kwaliteitscontroles niet implementeerde, geeft aan dat veel projecten mogelijk nog steeds hun datasets bouwen zonder een robuuste methode om de nauwkeurigheid te verifiëren. De review beweert niet dat het probleem is opgelost of dat er één perfecte methode bestaat. In plaats daarvan brengt het de huidige situatie in kaart, waarbij wordt getoond dat hoewel veel onderzoekers actief manieren ontwikkelen om te zorgen dat hun data schoon is, er nog steeds een kloof in de adoptie bestaat. Het werk dient als een herinnering dat, voor computers betrouwbare partners te laten worden in de medische diagnose, de menselijke inspanning om de trainingsdata te labelen ondersteund moet worden door consistente, rigoureuze controles, of die controles nu komen van een senior patholoog of een digitale tool die ontworpen is om een fout op te sporen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.