When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Stel je voor dat je een kaart probeert te tekenen van een piepkleine, kronkelende stad binnenin een menselijk hoofd, maar je kunt deze alleen zien door een beslagen raam. Dit is de wereld van medische beeldvorming, specificaal een techniek genaamd Digital Subtraction Angiography (DSA). Artsen gebruiken DSA om foto's te maken van bloedvaten in de hersenen, die lijken op een complex web van wegen. Om computers te helpen leren hoe ze deze kaarten automatisch kunnen lezen, moeten mensen eerst de lijnen van de wegen tekenen. Dit wordt "segmentatie" genoemd. Meestal gaan we ervan uit dat als een menselijke expert de lijn tekent, die tekening de perfecte "waarheid" is. Maar wat als twee experts naar hetzelfde beslagen raam kijken en iets andere lijnen tekenen? Wat als de één een klein steegje ziet dat de ander mist? Dit artikel duikt in exact dat mysterie. Het stelt een eenvoudige maar lastige vraag: als zelfs de experts het niet eens kunnen worden over waar de bloedvaten zich bevinden, hoe kunnen we een computer dan leren om het goed te doen? Het antwoord is niet alleen beter tekenen; het gaat om het begrijpen dat de "waarheid" een beetje wazig kan zijn, en dat is oké.

De onderzoekers achter deze studie besloten te stoppen met doen alsof er slechts één perfecte manier is om deze hersenvaten te tekenen. Ze verzamelden 66 echte beelden van hersenbloedvaten van patiënten en vroegen twee experts om de vaten met de hand na te trekken. De ene expert was een arts-in-opleiding gespecialiseerd in procedures aan bloedvaten, en de andere was een wetenschapper die weet hoe je computers leert om te zien. Zoals verwacht tekenden de twee experts niet exact dezelfde lijnen. Soms waren ze het volledig eens, maar vaak waren ze het oneens, vooral bij de kleinste, dunste vaten die minder dan 1 of 2 pixels breed zijn. Om te bepalen wie er "gelijk" had, bracht het team niet simpelweg een winnaar aanwijzen. In plaats daarvan brachten ze een hele commissie van 11 andere beoordelaars samen — artsen en wetenschappers — die naar 100 kleine fragmenten van de beelden keken en stemden over de vraag of er een vat aanwezig was of niet.

De resultaten waren fascinerend en een beetje verrassend. Wanneer beide oorspronkelijke experts het eens waren dat er een vat aanwezig was, waren de nieuwe beoordelaars het in 90% van de gevallen met hen eens. Maar wanneer de experts van mening verschilden, waren de beoordelaars verdeeld. Als Expert A zei "vat" en Expert B zei "geen vat", waren de beoordelaars het in 76% van de gevallen eens met Expert A. Echter, als de rollen waren omgedraaid, waren ze het slechts in 16% van de gevallen eens met Expert A. Dit toonde aan dat de "ground truth" niet een enkele, solide lijn is; het is meer een wolk van mogelijkheden. Het team mat ook hoeveel de tekeningen van de experts overlapten met behulp van een speciale wiskundige tool genaamd "clDice", die controleert of het midden van de getekende lijnen overeenkomt. Ze ontdekten dat hoewel de experts grotendeels synchroon liepen, er nog steeds een merkbaar gat was, vooral voor de dunste vaten.

Om het probleem van het meten van deze kleine, wazige lijnen op te lossen, hebben de onderzoekers een nieuwe manier uitgevonden om de scores te berekenen. De oude manier was te streng; als de lijn van een expert ook maar een klein beetje afweek van de andere, stortte de score in, zelfs als ze beiden naar hetzelfde dunne vat keken. Het team creëerde een "Modified clDice" die fungeert als een vangnet. In plaats van te eisen dat de lijnen pixel voor pixel overeenkomen, vraagt het: "Is de lijn dichtbij genoeg?" Ze testten dit met verschillende "afstandsdrempels", zoals een vage grens van 2,5 pixels rond de lijn. Deze nieuwe methode liet zien dat de experts eigenlijk veel beter overeenstemden dan de oude, strikte wiskunde suggereerde.

Dus, wat betekent dit alles? Het artikel beweert niet het probleem van het perfect tekenen van vaten te hebben opgelost. In plaats daarvan suggereren ze dat we de manier waarop we computers onderwijzen moeten veranderen. We moeten ze niet alleen één tekening van iemand voeren en zeggen: "Dit is de waarheid." In plaats daarvan moeten we ze leren om de onzekerheid te begrijpen. Door de onenigheid tussen experts te gebruiken als een aanwijzing, kunnen we tegen de computer zeggen: "Hé, dit gebied is lastig; misschien hebben we meer ogen nodig," of we kunnen AI-modellen bouwen die weten wanneer ze voorzichtig moeten zijn. Het team heeft hun werk ook met de wereld gedeeld: een database van ongeveer 2.000 beeldfragmenten met al deze verschillende tekeningen, en de open-source software die ze gebruikten om de onzekerheid te meten. Kortom, ze bewezen dat in de rommelige wereld van medische beeldvorming, toegeven dat experts het oneens zijn, eigenlijk de eerste stap is naar het bouwen van slimmere, betrouwbaardere instrumenten.