When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Immagina di cercare di disegnare la mappa di una città minuscola e tortuosa all'interno di una testa umana, ma di poterla vedere solo attraverso una finestra appannata. Questo è il mondo dell'imaging medico, specificamente una tecnica chiamata Angiografia Digitale a Sottrazione (DSA). I medici usano la DSA per scattare foto ai vasi sanguigni del cervello, che appaiono come una complessa rete di strade. Per aiutare i computer a imparare a leggere queste mappe automaticamente, gli esseri umani devono prima disegnare le linee delle strade. Questo si chiama "segmentazione". Di solito, assumiamo che se un esperto umano traccia la linea, quel disegno sia la "verità" perfetta. Ma cosa succederebbe se due esperti guardassero la stessa finestra appannata e disegnassero linee leggermente diverse? E se uno vedesse un minuscolo vicolo che l'altro non nota? Questo articolo approfondisce proprio questo mistero. Pone una domanda semplice ma complicata: se anche gli esperti non concordano su dove si trovino i vasi sanguigni, come possiamo insegnare a un computer a fare la cosa giusta? La risposta non riguarda solo il disegnare meglio; riguarda il comprendere che la "verità" potrebbe essere un po' sfocata, e che va bene così.

I ricercatori dietro questo studio hanno deciso di smettere di fingere che esista un unico modo perfetto di disegnare questi vasi cerebrali. Hanno raccolto 66 immagini reali di vasi sanguigni cerebrali da pazienti e hanno chiesto a due esperti di tracciare i vasi a mano. Un esperto era un medico in formazione specializzato in procedure vascolari, e l'altro era uno scienziato che sa come insegnare ai computer a vedere. Come previsto, i due esperti non hanno disegnato le stesse identiche linee. A volte concordavano perfettamente, ma spesso erano in disaccordo, specialmente sulle strutture più piccole e sottili che sono larghe meno di 1 o 2 pixel. Per capire chi avesse "ragione", il team non ha semplicemente scelto un vincitore. Invece, ha coinvolto un intero panel di 11 altri giudici — medici e scienziati — per guardare 100 piccoli frammenti delle immagini e votare se un vaso fosse presente o meno.

I risultati sono stati affascinanti e un po' sorprendenti. Quando entrambi gli esperti concordavano sulla presenza di un vaso, i nuovi giudici concordavano con loro il 90% delle volte. Ma quando gli esperti erano in disaccordo, i giudici erano divisi. Se l'Esperto A diceva "vaso" e l'Esperto B diceva "nessun vaso", i giudici davano ragione all'Esperto A il 76% delle volte. Tuttavia, se i ruoli erano invertiti, davano ragione all'Esperto A solo il 16% delle volte. Ciò dimostrava che la "verità fondamentale" non è una singola linea solida; è più simile a una nuvola di possibilità. Il team ha anche misurato quanto i disegni degli esperti si sovrapponessero utilizzando uno strumento matematico speciale chiamato "clDice", che controlla se il centro delle linee disegnate coincide. Hanno scoperto che, sebbene gli esperti fossero per lo più in sintonia, c'era comunque un divario evidente, specialmente per i vasi più sottili.

Per risolvere il problema della misurazione di queste linee minuscole e sfocate, i ricercatori hanno inventato un nuovo modo per calcolare i punteggi. Il vecchio metodo era troppo rigido; se la linea di un esperto era anche solo leggermente fuori posto rispetto a quella dell'altro, il punteggio crollava, anche se entrambi stavano guardando lo stesso vaso sottile. Il team ha creato un "clDice Modificato" che funge da rete di sicurezza. Invece di pretendere che le linee corrispondano pixel per pixel, chiede: "La linea è abbastanza vicina?". Hanno testato questo metodo con diversi "soglie di distanza", come un bordo sfocato di 2,5 pixel attorno alla linea. Questo nuovo metodo ha dimostrato che gli esperti erano in realtà in molto migliore accordo di quanto suggerisse la vecchia matematica rigorosa.

Quindi, cosa significa tutto questo? L'articolo non sostiene di aver risolto il problema del disegno perfetto dei vasi. Al contrario, suggerisce che dobbiamo cambiare il modo in cui insegniamo ai computer. Non dovremmo solo fornire loro il disegno di una persona e dire: "Questa è la verità". Invece, dovremmo insegnare loro a comprendere l'incertezza. Usando il disaccordo tra gli esperti come un indizio, possiamo dire al computer: "Ehi, quest'area è complicata; forse abbiamo bisogno di più occhi su di essa", oppure possiamo costruire modelli di IA che sappiano quando essere prudenti. Il team ha anche condiviso il proprio lavoro con il mondo: un database di circa 2.000 patch di immagini con tutti questi diversi disegni, e il software open-source utilizzato per misurare l'incertezza. In breve, hanno dimostrato che nel mondo disordinato dell'imaging medico, ammettere che gli esperti non concordano è in realtà il primo passo verso la costruzione di strumenti più intelligenti e affidabili.