When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Imaginez que vous essayez de dessiner la carte d'une petite ville sinueuse située à l'intérieur d'une tête humaine, mais que vous ne pouvez la voir qu'à travers une fenêtre embrumée. C'est le monde de l'imagerie médicale, et plus précisément d'une technique appelée l'angiographie par soustraction numérique (DSA). Les médecins utilisent la DSA pour prendre des photos des vaisseaux sanguins du cerveau, qui ressemblent à un réseau complexe de routes. Pour aider les ordinateurs à apprendre à lire ces cartes automatiquement, les humains doivent d'abord dessiner les lignes des routes. C'est ce qu'on appelle la « segmentation ». Habituellement, nous partons du principe que si un expert dessine la ligne, ce dessin constitue la « vérité » parfaite. Mais qu'en est-il si deux experts regardent la même fenêtre embrumée et dessinent des lignes légèrement différentes ? Et si l'un voit une minuscule ruelle que l'autre ne remarque pas ? Ce document plonge dans ce mystère exact. Il pose une question simple mais délicate : si même les experts ne parviennent pas à s'accorder sur l'emplacement des vaisseaux sanguins, comment peut-on apprendre à un ordinateur à ne pas se tromper ? La réponse ne réside pas seulement dans un meilleur dessin ; elle réside dans la compréhension que la « vérité » peut être un peu floue, et que cela n'est pas un problème.

Les chercheurs derrière cette étude ont décidé de cesser de prétendre qu'il n'existe qu'une seule façon parfaite de dessiner ces vaisseaux cérébraux. Ils ont rassemblé 66 images réelles de vaisseaux sanguins cérébraux provenant de patients et ont demandé à deux experts de tracer les vaisseaux à la main. Un expert était un médecin en formation spécialisé dans les procédures vasculaires, et l'autre était un scientifique expert en enseignement de la vision par ordinateur. Comme prévu, les deux experts n'ont pas dessiné exactement les mêmes lignes. Parfois, ils étaient en parfait accord, mais souvent, ils n'étaient pas d'accord, surtout sur les vaisseaux les plus petits et les plus fins, qui mesurent moins de 1 ou 2 pixels de large. Pour déterminer qui avait « raison », l'équipe n'a pas simplement choisi un vainqueur. Au lieu de cela, elle a fait appel à un panel de 11 autres juges — médecins et scientifiques — pour examiner 100 petits morceaux des images et voter pour savoir si un vaisseau était présent ou non.

Les résultats ont été fascinants et un peu surprenants. Lorsque les deux experts originaux étaient d'accord sur la présence d'un vaisseau, les nouveaux juges étaient d'accord avec eux dans 90 % des cas. Mais lorsque les experts n'étaient pas d'accord, les juges étaient partagés. Si l'Expert A disait « vaisseau » et l'Expert B disait « pas de vaisseau », les juges rejoignaient l'Expert A dans 76 % des cas. Cependant, si les rôles étaient inversés, ils ne rejoignaient l'Expert A que dans 16 % des cas. Cela montrait que la « vérité terrain » n'est pas une ligne unique et solide ; c'est plutôt un nuage de possibilités. L'équipe a également mesuré à quel point les dessins des experts se chevauchaient en utilisant un outil mathématique spécial appelé « clDice », qui vérifie si le centre des lignes tracées correspond. Ils ont constaté que, bien que les experts soient globalement synchronisés, il existait toujours un écart notable, en particulier pour les vaisseaux les plus fins.

Pour résoudre le problème de la mesure de ces lignes fines et floues, les chercheurs ont inventé une nouvelle façon de calculer les scores. L'ancienne méthode était trop stricte ; si la ligne d'un expert était juste un tout petit peu décalée par rapport à celle de l'autre, le score s'effondrait, même si les deux regardaient le même vaisseau fin. L'équipe a créé un « clDice modifié » qui agit comme un filet de sécurité. Au lieu d'exiger que les lignes correspondent pixel par pixel, il demande : « La ligne est-elle assez proche ? ». Ils ont testé cela avec différents « seuils de distance », comme une bordure floue de 2,5 pixels autour de la ligne. Cette nouvelle méthode a montré que les experts étaient en fait en bien meilleur accord que ne le suggérait l'ancienne mathématique stricte.

Alors, qu'est-ce que tout cela signifie ? Le papier ne prétend pas avoir résolu le problème du dessin parfait des vaisseaux. Au contraire, il suggère que nous devons changer la façon dont nous enseignons aux ordinateurs. Nous ne devrions pas simplement leur injecter le dessin d'une personne en disant : « Ceci est la vérité ». Au lieu de cela, nous devrions leur apprendre à comprendre l'incertitude. En utilisant le désaccord entre les experts comme un indice, nous pouvons dire à l'ordinateur : « Hé, cette zone est délicate ; nous avons peut-être besoin de plus d'yeux ici », ou nous pouvons construire des modèles d'IA qui savent quand être prudents. L'équipe a également partagé son travail avec le monde : une base de données d'environ 2 000 fragments d'images avec tous ces différents dessins, ainsi que le logiciel open-source qu'ils ont utilisé pour mesurer l'incertitude. En résumé, ils ont prouvé que dans le monde désordonné de l'imagerie médicale, admettre que les experts ne sont pas d'accord est en réalité la première étape vers la création d'outils plus intelligents et plus fiables.