When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Imagina que estás intentando dibujar el mapa de una ciudad diminuta y sinuosa dentro de una cabeza humana, pero solo puedes verla a través de una ventana empañada. Este es el mundo de las imágenes médicas, específicamente una técnica llamada Angiografía por Sustracción Digital (DSA). Los médicos utilizan la DSA para tomar fotografías de los vasos sanguíneos en el cerebro, que parecen una compleja red de caminos. Para ayudar a las computadoras a aprender a leer estos mapas automáticamente, los humanos tienen que dibujar primero las líneas de los caminos. Esto se llama "segmentación". Por lo general, asumimos que si un experto humano dibuja la línea, ese dibujo es la "verdad" perfecta. Pero, ¿qué pasa si dos expertos miran la misma ventana empañada y dibujan líneas ligeramente diferentes? ¿Qué pasa si uno ve un callejón diminuto que el otro pasa por alto? Este artículo se sumerge en ese mismo misterio. Plantea una pregunta simple pero complicada: si incluso los expertos no se ponen de acuerdo sobre dónde están los vasos sanguíneos, ¿cómo podemos enseñar a una computadora a hacerlo bien? La respuesta no es solo un mejor dibujo; se trata de comprender que la "verdad" puede ser un poco difusa, y eso está bien.

Los investigadores detrás de este estudio decidieron dejar de fingir que solo existe una forma perfecta de dibujar estos vasos cerebrales. Reunieron 63 imágenes reales de vasos sanguíneos cerebrales de pacientes y pidieron a dos expertos que trazaran los vasos a mano. Un experto era un médico en formación especializado en procedimientos vasculares, y el otro era un científico que sabe cómo enseñar a las computadoras a ver. Como era de esperar, los dos expertos no dibujaron exactamente las mismas líneas. A veces coincidían perfectamente, pero a menudo discrepaban, especialmente en los vasos más diminutos y delgados que miden menos de 1 o 2 píxeles de ancho. Para determinar quién tenía la "razón", el equipo no se limitó a elegir a un ganador. En su lugar, convocaron a un panel de 11 jueces adicionales —médicos y científicos— para que observaran 100 pequeñas partes de las imágenes y votaran sobre si un vaso estaba presente o no.

Los resultados fueron fascinantes y un tanto sorprendentes. Cuando ambos expertos originales coincidían en que un vaso estaba allí, los nuevos jueces coincidían con ellos el 90% de las veces. Pero cuando los expertos discrepaban, los jueces estaban divididos. Si el Experto A decía "vaso" y el Experto B decía "no hay vaso", los jueces se ponían del lado del Experto A el 76% de las veces. Sin embargo, si los roles se invertían, solo se ponían del lado del Experto A el 16% de las veces. Esto demostró que la "verdad fundamental" no es una línea única y sólida; es más bien como una nube de posibilidades. El equipo también midió cuánto se superponían los dibujos de los expertos utilizando una herramienta matemática especial llamada "clDice", que comprueba si el centro de las líneas dibujadas coincide. Descubrieron que, aunque los expertos estaban mayormente en sintonía, todavía había una brecha notable, especialmente para los vasos más delgados.

Para solucionar el problema de medir estas líneas diminutas y difusas, los investigadores inventaron una nueva forma de calcular las puntuaciones. La forma antigua era demasiado estricta; si la línea de un experto estaba solo un poco desviada de la del otro, la puntuación caía drástestamente, incluso si ambos estaban mirando el mismo vaso delgado. El equipo creó un "clDice Modificado" que actúa como una red de seguridad. En lugar de exigir que las líneas coincidan píxel por píxel, pregunta: "¿Está la línea lo suficientemente cerca?". Probaron esto con diferentes "umbrales de distancia", como un borde difuso de 2.5 píxeles alrededor de la línea. Este nuevo método demostró que los expertos estaban en realidad en mucho mejor acuerdo de lo que sugería la matemática estricta y antigua.

Entonces, ¿qué significa todo esto? El artículo no afirma haber resuelto el problema del dibujo perfecto de los vasos. En cambio, sugiere que necesitamos cambiar la forma en que enseñamos a las computadoras. No deberíamos simplemente alimentarlas con el dibujo de una persona y decirles: "Esta es la verdad". En su lugar, debemos enseñarles a comprender la incertidumbre. Al utilizar el desacuerdo entre expertos como una pista, podemos decirle a la computadora: "Oye, esta área es complicada; tal vez necesitemos más ojos en ella", o podemos construir modelos de IA que sepan cuándo ser cuidadosos. El equipo también compartió su trabajo con el mundo: una base de datos de aproximadamente 2,000 fragmentos de imágenes con todos estos diferentes dibujos, y el software de código abierto que utilizaron para medir la incertidumbre. En resumen, demostraron que en el mundo desordenado de las imágenes médicas, admitir que los expertos discrepan es, de hecho, el primer paso para construir herramientas más inteligentes y confiables.