In search of truth: Evaluating concordance of AI-based anatomy segmentation models

This paper introduces a practical framework for evaluating concordance among AI-based anatomy segmentation models on datasets lacking ground truth by harmonizing outputs into a standard representation and providing interactive visualization tools, demonstrating its utility in comparing six open-source models on NLST CT scans to flag discrepancies and prioritize cases of inter-model disagreement for expert review.

Lo esencial

Imagina que tienes un montón de fotos de rayos X de pulmones (miles de ellas) y quieres saber exactamente dónde están los huesos, los pulmones y el corazón en cada una. Hacerlo a mano tomaría años y costaría una fortuna. Por suerte, ahora tenemos "robots" de Inteligencia Artificial (IA) que pueden hacer este trabajo automáticamente.

El problema es que hay seis robots diferentes (seis modelos de IA) intentando dibujar estos órganos, pero no siempre están de acuerdo entre sí. Es como tener seis traductores intentando traducir un libro antiguo al español, pero nadie sabe cómo se escribía el libro original. ¿Cómo sabes en qué partes del libro los traductores están confundidos?

Este artículo es como un manual de instrucciones para organizar una "carrera de obstáculos" entre estos robots, no para elegir al ganador, sino para detectar dónde se equivocan y necesitan ayuda humana.

Aquí te explico cómo lo hicieron, paso a paso, con analogías sencillas:

1. El problema: Hablan idiomas diferentes

Cada robot (modelo de IA) habla su propio "idioma". Uno llama a un hueso "Vertebra_T8", otro "Hueso_Espinazo_8", y otro simplemente "8". Además, cada uno pinta los órganos de colores distintos.

• La solución: Los investigadores actuaron como traductores universales. Crearon un diccionario común (llamado SNOMED-CT) para que todos los robots hablaran el mismo idioma y usaran los mismos colores. Ahora, si el Robot A dice "Pulmón Derecho" y el Robot B dice "Pulmón Derecho", todos saben que están hablando de lo mismo.

2. La herramienta: Un "visor de realidad aumentada"

Para comparar los resultados, no querían abrir 100 archivos diferentes. Crearon dos herramientas mágicas:

• OHIF Viewer (El navegador web): Imagina que puedes ver los resultados en tu navegador web, sin instalar nada, como si estuvieras viendo una película en streaming. Puedes hacer clic en un punto y ver cómo los seis robots dibujaron ese órgano.
• CrossSegmentationExplorer (El comparador de espejos): Imagina un panel de comparación lado a lado (o una pantalla dividida) que te muestra seis versiones de la misma imagen al mismo tiempo. Si un robot dibuja el corazón muy grande y otro muy pequeño, este panel te lo muestra instantáneamente para que veas la diferencia en la misma sección del pecho.

3. La prueba: El "Abrazo de Grupo" (Consenso)

Como no tenían la respuesta correcta, usaron una lógica de grupo: "Si 5 de los 6 robots están de acuerdo en cómo dibujar un hueso, probablemente ese dibujo sea correcto".

• Crearon un "dibujo maestro" (consenso) basado en lo que todos hicieron igual.
• Luego, compararon a cada robot contra este dibujo maestro.
• El resultado: Crearon gráficos interactivos (como mapas de calor) donde podían ver rápidamente qué robots fallaban. Si un punto en el gráfico estaba muy lejos de los demás, significaba que ese robot había cometido un error grave.

Nota importante: Que todos los robots estén de acuerdo NO significa necesariamente que tengan la respuesta correcta. Simplemente significa que están de acuerdo. El acuerdo es una señal útil, pero imperfecta. Lo verdaderamente importante es que cuando los robots NO están de acuerdo, eso es una señal de alarma que le dice a los expertos humanos: "¡Oye, revisa esta imagen primero!".

4. Lo que descubrieron: Dónde buscar, no quién gana

Al poner a los robots a prueba en 18 escáneres de tórax, descubrieron cosas interesantes sobre dónde había confusión:

• Los pulmones: ¡Todos estuvieron muy de acuerdo! Fue como si todos los traductores acertaran la palabra "cielo". Los robots coincidieron casi perfectamente en cómo dibujar los pulmones, lo que sugiere que es una zona segura.
• El corazón: Aquí hubo confusión. Un robot (CADS) dibujó el corazón como una mancha compacta, mientras que los otros lo dibujaron con más detalles (incluyendo las venas). No era que uno estuviera "mal", sino que tenían definiciones diferentes de qué es el corazón.
• Las costillas y la columna (El gran fallo): ¡Aquí es donde se pusieron las cosas serias! Cuatro de los seis robots (incluyendo los más famosos) cometieron errores graves en las costillas y las vértebras.
  • La analogía: Imagina que tienes que dibujar una escalera. Cuatro de los robots dibujaron los peldaños pegados unos a otros, fusionándolos en una sola pieza de cemento, o se saltaron peldaños enteros.
  • ¿Por qué? Resulta que esos cuatro robots fueron entrenados con los mismos datos de entrenamiento (que tenían errores). ¡Se contagió el error!
  • La lección: Los robots que fueron entrenados de forma diferente (MOOSE y CADS) dibujaron las costillas y la columna con mucha más precisión, separando bien cada hueso. Pero el objetivo no era elegir a un ganador, sino identificar que en las costillas había un desacuerdo masivo que requería atención humana.

5. La conclusión: ¿Por qué importa esto?

Este trabajo es como crear un sistema de triaje para la Inteligencia Artificial médica.

• Demuestra que puedes detectar errores graves en robots de IA incluso sin tener un experto humano revisando cada imagen (lo cual sería imposible con miles de pacientes).
• Proporciona las herramientas (el código, los visores y los gráficos) para que cualquier hospital o investigador pueda evaluar cómo de acuerdo están diferentes modelos de IA en sus propios datos y marcar las áreas de desacuerdo para una inspección más cercana.
• Al final, el objetivo es usar estas alertas para revisar manualmente los casos dudosos antes de que se conviertan en diagnósticos automáticos.

En resumen: Los investigadores no solo compararon robots, sino que construyeron el "estadio", el "árbitro" y el "sistema de puntuación" para ayudar a la comunidad médica a encontrar dónde los modelos de IA discrepan, asegurando que cuando automatizamos la investigación médica, atrapemos los errores potenciales antes de que se propaguen.

Resumen técnico

Título: En busca de la verdad: Evaluación de la concordancia de modelos de segmentación anatómica basados en IA

1. El Problema

La creciente disponibilidad de grandes conjuntos de datos de imágenes médicas (como el National Lung Screening Trial - NLST) ofrece oportunidades únicas para el análisis secundario y la exploración de hipótesis. Sin embargo, el análisis cuantitativo de estos datos requiere la extracción de características anatómicas, lo que tradicionalmente ha dependido de anotaciones manuales expertas, un proceso costoso y poco escalable.

Aunque han surgido modelos de segmentación anatómica basados en IA (como TotalSegmentator, Auto3DSeg, MOOSE, etc.) capaces de automatizar esta tarea, surge un desafío crítico: la falta de "verdad fundamental" (ground truth) en muchos conjuntos de datos públicos. Sin anotaciones de referencia manuales, es difícil evaluar objetivamente la calidad de las salidas. Además, la falta de estandarización en los formatos de salida y las etiquetas anatómicas entre diferentes modelos dificulta su comparación directa. El objetivo de este trabajo es evaluar la concordancia entre múltiples modelos en grandes conjuntos de datos de imágenes y identificar casos donde los modelos discrepan, priorizando aquellos para su revisión por expertos, en lugar de simplemente seleccionar el "mejor" modelo.

2. Metodología

Los autores proponen un marco de trabajo práctico para evaluar y comparar modelos de segmentación en ausencia de verdad fundamental, aplicándolo a una muestra de 18 series de TC torácicas del conjunto de datos NLST. La metodología se divide en cuatro pasos clave:

• Armonización de Resultados:

  • Se convirtieron las salidas de seis modelos de código abierto (TotalSegmentator v1.5 y v2.6, Auto3DSeg, MOOSE, MultiTalent y CADS) a un formato estándar interoperable: DICOM SEG.
  • Se utilizó el sistema de codificación SNOMED-CT para mapear las etiquetas específicas de cada modelo a términos anatómicos estandarizados, asegurando que estructuras idénticas (ej. "pulmón izquierdo") tuvieran el mismo identificador y color visual en todos los modelos.

• Selección de Estructuras:

  • Se aplicaron criterios de exclusión para refinar el conjunto de estructuras comparables: se eliminaron estructuras segmentadas por un solo modelo, aquellas con cobertura incompleta en los escaneos torácicos (como órganos abdominales) y aquellas segmentadas por menos de cuatro modelos.
  • El análisis final se centró en 24 estructuras anatómicas: vértebras torácicas (T2-T10), costillas (3-6), esternón, lóbulos pulmonares y corazón.

• Evaluación Cuantitativa:

  • Se calculó una segmentación de consenso (la intersección de todas las máscaras de los modelos que incluyen una estructura).
  • Se evaluó la concordancia de cada modelo frente al consenso utilizando dos métricas: el Coeficiente de Similitud de Dice (DSC) para la superposición espacial y la relación de volúmenes.
  • Se desarrollaron gráficos de dispersión interactivos para visualizar miles de puntos de datos, permitiendo identificar rápidamente valores atípicos (outliers) y casos de baja concordancia.

• Evaluación Cualitativa y Visualización:

  • Se desarrolló una extensión para 3D Slicer llamada CrossSegmentationExplorer, que permite la visualización lado a lado de múltiples segmentaciones en vistas 2D y 3D sincronizadas.
  • Se utilizó el visor web OHIF para la revisión rápida de casos individuales.
  • Los casos con baja concordancia (DSC < 90% o discrepancias volumétricas) fueron sometidos a una inspección visual detallada por un experto en radiología para priorizar su revisión.

3. Contribuciones Clave

• Estrategia de Evaluación Basada en Consenso: Una metodología para evaluar el acuerdo inter-modelo en ausencia de verdad fundamental, señalando las discrepancias para su revisión humana prioritaria. Nota: el consenso entre modelos no garantiza la corrección, sino que indica áreas de acuerdo frente a áreas que requieren un escrutinio adicional.
• Herramientas de Código Abierto:
  • Scripts de armonización para convertir NIfTI a DICOM SEG con metadatos estandarizados.
  • CrossSegmentationExplorer: Una nueva extensión de 3D Slicer para comparar visualmente múltiples segmentaciones simultáneamente.
  • Gráficos interactivos y un visor web integrados para la exploración de datos.
• Conjunto de Datos Armonizado: La publicación de los resultados de segmentación de 6 modelos sobre una muestra de NLST en formato DICOM, junto con los mapas de mapeo de etiquetas a SNOMED-CT.
• Identificación de Artefactos de Entrenamiento: Detección sistemática de errores de segmentación en modelos que comparten datos de entrenamiento, demostrando que la comparación inter-modelo puede revelar fallos compartidos incluso sin ground truth.

4. Resultados

El estudio comparó 24 estructuras anatómicas en 18 casos de TC:

• Pulmones: Mostraron un acuerdo excelente entre todos los modelos (DSC > 95%, superposición volumétrica > 90%). Las diferencias fueron mínimas y se consideraron aceptables.
• Corazón: Se observó un acuerdo moderado (DSC 75-90%) debido a diferencias en la definición anatómica. El modelo CADS segmentó el corazón como una estructura compacta (excluyendo vasos grandes), mientras que otros incluían aurículas y arterias. Al excluir CADS, el acuerdo mejoró significativamente (DSC > 95%).
• Costillas y Vértebras: Se detectaron discrepancias graves en cuatro modelos (TotalSegmentator 1.5/2.6, Auto3DSeg, MultiTalent), que compartían el mismo conjunto de datos de entrenamiento.
  • Errores identificados: Inclusión de partes de vértebras adyacentes, fusión de múltiples vértebras bajo una sola etiqueta, y asignación incorrecta de etiquetas. En las costillas, estos modelos a menudo omitían la porción medial cerca de la columna vertebral o incluían partes de costillas vecinas.
  • Modelos con mayor concordancia: MOOSE y CADS (que no dependían exclusivamente del conjunto de datos de TotalSegmentator para estas estructuras) mostraron un acuerdo mucho mejor entre sí (DSC > 90% para vértebras) y no presentaron los errores sistemáticos de los otros cuatro.
• Esternón: Mostró un acuerdo moderado, con diferencias en cómo los modelos representaban el proceso xifoideo (largo y recto vs. corto y redondeado).

5. Significado e Impacto

Este trabajo es fundamental para el avance de la investigación en imágenes médicas por varias razones:

1. Priorización de la Revisión Humana: Proporciona un método práctico para evaluar la concordancia en conjuntos de datos específicos cuando no existen anotaciones de referencia, identificando y señalando discrepancias entre las salidas de los modelos para una revisión experta prioritaria, lo que permite decisiones informadas sobre la idoneidad del modelo.
2. Reutilización de Datos a Gran Escala: Facilita la creación de cohortes anotadas automáticamente a partir de grandes repositorios públicos (como IDC), permitiendo estudios epidemiológicos y de fenotipado que antes eran inviables, al ofrecer un mecanismo para filtrar casos dudosos.
3. Mejora de la Calidad de los Modelos: Al identificar errores sistemáticos compartidos por modelos que usan los mismos datos de entrenamiento, se señala la necesidad de mejorar la calidad de los conjuntos de datos de entrenamiento (ej. corrección de etiquetas en TotalSegmentator). El marco destacó desacuerdos sistemáticos en estructuras óseas entre modelos que compartían datos de entrenamiento, revelando un artefacto compartido de los datos de entrenamiento que no habría sido visible sin la comparación cruzada.
4. Interoperabilidad: Demuestra la importancia de estandarizar los formatos de salida (DICOM SEG) y las terminologías (SNOMED-CT) para permitir la comparación y el análisis visual eficiente en herramientas de código abierto.

En conclusión, los autores han establecido un "kit de herramientas" reproducible que permite a la comunidad científica evaluar y comparar modelos de IA de manera rigurosa, incluso en ausencia de verdad fundamental. El análisis de concordancia inter-modelo es una estrategia viable y efectiva para el control de calidad en imágenes médicas, permitiendo a los investigadores identificar y priorizar casos de desacuerdo para su revisión experta, promoviendo así una mayor fiabilidad en la segmentación automática.

Trabajo Futuro:
Se propone continuar trabajando en este marco para refinar aún más la evaluación de calidad basada en la concordancia, permitiendo una detección más precisa de anomalías en diversos contextos clínicos.