Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Resumen Técnico: Limpieza de etiquetas derivadas de informes en un conjunto de datos de TC de tórax a gran escala asistida por modelos de lenguaje de gran tamaño (LLM)

Planteamiento del problema
Los conjuntos de datos públicos de imágenes médicas son fundamentales para evaluar modelos de inteligencia artificial y entrenar nuevos algoritmos. Sin embargo, la calidad de las etiquetas estructuradas dentro de estos conjuntos de datos suele verse comprometida por estilos de redacción, negaciones, incertidumbre, definiciones ambiguas y errores de extracción automatizada. Incluso en conjuntos de datos cuidadosamente construidos como CT-RATE (un conjunto de datos de TC de tórax a gran escala con imágenes volumétricas, informes y etiquetas de múltiples anomalías), puede ocurrir discordancia entre la etiqueta y el informe. Debido a que estos conjuntos de datos se reutilizan repetidamente para la evaluación comparativa, tales errores pueden propagarse en la evaluación y comparación de modelos, sesgando potencialmente las estimaciones de rendimiento. Existe la necesidad de métodos escalables para identificar y corregir estas inconsistencias sin depender únicamente de la revisión manual laboriosa.

Metodología
Los autores desarrollaron un marco asistido por LLM para evaluar y limpiar las etiquetas derivadas de informes en el conjunto de datos CT-RATE. El estudio utilizó un conjunto de datos retrospectivo de 24,446 informes de radiología únicos (tras la deduplicación) emparejados con 18 categorías de anomalías predefinidas.

1. Extracción por LLM: Los informes de radiología (específicamente las secciones de "hallazgos" e "impresión") fueron procesados utilizando GPT-5.4 a través de Microsoft Azure AI Foundry. El modelo fue instruido para generar etiquetas binarias (presente/ausente) para las 18 categorías basándose estrictamente en el texto, tratando los hallazgos inciertos (por ejemplo, "posible") como presentes. Las salidas fueron restringidas a un formato JSON estructurado.
2. Comparación e identificación de discordancias: Las etiquetas derivadas de GPT-5.4 se compararon con las etiquetas originales de CT-RATE a nivel de instancia. Los casos discordantes se categorizaron como: etiqueta existente positiva/GPT-negativo o etiqueta existente negativa/GPT-positivo.
3. Validación multi-modelo: Para evaluar la fiabilidad, los mismos informes fueron procesados utilizando GPT-5.4 mini y DeepSeek V3.2. Se empleó una estrategia de voto mayoritario multi-LLM, donde se asignaba una etiqueta si al menos dos de los tres modelos estaban de acuerdo.
4. Adjudicación por radiólogo: Se establecieron tres conjuntos de revisión para la validación manual:
   • Una muestra aleatoria de 100 informes (1,800 instancias de etiquetas) anotados por un becario de radiología y finalizados por un radiólogo certificado por la junta para servir como estándar de referencia.
   • Un conjunto de discordancia general de 100 instancias (50 positivo/negativo y 50 negativo/positivo) excluyendo linfadenopatía.
   • Un conjunto de discordancia dirigido centrado en "linfadenopatía", la única categoría con un Cohen's κ ≤ 0.80, muestreando hasta 50 instancias discordantes en cada dirección.
5. Análisis estadístico: El acuerdo se midió utilizando el coeficiente de Cohen's κ y métricas de precisión. El rendimiento frente al conjunto de etiquetas de referencia anotadas por el radiólogo se evaluó mediante sensibilidad, especificidad, VPP, VPN, puntuación F1 y Cohen's κ, calculados mediante promediado de etiquetas macro y micro.

Resultos clave

• Acuerdo general: Las etiquetas derivadas de GPT-5.4 mostraron un acuerdo general del 96.4% con las etiquetas originales de CT-RATE, con un Cohen's κ de 0.884. El acuerdo varió significativamente por categoría, oscilando desde un 99.6% para hernia hiatal hasta un 79.4% para linfadenopatía.
• Discrepancia de linfadenopatía: La linfadenopatía exhibió el acuerdo más bajo (κ = 0.309). En la revisión dirigida de 99 instancias discordantes de linfadenopatía, la adjudicación del radiólogo respaldó la etiqueta derivada de GPT-5.4 en el 91.9% de los casos, lo que sugiere que las etiquetas originales de CT-RATE eran frecuentemente incorrectas para esta categoría.
• Discordancia general: En la revisión de discordancia general (excluyendo linfadenopatía), los radiólogos respaldaron la etiqueta derivada de GPT-5.4 en el 74.2% de las instancias adjudicables, en comparación con el 25.8% que respaldó la etiqueta original de CT-RATE.
• Rendimiento del estándar de referencia: Frente a las etiquetas de referencia anotadas por el radiólogo, el enfoque de voto mayoritario multi-LLM logró el mayor rendimiento con una puntuación F1 promediada por etiqueta de 96.0% y un Cohen's κ de 0.951. Esto superó tanto a las etiquetas originales de CT-RATE (F1: 93.8%, κ: 0.923) como al modelo único de GPT-5.4 (F1: 95.1%, κ: 0.940). Notablemente, el voto mayoritario logró un acuerdo "casi perfecto" (κ > 0.80) en las 18 categorías.

Significancia y afirmaciones
El artículo afirma que la limpieza de etiquetas asistida por LLM es un método escalable y eficaz para identificar discordancias clínicamente significativas entre la etiqueta y el informe en conjuntos de datos de imágenes a gran escala. El estudio demuestra que:

1. Detección de discordancias: Los LLM pueden identificar errores en las etiquetas existentes de los conjuntos de datos que podrían no ser evidentes mediante métricas de acuerdo agregado por sí solas.
2. Mejora de la calidad: El voto mayoritario multi-modelo puede refinar las etiquetas derivadas de informes para lograr una mayor fiabilidad que la extracción de un solo modelo o las etiquetas originales del conjunto de datos.
3. Mantenimiento de conjuntos de datos: Este enfoque sirve como una herramienta práctica para el mantenimiento de conjuntos de datos, ayudando a priorizar categorías con definiciones ambiguas (como la linfadenopatía) para la revisión experta y el refinamiento de definiciones.
4. Utilidad futura: Los autores pretenden publicar el conjunto de datos limpio y el código asociado para apoyar futuras investigaciones, con el objetivo de mejorar la fiabilidad de los referentes utilizados en el desarrollo y la evaluación de modelos de IA.

Los autores mantienen una postura modesta, reconociendo que sus etiquetas y adjudicaciones derivadas de LLM se basan en el texto del informe y no en la verdad fundamental (ground truth) a nivel de imagen, y que los conjuntos de revisión de discordancia fueron enriquecidos para el desacuerdo, lo que significa que no representan estimaciones directas de la precisión general del conjunto de datos. Enfatizan la necesidad de la verificación humana en los subconjuntos de validación para mitigar los posibles sesgos introducidos por las etiquetas generadas por LLM.