Resumen Técnico: DeepSeek para la Comprensión de Informes de Patología

Planteamiento del Problema

Los informes de patología son documentos críticos y densos en información en oncología, que contienen datos sobre la histología del tumor, la estadificación y biomarcadores. Sin embargo, su formato de texto libre no estructurado dificulta su reutilización escalable para la construcción de cohortes, el enriquecimiento de registros y la investigación de resultados. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen un potencial para interpretar estos formatos variados, su utilidad específica para la comprensión de informes de patología —particularmente en lo que respecta a la extracción del tipo de cáncer, la estadificación AJCC y la predicción del pronóstico— requiere una evaluación comparativa independiente. Además, no está claro si las variantes de LLM más grandes y costosas (por ejemplo, modelos "Pro") ofrecen mejoras de rendimiento suficientes sobre las variantes más rápidas y económicas (por ejemplo, "Flash") para justificar el costo, y si las variables estructuradas extraídas por el LLM añaden valor pronóstico más allá del texto bruto en el modelado supervisado.

Metodología

El estudio llevó a cabo una evaluación comparativa independiente utilizando tareas de estilo PathRep-Bench derivadas de The Cancer Genome Atlas (TCGA). El conjunto de datos comprendió 952 informes de patología divididos en conjuntos de entrenamiento (7,618), validación (953) y prueba (952).

Tareas y Modelos

Se evaluaron tres tareas específicas:

1. Identificación del Tipo de Cáncer: Selección de uno de los 32 tipos de cáncer de TCGA.
2. Predicción de la Estadificación AJCC: Mapeo de informes a cuatro grupos de estadios de alto nivel (I–IV), incluyendo el manejo de subestadios.
3. Predicción del Pronóstico: Clasificación de informes como "bueno" o "malo" basándose en umbrales de supervivencia específicos de la enfermedad.

Se compararon dos modelos de DeepSeek: DeepSeek V4 Flash y DeepSeek V4 Pro.

• Estrategia de Prompting: Todas las llamadas utilizaron un prompting con restricciones de JSON. La identificación del tipo de cáncer utilizó el modo sin razonamiento, mientras que la estadificación AJCC y el pronóstico utilizaron el modo de razonamiento.
• Líneas Base de Pronóstico: El estudio entrenó clasificadores locales de regresión logística TF-IDF. Evaluó seis conjuntos de características, incluyendo solo texto, texto más campos estructurados originales, y texto más variables extraídas por DeepSeek.
• Métricas de Evaluación: Se calcularon la exactitud (accuracy) y el F1 macro con intervalos de confianza del 95% derivados de un remuestreo bootstrap no paramétrico. Las comparaciones estadísticas pareadas utilizaron pruebas de McNemar y diferencias de bootstrap pareadas.

Resultados Clave

1. Identificación del Tipo de Cáncer

• Rendimiento: DeepSeek V4 Flash alcanzó un rendimiento cercano al techo con una exactitud de 0.9800 y un F1 macro de 0.9778.
• Comparación de Modelos: DeepSeek V4 Pro no mejoró significativamente el rendimiento (0.9769 de exactitud) pero incurrió en un costo aproximadamente 2.54 veces mayor.
• Análisis de Errores: Los errores restantes fueron clínicamente plausibles (por ejemplo, recto vs. adenocarcinoma de colon).

2. Predicción de la Estadificación AJCC

• Rendimiento: DeepSeek V4 Flash logró una exactitud de 0.8165 y un F1 macro de 0.7841 en 594 informes de prueba etiquetados.
• Comparación de Modelos: DeepSeek V4 Pro no mejoró significativamente la exactitud (0.8098) y sufrió problemas de fiabilidad, produciendo 14 salidas finales vacías bajo el presupuesto de 4,096 tokens. Aunque Pro mostró una exactitud ligeramente mayor en las respuestas válidas, las salidas vacías y el costo significativamente mayor hicieron que Flash fuera la opción superior en este entorno.
• Análisis de Errores: El principal modo de error fue la subestimación del Estadio IV como Estadio III.

3. Predicción del Pronóstico

• Prompting de LLM: El prompting directo de DeepSeek fue débil. El rendimiento zero-shot fue de 0.5083 de F1 macro, mejorando solo ligeramente a 0.5647 con prompting de 8-shot.
• Modelado Supervisado: Un clasificador de regresión logística TF-IDF de solo texto logró el mayor rendimiento (0.8571 de exactitud, 0.8543 de F1 macro).
• Ablación de Características: Las variables estructuradas extraídas por DeepSeek no mejoraron significativamente la predicción del pronóstico bajo el marco evaluado en comparación con el uso directo del texto del informe de patología original. De hecho, los modelos que dependían únicamente de las variables extraídas por DeepSeek funcionaron sustancialmente peor (0.6407 de F1 macro) que aquellos que utilizaban el texto bruto.

4. Análisis de Costos

DeepSeek V4 Flash fue consistentemente más rentable. Para la identificación del tipo de cáncer, Flash costó $0.19 por cada 1,000 informes en comparación con $0.49 para Pro. Para la estadificación AJCC, Flash costó $0.27 frente a $1.17 para Pro.

Contribuciones Clave

1. Evaluación Comparativa Independiente: Proporcionó la primera evaluación independiente de la familia de modelos DeepSeek en las tareas de PathRep-Bench, estableciendo líneas bases de rendimiento para la extracción de cáncer, la estadificación y el pronóstico.
2. Análisis de la Relación Costo-Rendimiento: Demostró que el modelo más económico DeepSeek V4 Flash superó o igualó al más costoso V4 Pro en exactitud, ofreciendo simultáneamente una mejor fiabilidad (menos salidas vacías) y un menor costo.
3. Validación de la Arquitectura Híbrida: Mostró que, si bien los LLM sobresalen en la comprensión flexible de la información y el soporte de la estadificación, no mejoran inherentemente el modelado de pronóstico supervisado cuando se añaden variables estructuradas al texto bruto. El texto bruto por sí mismo retuvo la mayor parte de la información pronóstica.
4. Caracterización de Errores: Identificó que los fallos del modelo fueron a menudo clínicamente plausibles (por ejemplo, confusión entre subtipos de cáncer adyacentes o subestimación de la estadificación) en lugar de alucinaciones aleatorias.

Significado y Afirmaciones

El artículo concluye que DeepSeek es efectivo para la extracción de información de patología y proporciona un sólido soporte para la estadificación AJCC, particularmente cuando se utiliza la variante más eficiente en costos, Flash. Sin embargo, la predicción del pronóstico se enmarca mejor como una tarea de modelado de resultados supervisado en lugar de una tarea pura de prompting o extracción de LLM.

Los autores proponen una arquitectura híbrida (ilustrada en la Figura 2 del artículo) donde:

• DeepSeek maneja las tareas de comprensión de lenguaje flexibles: extracción del tipo de cáncer, soporte de la estadificación y la conversión de informes en variables estructuradas.
• Los modelos supervisados basados en texto (por ejemplo, regresión logística sobre características TF-IDF) manejan la predicción del pronóstico, utilizando el texto del informe directamente.

El estudio enfatiza que, bajo el marco evaluado, las variables extraídas por el LLM no añadieron un valor significativo a la predicción del pronóstico más allá de lo que ya estaba capturado en el texto bruto, lo que sugiere que, para la predicción de resultados, el aprendizaje supervisado directo sobre texto no estructurado sigue siendo el enfoque más robusto. Los autores señalan limitaciones que incluyen el uso de un único conjunto de datos públicos, endpoints de pronóstico binarios simplificados y la falta de cohortes de validación externa.