Determinants of Training Corpus Size for Clinical Text Classification

Resumen Técnico: Determinantes del Tamaño del Corpus de Entrenamiento para la Clasificación de Texto Clínico

Planteamiento del Problema
La clasificación de textos clínicos mediante Procesamiento de Lenguaje Natural (PLN) requiere datos de entrenamiento adecuados para garantizar un rendimiento óptimo. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen capacidades de cero disparos (zero-shot), el ajuste fino (fine-tuning) sigue siendo necesario para casos especialistas o cuando se prioriza una precisión superior. En la práctica, los estudios de investigación clínica suelen anotar entre 200 y 500 documentos debido a restricciones de tiempo y costo. Sin embargo, este tamaño de muestra se elige frecuentemente sin una justificación rigurosa respecto a la relación entre el tamaño del corpus, las propiedades del vocabulario del texto y el rendimiento del modelo. Existe una falta de directrices sobre el tamaño de muestra mínimo requerido para construir modelos de aprendizaje automático generalizables en el dominio de la salud, particularmente dada la escasez de conjuntos de datos anotados por clínicos que estén disponibles públicamente.

Metodología
El estudio utilizó el conjunto de datos MIMIC-III, disponible públicamente, que comprende más de 1.2 millones de notas clínicas desidentificadas (por ejemplo, resúmenes de alta) de más de 50,000 admisiones hospitalarias. Los autores seleccionaron 10 códigos de diagnóstico ICD-9 elegidos al azar para representar diversas tareas de clasificación binaria.

El flujo de trabajo experimental consistió en los siguientes pasos:

1. Preparación de Datos: Para cada diagnóstico, se extrajeron las notas de alta hospitalaria. Las etiquetas se derivaron directamente de los códigos ICD-9 para evitar el proceso laborioso de la anotación manual.
2. Extracción de Características: Se utilizaron embeddings de BERT pre-entrenados para generar representaciones vectoriales de nivel de agrupación (pooled-level) para todos los documentos. Este enfoque aprovecha el aprendizaje por transferencia para capturar las relaciones contextuales inherentes en las narrativas clínicas, distinguiendo significados matizados que los métodos tradicionales de bolsa de palabras o TF-IDF podrían pasar por alto.
3. Clasificación: Se entrenó un clasificador de Bosque Aleatorio (Random Forest) utilizando los embeddings de BERT. Los autores probaron diversas arquitecturas, incluyendo el ajuste fino directo de BERT y enfoques de cero disparos (Chat-GPT 3.5, Llama2, DistilBERT), pero encontraron que el flujo de trabajo de embedding de BERT más Random Forest era superior para esta tarea específica.
4. Manipulación de Variables: Los tamaños del corpus de entrenamiento ($N$) variaron de 100 a 10,000 documentos. Para cada tamaño, se entrenaron modelos 10 veces en subconjuntos estratificados aleatorios y se validaron en un gran conjunto de datos de reserva de 5,000 documentos para reportar las métricas de rendimiento promedio.
5. Análisis de Vocabulario: Para investigar la relación entre las propiedades del texto y las curvas de aprendizaje, los autores emplearon la regresión logística Lasso sobre los embeddings de bolsa de palabras. Las palabras se categorizaron como "predictores fuertes" (coeficiente absoluto > 0.1) o "predictores ruidosos" (por debajo del umbral). También se utilizaron valores SHAP (SHapley Additive exPlanations) para cuantificar las contribuciones de las características.

Resultos Clave

• Tamaño de Muestra Óptimo: Las curvas de aprendizaje variaron significativamente entre las 10 tareas a pesar de tener un preprocesamiento idéntico. Sin embargo, el estudio encontró que 600 documentos fueron suficientes para alcanzar el 95% del rendimiento alcanzable con 10,000 documentos en todas las tareas.
• Impacto del Vocabulario: Hubo una clara correlación entre la calidad del vocabulario y la pendiente de la curva de aprendizaje.
  • Predictores Fuertes: Un incremento de 100 palabras predictoras fuertes correspondió a un aumento aproximado de 0.04 en la precisión máxima.
  • Predictores Ruidosos: Un incremento de 100 palabras ruidosas correspondió a una disminución aproximada de 0.02 en la precisión en el tamaño de corpus de entrenamiento más grande.
• Estabilidad de las Características: El análisis SHAP en la tarea de clasificación de diabetes demostró que los modelos entrenados con 1,000 muestras identificaron con éxito términos diagnósticos centrales (por ejemplo, 'diabetes', 'metformina') con clasificaciones similares a los modelos entrenados con 12,000 muestras. Los datos adicionales sirvieron principalmente para filtrar características no discriminativas en lugar de capturar nuevos conceptos clínicos.

Significancia y Contribuciones
El artículo proporciona evidencia empírica de que 600 anotaciones de oro representan un umbral práctico para lograr un rendimiento cercano al óptimo en la clasificación de texto clínico cuando se utilizan embeddings de LLM pre-entrenados combinados con clasificadores basados en árboles.

Los autores sostienen que comprender la relación entre las propiedades del vocabulario (específicamente la proporción de predictores fuertes frente a ruidosos) y las formas de las curvas de aprendizaje puede guiar las decisiones sobre el tamaño de muestra óptimo. Esto sugiere que:

1. El Análisis de Palabras Clave como Predictor: Un análisis preliminar de las palabras clave en una pequeña muestra anotada puede predecir el rendimiento del modelo y la pendiente de la curva de aprendizaje.
2. Calidad de Datos sobre Cantidad: Las técnicas de limpieza de datos enfocadas en la relevancia de los documentos y el aislamiento de las partes relevantes pueden ser más valiosas que simplemente aumentar el tamaño del corpus de entrenamiento.
3. Eficiencia de Recursos: Los investigadores pueden potencialmente ahorrar recursos computacionales y tiempo al apuntar al umbral de los 600 documentos, siempre que el vocabulario sea suficientemente discriminativo.

El estudio reconoce limitaciones, incluyendo el posible sesgo de la selección aleatoria de los códigos ICD (que pueden incluir comorbilidades) y el enfoque en la clasificación binaria. Los autores sugieren que trabajos futuros exploren los LLM como asistentes de anotación para generar etiquetas iniciales para la revisión humana, reduciendo aún más el tiempo de anotación manteniendo la calidad.