How much of an LLM-generated clinical corpus is actually new? A production-scale measurement of content redundancy for provenance classification

Resumen Técnico: "¿Qué parte de un corpus clínico generado por un LLM es realmente nueva?"

Planteamiento del problema
El aprendizaje automático clínico depende cada vez más de corpora de entrenamiento generados por Modelos de Lenguaje de Gran Escala (LLM) en lugar de ser anotados manualmente por clínicos. Estos corpora sintéticos se describen, comparten y consumen típicamente basándose en su escala reportada (por ejemplo, el recuento total de tokens o el número de elementos extraídos). Sin embargo, esta práctica asume que el volumen equivale al contenido de información. Los autores postulan que los corpora sintéticos generados mediante la aplicación de reglas de extracción consistentes a texto clínico repetitivo pueden albergar una duplicación sustancial, donde el tamaño aparente del corpus excede significativamente la información distinta que contiene. Esta inflación afecta cómo se estiman los costes de entrenamiento y, críticamente, cómo se interpreta la distribución de los datos para su uso clínico. Antes de este trabajo, el contenido de información de la salida de un LLM clínico multitarea no había sido medido frente a su tamaño bruto en una escala de producción.

Metodología
El estudio analiza la salida completa de un pipeline de extracción clínica multiagente aplicado a 167.034 narrativas de pacientes del corpus PMC-Patients. El pipeline utiliza un modelo generador (Llama-3.3-70B) y un modelo verificador (MMed-Llama-3.1-70B) para producir salidas estructuradas a través de once canales de tareas, diez de los cuales contienen texto libre.

La metodología central consiste en la Descomposición de Redundancia basada en la Procedencia (PRD), un sistema de clasificación a nivel de token que categoriza cada token de salida en cinco categorías de procedencia:

1. Texto fuente único: Narrativas de pacientes desduplicadas.
2. Contenido generado único: Texto producido por el modelo que aparece una sola vez.
3. Contenido generado duplicado: Texto producido por el modelo que se repite entre registros.
4. Contexto copiado: Narrativas de origen reproducidas textualmente dentro de los campos de contexto por ítem.
5. Andamiaje (Scaffold): Metadatos estructurales (identificadores, desplazamientos, valores enumerados).

Para validar estos hallazgos independientemente de las etiquetas de procedencia, los autores aplicaron compresión sin pérdida (usando gzip, bzip2, LZMA y PPMD) a cuatro flujos de tokens distintos: el corpus completo, el subconjunto único entrenable, el flujo de contexto copiado y el flujo de generación duplicada.

Finalmente, los autores realizaron un experimento controlado de downstream para medir el impacto de la redundancia en el rendimiento del modelo. Adaptaron un codificador clínico (BioClinical ModernBERT) en tres versiones del corpus (crudo, desduplicado y con el contexto eliminado) bajo un presupuesto de tokens idéntico. Los codificadores adaptados fueron evaluados en tres benchmarks externos de reconocimiento de enfermedades anotados por humanos (NCBI-Disease y BC5CDR-Disease) utilizando una sonda lineal.

Contribuciones clave

1. Medición a escala de producción: El artículo proporciona la primera medición de la brecha entre el contenido de información aparente y el real en un corpus clínico de LLM multitarea, estableciendo que los recuentos de tokens brutos pueden sobreestimar el contenido aproximadamente nueve veces.
2. Identificación de mecanismos: Identifica y cuantifica por separado dos mecanismos de redundancia estructuralmente distintos:
   • Redundancia de copia de contexto: Copia verbatim de las narrativas de origen en los campos por ítem (eliminable sin pérdida).
   • Redundancia de duplicación de generación: Repetición de texto generado entre registros debido a regularidades del modelo (requiere desduplicación de contenido).
3. Estándares de reporte y herramientas: Los autores proponen un estándar de reporte compacto para corpora clínicos sintéticos, introduciendo la Relación de Único Entrenable (TUR) y la Relación de Copia de Contexto (CCR). También lanzan una herramienta de código abierto que implementa la PRD para calcular estas métricas para cualquier pipeline de extracción multitarea.

Resultados

• Magnitud de la redundancia: De los 2.51 mil millones de tokens generados, solo el 10.9% (272.6 millones de tokens) constituye contenido único entrenable. El 79.4% es redundante y el 9.7% es andamiaje. El contenido redundante por sí solo es 19.1 veces el tamaño del texto fuente único.
• Distribución de mecanismos:
  • La redundancia de copia de contexto domina en los canales de Pregunta-Respuesta-con-Razonamiento (QAR) y Extracción de Relaciones (RE), representando el 81.0% y el 80.0% de sus tokens, respectivamente.
  • La redundancia de duplicación de generación domina en los canales de Risk-QA, Recomendaciones y Riesgos.
  • El canal de Resumen (Summary) sirve como un control interno, mostrando casi ninguna redundancia (0% de contexto copiado, 0.0005% de duplicación), lo que demuestra que la redundancia es una función del diseño del canal y no una propiedad inherente de la extracción de LLM.
• Estructura de costes:
  • Almacenamiento: La copia de contexto representa aproximadamente el 7.5 % de los ~10 GB de la huella de texto. Reserializar para referenciar las narrativas una sola vez por paciente podría reducir esto a ~2.5 GB sin pérdida de información.
  • Cómputo: El 64% del cómputo de generación de texto libre (298.3 millones de tokens) se gastó en reemitir cadenas que el modelo ya había producido. Este coste es irrecuperable.
  • Procesamiento: Entrenar en el corpus crudo impone un multiplicador de procesamiento de 9.2× en comparación con el subconjunto único.
• Impacto en downstream: Con un presupuesto de tokens igual, un codificador entrenado en el corpus desduplicado superó al codificador entrenado en el corpus crudo en ambos benchmarks externos (por ejemplo, +0.029 F1 en NCBI-Disease). La mejora fue consistente en todas las profundidades de adaptación y se replicó en BC5CDR-Disease.
  • La ablación de "contexto eliminado" (eliminar solo el contexto copiado) recuperó la mayor parte del beneficio, indicando que el componente eliminable sin pérdida impulsa la mayor parte del impacto en downstream.
  • Contrario a la hipótesis de que la redundancia perjudica desproporcionadamente el reconocimiento de enfermedades raras, no se observó ningún beneficio específico para enfermedades raras fiable; las ganancias fueron consistentes en general y se concentraron en enfermedades comunes.

Significancia y afirmaciones
El artículo argumenta que el volumen de los corpora clínicos sintéticos es un mal indicador del contenido de información. Los hallazgos tienen implicaciones directas en la reproducibilidad y la equidad de la IA clínica:

• Integridad del reporte: Describir un corpus por su recuento de tokens brutos (por ejemplo, "2.51 mil millones de tokens") tergiversa su riqueza informativa. Los autores recomiendan reportar el tamaño del contenido único junto con el tamaño bruto.
• Eficiencia del entrenamiento: La redundancia no corregida pondera excesivamente las presentaciones más largas y complejas, sesgando la distribución de tokens de entrenamiento. Desduplicar antes del entrenamiento es un paso de bajo coste y alto impacto que mejora el rendimiento del modelo sin requerir datos adicionales.
• Control de calidad: Debido a que la redundancia es invisible a nivel de registro (cada registro está bien formado) pero emerge solo de forma agregada, la clasificación de la procedencia debería convertirse en un paso rutinario de control de calidad para los datos sintéticos.
• Implicaciones de diseño: La variación de la redundancia entre canales (por ejemplo, Resumen vs. QAR) demuestra que la redundancia no es una propiedad inevitable de la extracción de LLM, sino una consecuencia del diseño del pipeline, específicamente de si un canal emite muchos elementos con carga de contexto por paciente.

Los autores concluyen que los corpora clínicos sintéticos siguen siendo una necesidad práctica para los datos a esta escala, pero su contenido de información debe medirse y describirse honestamente para asegurar un uso justo y efectivo en el aprendizaje automático clínico.