Resumen Técnico: TEDDY – Un Modelo de Fundación Pediátrico para la Advertencia de Riesgos

Planteamiento del Problema

Los registros de salud electrónicos (EHR, por sus siglas en inglés) pediátricos capturan trayectorias clínicas estructuradas por el desarrollo que difieren fundamentalmente de los datos de adultos en cuanto a anatomía, fisiología y presentación de enfermedades. Sin embargo, las herramientas de predicción clínica y los modelos de IA/ML existentes están predominantemente entrenados en poblaciones adultas, lo que conduce a predicciones poco fiables para los niños. Esta brecha es particularmente aguda para condiciones raras y del desarrollo (p. ej., trastornos congénitos, trastorno del espectro autista) donde los registros de adultos no ofrecen antecedentes relevantes.

Los modelos fundacionales generativos actuales para EHR (p. ej., Delphi, ReClaim, Curiosity) son entrenados en cohortes de adultos o de edades mixtas y a menudo sufren de dos fallos metodológicos cuando se aplican a datos pediátricos:

1. Fuga dentro del encuentro (within-encounter leakage): Los modelos pueden predecir inadvertidamente un diagnóstico utilizando otros códigos de la misma jornada de visita, inflando la precisión porque los sistemas de EHR registran los diagnósticos por día calendario sin un orden interno.
2. Confusión demográfica: Los modelos pueden lograr un alto rendimiento aprendiendo correlaciones demográficas (p. ej., enfermedades específicas de sexo) en lugar de señales clínicas genuinas.

Además, los datos pediátricos son escasos, fragmentados y a menudo carecen de los conjuntos de datos a escala poblacional requeridos para entrenar modelos de miles de millones de parámetros. Existe una necesidad crítica de un modelo generativo diseñado específicamente para niños que pueda anticipar diagnósticos incidentes y la temporalidad de las visitas sin depender de escalas de datos masivas o de antecedentes derivados de adultos.

Metodología

Datos y Cohorte

El modelo, TEDDY (Temporal Event Decoder for Disease in Youth), fue entrenado con datos de Texas Children's Hospital (TCH).

• Cohorte: 1.6 millones de pacientes pediátricos (edad ≤25 años).
• Volumen de Datos: Aproximadamente 73 millones de eventos de diagnóstico ICD-10.
• Vocabulario: Un vocabulario cerrado de 1,849 tokens, que incluye 1,841 códigos derivados de ICD-10 (truncados a capítulo/subcategoría) y 8 tokens especiales (p. ej., VISIT_START, VISIT_END, NO_EVENT, BIRTH, SEX_*).
• Preprocesamiento:
  • Relleno de brechas (Gap-filling): Se insertan tokens NO_EVENT entre eventos reales basándose en el programa de visitas de control de la Academia Americana de Pediatría (AAP) para definir intervalos de tiempo durante los periodos sin atención.
  • Encapsulamiento de visitas (Visit Bracketing): Todos los códigos del mismo día calendario se agrupan entre los tokens VISIT_START y VISIT_END.
  • Desidentificación: Los datos temporales se almacenan únicamente como edad en días desde el nacimiento; no se retienen fechas de calendario ni información de salud protegida (PHI).
  • Exclusiones: Se excluyeron las díadas madre-infante del preentrenamiento para permitir futuros experimentos de transferencia intergeneracional.

Arquitectura del Modelo

TEDDY es un decodificador de transformador (decoder-only transformer) con 1.84 millones de parámetros (8 capas, 8 cabezales de atención, dimensión de incrustación 128).

• Entradas: Secuencias de pares (token, edad). La edad se codifica mediante características sinusoidales mapeadas a años, sumadas a las incrustaciones de tokens aprendidas. No se utilizan incrustaciones posicionales aprendidas; el orden temporal se deriva del canal de edad y las máscaras de atención causal.
• Objetivo de Entrenamiento: Un objetivo conjunto de siguiente token y tiempo hasta el evento:
  1. Entropía Cruzada Categórica ($L_{CE}$): Predice el siguiente token (código de diagnóstico, NO_EVENT o delimitador de visita) sobre el vocabulario de 1,849 tokens.
  2. Pérdida de Tiempo hasta el Evento ($L_{\Delta t}$): Predice la tasa ($\lambda_t$) de una distribución exponencial para el tiempo hasta el siguiente límite de visita. Los objetivos NO_EVENT se tratan como observaciones censuradas por la derecha.
• Función de Pérdida: $L = L_{CE} + L_{\Delta t}$.

Protocolo de Evaluación

La evaluación se diseñó para eliminar fuentes comunes de rendimiento inflado:

1. Puntuación de Límite de Visita (Visit-Boundary Scoring): Las predicciones se realizan en el token VISIT_START, antes de que se revelen los códigos de ese día específico. Esto evita la fuga dentro del encuentro.
2. Solo Primera Aparición: Los modelos se evalúan solo en la primera aparición de un diagnóstico en el registro de un niño, centrándose en anticipar condiciones nuevas en lugar de repredicción de condiciones ya conocidas.
3. Emparejamiento Demográfico: Para cada condición, los casos se emparejan con controles del mismo sexo y bandas de edad similares (usando una estrategia de emparejamiento de lo fino a lo grueso) para asegurar que el rendimiento refleje una señal clínica y no una estratificación demográfica.
4. Benchmarks: TEDDY se comparó contra:
   • Baselines de los mismos datos: DenseNet, CNN, RNN, LSTM (todos del mismo tamaño).
   • Un modelo de lenguaje de propósito general: Gemma-3-4b (4 mil millones de parámetros, ~2000x más grande), con prompts aplicados a las mismas historias de pacientes.

Resultados Clave

Predicción de Riesgo Diagnóstico

A través de 797 tareas de predicción de inicio de enfermedad en 16 capítulos de ICD-10:

• Rendimiento General: TEDDY alcanzó un AUC mediano de 72.0%.
• Comparación: Superó a los baselines de los mismos datos (DenseNet: 50.0%, CNN: 57.2%, RNN: 60.1%, LSTM: 62.7%) en el 96–99% de las tareas.
• Enfermedad Rara: El rendimiento fue más fuerte para condiciones raras. De las 225 condiciones más raras (prevalencia < 5 por 10,000), el 90% (202 condiciones) tuvo intervalos de confianza del 95% completamente por encima del azar.
• Demografía: El rendimiento se mantuvo constante a través de los estratos de sexo y edad, indicando que la señal no es impulsada por la separabilidad demográfica.
• Benchmarks Específicos:
  • Asma (J45): AUC de TEDDY = 79.3% vs. Gemma-3-4b (62.7%) y LSTM (60.0%).
  • TDAH (F90): AUC de TEDDY = 84.7% vs. Gemma-3-4b (51.2%) y LSTM (71.7%).
  • Nota: Gemma-3-4b, a pesar de ser 2000x más grande, se desempeñó cerca del azar para el TDAH y significativamente peor que TEDDY para ambas condiciones.

Advertencia Temporal

La capacidad del modelo para anticipar diagnósticos fue evaluada en varios tiempos de adelanto (lead times):

• Persistencia de la Señal: La señal predictiva se mantuvo detectable más de dos años antes del primer diagnóstico registrado.
  • AUC mediano con un adelanto de >2 años: 59.7% (análisis sin restricciones) y 64.4% (análisis de sensibilidad de cohorte fija).
  • AUC mediano en el mismo día: 71.8%.
  • Esto sugiere que el modelo captura estructuras de trayectoria de largo horizonte en lugar de solo correlaciones a corto plazo.

Predicción de la Temporalidad de la Visita

TEDDY estima el tiempo hasta la siguiente visita utilizando una métrica de tiempo de supervivencia media restringida (RMST):

• Precisión: Error absoluto medio de 3.0 días sobre un horizonte de 365 días.
• Calibración: El modelo captura las tasas de visita específicas del niño (Pearson $r=0.54$ para tiempos log-transformados), pero exhibe un desvío en la cola larga, sobreestimando la probabilidad de no retorno de visita en un año (predicho 0.399 vs. observado 0.296). Esto se atribuye a la simplicidad de la cabeza de tasa exponencial única.

Significado y Reivindicaciones

El artículo afirma que TEDDY establece las historias diagnósticas pediátricas como un sustrato viable para modelos generativos compactos capaces de una amplia previsión de riesgos para enfermedades raras y de largo horizonte.

Las contribuciones y reivindicaciones clave son:

1. Modelo de Fundación Específico para Pediatría: TEDDY es el primer modelo fundacional de EHR generativo construido específicamente para niños, abordando la "brecha poblacional" donde los modelos de adultos fallan al generalizar a la fisiología y presentación de enfermedades pediátricas.
2. Eficiencia de Datos: El modelo demuestra que una representación fiel de las trayectorias clínicas (mediante el encapsulamiento de visitas y la codificación de la edad) puede generar predicciones clínicamente significativas incluso con pocos datos (1.6M de pacientes) y modelos compactos (1.84M de parámetros), desafiando el paradigma de que el rendimiento de los EHR requiere modelos de miles de millones de parámetros y datos a escala poblacional.
3. Evaluación Rigurosa: Al implementar salvaguardas estrictas contra la fuga dentro del encuentro y la confusión demográfica, el artículo argumenta que el rendimiento reportado refleja una estructura predictiva genuina en lugar de artefactos.
4. Utilidad Clínica: La capacidad de detectar señales con años de antelación, particularmente para condiciones raras donde las odiseas diagnósticas son comunes, sugiere la posibilidad de una intervención y derivación más tempranas en la atención pediátrica de rutina.

Los autores concluyen que, si bien este modelo es un primer paso, el trabajo futuro debería expandir las entradas para incluir mediciones y medicamentos, generalizarse a través de instituciones y explorar trayectorias intergeneracionales (madre-hijo). Expresan explícitamente las limitaciones respecto a los datos de una sola institución y la exclusión de datos estructurados no diagnósticos (laboratorios, signos vitales).