PaReGTA: An LLM-based EHR Data Encoding Approach to Capture Temporal Information

El artículo presenta PaReGTA, un marco de codificación basado en modelos de lenguaje grande que transforma registros electrónicos de salud longitudinales en representaciones de pacientes fijas mediante plantillas textuales y agrupamiento temporal híbrido, logrando un rendimiento superior en la clasificación de migrañas en comparación con métodos dispersos y secuenciales, especialmente en cohortes con datos limitados.

Lo esencial

¡Hola! Imagina que los registros médicos electrónicos (EHR) son como una biblioteca gigante y desordenada de la vida de un paciente. Cada visita al médico, cada receta y cada resultado de análisis es un libro nuevo que se añade a la estantería.

El problema es que, tradicionalmente, los ordenadores intentaban leer esta biblioteca de una forma muy torpe: simplemente contaban cuántos libros había de cada tipo (por ejemplo, "5 libros de dolor de cabeza", "3 libros de depresión") y olvidaban cuándo se escribieron o en qué orden. Era como intentar entender la historia de una persona solo mirando el índice de su biblioteca, sin leer las páginas. Se perdía la secuencia, el tiempo y la evolución de la enfermedad.

Aquí es donde entra PaReGTA, la nueva herramienta que proponen los autores. Vamos a desglosarla con analogías sencillas:

1. El Problema: La "Fotografía" vs. La "Película"

Los métodos antiguos tomaban una "foto estática" de la salud del paciente. Si un paciente tuvo un dolor de cabeza en enero y otro en diciembre, el ordenador veía dos dolores de cabeza, pero no sabía que hubo 11 meses de silencio entre ellos.

Los modelos de inteligencia artificial muy complejos (como los que intentan leer la película entera de una vez) son como gigantes hambrientos: necesitan montañas de datos perfectos y ordenados para funcionar, y a menudo fallan si los datos son escasos o desordenados, que es lo que pasa en la vida real.

2. La Solución: PaReGTA (El Traductor Inteligente)

PaReGTA es como un traductor y editor de cine muy inteligente que convierte esos datos médicos aburridos en una historia narrativa que un ordenador moderno puede entender fácilmente.

Funciona en tres pasos mágicos:

• Paso 1: Convertir datos en historias (Textualización).
  En lugar de ver "Código 123: Ibuprofeno", PaReGTA le dice al ordenador: "El paciente visitó al médico el 1 de julio y le recetaron Ibuprofeno". Además, añade pistas temporales, como "Esto ocurrió 60 días después de la última visita". Convierte la tabla de Excel en una novela corta por visita.
• Paso 2: Entrenar al "Ojo Experto" (Ajuste fino).
  Usan un modelo de lenguaje (LLM) que ya sabe mucho sobre el mundo (como un profesor que ha leído millones de libros). Pero este profesor no conoce bien el lenguaje médico específico de los migrañosos. Así que le dan un "curso intensivo" rápido y barato (llamado SimCSE) usando solo los datos de los pacientes de este estudio. Ahora el profesor entiende perfectamente qué significa "lasmiditan" o "depresión" en este contexto.
• Paso 3: El Director de Cine (Agrupación Temporal).
  Aquí está la parte más genial. El ordenador tiene que decidir qué partes de la historia son más importantes.
  • Recencia: ¿Qué pasó hace una semana? (Probablemente sea muy importante).
  • Importancia Global: ¿Hubo una visita hace dos años que cambió todo el curso de la enfermedad? (También es importante).
    PaReGTA combina estas dos cosas. No solo mira lo más reciente, sino que busca los "momentos clave" de la película, creando un resumen final de la salud del paciente que es perfecto para predecir su futuro.

3. El Superpoder: "¿Por qué?" (PaReGTA-RSS)

En medicina, no basta con que el ordenador acierte; hay que saber por qué acertó. ¿Por qué pensó que este paciente tiene migraña crónica? ¿Fue por la medicación? ¿Por la depresión?

Los métodos antiguos con IA son como una "caja negra": te dan la respuesta pero no puedes ver el interior.
PaReGTA introduce una herramienta llamada RSS (Puntuación de Desplazamiento de Representación).

• La analogía: Imagina que tienes un pastel (la predicción del paciente). La herramienta RSS es como si quitaras un ingrediente clave (por ejemplo, el chocolate) y volvieras a hornear el pastel.
• Si el pastel cambia mucho de sabor al quitar el chocolate, significa que el chocolate era crucial.
• Si el pastel casi no cambia, el chocolate no era tan importante.
  PaReGTA hace esto virtualmente: quita un medicamento o una enfermedad de la historia del paciente, vuelve a calcular la predicción y mide cuánto cambió el resultado. Así, los médicos pueden ver exactamente qué factores están empujando la decisión.

4. Los Resultados: ¿Funciona?

Probaron esto con casi 40,000 pacientes de un programa de investigación gigante llamado "All of Us".

• El resultado: PaReGTA fue mucho mejor que los métodos antiguos (que solo contaban cosas) para distinguir entre migraña crónica y episódica.
• La ventaja: Funcionó incluso con datos desordenados y sin necesidad de tener millones de pacientes perfectos. Además, logró predecir bien usando los nombres reales de los medicamentos (como "Ibuprofeno 325mg") sin necesidad de que alguien los clasificara manualmente en categorías aburridas.

En resumen

PaReGTA es como darles a los ordenadores una lupa temporal y un libro de cuentos en lugar de una simple lista de compras. Les permite entender la historia completa de un paciente, recordar qué pasó hace tiempo y qué pasó ayer, y explicar claramente qué factores médicos son los protagonistas de esa historia. Es una forma más humana, inteligente y práctica de usar la inteligencia artificial para cuidar de nuestra salud.

Resumen técnico

Resumen Técnico: PaReGTA

1. Planteamiento del Problema

Los registros electrónicos de salud (EHR) contienen información longitudinal valiosa (diagnósticos, recetas, comorbilidades) a lo largo del tiempo. Sin embargo, las representaciones actuales presentan limitaciones críticas:

• Pérdida de información temporal: Los métodos tradicionales (codificación one-hot o vectores de conteo) agregan datos en ventanas fijas, perdiendo la secuencia, el orden y la dinámica temporal de las visitas clínicas.
• Costo de los modelos secuenciales: Los modelos de secuencia profunda (RNN, Transformers) pueden capturar el tiempo, pero son costosos computacionalmente, requieren grandes volúmenes de datos y son sensibles a la heterogeneidad y escasez de datos reales.
• Dificultad de estandarización: La normalización de medicamentos y conceptos clínicos heterogéneos (nombres de productos vs. clases de fármacos) es un obstáculo práctico que limita el uso de taxonomías rígidas.
• Falta de interpretabilidad: Los métodos basados en LLMs (Modelos de Lenguaje Grande) suelen ser "cajas negras", haciendo difícil explicar qué factores clínicos impulsan las predicciones, algo esencial para la adopción clínica.

2. Metodología: PaReGTA

El authors proponen PaReGTA (Patient Representation Generation with Temporal Aggregation), un marco de codificación basado en LLM que transforma datos estructurados de EHR en representaciones de pacientes densas y ricas en contexto temporal. El enfoque consta de tres etapas principales:

A. Textualización a Nivel de Visita (Visit-level Textualization)

• En lugar de tratar al paciente como un solo documento, los datos se dividen en visitas clínicas.
• Cada visita se convierte en oraciones plantillas (templates) que incluyen factores clínicos (medicamentos, comorbilidades) y cues temporales explícitos.
• Manejo de Medicamentos: A diferencia de los métodos que requieren mapeo a clases de fármacos, PaReGTA utiliza los nombres de productos exactos tal como aparecen en el EHR. Esto aprovecha el conocimiento semántico preentrenado del LLM para entender relaciones entre medicamentos sin necesidad de ontologías costosas.

B. Adaptación de Dominio mediante Aprendizaje Contrastivo (SimCSE)

• Se utiliza un modelo base de incrustación de oraciones (GTE-base-v1.5).
• Se realiza un ajuste fino (fine-tuning) ligero utilizando SimCSE (Simple Contrastive Learning of Sentence Embeddings) no supervisado.
• El modelo aprende a generar incrustaciones estables para textos de visitas similares dentro del contexto específico de la cohorte (migraña), sin necesidad de pares de oraciones etiquetados manualmente.

C. Agrupación Temporal Híbrida (Hybrid Temporal Pooling)

• Para obtener una representación única del paciente, se agregan las incrustaciones de las visitas individuales mediante un esquema de agrupación híbrido que combina:
  1. Decaimiento temporal: Da más peso a las visitas recientes (asumiendo que son más relevantes para el riesgo actual).
  2. Atención basada en contexto: Identifica visitas que son globalmente informativas para la predicción, independientemente de su antigüedad.
• Esto produce un vector de paciente de dimensión fija compatible con clasificadores de aprendizaje automático convencionales.

D. Interpretabilidad: PaReGTA-RSS

• Se introduce PaReGTA-RSS (Representation Shift Score), un método para cuantificar la importancia de los factores clínicos.
• Mecanismo: Se elimina un factor específico (ej. un medicamento) de los textos de visita, se vuelve a generar la incrustación del paciente y se mide el cambio en la puntuación de decisión del modelo (logit).
• Esto permite atribuciones a nivel de paciente y de cohorte, superando las limitaciones de métodos como SHAP en pipelines complejos de LLM.

3. Contribuciones Clave

1. Pipeline de Codificación Temporal: Un marco end-to-end que preserva la jerarquía paciente-visita-evento y los cues temporales, superando a las representaciones esparsas tradicionales.
2. Ablación de Tokenización Temporal: Evaluación sistemática de diferentes formas de codificar el tiempo (fechas absolutas, intervalos entre visitas, meses, etc.), demostrando que los intervalos relativos (Gap) son más efectivos que las fechas absolutas.
3. Robustez ante Heterogeneidad: Capacidad de codificar directamente nombres de medicamentos de nivel de producto sin mapeo previo, reduciendo la dependencia de normalización manual.
4. Método de Importancia de Factores (RSS): Una técnica novedosa para explicar modelos basados en LLMs en salud, cuantificando cómo la ausencia de un factor afecta la representación del paciente.
5. Validación en Escala Real: Pruebas en el dataset All of Us (AoU) con más de 39,000 pacientes, demostrando robustez ante la heterogeneidad de datos del mundo real.

4. Resultados

• Rendimiento Predictivo: En la tarea de clasificación de migraña (crónica vs. episódica), PaReGTA superó significativamente a las líneas base tradicionales (one-hot y Bag-of-Codes).
  • Precisión (Accuracy): ~92.3% (PaReGTA con Gap) vs. ~84% (One-hot).
  • AUC: ~0.95 (PaReGTA) vs. ~0.76 (One-hot).
• Estabilidad: Los modelos secuenciales profundos (como RETAIN y T-LSTM) fallaron en converger o fueron inestables en esta cohorte, mientras que PaReGTA, al usar clasificadores convencionales sobre incrustaciones, fue robusto.
• Análisis de Factores (RSS):
  • Identificó correctamente fármacos clave para migraña crónica (toxina botulínica, terapias anti-CGRP) y comorbilidades relevantes (hipertensión, trastornos del sueño).
  • Reveló heterogeneidad por sexo: En mujeres, los trastornos temporomandibulares y la fibromialgia fueron más importantes; en hombres, la depresión y el TEPT mostraron mayor relevancia predictiva.
• Importancia Temporal: El análisis mostró que la historia clínica reciente (especialmente los últimos 180-365 días) es crucial para predecir migraña crónica, validando la necesidad de codificaciones temporales.

5. Significado e Impacto

• Viabilidad Clínica: PaReGTA ofrece un equilibrio práctico entre el alto rendimiento de los modelos profundos y la eficiencia de los modelos tradicionales, siendo aplicable incluso en cohortes con datos limitados o heterogéneos.
• Interpretabilidad: Al proporcionar una métrica de importancia de factores (RSS) diseñada específicamente para pipelines de LLM, el trabajo aborda una barrera crítica para la adopción clínica de IA: la capacidad de explicar por qué se tomó una decisión.
• Flexibilidad: El marco es agnóstico al modelo base de incrustación, lo que permite que PaReGTA se beneficie de futuras mejoras en modelos de lenguaje sin necesidad de reentrenar desde cero.
• Manejo de Datos Reales: Demuestra que es posible modelar EHRs sin depender estrictamente de la estandarización perfecta de los datos (como el mapeo de medicamentos), aprovechando la semántica inherente de los LLMs.

En conclusión, PaReGTA representa un avance significativo en la representación de datos de salud longitudinales, demostrando que la combinación de incrustaciones de lenguaje, adaptación de dominio ligera y agrupación temporal inteligente puede superar a los métodos tradicionales y a los modelos secuenciales complejos en tareas de predicción clínica real.