EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records

El artículo presenta EveryQuery, un modelo fundacional de registros de salud electrónicos que logra predicciones clínicas en cero disparos mediante preentrenamiento condicionado a tareas, superando a los baselines autoregresivos en la mayoría de las tareas al estimar directamente la probabilidad de un resultado en una sola pasada sin necesidad de generación de trayectorias ni ajuste fino.

Lo esencial

Imagina que tienes un médico experto que ha leído millones de historias clínicas. Ahora, quieres hacerle una pregunta específica: "¿Es probable que este paciente tenga un ataque al corazón en los próximos 30 días?"

Hasta ahora, la forma en que funcionaban los "supermédicos" de inteligencia artificial (llamados modelos de base) era como si el médico tuviera que soñar despierto para responderte.

El Problema: El Método de los "Sueños" (Modelos Anteriores)

Los modelos antiguos (autoregresivos) funcionaban así:

1. Le daban al médico la historia del paciente.
2. El médico intentaba imaginar 20 futuros diferentes (como si soñara 20 veces distintas sobre lo que le podría pasar al paciente).
3. Luego, contaba: "En 1 de esos 20 sueños, el paciente tuvo un ataque al corazón".
4. Te decía: "Bueno, hay un 5% de probabilidad".

¿Por qué es malo esto?

• Es lento: Imaginar 20 futuros toma mucho tiempo y energía de computadora.
• Es ruidoso: Si el evento es muy raro (como ganar la lotería), es probable que en esos 20 sueños el médico simplemente no lo imagine nunca. Entonces, te diría "0% de probabilidad" aunque el riesgo exista. Es como intentar adivinar si ganará la lotería tirando una moneda 20 veces; es muy probable que nunca salga "ganador" por pura suerte.
• No es flexible: No puedes preguntarle directamente "¿Qué pasa si...?". Tienes que obligarlo a soñar y luego interpretar sus sueños.

---

La Solución: EveryQuery (El "Médico Directo")

Los autores de este paper crearon EveryQuery, un nuevo tipo de médico que no necesita soñar.

La analogía del "Menú de Pedidos":
Imagina que EveryQuery es un camarero experto en un restaurante gigante (las historias clínicas).

• El Cliente (Tú): Le das una orden específica: "Quiero saber la probabilidad de que el paciente X tenga un ataque al corazón en 30 días".
• El Camarero (EveryQuery): En lugar de cocinar 20 platos diferentes para ver cuál sale mejor, mira directamente la historia del paciente y la orden, y te da la respuesta exacta de un solo golpe.

¿Cómo lo hace?
Entrenaron al modelo de una manera diferente:

1. En lugar de enseñarle a "predecir el siguiente evento" (como un juego de completar frases), le enseñaron a responder preguntas.
2. Le mostraron millones de ejemplos donde le decían: "Aquí está la historia del paciente, y aquí está la pregunta (el código de la enfermedad y el tiempo). ¿Cuál es la respuesta?".
3. Aprendió a conectar directamente la pregunta con la respuesta.

Los Superpoderes de EveryQuery

1. Velocidad Relámpago:

   • El método viejo tardaba 6 segundos por paciente (porque soñaba 20 veces).
   • EveryQuery tarda 20 milisegundos. ¡Es como comparar un tren de carga con un cohete! Es 3,000 veces más rápido.

2. Experto en Eventos Raros:

   • Si un evento es muy raro (como un efecto secundario de un medicamento que solo le pasa a 1 de cada 1,000 personas), el método viejo suele fallar porque en sus "20 sueños" nunca lo ve.
   • EveryQuery, al leer directamente la pregunta, no necesita soñar. Busca las señales en la historia del paciente que indican ese riesgo, sin importar cuán raro sea. Funciona igual de bien para enfermedades comunes y raras.

3. Pregunta Directa (Promptability):

   • Puedes hacerle cualquier pregunta estructurada: "¿Tendrá diabetes en 6 meses?", "¿Necesitará insulina en 2 semanas?".
   • El modelo entiende la pregunta y ajusta su atención a lo que es relevante para esa pregunta específica. Es como si el médico cambiara sus gafas de lectura dependiendo de lo que le preguntes.

La Única Limitación: El "Idioma" de las Preguntas

El sistema tiene una pequeña debilidad: su "idioma" es un poco rígido.

• Lo que puede hacer: "¿Tendrá el código de enfermedad X?" (Una sola cosa específica).
• Lo que le cuesta: "¿Tendrá cualquier tipo de enfermedad cardíaca?" (Esto requiere combinar muchas enfermedades diferentes).

La analogía:
Si le preguntas "¿Tiene manzanas?", responde rápido.
Si le preguntas "¿Tiene manzanas, peras, uvas o naranjas?", tiene que preguntarse por cada fruta por separado y luego sumar los resultados, lo cual es menos eficiente y puede perder información. Los autores admiten que necesitan enseñarle un "idioma" más complejo para manejar estas preguntas combinadas en el futuro.

En Resumen

EveryQuery es un avance porque cambia la forma de pensar en la IA médica:

• Antes: "Imagina el futuro 20 veces y luego haz una media". (Lento, inexacto para cosas raras).
• Ahora: "Lee la pregunta y la historia, y dame la respuesta directa". (Rápido, preciso, y funciona para todo).

Es como pasar de tener que dibujar 20 mapas posibles para llegar a un destino, a simplemente usar un GPS que te dice la ruta exacta al instante.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records" en español.

1. Problema y Motivación

Los modelos fundacionales preentrenados en Registros de Salud Electrónicos (EHR) han demostrado capacidades de predicción clínica zero-shot (sin ajuste específico) mediante el uso de enfoques autoregresivos. Estos modelos tokenizan la historia clínica del paciente y generan futuros sintéticos (trayectorias) para estimar la probabilidad de un evento. Sin embargo, este enfoque presenta limitaciones críticas:

• Ineficiencia Computacional: Obtener una predicción requiere muestrear múltiples trayectorias futuras (ej. 20 o más) y agregar estadísticas, lo cual es costoso.
• Ruido Estadístico: Las estimaciones son variables, especialmente para eventos raros. Si un evento tiene baja prevalencia, es probable que no aparezca en ninguna de las trayectorias muestreadas, resultando en estimaciones de probabilidad cuantizadas y cercanas a cero.
• Falta de "Promptability" (Capacidad de Prompt): Los usuarios no pueden condicionar directamente las predicciones sobre preguntas clínicas específicas sin diseñar procedimientos de agregación personalizados o redefinir el pipeline de inferencia.

Actualmente, no existe un modelo de EHR que satisfaga simultáneamente tres propiedades deseables: inferencia zero-shot, eficiencia computacional y capacidad de ser "prompteado" (condicionado por tareas).

2. Metodología: EveryQuery

El artículo presenta EveryQuery, un modelo fundacional de EHR que supera estas limitaciones mediante el preentrenamiento condicionado a tareas.

Formulación del Problema

En lugar de generar futuros, EveryQuery trata la predicción clínica como un problema de clasificación binaria directa condicionado a una consulta estructurada.

• Entrada: La historia médica del paciente ($x$) y una consulta estructurada ($q$).
• Consulta ($q$): Se define como un par $(c, \Delta t)$, donde $c$ es un código médico (evento objetivo) y $\Delta t$ es una ventana de tiempo. La pregunta es: "¿Ocurre el código $c$ dentro de $\Delta t$ después del final de la historia $x$?"
• Salida: Una estimación directa de la probabilidad de ocurrencia ($\hat{y}_{occurs}$) y de censura ($\hat{y}_{cens}$).

Arquitectura

• Backbone: Utiliza una arquitectura Transformer bidireccional (basada en ModernBERT-base) con 22 capas y ~149M parámetros.
• Prependido de Consulta: El token de la consulta ($q$) se incrusta y se antepone a la secuencia de tokens del paciente. El token de la consulta atiende a todos los tokens del paciente (y viceversa) mediante el mecanismo de auto-atención unificado, actuando como un cuello de botella condicionado a la tarea.
• Cabezas de Predicción: Dos MLPs (Redes Neuronales Perceptrón Multicapa) mapean la representación del token de consulta a dos salidas: probabilidad de ocurrencia y probabilidad de censura (cuando los datos futuros no están disponibles).

Preentrenamiento

• Muestreo de Consultas: Durante el entrenamiento, se muestrean aleatoriamente combinaciones de pacientes y consultas de un vocabulario de ~10,000 códigos.
• Objetivo de Pérdida: Se optimiza una función de pérdida multi-tarea que combina la pérdida de censura (BCE) y la pérdida de ocurrencia (BCE), esta última enmascarada para ignorar muestras censuradas.
• Inferencia Zero-Shot: En la fase de prueba, el usuario proporciona la consulta $(c, \Delta t)$ y el paciente. El modelo realiza una única pasada forward para obtener la predicción, sin necesidad de ajuste fino (fine-tuning) ni muestreo de trayectorias.

3. Contribuciones Clave

1. Paradigma de Entrenamiento Condicionado a Tareas: Demuestra que entrenar directamente sobre la distribución de consultas estructuradas permite la generalización zero-shot a cualquier tarea expresable en ese lenguaje, eliminando la necesidad de cabezas de salida específicas por tarea.
2. Eficiencia Extrema: Reduce el costo de inferencia en aproximadamente 3,000 veces en comparación con los modelos autoregresivos, al eliminar la necesidad de generar múltiples trayectorias futuras.
3. Ventaja en Eventos Raros: Resuelve fundamentalmente el problema de la alta varianza en eventos de baja prevalencia, ya que la predicción no depende de la generación estocástica del evento, sino de la atención a señales relevantes en la historia del paciente.
4. Promptabilidad Nativa: Permite a los usuarios especificar tareas clínicas directamente a través de la entrada del modelo, similar a cómo funcionan los LLMs con prompts de texto.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos MIMIC-IV comparando EveryQuery contra un modelo autoregresivo de referencia (MEDS-EIC-AR).

• Rendimiento General: EveryQuery superó al modelo autoregresivo en el 82% de las 39 tareas de predicción muestreadas aleatoriamente.
  • Mejora media en AUC: +0.16 (IC 95%: [0.10, 0.22]).
  • El AUC medio de EveryQuery fue de 0.843 frente a 0.683 del baseline.
• Generalización (Out-of-Distribution): El modelo mantuvo su rendimiento en tareas definidas por códigos que fueron explícitamente excluidos de la distribución de consultas durante el preentrenamiento (17 de 18 tareas OOD ganaron), demostrando que la condición de tarea se transfiere a nuevos objetivos.
• Análisis de Eventos Raros: Se observó una correlación negativa significativa ($\rho = -0.32$) entre la prevalencia del evento y la ventaja de EveryQuery.
  • El modelo autoregresivo degradó severamente su rendimiento en eventos raros (alta dependencia de la prevalencia).
  • EveryQuery mantuvo un rendimiento invariante a la prevalencia.
• Análisis de Representaciones: Los embeddings del modelo se organizan principalmente por consulta y no por paciente. Las representaciones de diferentes pacientes para la misma consulta son más similares entre sí que las de un mismo paciente para diferentes consultas, confirmando que la tarea modula la representación interna.
• Limitación Detectada: EveryQuery falló en la tarea de reingreso hospitalario a 30 días (AUC ~0.56 vs 0.64 del baseline). Esto se debe a que el reingreso requiere un razonamiento disyuntivo ("¿ocurre cualquiera de los 70 códigos de admisión?"), lo cual el lenguaje de consulta actual (un solo código) no soporta nativamente, requiriendo agregación post-hoc que pierde información.

5. Significado e Impacto

El trabajo de EveryQuery representa un cambio de paradigma en el modelado de EHR:

• Viabilidad de la Inferencia Determinista: Muestra que es posible lograr predicciones clínicas robustas y zero-shot sin la carga computacional y estadística de la generación autoregresiva.
• Solución a la Escasez de Datos: Ofrece una solución práctica para predecir eventos clínicos raros, un área donde los modelos generativos actuales fallan debido a la falta de muestreo suficiente.
• Interactividad Clínica: Al hacer los modelos "promptables", se facilita la integración de estos sistemas en flujos de trabajo clínicos donde las preguntas específicas cambian dinámicamente.
• Dirección Futura: El trabajo identifica la necesidad de expandir el lenguaje de consultas para incluir operadores lógicos (disyunciones, conjunciones) para manejar tareas clínicas complejas sin sacrificar la eficiencia.

En resumen, EveryQuery demuestra que el preentrenamiento condicionado a tareas es una alternativa superior a la generación autoregresiva para la mayoría de las tareas de predicción clínica, ofreciendo un equilibrio óptimo entre precisión, eficiencia y flexibilidad.