EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records

O EveryQuery é um modelo fundamental de prontuários eletrônicos que, ao utilizar pré-treinamento condicionado a tarefas para estimar diretamente a probabilidade de desfechos clínicos em uma única passagem, supera os métodos autoregressivos na previsão zero-shot de eventos, especialmente os raros, embora apresente limitações em raciocínios que exigem disjunção de múltiplos códigos.

O essencial

Imagine que você tem um super-herói médico chamado EveryQuery. O objetivo dele é olhar para o histórico de um paciente (como um diário gigante de consultas, remédios e exames) e responder a perguntas sobre o futuro: "Este paciente vai ter uma infecção nas próximas 30 dias?" ou "Ele vai precisar de um remédio específico?".

Até hoje, a melhor maneira de fazer isso era usar um método antigo e cansativo, chamado de modelos autoregressivos. Vamos usar uma analogia para entender a diferença:

1. O Método Antigo: O "Adivinho de Sorte" (Modelos Autoregressivos)

Imagine que o modelo antigo é como um adivinho que joga dados.

• Para responder a uma pergunta, ele não olha diretamente para a resposta. Em vez disso, ele simula o futuro 20 vezes (ou mais).
• Ele cria 20 cenários diferentes do que pode acontecer com o paciente.
• Depois, ele conta: "Em quantos desses 20 cenários o paciente ficou doente?". Se aconteceu em 1 dos 20, ele diz que há 5% de chance.
• O Problema: Se a doença é muito rara (acontece em apenas 1 em 1.000 pessoas), jogar 20 dados quase nunca vai mostrar a doença. O resultado fica cheio de "ruído" (erro estatístico) e demora muito para calcular. É como tentar adivinhar se vai chover amanhã jogando uma moeda 20 vezes: você não vai ter certeza nenhuma.

2. O Novo Método: O "Detetive Inteligente" (EveryQuery)

O EveryQuery é diferente. Ele não joga dados nem simula futuros. Ele é um detetive treinado para ler pistas.

• Em vez de simular o futuro, você dá ao detetive duas coisas:
  1. O diário do paciente (o histórico médico).
  2. Uma pergunta específica escrita em um cartão (ex: "O paciente terá uma pneumonia?").
• O detetive olha para o diário e para a pergunta, e responde diretamente com uma única leitura rápida: "Sim, há 80% de chance" ou "Não, há 10%".
• A Mágica: Ele foi treinado para ler milhões de perguntas diferentes e milhões de diários ao mesmo tempo. Ele aprendeu a conectar as pistas do passado diretamente à resposta certa, sem precisar "adivinhar" o futuro.

Por que isso é revolucionário?

🚀 Velocidade Relâmpago

O método antigo leva 20 vezes mais tempo (na verdade, o papel diz que é 3.000 vezes mais rápido!) porque precisa fazer 20 simulações para cada paciente. O EveryQuery faz a conta em um piscar de olhos. É a diferença entre pedir para 20 pessoas tentarem adivinhar o resultado de uma corrida e apenas um especialista olhar para a largada e dizer quem vai ganhar.

🎯 Precisão em Casos Raros

Este é o ponto mais importante. Para doenças muito raras, o método antigo falha miseravelmente. Como ele depende de sorte (simulações), ele muitas vezes diz que a chance é zero, mesmo que exista um risco real.
O EveryQuery, como um detetive experiente, consegue ver os sinais sutis no histórico do paciente que indicam um risco, mesmo que a doença seja rara. Ele não precisa "ver" a doença acontecer em uma simulação para saber que ela pode acontecer.

💬 Conversando com a Máquina (Promptability)

Com o método antigo, se você quisesse mudar a pergunta (ex: mudar de "pneumonia" para "diabetes"), precisava reconfigurar todo o sistema ou criar um novo modelo.
Com o EveryQuery, é como usar um assistente de IA (tipo o ChatGPT): você apenas muda a pergunta no cartão. O modelo entende instantaneamente e dá a resposta para a nova condição, sem precisar ser reensinado.

Onde ele ainda tem dificuldade? (A Limitação)

O papel admite que o EveryQuery tem um "ponto cego".

• Imagine que você quer saber: "O paciente vai ser readmitido no hospital por qualquer motivo?" (pode ser pneumonia, fratura, infarto, etc.).
• O método antigo (o adivinho) cria o futuro inteiro e vê se algo acontece.
• O EveryQuery, no momento, só consegue responder perguntas de um único motivo por vez (ex: "Vai ter pneumonia?"). Para responder à pergunta complexa, você teria que fazer 70 perguntas separadas e tentar juntar as respostas, o que não funciona tão bem. É como tentar adivinhar se alguém vai ganhar na loteria perguntando se vai ganhar com o número 1, depois com o 2, depois com o 3... em vez de perguntar "Vai ganhar?".

Resumo em uma frase

O EveryQuery é um novo tipo de inteligência artificial médica que troca a "sorte e simulação" por "pergunta direta e análise inteligente", tornando as previsões muito mais rápidas, precisas (especialmente para doenças raras) e fáceis de usar, como se fosse um médico especialista que responde a qualquer pergunta em segundos.

Resumo técnico

Resumo Técnico: EveryQuery

1. O Problema

Os modelos de base (foundation models) pré-treinados em Registros Eletrônicos de Saúde (EHRs) têm demonstrado capacidades de previsão clínica zero-shot (sem ajuste fino para tarefas específicas). No entanto, a abordagem dominante atual utiliza modelos autoregressivos que geram futuros sintéticos de pacientes e agregam estatísticas sobre essas trajetórias amostradas. Essa metodologia apresenta três limitações críticas:

1. Ineficiência Computacional: Obter uma única previsão exige a amostragem de muitas trajetórias futuras (ex: 20 por paciente) e a agregação de estatísticas, tornando o processo lento e caro.
2. Ruído Estatístico: As estimativas são variáveis e dependem do número de trajetórias amostradas. Para eventos raros (baixa prevalência), a probabilidade de o evento aparecer em nenhuma das trajetórias amostradas é alta, resultando em estimativas de probabilidade quantizadas (ex: 0, 0.05, 0.10) e imprecisas.
3. Falta de "Promptabilidade": Os usuários não podem condicionar diretamente as previsões a perguntas clínicas específicas sem criar procedimentos de agregação personalizados ou redefinir o pipeline de inferência.

Não existe atualmente um modelo de EHR que satisfaça simultaneamente: inferência zero-shot, eficiência computacional e capacidade de ser "promptado" (interrogado) diretamente.

2. Metodologia: EveryQuery

O EveryQuery é um modelo de base para EHRs que resolve essas limitações através de pré-treinamento condicionado a tarefas. Em vez de gerar futuros, o modelo aprende a estimar diretamente a probabilidade de um resultado ocorrer dado um histórico de paciente e uma consulta estruturada.

• Formulação do Problema:

  • O histórico do paciente é tokenizado como uma sequência de códigos médicos ($x$).
  • A consulta ($q$) é definida como um par $(c, \Delta t)$, onde $c$ é o código do evento alvo e $\Delta t$ é a janela de tempo (ex: "O código $c$ ocorre nos próximos 30 dias?").
  • O modelo estima diretamente $P(y | x, q)$, onde $y$ é a ocorrência binária do evento.

• Arquitetura:

  • Utiliza um backbone de Transformer bidirecional (baseado no ModernBERT-base, ~149M parâmetros).
  • Prependimento da Consulta: O token do código da consulta ($c$) é inserido no início da sequência de tokens do paciente. Isso permite que o mecanismo de atenção cruzada (self-attention unificado) faça o token da consulta "observar" todo o contexto do paciente.
  • Heads de Predição: O estado oculto final do token da consulta é passado para duas camadas MLPs separadas: uma para prever a probabilidade de ocorrência do evento e outra para prever censura (quando os dados futuros não são observáveis).

• Pré-treinamento:

  • O modelo é treinado em combinações aleatórias de históricos de pacientes e consultas (tarefas).
  • As consultas são amostradas uniformemente de um vocabulário de ~10.000 códigos.
  • A função de perda combina a perda de censura e a perda de ocorrência (apenas em dados não censurados).

• Inferência Zero-Shot:

  • Para prever, o usuário fornece o histórico do paciente e a consulta específica.
  • O modelo executa uma única passagem direta (forward pass) determinística, sem necessidade de ajuste fino, amostragem de trajetórias ou agregação estatística.

3. Contribuições Principais

1. Novo Paradigma de Inferência: Introduz a condicionalidade de tarefas como mecanismo unificador para EHRs, permitindo que um único modelo atenda a qualquer tarefa expressível na linguagem de consultas sem ajuste fino.
2. Eficiência Extrema: Elimina a necessidade de geração de trajetórias, reduzindo o tempo de inferência em aproximadamente 3.000 vezes comparado a modelos autoregressivos.
3. Resolução do Problema de Eventos Raros: Demonstra que a inferência baseada em geração de trajetórias falha fundamentalmente para eventos de baixa prevalência devido à variância de amostragem, enquanto a abordagem direta do EveryQuery mantém a precisão independentemente da prevalência.
4. Análise de Representação: Evidencia que as representações internas do modelo são organizadas pela consulta (tarefa) e não pelo paciente, permitindo generalização para códigos não vistos durante o pré-treinamento.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados MIMIC-IV, comparando o EveryQuery com um baseline autoregressivo (MEDS-EIC-AR).

• Desempenho Geral: O EveryQuery superou o baseline autoregressivo em 82% das 39 tarefas de previsão amostradas aleatoriamente.
  • Melhoria média no AUC: +0.16 (IC 95%: [0.10, 0.22]).
  • AUC médio do EveryQuery: 0.843 vs. 0.683 do baseline.
• Generalização (Out-of-Distribution): O modelo manteve o desempenho em tarefas definidas por códigos que foram explicitamente excluídos do conjunto de pré-treinamento (94% de vitórias em tarefas OOD), provando que a condicionalidade da tarefa transfere-se para novos alvos.
• Vantagem em Eventos Raros: Houve uma correlação negativa significativa ($\rho = -0.32$) entre a prevalência do evento e a vantagem do EveryQuery.
  • O desempenho do modelo autoregressivo degrada drasticamente para eventos raros (correlação positiva forte com prevalência).
  • O desempenho do EveryQuery é invariante à prevalência, mantendo alta sensibilidade mesmo para eventos com prevalência < 0,5%.
• Limitação Identificada: O modelo teve desempenho inferior em tarefas que exigem raciocínio disjuntivo complexo, como "readmissão em 30 dias" (que requer a ocorrência de qualquer um de 70 códigos de admissão). A agregação simples de previsões de consultas individuais não recuperou a informação capturada implicitamente pelo modelo generativo.

5. Significado e Conclusão

O EveryQuery demonstra que o pré-treinamento condicionado a tarefas é uma alternativa viável e frequentemente superior à geração autoregressiva para modelos de base em saúde.

• Impacto Clínico: Permite a criação de ferramentas de suporte à decisão clínica interativas e rápidas, onde médicos podem fazer perguntas específicas ("Qual a chance deste paciente desenvolver sepse nas próximas 48h?") e obter respostas instantâneas e precisas, mesmo para condições raras.
• Eficiência: A redução drástica no custo computacional torna viável a execução de previsões em tempo real para grandes populações de pacientes.
• Futuro: O principal desafio identificado é a expressividade da linguagem de consulta. O trabalho futuro deve focar em expandir a linguagem para suportar operadores compostos (disjunções, conjunções, negações) para cobrir tarefas clínicas complexas sem perder a eficiência.

Em suma, o EveryQuery oferece um caminho para modelos de EHR que são ao mesmo tempo rápidos, precisos e interativos, superando as barreiras estatísticas e computacionais dos modelos generativos tradicionais.