Implementation of Human-in-the-Loop ChatGPT-based Patient Screening Across Multiple Diverse Clinical Trials

Este estudo prospectivo demonstrou que um fluxo de trabalho de pré-seleção assistido por LLM com supervisão humana alcançou alto desempenho e baixo custo na triagem de pacientes para múltiplos ensaios clínicos diversos, utilizando feedback de coordenadores para aprimorar continuamente o sistema.

O essencial

Imagine que você é um detetive tentando encontrar a pessoa perfeita para um caso muito específico. Você tem uma lista de 10.000 suspeitos (pacientes) e um manual de regras extremamente detalhado (os critérios do estudo clínico). O problema? Ler o arquivo de cada um dos 10.000 suspeitos manualmente levaria anos e custaria uma fortuna.

É exatamente esse o desafio que os pesquisadores da Universidade do Texas (UT Southwestern) enfrentaram. Eles criaram uma solução inteligente: um "Detetive Robô" (Inteligência Artificial) que trabalha em equipe com um "Detetive Humano".

Aqui está a explicação do estudo, traduzida para o dia a dia:

1. O Problema: A Pilha de Papéis Infinita

Os estudos clínicos (testes de novos remédios) são essenciais, mas encontrar pacientes que se encaixem nas regras é um pesadelo. As regras são complexas: "O paciente não pode ter tomado tal remédio nos últimos 6 meses", "O tumor deve ter menos de 3 cm", etc.
Os coordenadores humanos gastavam horas lendo prontuários médicos (que são cheios de anotações manuscritas, gráficos e textos soltos) para ver quem se encaixava. Era lento, caro e muitas vezes eles perdiam bons candidatos por cansaço.

2. A Solução: O "Filtro Mágico" (IA)

Os pesquisadores criaram um sistema usando uma Inteligência Artificial (uma IA conversacional avançada, como o ChatGPT, mas treinada para medicina).

• Como funciona: A IA lê os prontuários eletrônicos dos pacientes (como se estivesse lendo um livro) e compara com as regras do estudo.
• O Truque: Em vez de apenas dizer "Sim" ou "Não", a IA funciona como um triador experiente. Ela diz: "Este paciente parece 90% adequado, mas falta um documento sobre o nível de açúcar no sangue" ou "Este paciente claramente não serve porque já fez uma cirurgia proibida".
• A "Peneira": A IA não decide quem entra no estudo. Ela apenas separa a pilha de 10.000 papéis em duas:
  1. A pilha "Provavelmente Não Serve": A IA joga fora (ou deixa de lado) 9.500 pacientes que claramente não atendem aos critérios.
  2. A pilha "Vale a Pena Olhar": A IA entrega ao humano apenas os 500 pacientes que parecem promissores.

3. O Trabalho em Equipe: O "Circuito Humano"

Aqui está a parte mais importante: a IA nunca toma a decisão final sozinha.

• O coordenador humano recebe a lista "filtrada" pela IA.
• Ele olha os casos que a IA marcou como "prováveis" e confirma: "Sim, este paciente serve!" ou "Não, a IA errou, ele tem uma condição escondida aqui".
• O Aprendizado: Se a IA errar (dizer que serve quando não serve, ou vice-versa), o humano corrige. O sistema "aprende" com essa correção. É como um estagiário que, após receber feedback do chefe, fica mais inteligente na próxima vez.

4. Os Resultados: Rápido, Barato e Preciso

O estudo testou isso em 26 estudos diferentes (câncer, coração, neurocirurgia, etc.) com quase 40.000 pacientes.

• Precisão: A IA acertou os critérios individuais com 94% de precisão. Ela foi excelente em encontrar quem poderia servir (sensibilidade de 98%).
• Velocidade e Custo: O custo para a IA "ler" o prontuário de um paciente foi de apenas 12 centavos de dólar (aprox. 60 centavos de real).
• Eficiência: Os humanos passaram a revisar muito mais pacientes que realmente tinham chances de entrar no estudo, em vez de perder tempo com quem não tinha chance nenhuma.

5. A Analogia do "Café da Manhã"

Pense em um barista (o coordenador humano) que precisa preparar 100 cafés especiais para clientes exigentes.

• Sem a IA: O barista tem que provar cada grão de café de 10.000 sacos diferentes para encontrar os 50 perfeitos. Ele fica exausto e demora dias.
• Com a IA: Um robô prova os grãos de 10.000 sacos em segundos. Ele joga fora os 9.950 sacos ruins e coloca apenas os 50 melhores na mesa do barista.
• O Resultado: O barista só precisa fazer o teste final nos 50 melhores. O café sai mais rápido, o barista não fica cansado e o cliente recebe um produto de melhor qualidade.

Conclusão

Este estudo mostrou que podemos usar a Inteligência Artificial não para substituir os médicos ou pesquisadores, mas para liberá-los do trabalho chato de "peneirar" papéis. A IA faz o trabalho pesado de leitura inicial, e o humano faz o trabalho de julgamento final e cuidado.

O resultado? Mais pacientes são encontrados mais rápido para testes de novos remédios, o que significa que tratamentos inovadores chegam ao mercado mais cedo, salvando vidas. E tudo isso custando apenas alguns centavos por paciente.

Resumo técnico

Resumo Técnico: Implementação de Triagem de Pacientes Assistida por LLM com Loop Humano em Ensaios Clínicos Diversos

1. O Problema

A triagem manual de elegibilidade para ensaios clínicos é um processo ineficiente, demorado e custoso, frequentemente resultando em recrutamento insuficiente de pacientes. Isso atrasa a pesquisa, limita o poder preditivo dos resultados e inflaciona os custos. Embora modelos de linguagem grandes (LLMs) tenham mostrado promessa na automação dessa tarefa, a maioria dos estudos anteriores focou em cenários controlados, em ensaios individuais ou em áreas clínicas específicas. Falta evidência robusta sobre a generalização de LLMs em múltiplos ensaios simultâneos, com designs variados, e sobre a integração de estratégias de "loop humano" (human-in-the-loop) para aprendizado contínuo e refinamento em tempo real.

2. Metodologia

Os autores implementaram e avaliaram prospectivamente um fluxo de trabalho de pré-triagem assistido por LLM em um grande centro médico acadêmico (UT Southwestern), cobrindo 26 ensaios clínicos ativos (21 oncológicos e 5 não oncológicos).

• Arquitetura do Sistema:

  • Pipeline RAG (Retrieval-Augmented Generation): O sistema utiliza dados estruturados e notas de texto livre do Prontuário Eletrônico de Saúde (EHR - Epic). Os dados são processados em um banco de dados vetorial hierárquico (documento → parágrafo → frase) para permitir busca de similaridade.
  • Modelos de LLM: O pipeline utilizou uma série de modelos da OpenAI (GPT-4o, GPT-4o-mini, GPT-4.1-mini) em um ambiente seguro e compatível com HIPAA (Microsoft Azure).
  • Fluxo de Trabalho em Níveis (Tiered Workflow):
    • Tier 1 (Critério Principal): Avaliado primeiro. Se o LLM classificar como "não atendido" ou "provavelmente não atendido", os critérios subsequentes são ignorados para economizar recursos.
    • Tier 2 (Critérios Secundários): Avaliados apenas se o Tier 1 for marcado como "atendido" ou "provavelmente atendido".
  • Classificação de Critérios: Para cada critério, o LLM atribui um rótulo (met, likely met, likely not met, not met, uncertain, no documentation found), um nível de certeza (escala de 5 pontos) e uma justificativa baseada em evidências clínicas específicas.

• Loop Humano e Refinamento:

  • Revisão por Coordenadores: Pacientes com alta probabilidade de elegibilidade (baseada na porcentagem de critérios atendidos pelo AI) são listados em um painel para revisão humana.
  • Feedback Estruturado: Os coordenadores revisam os critérios, confirmam ou corrigem a classificação do AI e fornecem justificativas para discordâncias.
  • Aprendizado Automatizado: Um mecanismo semi-automatizado utiliza o feedback dos coordenadores para atualizar os prompts (instruções) dos critérios. Se um erro recorrente é identificado, um agente de refinamento consulta literatura médica (PubMed) e ajusta as regras de lógica do LLM, que são então aprovadas por humanos antes de serem ativadas prospectivamente.

3. Principais Contribuições

• Escalabilidade e Generalização: Demonstração de sucesso na implementação de um único fluxo de trabalho de IA em 26 ensaios distintos com 112 critérios únicos, abrangendo oncologia e diversas especialidades não oncológicas.
• Integração de Loop Humano: Desenvolvimento de um sistema onde o feedback humano não apenas valida os resultados, mas alimenta um ciclo de melhoria contínua dos prompts do LLM, aumentando a precisão ao longo do tempo.
• Custo-Benefício: Avaliação detalhada dos custos computacionais, demonstrando viabilidade econômica em escala.
• Transparência e Explicabilidade: O sistema fornece justificativas detalhadas e localizações exatas dos dados no prontuário, facilitando a auditoria humana.

4. Resultados

O estudo analisou 39.182 pacientes pré-triados entre outubro de 2024 e setembro de 2025.

• Desempenho do Modelo (Nível de Critério):
  • Precisão (Accuracy): 0,94 (IC 95%: 0,92–0,96).
  • Sensibilidade: 0,98 (IC 95%: 0,97–0,99) – indicando alta capacidade de identificar pacientes elegíveis.
  • Especificidade: 0,81 (IC 95%: 0,71–0,88).
  • Valor Preditivo Positivo (PPV): 0,95.
  • Valor Preditivo Negativo (NPV): 0,93.
  • F1 Score: 0,97.
• Impacto na Revisão Humana:
  • Pacientes com ≥80% dos critérios atendidos pelo AI tiveram uma taxa de revisão por coordenadores de 93,7% (vs. 55,1% para a faixa de 60-80%).
  • A taxa de sucesso na pré-triagem (elegibilidade confirmada) foi significativamente maior no grupo de alta confiança do AI (43,5% vs. 19,1%).
• Melhoria Contínua: 27 prompts de critérios foram atualizados automaticamente com base no feedback humano, resultando em melhorias mensuráveis nas métricas de desempenho ao longo do tempo (exemplo ilustrado no estudo de Glioblastoma).
• Custo: O custo computacional médio foi de $0,12 por paciente.

5. Significado e Conclusão

O estudo valida que um fluxo de trabalho de pré-triagem assistido por LLM, operando com supervisão humana estruturada, é viável em escala e altamente preciso para uma variedade de ensaios clínicos.

• Eficiência Operacional: O sistema atua como um filtro inteligente, permitindo que os coordenadores de pesquisa foquem seus esforços nos pacientes com maior probabilidade de elegibilidade, reduzindo a carga de trabalho manual.
• Aprendizado Adaptativo: A capacidade do sistema de aprender com o feedback humano e refinar seus próprios prompts sem reavaliação retrospectiva dos dados antigos é um avanço metodológico crucial para a adoção clínica de IA.
• Custo Acessível: Com um custo de apenas 12 centavos de dólar por paciente, a solução é economicamente sustentável para grandes instituições.
• Limitações e Futuro: O estudo destaca que a IA não deve tomar decisões finais de elegibilidade (devido à complexidade de múltiplos critérios simultâneos) e que a precisão depende da qualidade dos dados estruturados e não estruturados. Trabalhos futuros devem medir o impacto direto nas taxas de recrutamento e inscrição (accrual) dos ensaios.

Em suma, este trabalho oferece um modelo prático e replicável para integrar IA generativa nos processos de recrutamento clínico, equilibrando automação avançada com a necessária supervisão humana.