From Study Design to Executable Code: Automating Target Trial Emulation with Large Language Models

O artigo apresenta o THESEUS, um framework que utiliza modelos de linguagem grandes para traduzir automaticamente descrições de estudos em texto livre em scripts R executáveis e padronizados para o ecossistema OHDSI, demonstrando alta precisão na padronização de parâmetros e na geração de código com correção automática de erros.

O essencial

Imagine que você é um chef de cozinha muito famoso e quer que 100 cozinheiros diferentes, espalhados pelo mundo, preparem exatamente o mesmo prato complexo (um estudo científico) usando ingredientes que eles têm em suas próprias despensas (dados de hospitais locais).

O problema? Se você apenas mandar um e-mail dizendo: "Façam um prato com carne, legumes e um molho especial", cada cozinheiro vai interpretar isso de um jeito diferente. Um vai cortar a carne em cubos, outro em tiras; um vai usar pimenta, outro não. O resultado final será 100 pratos diferentes, e ninguém saberá qual é o "verdadeiro" sabor.

O que é este estudo?
Os autores criaram um "Robô Tradutor Inteligente" chamado THESEUS. A missão dele é pegar a receita escrita em linguagem humana (texto solto) e transformá-la automaticamente em um manual de instruções perfeito e padronizado que qualquer cozinheiro do mundo possa seguir sem errar.

Aqui está como funciona, passo a passo, usando analogias simples:

1. O Problema: A "Barreira do Idioma"

Na ciência médica, pesquisadores usam dados reais de pacientes para testar remédios (como se fossem ensaios clínicos). Mas escrever o código de computador para fazer essa análise é difícil. É como tentar programar um robô para cozinhar apenas falando com ele. Se você errar uma vírgula no código, o robô queima o prato. Isso exige ser um especialista em culinária e em programação ao mesmo tempo.

2. A Solução: O "Robô THESEUS"

O THESEUS usa uma tecnologia chamada Inteligência Artificial (LLM) – basicamente, um cérebro digital superinteligente que lê e entende textos. Ele funciona em duas etapas mágicas:

• Etapa 1: O Tradutor de Receitas (Padronização)
  Imagine que você escreve no papel: "Vamos cozinhar de 2011 a 2019, e vamos observar os clientes por 1 ano após comerem o prato."
  O Robô lê isso e o transforma em um formulário de computador perfeito (um arquivo JSON). Ele pega suas palavras vagas e as encaixa em caixinhas rígidas e padronizadas que a comunidade científica (OHDSI) já criou. É como transformar um rabisco num desenho técnico de engenharia.

  • Analogia: É como pegar um pedido de "um café com leite" e transformá-lo automaticamente em um código de barras que a máquina de café entende exatamente: "200ml de leite, 50ml de café, temperatura 80°C".

• Etapa 2: O Cozinheiro Robô (Geração de Código)
  Agora que o robô tem o formulário perfeito, ele escreve automaticamente o código de computador (o script em R) que vai rodar a análise.

  • O toque de gênio: O robô não apenas escreve, ele se corrige. Se o código tiver um erro e não rodar, o robô lê a mensagem de erro, pensa "Ops, esqueci de fechar uma chave", e reescreve o código sozinho até funcionar. É como um chef que prova a sopa, percebe que falta sal, e adiciona sal sem você pedir.

3. O Resultado: Cozinhando em Massa

O estudo testou esse robô com 15 receitas reais de estudos médicos.

• Precisão: O robô traduziu as receitas humanas para o formato de computador com uma precisão de quase 100% (entre 91% e 98% nos melhores casos).
• Funcionalidade: O código gerado funcionou na primeira tentativa na maioria das vezes. Quando não funcionava, a "auto-correção" do robô consertou tudo, garantindo que 100% dos códigos rodassem perfeitamente depois.

4. Por que isso é importante?

Antes, só os "chefes de cozinha mestres" (cientistas que sabem programar) podiam fazer esses estudos complexos. Com o THESEUS:

• Qualquer um pode participar: Um médico que sabe escrever bem, mas não sabe programar, pode descrever seu estudo em português, e o robô faz o código por ele.
• Reprodutibilidade: Como todos usam o mesmo "manual de instruções" gerado pelo robô, se um cientista no Brasil e outro na Coreia fizerem o mesmo estudo, eles obterão exatamente o mesmo resultado. Fim das discussões sobre "quem cortou a carne diferente".

Resumo Final

O THESEUS é como um tradutor universal que pega a intenção humana (o estudo que queremos fazer) e a transforma em uma máquina de precisão (código de computador) que funciona em qualquer lugar. Ele remove a barreira técnica, permitindo que mais cientistas descubram novos tratamentos e salvem vidas, sem precisar ser programadores experts.

É a democratização da ciência: se você tem a ideia, o robô constrói a ponte para realizá-la.

Resumo técnico

1. O Problema

A pesquisa em eficácia comparativa (CER) utilizando dados observacionais enfrenta um gargalo crítico: a tradução de descrições de estudos em texto livre (metodologia conceitual) para código analítico executável e padronizado.

• Desafio Técnico: A implementação de emulação de ensaios-alvo (Target Trial Emulation - TTE) exige expertise tanto em inferência causal quanto em programação (R/Python).
• Reprodutibilidade: Diferentes equipes de pesquisa frequentemente escrevem códigos personalizados para ambientes de dados locais, o que dificulta a verificação, replicação e extensão dos resultados entre instituições.
• Barreira de Acesso: A falta de ferramentas que suportem todo o fluxo de trabalho, desde o design até a análise, limita a adoção da TTE por pesquisadores sem profundo conhecimento técnico de programação.

2. Metodologia: O Framework THESEUS

Os autores desenvolveram o THESEUS (Text-guided Health-study Estimation and Specification Engine Using Strategus), um framework de duas etapas que utiliza Modelos de Linguagem de Grande Escala (LLMs) para automatizar a geração de código no ecossistema OHDSI (Observational Health Data Sciences and Informatics).

O processo opera da seguinte forma:

• Etapa 1: Padronização (Standardization)

  • O LLM recebe descrições de texto livre de um estudo (ex: "período de estudo de 2011 a 2019", "janela de risco de 1 a 365 dias").
  • O modelo mapeia essas descrições para um esquema JSON restrito e padronizado, baseado nas especificações do pacote Strategus (parte do ecossistema HADES/OHDSI).
  • O esquema captura componentes críticos como: período do estudo, janela de risco (Time-at-Risk - TAR) e estratégias de ajuste por escore de propensão (PS).
  • O LLM também gera uma explicação de como interpretou o texto para o JSON.

• Etapa 2: Geração de Código (Code Generation)

  • Com base nas especificações estruturadas (JSON), um segundo prompt instrui o LLM a gerar scripts R executáveis usando o pacote Strategus.
  • Loop de Autoauditoria (Self-auditing): Se o script gerado falhar na execução, o LLM recebe o log de erro e o script original para corrigir automaticamente os problemas, garantindo que o código final seja executável.

• Interface Humana no Loop (Human-in-the-Loop):

  • Foi desenvolvido um protótipo de interface gráfica (GUI) semelhante ao ATLAS (ferramenta padrão do OHDSI).
  • Os pesquisadores podem inserir descrições em texto livre, visualizar as especificações geradas pelo LLM, comparar com as originais e aceitar/rejeitar alterações antes da geração do código final.

3. Contribuições Principais

• Automação de Ponta a Ponta: Demonstração de que é possível traduzir automaticamente a metodologia de TTE em código R executável dentro de um ambiente de dados padronizado (OMOP CDM).
• Integração com OHDSI: O framework aproveita a estrutura rígida do Modelo de Dados Comum (OMOP CDM) e das especificações do Strategus para transformar um problema de programação "aberto" em um problema de mapeamento estruturado, aumentando a confiabilidade do LLM.
• Validação Externa: Avaliação do sistema não apenas em estudos baseados no OHDSI, mas também em estudos externos (não-OHDSI), testando a generalização do modelo.
• Recursos Públicos: Disponibilização de um protótipo interativo, vídeos demonstrativos e código-fonte no GitHub.

4. Resultados

O framework foi avaliado usando 15 estudos TTE baseados no OHDSI e 5 estudos não-OHDSI, testando 8 LLMs proprietários (OpenAI, Google, Anthropic, DeepSeek).

• Padronização (Extração de JSON):

  • Estudos OHDSI: A precisão no nível do estudo variou de 0,91 a 0,98 para análises primárias. O modelo Claude-Opus-4.5 destacou-se com 0,98 de precisão.
  • Estudos Não-OHDSI: A precisão foi menor, variando de 0,73 a 0,93 para análises primárias, indicando que a falta de padronização nos textos originais dificulta a extração.
  • Nível de Campo: A sensibilidade foi alta (0,73 a 0,90) com baixas taxas de falsos positivos (menos de 1 por estudo na maioria dos casos para estudos OHDSI).

• Geração de Código:

  • Executabilidade: A taxa de sucesso na primeira execução variou de 0,80 a 1,00 para estudos OHDSI.
  • Impacto da Autoauditoria: Após o loop de correção automática, a executabilidade atingiu 1,00 (100%) para a maioria dos modelos em ambos os conjuntos de dados (OHDSI e não-OHDSI). Isso demonstra que a correção iterativa é crucial para a confiabilidade.

5. Significado e Conclusão

O estudo conclui que a combinação de modelos de dados padronizados (OMOP CDM) com frameworks de análise padronizados (Strategus) cria um ambiente ideal para a automação assistida por LLMs.

• Redução de Barreiras: O THESEUS reduz significativamente a barreira técnica para pesquisadores participarem de estudos observacionais em rede, permitindo que descrevam estudos em linguagem natural.
• Reprodutibilidade: Ao gerar código padronizado a partir de especificações estruturadas, o sistema elimina variações de implementação que frequentemente levam a resultados divergentes entre diferentes equipes.
• Futuro: Embora o protótipo atual foque na emulação de ensaios-alvo (Cohort Method), a arquitetura modular sugere que o sistema pode ser expandido para outros designs de estudo (como caracterização ou predição) e integrado com ferramentas de definição de coortes (como Criteria2Query) para uma automação completa do fluxo de trabalho de CER.

Em resumo, o THESEUS representa um avanço significativo na democratização da pesquisa de dados do mundo real, transformando a complexidade da programação estatística em um processo acessível e reproduzível.