Resumo Técnico: AMEND++: Avaliação de Critérios de Elegibilidade em Emendas de Ensaios Clínicos

Definição do Problema

Os protocolos de ensaios clínicos passam frequentemente por modificações pós-aprovação, conhecidas como emendas, que introduzem atrasos significativos, custos elevados e cargas administrativas. Entre os vários componentes de um protocolo, os Critérios de Elegibilidade (CE) são a seção mais comumente emendada. Mudanças nos critérios de inclusão e exclusão podem alterar a população do estudo durante o curso do ensaio, afetando a integridade e a interpretabilidade do estudo.

Apesar da importância operacional de antecipar essas mudanças, a literatura computacional carece de recursos e modelos em larga escala para prever se o texto dos CE de um protocolo inicial será modificado posteriormente. Estudos existentes têm sido primariamente descritivos ou estatísticos, caracterizando a frequência e as causas das emendas, mas falhando em enquadrar a previsão de emendas como um problema de modelagem preditiva ou em lançar conjuntos de dados prontos para aprendizado de máquina.

Metodologia

Os autores propõem um pipeline abrangente para abordar essa lacuna, centrado na suíte de benchmark AMEND++ e em uma nova estratégia de pré-treinamento.

1. Coleta e Processamento de Dados (AMEND++)

O benchmark é construído a partir de ensaios clínicos intervencionais curados do ClinicalTrials.gov. Os autores realizaram o scraping programático da aba "Record History" para reconstruir históricos de versões de CE longitudinais, que não estão disponíveis via APIs padrão. A suíte compreende dois conjuntos de dados:

• AMEND: Uma coleção de larga escala (161.970 ensaios) capturando históricos de versões de CE brutos e rótulos de emenda derivados diretamente de registros públicos.
• AMEND_LLM: Um subconjunto refinado (64.641 ensaios) onde os rótulos são "denoizados" para isolar mudanças substantivas de edições administrativas menores (ex: formatação, erros de digitação).

2. Construção de Rótulos e Denoising (Redução de Ruído)

Para gerar rótulos de alta qualidade para treinamento sem custos manuais proibitivos, os autores empregam um pipeline de denoising baseado em LLM para as divisões de treinamento e validação, enquanto reservam a anotação humana para a divisão de teste (padrão ouro).

• Decomposição: Em vez de um julgamento monolítico, o LLM realiza três verificações distintas: identificação de critérios adicionados, removidos e modificados (ex: mudanças em limiares numéricos ou operadores lógicos).
• Entrada: O LLM processa as diferenças textuais ($\Delta E$) entre as versões iniciais e finais dos CE.
• Agregação: Um OR lógico das três verificações determina o rótulo binário de emenda final.
• Validação: Esta abordagem alcançou uma taxa de correspondência de 99,34% com as anotações humanas, superando significativamente os rótulos brutos do ClinicalTrials.gov e as abordagens de base de Chain-of-Thought.

3. Formulação da Tarefa

A tarefa é definida como um problema de classificação binária supervisionada. Dado o texto inicial dos critérios de elegibilidade ($E^{(0)}$) e os metadados do ensaio ($M$) disponíveis no início, o modelo prevê se o protocolo passará por futuras emendas de CE ($\hat{y} \in \{0, 1\}$).

4. Modelagem de Linguagem Mascarada Consciente de Mudanças (CAMLM)

Para melhorar o aprendizado de representação, os autores propõem o CAMLM, uma estratégia de pré-treinamento consciente de revisões.

• Motivação: O Masked Language Modeling (MLM) padrão trata todos os tokens igualmente, enquanto as emendas de CE são tipicamente esparsas e localizadas.
• Mecanismo: O CAMLM aproveita versões históricas de CE para identificar "spans instáveis" — tokens que foram deletados, substituídos ou modificados em versões posteriores.
• Política de Mascaramento: Durante o pré-treinamento, tokens dentro desses spans instáveis são mascarados com uma probabilidade alta ($p_{span}$), enquanto tokens estáveis são mascarados com uma probabilidade de fundo mais baixa ($p_{low}$).
• Arquitetura: O CAMLM não altera a arquitetura do modelo (ex: funciona com BERT, BioBERT), mas modifica a política de mascaramento para encorajar o encoder a aprender representações sensíveis ao conteúdo que é historicamente propenso à revisão.

Principais Contribuições

1. Nova Tarefa de NLP: A formulação da previsão de emenda de critérios de elegibilidade como uma nova tarefa para prever futuras modificações de protocolo com base em rascunhos iniciais.
2. Suíte de Benchmark AMEND++: O lançamento de dois conjuntos de dados de larga escala:
   • AMEND: Históricos de versões de CE brutos e de larga escala.
   • AMEND_LLM: Um subconjunto de alta fidelidade com rótulos denoizados por LLM que decompõem emendas em componentes adicionados, removidos e modificados.
3. Estratégia de Pré-treinamento CAMLM: Um método que utiliza edições históricas para aprender representações sensíveis a emendas, melhorando a previsão downstream sem alterações arquiteturais.

Resultados Experimentais

Experimentos foram conduzidos tanto no AMEND quanto no AMEND_LLM utilizando vários baselines (BioBERT, BERT, Longformer) e classificadores (Regressão Logística, Random Forest, BioBERT ajustado).

• Ganhos de Desempenho: O CAMLM melhorou consistentemente o desempenho de previsão em todas as classes de modelos e métricas.
  • No BioBERT ajustado, o CAMLM melhorou o AUROC em ~1,4–1,5%, o AUPRC em ~2,1% e a Acurácia em 4,0–4,4% em relação aos baselines.
  • A significância estatística (teste de DeLong) confirmou esses melhorias ($p < 0,05$) para Regressão Logística e modelos ajustados em ambos os datasets.
• Estudos de Ablação: Comparações mostraram que, embora o MLM padrão e o MLM focado em spans tenham fornecido ganhos modestos, o CAMLM (modelando a evolução do protocolo em longo horizonte) superou consistentemente todas as outras estratégias de pré-treinamento, demonstrando que modelar a evolução dos CE gera representações mais ricas do que o texto estático sozinho.
• Qualidade dos Rótulos: Modelos treinados em rótulos denoizados por LLM (AMEND_LLM) superaram aqueles treinados em rótulos brutos do CTGov quando avaliados contra dados de teste anotados por humanos, validando o pipeline de denoising.

Significância e Alegações

O artigo afirma que a informação contida no texto inicial dos critérios de elegibilidade detém sinais preditivos para riscos de emendas futuras. Ao introduzir o AMEND++ e o CAMLM, os autores fornecem um framework escalável para:

• Antecipar Emendas de Protocolo: Permitir que patrocinadores identifiquem CEs com risco elevado de modificação precocemente no processo de design.
• Melhorar o Design de Ensaios: Ajudar patrocinadores a melhorar a qualidade do protocolo, reduzir revisões evitáveis e agilizar a execução do ensaio.
• Redução de Custos: Potencialmente mitigar os custos e atrasos substanciais associados às modificações pós-aprovação.

Os autores observam que seu trabalho foca exclusivamente nos Critérios de Elegibilidade como ponto de partida devido à sua frequência e complexidade, mas o framework pode ser estendido a outras seções do protocolo (ex: desfechos, desenho do estudo) em trabalhos futuros. Eles também reconhecem a suposição de que os rótulos de "sem emenda" em registros públicos são corretos, embora falsos negativos sejam esperados como raros.