Resumo Técnico: CaresAI no CT-DEB'26

Declaração do Problema

Erros de medicação, especificamente erros de dosagem em ensaios clínicos (CT), representam riscos significativos à segurança do paciente, à integridade do ensaio e à viabilidade financeira. Embora evitáveis, esses erros são difíceis de identificar precocemente devido à dependência de grandes volumes de dados textuais não estruturados em protocolos e relatórios de ensaios. A verificação manual de cronogramas de dosagem corretos entre braços de estudo é demorada e propensa a falhas. O desafio abordado neste estudo é a detecção automatizada de ensaios clínicos que atendem a um critério predefinido de risco elevado para erros de dosagem, utilizando Processamento de Linguagem Natural (NLP) para extrair e analisar detalhes metodológicos de textos não estruturados.

Metodologia

Conjunto de Dados e Formulação do Problema

O estudo utilizou dados do desafio CT-DEB'26, derivados do ClinicalTrials.gov. O conjunto de dados compreendeu 29.478 registros de treinamento e 6.316 de validação, cada um representando um único ensaio clínico. A variável alvo foi um rótulo binário indicando se o limite inferior do intervalo de confiança de Wilson de 95% para a taxa de erro de dosagem excedeu 0,01%. O conjunto de dados incluiu uma mistura de variáveis categóricas/numéricas estruturadas e campos de texto não estruturados (ex: briefSummary, detailedDescription, armDescriptions, interventionDescriptions).

Engenharia de Atributos (Feature Engineering)

• Codificação de Texto: Campos de texto não estruturados foram codificados usando quatro modelos transformadores pré-treinados específicos do domínio: BioBERT, ClinicalBERT, PubMedBERT e MedCPT. Foi aplicada uma extensão máxima de sequência de 256 tokens, com embeddings de nível de sentença gerados via mean pooling.
• Atributos Estruturados: Variáveis categóricas (ex: interventionModel, allocation, oversightHasDmc, primaryPurpose, phase) foram codificadas via one-hot encoding. Variáveis numéricas contínuas (ex: enrollmentCount, numArms) foram excluídas do pipeline final devido à fraca associação estatística ou redundância.
• Exclusões: O campo protocolPdfText foi excluído devido à extrema esparsidade de dados no conjunto de treinamento (81,3% ausente) e ao comprimento excessivo dos documentos, o que exigiria truncamento agressivo e introduziria viés de distribuição.

Estrutura Experimental

A pesquisa seguiu um framework controlado e iterativo com duas fases principais:

1. Fase 1 (Codificação e Atributos): Avaliou diferentes codificadores transformadores e o impacto incremental de atributos categóricos usando uma linha de base de regressão logística.
2. Fase 2 (Arquitetura do Modelo): Testou vários modelos de aprendizado de máquina clássicos (Regressão Logística, SVC, XGBoost, LightGBM, etc.) e arquiteturas de redes neurais (MLP, Redes Residuais, Text-Tower) sobre os atributos selecionados.
   • Desbalanceamento de Classes: Dado o desbalanceamento do conjunto de dados (~95,4% de classe negativa), os experimentos variaram as estratégias de ponderação de classe (razões fixas e ponderação proporcional automática).
   • Otimização: As redes neurais utilizaram early stopping, escalonamento de taxa de aprendizado e comparações de função de perda (Binary Cross-Entropy vs. Focal Loss).

Avaliação

O desempenho foi avaliado primariamente usando ROC-AUC em um conjunto de validação mantido à parte. Métricas secundárias incluíram precisão, recall e acurácia balanceada para abordar o desbalanceamento de classes. Uma verificação final de robustez foi realizada usando validação cruzada de 5 dobras estratificada no conjunto de dados combinado.

Principais Resultados

Desempenho da Codificação de Texto

• O BioBERT emergiu como o codificador superior, alcançando um ROC-AUC de 0,794 com regressão logística. Isso representou uma melhoria de 3,95% sobre a linha de base do ClinicalBERT (0,764).
• O PubMedBERT (0,775) e o MedCPT (0,789) tiveram desempenho moderado, enquanto o ClinicalBERT (0,764) teve desempenho inferior, provavelmente devido ao seu pré-treinamento em notas de UTI em vez de linguagem estruturada de protocolos.
• Estratégia de Combinação: A concatenação de embeddings de múltiplos codificadores não melhorou o desempenho (o ROC-AUC caiu para 0,764), sugerindo que o alinhamento de domínio é mais crítico do que o empilhamento de representações para esta tarefa.

Desempenho da Arquitetura do Modelo

• Modelos Clássicos: Modelos de gradient boosting (LightGBM e XGBoost) e Classificadores de Vetores de Suporte (SVC) alcançaram os resultados mais fortes. O LightGBM atingiu um ROC-AUC de validação de 0,831, e o SVC calibrado atingiu 0,831. A Regressão Logística alcançou 0,812.
• Redes Neurais: Uma Rede Neural Residual (com conexões de salto/skip connections) alcançou o maior desempenho entre as arquiteturas neurais com um ROC-AUC de 0,831. MLPs simples (0,829) e redes mais largas (0,814) tiveram desempenho ligeiramente inferior. Arquiteturas de "text-tower" não renderam ganhos significativos sobre a concatenação padrão.
• Ponderação de Classe: Embora variar os pesos de classe tenha tido impacto mínimo na Regressão Logística (o ROC-AUC permaneceu em ~0,795), isso melhorou significativamente o desempenho das Redes Neurais, aumentando o ROC-AUC de 0,806 (sem ponderação) para 0,838 (ponderação automática).

Importância dos Atributos

A análise estatística (Qui-quadrado e Cramér's V) identificou interventionModel, allocation e oversightHasDmc como os preditores mais significativos. Clinicamente, designs complexos (crossover/factorial) e a ausência de Comitês de Monitoramento de Dados correlacionaram-se com riscos de erro mais elevados.

Significância e Alegações

O artigo afirma que a integração de embeddings de transformadores específicos do domínio (especificamente BioBERT) com metadados estruturados permite a discriminação eficaz de ensaios clínicos que atendem aos critérios de risco elevado de erro de dosagem.

As principais contribuições incluem:

1. Demonstração de Alinhamento de Domínio: Mostrar que modelos pré-treinados em literatura biomédica (BioBERT) superam aqueles treinados em notas clínicas gerais (ClinicalBERT) para análise de protocolos.
2. Validação de Abordagens Híbridas: Provar que combinar embeddings de texto com atributos categóricos produz resultados superiores em comparação com abordagens apenas de texto ou apenas de estrutura.
3. Utilidade Prática: O framework proposto apoia o monitoramento de segurança e a tomada de decisão regulatória informada ao automatizar a identificação de protocolos de ensaios clínicos de alto risco.

Os autores mantêm uma postura modesta, observando que, embora os modelos tenham alcançado uma forte discriminação (ROC-AUC ~0,82–0,85), o estudo não realizou o ajuste exaustivo de hiperparâmetros para as redes neurais, e a exclusão do texto em PDF limita o escopo aos campos textuais específicos. O trabalho avança a aplicação de NLP na integridade de ensaios clínicos, mas reconhece o desafio contínuo da escassez de dados e a necessidade de experimentação adicional em larga escala.