TimeTox: An LLM-Based Pipeline for Automated Extraction of Time Toxicity from Clinical Trial Protocols

Resumo Técnico: TimeTox

1. O Problema

A "toxicidade temporal" (time toxicity) refere-se ao número cumulativo de dias de contato com o sistema de saúde que os pacientes experimentam devido à participação em ensaios clínicos. Este é um indicador crucial para avaliar o fardo do paciente, mas sua extração manual a partir de protocolos de ensaios clínicos é extremamente trabalhosa, propensa a erros e difícil de padronizar.

Os protocolos clínicos são documentos complexos (muitas vezes com mais de 100 páginas) que contêm tabelas de "Cronograma de Avaliações" (Schedule of Assessments - SoA). Estas tabelas:

• Não seguem um formato unificado entre diferentes protocolos.
• Contêm informações dispersas, cabeçalhos agrupados (ex: "Ciclos 4 a 12"), e notas de rodapé complexas.
• Requerem mapeamento de ciclos de tratamento para dias de calendário e contagem de dias únicos de contato, evitando duplicações.
• A extração manual mostrou-se inviável em escala devido à baixa concordância entre avaliadores humanos, mesmo com diretrizes rigorosas.

2. Metodologia

Os autores desenvolveram o TimeTox, um pipeline automatizado baseado em Grandes Modelos de Linguagem (LLMs) utilizando os modelos da Google (Gemini). A abordagem envolveu três etapas principais:

• Pré-processamento e Extração de Resumo:

  • Como os protocolos são longos (100-400 páginas), mas a tabela SoA ocupa apenas 5-15 páginas, foi utilizado o modelo Gemini 2.5 Flash para identificar e extrair as páginas relevantes.
  • O pipeline gera um PDF consolidado contendo um resumo do estudo e as páginas da tabela SoA com contexto adjacente, reduzindo o tamanho da entrada para o modelo de extração.

• Arquiteturas de Extração Comparadas:
  Foram testadas duas arquiteturas diferentes usando o Gemini 3.0 Flash:

  1. Pipeline "Vanilla" (Passagem Única): O modelo recebe o PDF resumido e um prompt estruturado que solicita diretamente a quantificação dos dias de contato em seis janelas de tempo cumulativas (rastreio até 12 meses). O modelo deve realizar a interpretação visual, expansão de colunas agrupadas e o cálculo aritmético em uma única chamada.
  2. Pipeline de Duas Etapas (Estrutura → Contagem):
     • Etapa 1: Extração de parâmetros estruturais (comprimento do ciclo, dias de visita, duração do tratamento) em formato JSON.
     • Etapa 2: Um segundo chamado ao LLM utiliza essa estrutura extraída para realizar o cálculo aritmético dos dias de contato.
     • Hipótese: Separar a percepção (leitura da tabela) do cálculo reduziria erros.

• Validação e Consenso:

  • Dados Sintéticos: Gerou-se 20 cronogramas sintéticos com "verdade de base" (ground truth) determinística para validar a precisão.
  • Dados do Mundo Real: Aplicação em 644 protocolos oncológicos reais.
  • Mecanismo de Consenso: Para lidar com a instabilidade de nomes de braços de tratamento entre execuções do LLM, foi implementado um mecanismo de correspondência baseada em posição. Os braços são ordenados pelo número de dias de contato e agrupados por índice posicional, calculando-se a mediana entre 3 execuções independentes.

3. Principais Contribuições

1. Pipeline End-to-End: Uma solução completa que vai do PDF bruto do protocolo até dados estruturados de toxicidade temporal.
2. Conjunto de Dados Sintético: Criação de 20 cronogramas sintéticos complexos com valores de verdade conhecidos, permitindo validação sistemática.
3. Descoberta Crítica de Trade-off: A demonstração de que a alta precisão em benchmarks sintéticos não garante estabilidade no mundo real, e vice-versa.
4. Mecanismo de Consenso Robusto: Uma técnica de correspondência baseada em posição que supera a variabilidade de nomenclatura dos LLMs.
5. Escalabilidade: Aplicação bem-sucedida em larga escala (644 protocolos, 1.288 braços de tratamento) em múltiplos sítios de doença.

4. Resultados

• Desempenho em Dados Sintéticos:

  • O pipeline de Duas Etapas superou amplamente o Vanilla, atingindo 100% de precisão clinicamente aceitável (erro ≤ 3 dias) e um Erro Absoluto Médio (MAE) de 0,81 dias.
  • O pipeline Vanilla teve apenas 41,5% de precisão clinicamente aceitável (MAE de 9,0 dias), com tendência sistemática de supercontagem em janelas de tempo longas.

• Desempenho em Dados do Mundo Real (Estabilidade):

  • Aqui, a conclusão inverteu-se. O pipeline de Duas Etapas mostrou alta variabilidade entre execuções (ex: IQR de 258 dias para o mesmo braço em 5 corridas), falhando em protocolos reais heterogêneos.
  • O pipeline Vanilla demonstrou estabilidade excepcional:
    • 95,3% dos braços tiveram precisão clinicamente aceitável (IQR ≤ 3 dias) em 3 execuções independentes.
    • 82,0% apresentaram estabilidade perfeita (IQR = 0).
  • O pipeline Vanilla foi selecionado para a produção devido à sua consistência, apesar da menor precisão em dados sintéticos.

• Produção:

  • O pipeline final processou 644 protocolos oncológicos, extraindo dados para 1.288 braços de tratamento.
  • O custo total foi inferior a US$ 100, tornando a abordagem economicamente viável.

5. Significado e Conclusão

O artigo estabelece um princípio fundamental para a implantação de LLMs na extração de dados clínicos: a estabilidade na reprodução de dados do mundo real é mais crítica do que a precisão em benchmarks sintéticos controlados.

• Insight Principal: Em ambientes complexos e heterogêneos (como protocolos reais), pipelines que tentam decompor tarefas (duas etapas) podem amplificar pequenos erros de interpretação estrutural, levando a grandes variações nos resultados finais. Pipelines de "passagem única" (single-pass), embora menos precisos em cenários ideais, tendem a ser mais robustos a ambiguidades visuais e formatação inconsistente.
• Impacto: O TimeTox permite, pela primeira vez, a quantificação sistemática e em larga escala da toxicidade temporal em ensaios clínicos, permitindo comparações entre modalidades de tratamento e sítios de doença que seriam impossíveis de realizar manualmente.
• Limitações: O pipeline ainda depende de um único modelo (Gemini), não captura visitas além de 12 meses e pode apresentar viés sistemático (super ou subcontagem) que o consenso não corrige totalmente, embora reduza a variância aleatória.

Em suma, o TimeTox demonstra que para aplicações clínicas comparativas, a consistência do modelo é o fator decisivo para o sucesso da implantação, superando a necessidade de precisão absoluta em dados de treinamento sintéticos.