From Protocol to Analysis Plan: Development and Validation of a Large Language Model Pipeline for Statistical Analysis Plan Generation using Artificial Intelligence (SAPAI)

Este estudo desenvolveu e validou um pipeline baseado em modelos de linguagem de grande escala (LLM) para gerar Planos de Análise Estatística (SAPs) a partir de protocolos de ensaios clínicos, demonstrando que, embora os modelos atuais apresentem alta precisão em itens descritivos, ainda exigem supervisão humana e aprimoramento para lidar com raciocínio estatístico complexo.

O essencial

Imagine que você é um arquiteto planejando a construção de um arranha-céu muito importante. Você tem o Projeto Original (o plano de como o prédio será feito), mas antes de colocar o primeiro tijolo, você precisa escrever um Manual de Construção extremamente detalhado. Esse manual diz exatamente como misturar o concreto, onde colocar as vigas de aço e como testar a segurança. Se esse manual tiver erros, o prédio pode desmoronar.

Na medicina, esse "Manual de Construção" é chamado de Plano de Análise Estatística (SAP). Ele é a receita que os cientistas seguem para analisar os dados de um teste de um novo remédio. Se a receita estiver errada, os resultados podem ser falsos, e isso pode colocar vidas em risco.

Escrever esse manual é chato, demorado e exige um nível de precisão matemática que cansa até os melhores estatísticos. É aqui que entra a Inteligência Artificial (IA).

O que os pesquisadores fizeram?

Eles criaram um "robô escritor" (usando modelos de linguagem como o GPT-5, Claude e Gemini) para tentar escrever esses manuais de construção automaticamente, baseando-se apenas no projeto original.

Para testar se o robô era bom, eles deram a ele 9 projetos reais de testes médicos e pediram para ele escrever o manual de análise para cada um. Depois, eles pegaram esses manuais escritos pelo robô e os entregaram para dois especialistas humanos (como inspetores de obra) para ver se estavam corretos.

O que eles descobriram? (A Analogia do "Escritor vs. Engenheiro")

O resultado foi uma mistura de "Uau!" e "Cuidado!".

1. O Robô é um Escritor Fantástico:
   Quando se tratava de partes descritivas do manual — como "quem pode participar do teste", "quantas pessoas vamos recrutar" ou "quais são os horários das visitas" — o robô foi incrível. Ele escreveu com 80% de precisão.

   • Analogia: É como se o robô fosse um secretário super-rápido. Ele consegue transcrever o que você diz, organizar a agenda e escrever a lista de compras perfeitamente.

2. O Robô é um Engenheiro Inexperiente:
   Quando o manual exigia raciocínio matemático complexo — como "qual fórmula exata usar para calcular o risco" ou "como lidar com dados que faltam" — o robô começou a tropeçar. A precisão caiu para cerca de 70%.

   • O Perigo: O robô não apenas errava; ele alucinava. Ele inventava métodos que pareciam muito profissionais e convincentes, mas que estavam matematicamente errados.
   • Analogia: É como se o robô, ao tentar calcular a estrutura de uma ponte, dissesse: "Usei um tipo de aço muito forte e bonito". O texto soa bem, mas o aço que ele escolheu na verdade enferrujaria em uma semana. Se um engenheiro humano não olhar, a ponte cai.

A Conclusão Principal

O estudo diz que a IA é uma ferramenta poderosa, mas não pode trabalhar sozinha.

• O que a IA faz bem: Ela economiza muito tempo escrevendo as partes chatas e repetitivas do documento. Ela é como um rascunho inicial feito por um estagiário muito inteligente, mas que ainda precisa de revisão.
• O que a IA não faz bem: Ela ainda não tem o "senso comum" estatístico para tomar decisões complexas sozinha.

A lição de casa:
Os pesquisadores concluem que devemos usar a IA como um assistente, não como o chefe. O estatístico humano deve ser o "arquiteto" que revisa o trabalho do "desenhista" (a IA). Se usarmos a IA sem supervisão, corremos o risco de criar estudos médicos que parecem perfeitos no papel, mas que são falhos na prática.

Em resumo: A IA pode escrever o texto, mas o humano precisa garantir que a matemática faz sentido.

Resumo técnico

Resumo Técnico: SAPAI – Geração de Planos de Análise Estatística (SAP) com IA

1. O Problema

Os Planos de Análise Estatística (SAP, do inglês Statistical Analysis Plans) são documentos críticos para a transparência e credibilidade de ensaios clínicos randomizados. Eles operacionalizam os objetivos científicos do protocolo em uma estratégia de análise pré-especificada e reprodutível. No entanto, a redação de SAPs é:

• Intensiva em recursos: Exige muito tempo e esforço cognitivo de estatísticos experientes.
• Complexa: Envolve repetição de informações do protocolo, especificações técnicas detalhadas (populações de análise, modelos, dados ausentes) e deve ser concluída sob prazos operacionais rigorosos (geralmente antes da análise de dados não mascarados).
• Risco de "AI Slop": Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem potencial para acelerar a pesquisa, há o risco de geração de conteúdo de baixa qualidade ou metodologicamente incorreto ("alucinações") se não forem devidamente validados contra padrões estabelecidos.

O estudo visa preencher a lacuna de validação formal sobre a capacidade dos LLMs de gerar SAPs de alta qualidade e conformes com diretrizes metodológicas a partir de protocolos de ensaios clínicos.

2. Metodologia

O estudo seguiu as diretrizes de relato TRIPOD-LLM e foi dividido em duas fases principais: desenvolvimento do prompt e validação.

A. Desenvolvimento do Pipeline de Prompt (SAPAI)

• Abordagem Iterativa:
  • Fase 1 (Vanilla): Prompting simples gerou resultados incompletos, mal estruturados e com mistura de seções.
  • Fase 2 (Estruturada): Desenvolvimento de uma biblioteca de prompts modular e seção por seção, alinhada ao framework de conteúdo mínimo de SAP descrito por Gamble et al.
• Estrutura dos Prompts:
  • Mensagem de Sistema: Define o papel do modelo como "estatístico de ensaios clínicos especialista".
  • Controle de Escopo: Especifica exatamente o que incluir e o que excluir em cada seção.
  • Fidelidade ao Protocolo: Instruções estritas para não adicionar informações não presentes no protocolo (redução de alucinações).
  • Tratamento de Não Aplicabilidade: Instruções para declarar explicitamente quando algo não está planejado, em vez de extrapolá-lo.
  • Few-Shot Prompting: Uso de exemplos instrucionais para demonstrar o nível esperado de especificidade.

B. Validação e Avaliação

• Dados: 9 protocolos de ensaios clínicos reais (variando em status, população e intervenção).
• Modelos Testados: 3 LLMs líderes:
  1. OpenAI GPT-5
  2. Anthropic Claude Sonnet 4
  3. Google Gemini 2.5 Pro
• Geração: 27 SAPs gerados (9 protocolos × 3 modelos).
• Critérios de Avaliação:
  • Baseado em uma lista de verificação de 46 itens derivados das diretrizes Gamble et al. e do framework PreSPEC.
  • Escala de Pontuação (0-3):
    • 0: Item não coberto.
    • 1: Presente, mas com omissões substanciais ou alucinações que comprometem a integridade científica.
    • 2: Presente e majoritariamente preciso, com pequenas falhas.
    • 3: Preciso, consistente com o protocolo, cientificamente apropriado e detalhado o suficiente para implementação.
• Processo de Pontuação: Dupla pontuação cega por dois estatísticos de ensaios clínicos (um familiarizado com o protocolo e um independente). Discrepâncias resolvidas por consenso.
• Análise Estatística: Regressão logística de efeitos mistos para comparar a precisão entre modelos e tipos de itens (descritivos vs. estatísticos).

3. Resultados Principais

• Precisão Geral: Os modelos alcançaram uma precisão global alta, variando entre 77% e 78% (itens pontuados como 3).
• Comparação entre Modelos: Não houve diferença estatisticamente significativa no desempenho entre os três LLMs (p = 0,79). Isso sugere que a capacidade de gerar SAPs é uma característica generalizável dos modelos de ponta atuais, independentemente do provedor.
• Diferença Crítica por Tipo de Conteúdo:
  • Itens Descritivos (ex: detalhes administrativos, design do estudo, critérios de elegibilidade): Alta precisão (81% - 83%).
  • Itens de Raciocínio Estatístico (ex: especificação de modelos, análises de sensibilidade, dados ausentes): Precisão significativamente menor (67% - 72%, p < 0,001).
• Tipos de Erros Identificados:
  • Omissões simples: Falta de covariáveis ou definição incorreta de desfechos.
  • Alucinações Plausíveis: O maior risco identificado. Os modelos propuseram análises de sensibilidade ou modelos estatísticos que soavam profissionais, mas eram metodologicamente inadequados para o desenho do estudo (ex: uso de regressão linear para dados longitudinais em vez de modelos mistos, ou propostas de análises per-protocolo não planejadas).

4. Contribuições Chave

1. Primeira Validação Rigorosa: Este é o primeiro estudo a validar um pipeline de LLM especificamente para a geração de SAPs de ensaios clínicos randomizados contra diretrizes metodológicas publicadas e pontuação de especialistas independentes.
2. Pipeline Reprodutível (SAPAI): Disponibilização de uma biblioteca de prompts estruturada e de código aberto que supera as limitações do prompting "vanilla", permitindo a geração de rascunhos coerentes e estruturados.
3. Evidência de Limitações Específicas: Demonstra que, embora os LLMs sejam excelentes "redatores técnicos" para conteúdo descritivo, eles ainda não são confiáveis como "arquitetos estatísticos" autônomos para raciocínio metodológico complexo.
4. Ferramenta Pública: O pipeline SAPAI foi disponibilizado como uma ferramenta gratuita online e com código fonte aberto para uso da comunidade.

5. Significado e Conclusão

O estudo conclui que a IA assistida é viável e altamente eficaz para automatizar grandes porções da redação de SAPs, oferecendo ganhos significativos de eficiência para estatísticos de ensaios clínicos. No entanto, a abordagem "humano-no-loop" é mandatória.

• Recomendação: Os LLMs devem ser utilizados como assistentes de redação para rascunhos iniciais, especialmente para seções administrativas e descritivas.
• Aviso: A aplicação independente de LLMs para o desenho de metodologia estatística complexa ainda apresenta riscos de integridade científica devido a erros sutis e "alucinações plausíveis".
• Futuro: Trabalhos futuros devem focar em técnicas avançadas como Retrieval-Augmented Generation (RAG) para acesso a diretrizes externas e fluxos de trabalho "agênticos" (onde um agente revisa o trabalho de outro) para melhorar o raciocínio estatístico e a validação automática.

Em suma, os LLMs são aceleradores poderosos para o estatístico de ensaios clínicos, mas atualmente atuam como "desenhistas" e não como "arquitetos" do plano de análise.