SPIRIT-CONSORT-ELM: Element-Level Assessment of Randomized Controlled Trial Reporting Using Large Language Models

Resumo Técnico: SPIRIT-CONSORT-ELM

Definição do Problema
Ensaios clínicos randomizados (ECRs) são fundamentais para avaliar benefícios e danos de intervenções, contudo, sua utilidade é frequentemente comprometida pelo relato incompleto. Embora as diretrizes de relato, como o SPIRIT (para protocolos) e o CONSORT (para resultados), forneçam listas de verificação para garantir a completude, os métodos de avaliação automatizada existentes operam primariamente ao nível do "item". Esta abordagem binária — determinando apenas se um item da lista está presente ou ausente — falha em capturar a nuance do relato completo. Muitos itens de uma lista consistem em múltiplos "elementos" distintos (detalhes específicos necessários para a conformidade total). Consequentemente, um item pode ser marcado como "relatado" mesmo que subelementos críticos estejam ausentes, ou marcado como "incompleto" sem distinguir entre um único detalhe ausente e uma ausência total de informação. Essa falta de granularidade dificulta a capacidade de fornecer feedback acionável aos autores e limita a confiabilidade da meta-pesquisa sobre tendências de relato.

Metodologia
Os autores abordam essa lacuna desenvolvendo o SPIRIT-CONSORT-ELM, um framework e um conjunto de dados para avaliação ao nível do elemento. A metodologia envolve três componentes principais:

1. Construção do Framework: Três especialistas em epidemiologia e meta-pesquisa derivaram 119 perguntas específicas a partir dos 83 itens de verificação do SPIRIT 2013 e CONSORT 2010. Essas perguntas visam elementos constituintes dentro dos itens da lista. O framework inclui perguntas de escolha única ("check-one"), múltipla escolha ("check-all-that-apply") e condicionais. As perguntas condicionais são acionadas apenas quando elementos específicos estão presentes ou ausentes, exigindo mais detalhes ou justificativa.
2. Curadoria do Conjunto de Dados: O framework foi aplicado ao corpus existente SPIRIT-CONSORT-TM, composto por 200 artigos (100 pares protocolo-resultados). Dois especialistas anotaram independentemente 50 artigos (25 pares) para estabelecer o acordo entre anotadores, enquanto os 150 artigos restantes foram anotados por um único especialista. As anotações basearam-se em trechos de texto relevantes previamente identificados para os itens correspondentes da lista.
3. Pipeline de Avaliação Automatizada: Os autores formularam a avaliação ao nível do elemento como uma tarefa de compreensão de leitura de máquina (MRC). O pipeline consiste em:
   • Recuperação de Evidências: Um modelo baseado em PubMedBERT (ajustado no SPIRIT-CONSORT-TM) identifica sentenças que contêm informações de relato ao nível do item.
   • Resposta a Perguntas: Um Modelo de Linguagem Grande (LLM) generativo, especificamente o GPT-5 e o modelo de pesos abertos Qwen-2.5, responde às 119 perguntas com base no texto recuperado.
   • Estratégias de Prompting: O sistema utiliza templates de prompt manuais e agnósticos à pergunta. Os autores avaliaram o impacto do raciocínio de Cadeia de Pensamento (CoT), prompts gerados por LLM e exemplos de contexto (selecionados via estratégias de aleatoriedade ou similaridade semântica).

Principais Contribuições
O artigo apresenta três contribuições principais:

1. Framework ao Nível do Elemento: Um conjunto formalizado de 119 perguntas que operacionalizam as diretrizes de relato ao nível do elemento, indo além da presença binária do item para avaliar detalhes específicos do relato.
2. Dataset SPIRIT-CONSORT-ELM: Um conjunto de dados anotado por especialistas contendo julgamentos para 119 perguntas em 200 publicações de ECRs, fornecendo um benchmark para avaliação refinada.
3. Pipeline de Avaliação Automatizada: Uma avaliação de LLMs para esta tarefa, demonstrando um pipeline que combina a recuperação de evidências ao nível da sentença com o raciocínio de LLM generativo para responder a perguntas estruturadas.

Resultados

• Anotação Humana: O acordo entre anotadores foi alto, com uma média de Gwet's AC1 de 0,782, indicando que humanos podem realizar a avaliação ao nível do elemento de forma confiável quando fornecidos com trechos de texto relevantes.
• Desempenho do Modelo: O pipeline automatizado usando o GPT-5 alcançou um F1 score de 0,822, acurácia de 0,852 e Gwet's AC1 de 0,796. O modelo de pesos abertos Qwen-2.5 alcançou resultados comparáveis (F1: 0,803), embora com maior tempo de inferência. Ambos os modelos superaram a linha de base de classe majoritária.
• Impacto da Recuperação de Evidências: O uso de trechos de texto anotados por especialistas (um limite superior) melhorou significativamente o desempenho (F1: 0,893) em comparação com o método de recuperação automatizada (F1: 0,822), sugerindo que a melhoria da recuperação de evidências é uma área chave para o aprimoramento futuro.
• Prompting e Exemplos: O raciocínio de Cadeia de Pensamento (CoT) proporcionou um aumento modesto no desempenho (+1,0 pp F1), mas aumentou o tempo de processamento e o custo em mais de cinco vezes. Exemplos de contexto (one-shot) renderam melhorias leves (+0,8 pp F1) dependendo da estratégia de seleção, mas adicionar mais exemplos (3-shot, 5-shot) degradou o desempenho.
• Diferenças nas Diretrizes: O desempenho foi maior para perguntas relacionadas ao SPIRIT (F1: 0,840) do que para as relacionadas ao CONSORT (F1: 0,780), provavelmente porque as perguntas do CONSORT frequentemente exigem a interpretação de extensos e difusos intervalos de texto referentes aos resultados.

Significância e Alegações
Os autores alegam que o SPIRIT-CONSORT-ELM fornece o primeiro benchmark para avaliar a completude das diretrizes de relato ao nível do elemento. Eles postulam que essa granularidade permite uma avaliação mais válida e confiável da transparência dos ECRs do que simples verificações ao nível do item. O framework permite a identificação de elementos específicos ausentes, oferecendo feedback acionável para autores, revisores e editores. Embora o sistema automatizado demonstre viabilidade, os autores mantêm-se modestos, observando que os níveis atuais de desempenho, embora encorajadores, podem exigir melhorias adicionais para adoção ampla no mundo real. Eles enfatizam que o framework complementa as diretrizes existentes e apoia a meta-pesquisa ao fornecer dados de maior resolução sobre as práticas de relato. O conjunto de dados e o código estão disponíveis publicamente para facilitar o desenvolvimento adicional de sistemas automatizados para melhorar o relato de ECRs.