Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews

Resumo Técnico: Perda de Informação na Síntese de Evidências de Intervenções de Exercício

Problema
As intervenções de exercício são complexas, com eficácia dependente de características específicas, tais como tipo, frequência, intensidade, duração, progressão, supervisão, cenário, expertise do provedor, personalização, fidelidade e adesão. Embora esteja bem documentado que os Ensaios Clínicos Controlados Aleatorizados (ECCs) primários frequentemente relatam essas intervenções de forma incompleta, sabe-se menos sobre se a informação presente nas fontes dos ECCs é preservada quando sintetizada em Revisões Sistemáticas (RSs). A evidência atual sugere que, durante o processo de síntese, características detalhadas da intervenção podem ser omitidas ou simplificadas em rótulos amplos (ex.: "exercício aeróbico"), potencialmente obscurecendo diferenças clinicamente importantes e dificultando a replicação, implementação e tradução da evidência para a prática. Distinguir entre a não reportagem no nível do estudo primário e a perda de informação no nível da síntese é crítico para a integridade da pesquisa, contudo, estudos anteriores focaram majoritariamente apenas na completude do relato nos ECCs primários.

Metodologia
Este estudo de meta-pesquisa transversal avaliou a completude do relato de intervenções de exercício em 130 ECCs e suas descrições correspondentes em nove Revisões Sistemáticas (RSs). O estudo utilizou uma estratégia de amostragem baseada em citação por conveniência para selecionar nove RSs: três que informam diretrizes de prática clínica (DPCs), três Revisões Sistemáticas Cochrane e três RSs não-Cochrane. De cada RS, um meta-análise primária foi selecionada, e 50% dos ECCs contribuintes foram amostrados aleatoriamente.

A completude do relato foi avaliada ao nível do braço da intervenção utilizando três frameworks:

1. TIDieR (Template for Intervention Description and Replication): Para o relato geral da intervenção.
2. CERT (Consensus on Exercise Reporting Template): Para o relato específico de exercício.
3. CORE-CERT (Itens 6a–6f): Para conteúdo granular de exercício e descritores de dosagem.

A extração de dados foi realizada por meio de uma abordagem híbrida humano-IA. Um autor (AMB) extraiu os dados, enquanto uma segunda extração foi realizada de forma independente utilizando o OttoSR, uma ferramenta baseada em modelo de linguagem de grande escala (LLM). As discrepâncias foram reconciliadas contra os documentos de origem (publicações de ensaios primários, protocolos, registros e arquivos suplementares). A completude foi pontuada como totalmente relatada, parcialmente relatada, relatada como ausente ou não relatada. A perda de informação foi quantificada comparando os dados da fonte do ECC com as descrições correspondentes nas RSs, categorizando a transferência como totalmente transferida, parcialmente transferida, omitida ou transferida de forma imprecisa.

Principais Contribuições

• Diferenciação de Lacunas de Relato: O estudo distingue explicitamente entre o relato incompleto em ECCs primários e a perda de informação adicional que ocorre durante o processo de síntese de evidências.
• Avaliação Multi-Ferramenta: É o primeiro estudo a aplicar simultaneamente TIDieR, CERT e CORE-CERT para avaliar tanto o relato de ensaios primários quanto a preservação de detalhes de intervenção de exercício no nível da RS.
• Análise Granular de Perda de Informação: O estudo fornece dados ao nível de item sobre quais características específicas de intervenção são mais frequentemente perdidas durante a síntese, indo além de pontuações agregadas para identificar falhas de relato específicas (ex.: equipamentos, características do provedor, adesão).
• Avaliação de Tipos de Revisão: Oferece uma análise comparativa da perda de informação entre RSs que informam DPCs, Cochrane e não-Cochrane, bem como uma avaliação do impacto da qualidade metodológica da RS (AMSTAR 2) e da publicação de diretrizes de relato (TIDieR/CERT) na completude do relato.

Resultados
Ao longo de 130 descrições de intervenções de exercício, a completude do relato foi consistentemente maior nos pacotes de origem dos ECCs do que nas descrições correspondentes das RSs.

• Completude Geral: Utilizando o TIDieR, a mediana de completude foi de 66,7% nos ECCs versus 16,7% nas RSs (51,0% de perda de informação). Utilizando o CERT, a mediana de completude foi de 53,2% nos ECCs versus 16,7% nas RSs (31,8% de perda de informação). Os itens 6a–6f do CORE-CERT mostraram a maior completude nos ECCs (91,7%), mas ainda caíram para 66,7% nas RSs.
• Perda de Informação Específica: A maior perda de informação ocorreu para equipamento (98,9% de perda), adesão/fidelidade planejada (97,2%), adesão/fidelidade real (98,8%), características do provedor (94,9%) e métodos de personalização (94,9%). Por outro lado, a dosagem de exercício e as descrições de exercícios individuais foram mais frequentemente transferidas, embora muitas vezes de forma incompleta.
• Tipo de Revisão e Qualidade: A completude do relato da fonte do ECC foi semelhante entre as categorias de RS. No entanto, a completude ao nível da RS variou: as RSs Cochrane tiveram a maior completude ao nível da RS (25,0%) e a menor perda de informação (22,6%), enquanto as RSs não-Cochrane tiveram a menor completude ao nível da RS (4,7%) e a maior perda de informação (48,3%).
• Impacto das Diretrizes: Nenhuma melhoria clara na completude do relato foi observada nos ECCs publicados após o lançamento do TIDieR ou CERT. Da mesma forma, a completude ao nível da RS não melhorou pós-publicação; em alguns casos, a perda de informação foi numericamente maior nos grupos pós-diretriz.
• Acordo Humano-IA: O acordo inicial entre a extração humana e a do OttoSR foi de 84,3%. As discrepâncias foram mais frequentes para os componentes do CERT, exigindo adjudicação significativa.

Significância e Alegações
O artigo alega que a falta de informações de intervenção de exercício nas RSs reflete uma falha dupla: o relato incompleto em ensaios primários e a perda de informação adicional durante a síntese de evidências. Os autores argumentam que mesmo quando os autores dos ensaios relatam detalhes relevantes, esses detalhes são frequentemente perdidos se os autores das RSs não os extraírem e apresentarem sistematicamente.

O estudo conclui que a melhoria da usabilidade da evidência de exercício requer ação em dois níveis:

1. Estudos Primários: Os autores dos ensaios devem relatar as intervenções com detalhes suficientes usando orientação estruturada (TIDieR, CERT, CORE-CERT), particularmente em relação às características do provedor, adesão, fidelidade e personalização.
2. Revisões Sistemáticas: Os autores de RS devem extrair e preservar sistematicamente os detalhes da intervenção disponíveis nas fontes dos ensaios, distinguindo entre a informação indisponível nas fontes primárias e a informação disponível, mas omitida na revisão.

Os autores enfatizam que, sem esses passos, a evidência de exercício permanece difícil de interpretar, replicar e implementar, limitando a capacidade de clínicos e painéis de diretrizes de traduzir a evidência em recomendações acionáveis, viáveis e seguras. O estudo não alega que as diretrizes de relato sozinhas sejam suficientes, observando que estratégias ativas envolvendo periódicos, editores e financiadores são provavelmente necessárias para melhorar a adesão.