Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

Este estudo demonstra que a exigência de uma seção específica sobre rigor no *Journal of Neurotrauma* melhorou significativamente a transparência em seis dos oito itens avaliados em comparação com o *Experimental Neurology*, embora persistam lacunas na divulgação de variáveis biológicas como o sexo e na identificação transparente de reagentes.

O essencial

Imagine que a ciência é como uma receita de bolo muito complexa. Se você quer que outra pessoa no mundo inteiro consiga fazer o mesmo bolo delicioso que você fez, a receita precisa ser perfeita: você precisa dizer exatamente qual marca de farinha usou, quanto tempo o forno ficou ligado e se você misturou os ingredientes com a mão direita ou esquerda.

Se a receita for confusa ou omitir detalhes, ninguém consegue repetir o bolo. Na ciência, quando ninguém consegue repetir o resultado, chamamos isso de falta de "rigor" e "transparência".

Este estudo é como um inspetor de qualidade que foi verificar duas grandes cozinhas (dois jornais científicos) que publicam receitas sobre lesões no cérebro (Traumatismo Cranioencefálico). O objetivo era ver se as receitas estavam ficando mais claras e detalhadas.

As Duas Cozinhas (Jornais)

1. A Cozinha "Experimental Neurology" (ExpNeuro): Esta cozinha segue as regras antigas. Eles dizem: "Escreva sua receita como quiser, mas tente ser honesto". Eles não têm um formulário obrigatório para preencher.
2. A Cozinha "Journal of Neurotrauma" (JNeuroT): Esta cozinha mudou as regras recentemente. Agora, eles exigem que os cozinheiros preencham um checklist obrigatório (uma lista de verificação) antes de publicar. Eles dizem: "Antes de publicar, responda: Você usou luvas? Você pesou os ingredientes? Você escondeu quem estava provando o bolo para não viciar o teste?".

O Detetive de IA (SciScore)

Para não ter que ler milhares de receitas manualmente (o que levaria anos), os autores usaram um robô detetive chamado SciScore. Esse robô lê as receitas e dá uma nota de 0 a 10, verificando se os ingredientes e o método foram descritos corretamente.

O Que Eles Descobriram?

O robô comparou as receitas das duas cozinhas e encontrou coisas muito interessantes:

• O Checklist Funciona (para o que está na lista): As receitas da cozinha "Journal of Neurotrauma" (aquelas que preencheram o checklist novo) ficaram muito melhores nas coisas que o checklist pedia explicitamente.
  • Analogia: Se o checklist perguntava "Você usou a farinha X?", 50% dos cozinheiros responderam "Sim". Na outra cozinha, apenas 10% responderam. O checklist funcionou como um lembrete poderoso.
• O Efeito "Cego" (O que não está na lista): O problema é que os cozinheiros só fizeram o que estava escrito no checklist. Eles ignoraram o resto.
  • Exemplo: O checklist não perguntava especificamente sobre o "gênero" dos ratos usados no teste ou sobre a "marca exata" de alguns produtos químicos. Como não estava na lista de verificação, os cozinheiros da cozinha nova continuaram sendo tão vagos quanto os da cozinha antiga.
  • Curiosidade: Em um ponto específico (sobre o sexo dos animais), a cozinha antiga (ExpNeuro) até foi um pouco melhor que a nova!
• A Ilusão de Segurança: Parece que, ao preencher o checklist, os autores sentem que "já cumpriram a lei" e param de prestar atenção nos outros detalhes importantes que não estavam na lista. É como se um aluno fizesse a prova de matemática perfeita, mas esquecesse de colocar a data no topo e não escrevesse o nome.

A Conclusão em Linguagem Simples

O estudo mostra que obrigar os cientistas a preencher um formulário ajuda muito, mas não é a solução mágica.

• O que deu certo: Quando os editores dizem "Você precisa escrever sobre isso", os cientistas escrevem. A transparência aumentou onde havia regras claras.
• O que não deu certo: Os cientistas não estão sendo proativos. Eles não estão pensando em "como posso ser mais transparente?" de forma geral; eles estão apenas pensando "o que eu preciso marcar nesta lista?".

A Lição Final:
Para a ciência avançar e conseguir curar doenças (como lesões no cérebro), não basta ter um checklist. Os cientistas precisam entender que a transparência é como a higiene na cozinha: você não lava as mãos apenas porque o chefe pediu, você lava porque é a única forma de garantir que o bolo (ou a cura) seja seguro e confiável para todos. O checklist é um ótimo começo, mas precisamos garantir que os detalhes importantes que não estão na lista também sejam sempre contados.

Resumo técnico

Título: Rigor e Transparência em dois periódicos de neurotraumatologia: políticas editoriais melhoram a transparência do relato

1. O Problema

A pesquisa pré-clínica em Traumatismo Cranioencefálico (TCE) gera um grande volume de estudos, mas a tradução desses resultados para a prática clínica tem sido mínima. A falta de padronização e reprodutibilidade nos estudos laboratoriais é um dos principais culpados. Fatores críticos de rigor e transparência, como o cegamento (blinding) da alocação de grupos, cálculos de poder estatístico, randomização e a identificação de reagentes, são frequentemente relatados de forma incompleta ou problemática. Embora muitas revistas e sociedades científicas tenham adotado diretrizes (como ARRIVE ou políticas do NIH) para exigir esses relatos, não há consenso sobre se essas políticas resultam em mudanças reais e mensuráveis nas práticas de publicação. Especificamente, não se sabia se a exigência de uma seção dedicada a "Rigor, Transparência e Reprodutibilidade" (TRR) em uma revista líder (Journal of Neurotrauma) efetivamente melhorou a qualidade dos dados relatados em comparação com uma revista similar sem essa exigência explícita (Experimental Neurology).

2. Metodologia

O estudo utilizou uma abordagem de "experimento natural" comparando dois periódicos de neurociência de impacto e tamanho semelhantes:

• Journal of Neurotrauma (JNeuroT): Implementou uma política obrigatória em 2022 exigindo uma seção TRR separada para autores (grupo de intervenção, denominado JNeuroT+ para artigos com essa seção).
• Experimental Neurology (ExpNeuro): Não possui instruções explícitas sobre itens de transparência (grupo de controle).

Ferramentas e Dados:

• Ferramenta de Análise: Utilizou-se o SciScore, uma ferramenta baseada em Inteligência Artificial (IA) e processamento de linguagem natural (tuned para detectar sentenças de rigor/transparência). O SciScore atribui uma pontuação de 1 a 10 baseada na aderência a critérios pré-definidos.
• Cohorte de Estudo: Artigos publicados entre 2014 e 2024, filtrados para aqueles disponíveis no PubMed Central (PMC).
• Processamento:
  • Extração automática das seções de "Métodos" e, quando aplicável, da seção "TRR" (pós-2022 no JNeuroT).
  • Análise de 37 artigos do JNeuroT+ (com a seção extra) vs. 1.089 artigos do JNeuroT (sem a seção) vs. 804 artigos do ExpNeuro.
  • Comparação com uma base de referência de 331.393 artigos do PMC de 2020 (dados de Menke et al., 2022).
• Métricas: Avaliação da presença de itens específicos (ex: cegamento, poder estatístico, dados, código, RRIDs, sexo do sujeito) e cálculo de proporções estatísticas usando teste Z de duas amostras.

3. Principais Contribuições

• Validação Quantitativa de Políticas Editoriais: O estudo fornece evidências empíricas de que a exigência de uma seção específica de rigor (TRR) em uma revista aumenta significativamente a adesão aos itens explicitamente solicitados nessa seção.
• Uso de IA em Escala: Demonstrou a eficácia de ferramentas automatizadas (SciScore) para analisar milhares de artigos, superando as limitações de amostragem manual e permitindo uma avaliação abrangente da conformidade.
• Identificação de Lacunas Específicas: Revelou que as políticas editoriais atuais podem criar um "efeito de foco", onde autores melhoram apenas o que é explicitamente solicitado, negligenciando outros itens críticos de rigor que não estão na lista de verificação obrigatória (como o relato transparente de anticorpos e o uso de RRIDs).

4. Resultados Chave

• Pontuação Geral: O JNeuroT+ (com a seção TRR) obteve pontuações de rigor significativamente mais altas (média de 5,61) em comparação com o JNeuroT sem a seção (4,60) e o ExpNeuro (3,52).
• Itens Explicitamente Solicitados (Eficácia da Política): Para itens que estavam na lista de verificação da seção TRR do JNeuroT, houve aumentos drásticos na relatoria no grupo JNeuroT+:
  • Cálculos de Poder: Aumentou de ~12% (JNeuroT sem seção) para 47% (JNeuroT+).
  • Cegamento (Blinding): Aumentou de ~38% para 70%.
  • Acesso a Dados: Aumentou de ~6% para 51%.
  • Critérios de Inclusão/Exclusão e Atrito: Também mostraram aumentos significativos.
• Itens Não Solicitados Explicitamente (Limitações da Política): Para itens críticos que não estavam na seção TRR obrigatória, não houve melhoria significativa, e em alguns casos, o desempenho foi pior que o do grupo de controle:
  • Sexo como Variável Biológica: O relato de sexo foi significativamente melhor no ExpNeuro (79%) do que no JNeuroT+ (62%).
  • Identificação de Reagentes (Anticorpos, Ferramentas): A transparência no relato de anticorpos permaneceu baixa (~11%) em ambos os grupos, muito abaixo da média do PMC (31%). Nenhum dos 37 artigos do JNeuroT+ relatou organismos, linhagens celulares ou ferramentas de forma transparente (0%), apesar de serem itens críticos para reprodutibilidade.
• Conclusão Parcial: A política funcionou para o que foi pedido, mas não gerou uma melhoria holística no rigor do manuscrito.

5. Significância e Implicações

O estudo conclui que as políticas editoriais que exigem seções de transparência são eficazes para melhorar a relatoria de itens específicos, mas são insuficientes para garantir um rigor abrangente.

• Risco de "Checklist Cego": Existe o risco de os autores focarem apenas em preencher a seção obrigatória, ignorando outros aspectos fundamentais de reprodutibilidade (como o uso de RRIDs para reagentes e o relato de variáveis biológicas como sexo).
• Necessidade de Atualização de Diretrizes: As diretrizes de revistas de neurotrauma (e possivelmente outras áreas) precisam evoluir para incluir explicitamente itens como o relato transparente de reagentes (RRIDs) e variáveis biológicas (sexo, idade), que são essenciais para a tradução clínica, mas que atualmente são negligenciados mesmo em revistas de alto impacto.
• Futuro: A sustentabilidade dessas melhorias a longo prazo ainda precisa ser monitorada, pois os dados de 2024 mostraram uma tendência de queda nas pontuações do JNeuroT+, sugerindo que o efeito inicial pode não ser duradouro sem reforço contínuo ou expansão das exigências.

Em resumo, a transparência forçada por políticas editoriais funciona, mas apenas dentro dos limites do que é explicitamente solicitado; para uma ciência verdadeiramente reprodutível, as listas de verificação devem ser expandidas para cobrir todas as dimensões do rigor experimental.