Does the type of publisher response to integrity concerns influence subsequent citations? A cohort study.

Este estudo de coorte concluiu que o tipo de resposta editorial (aviso, nota de preocupação ou retratação) emitida por periódicos para abordar preocupações de integridade não influencia a taxa de declínio de citações subsequentes, a qual não difere significativamente da queda natural observada em ensaios controlados aleatórios de controle.

O essencial

Imagine que a ciência é como uma enorme biblioteca pública onde os pesquisadores deixam seus livros (artigos científicos) para que outros os leiam e usem como base para novas descobertas. Às vezes, descobre-se que alguns desses livros contêm erros graves, dados falsos ou foram escritos de forma desonesta.

Quando isso acontece, os guardiões da biblioteca (as revistas científicas e editoras) precisam avisar aos leitores. Eles têm três formas principais de fazer esse aviso:

1. Um "Sinal de Atenção" (Editorial Notice): Um aviso discreto no site da revista, dizendo "Ei, temos dúvidas sobre este livro".
2. Uma "Expressão de Preocupação" (EoC): Um aviso mais forte, que aparece nos índices de busca, dizendo "Este livro tem problemas sérios, use com cuidado".
3. Uma "Retratação" (Retraction): O aviso mais grave, onde o livro é oficialmente "cancelado" e retirado das prateleiras, dizendo "Este livro é inválido".

O que os autores deste estudo queriam saber?
Eles queriam descobrir: Quando esses avisos são colocados, as pessoas param de ler e citar (usar como referência) esses livros "problemáticos"? E mais importante: O tipo de aviso faz diferença? Um "cancelamento" funciona melhor do que um simples "sinal de atenção"?

Para responder a isso, eles olharam para 172 "livros" (estudos clínicos) que tinham problemas de integridade e compararam o que aconteceu com eles depois dos avisos, com o que aconteceu com outros livros normais da mesma biblioteca.

A Grande Descoberta: O Aviso Não Parou a Leitura

O resultado foi surpreendente e um pouco preocupante: Nenhum dos avisos funcionou como esperado.

Pense assim: imagine que você está assistindo a um filme que está ficando chato. Naturalmente, as pessoas começam a sair do cinema e a conversa sobre o filme diminui com o tempo. Isso é o que acontece com qualquer livro científico: depois de alguns anos, as pessoas leem menos e citam menos, simplesmente porque é "velho".

O estudo descobriu que, quando as revistas emitiram os avisos (seja o cancelamento ou o sinal de atenção), a quantidade de pessoas citando esses livros não caiu mais rápido do que a queda natural que aconteceria de qualquer forma.

• A analogia do "Sinal de Pare": Foi como colocar um sinal de "Pare" no meio de uma estrada onde o trânsito já estava diminuindo naturalmente porque a estrada estava terminando. O sinal não fez os carros pararem de repente; eles continuaram passando na mesma velocidade de antes, apenas seguindo a tendência de desaceleração natural.
• O problema da visibilidade: O estudo sugere que os avisos mais fortes (como a retratação) deveriam ser mais eficazes, mas não foram. Isso pode ser porque muitos pesquisadores não sabem que o livro foi "cancelado". Eles podem estar usando listas de leitura antigas, copiando referências de outros artigos ou usando softwares que não atualizam automaticamente quando um livro é retirado.

Por que isso importa?

Se as revistas publicam avisos dizendo "este livro é ruim" ou "este livro foi retirado", mas as pessoas continuam citando-o da mesma forma, qual é o valor desses avisos?

É como se a biblioteca colocasse um adesivo amarelo em um livro estragado, mas ninguém notasse, e as pessoas continuassem emprestando e usando o livro estragado para fazer suas próprias pesquisas. O estudo conclui que, atualmente, essas estratégias de aviso não estão conseguindo impedir que pesquisas não confiáveis continuem influenciando a ciência.

Resumo em uma frase:

As revistas tentam avisar sobre livros científicos ruins, mas os leitores continuam usando esses livros como referência na mesma velocidade, seja o aviso um simples recado ou um cancelamento total, provavelmente porque ninguém está realmente vendo ou entendendo o aviso a tempo.

Resumo técnico

Título do Estudo

Respostas dos Editores a Preocupações de Integridade – O Tipo de Aviso Influencia as Citações Subsequentes? Um Estudo de Coorte.

1. Problema e Contexto

A integridade científica é frequentemente comprometida por pesquisas não confiáveis que permanecem publicadas ou não são corrigidas após a identificação de falhas. Quando preocupações de integridade são notificadas a editores, as revistas podem responder de quatro formas: não tomar ação, emitir uma correção, publicar uma resposta editorial (como um "Aviso Editorial" ou uma "Expressão de Preocupação" - EoC) ou retrair o artigo.

Existe uma lacuna de conhecimento sobre se o tipo de resposta editorial (especificamente a diferença de visibilidade entre uma Expressão de Preocupação, que é indexada em bases de dados, e um Aviso Editorial, que muitas vezes fica restrito ao site da revista) influencia a taxa de citação futura. Enquanto se espera que autores parem de citar artigos problemáticos após uma notificação pública, estudos anteriores sobre retratações mostram resultados mistos (alguns indicam queda nas citações, outros indicam persistência ou até aumento). Este estudo investiga se a natureza da resposta editorial afeta a dinâmica de declínio das citações.

2. Metodologia

O estudo utilizou uma abordagem de coorte retrospectiva com análise estatística detalhada:

• Conjunto de Dados (Índice): 172 Ensaios Clínicos Randomizados (ECRs) publicados por um único grupo de pesquisa, que apresentavam preocupações de integridade.
  • Distribuição das respostas editoriais: 41 com Aviso Editorial, 38 com Expressão de Preocupação (EoC) e 23 com Retração.
  • 70 artigos do conjunto índice não receberam nenhuma ação editorial.
• Grupo de Controle: Para cada artigo do conjunto índice, foram identificados ECRs publicados no mesmo jornal e no mesmo ano por outros autores. Foram excluídos artigos com retratações no banco de dados Retraction Watch ou autores do grupo de pesquisa original.
  • Total de controles: 3.330 artigos (15.948 citações).
  • Uma subanálise foi realizada com um grupo de "controles altamente citados" (>25 citações) para igualar a magnitude das citações.
• Fontes de Dados: Citações obtidas do banco de dados OpenCitations (usando identificadores OMID, PMID e DOI) e dados de publicação do PubMed. A análise cobriu o período de 60 meses antes e 60 meses após a primeira resposta editorial (ou o mês de pico de citações para os controles).
• Análise Estatística:
  • Cálculo das taxas de citação mensal média.
  • Determinação da inclinação (slope) da linha de melhor ajuste para as citações antes e depois do evento (resposta editorial ou pico de citações).
  • Comparação das inclinações entre os grupos (Retração, EoC, Aviso, Sem Ação e Controles) utilizando modelos de regressão linear e testes de Wilcoxon/t-test.
  • Software utilizado: R (versão 4.4.2).

3. Contribuições Principais

• Foco na Visibilidade: O estudo é pioneiro em comparar especificamente o impacto de "Avisos Editoriais" (menos visíveis) versus "Expressões de Preocupação" (mais visíveis) e "Retrações" sobre as citações.
• Grande Escala e Granularidade: Analisou 172 artigos com 10.603 citações e mais de 3.000 controles, permitindo uma análise estatística robusta que supera estudos anteriores com amostras menores.
• Uso de Dados Abertos: Demonstra a viabilidade de realizar metapesquisa complexa utilizando o banco de dados aberto OpenCitations e ferramentas de código aberto (R), reduzindo a dependência de bases de dados comerciais caras.

4. Resultados

• Padrão de Citações: Em todos os grupos (índice e controle), as citações aumentaram consistentemente após a publicação, atingindo o pico entre 45 e 65 meses após a publicação, seguido por um declínio natural.
• Impacto da Resposta Editorial:
  • Não houve diferenças estatisticamente significativas na taxa de declínio das citações após a publicação de uma Retração, EoC ou Aviso Editorial em comparação com os artigos que não receberam ação editorial.
  • A taxa de declínio dos grupos com resposta editorial foi similar à taxa de declínio natural observada nos artigos de controle (especialmente nos controles altamente citados).
• Ineficácia dos Avisos Tardios: As respostas editoriais foram publicadas, em média, cerca de 5 anos após a publicação original. Como as citações já estavam em declínio natural nesse período (após o pico de 4-5 anos), as respostas não conseguiram acelerar a queda nas citações.
• Comparação de Tipos: O tipo de aviso (mais visível vs. menos visível) não resultou em diferenças significativas na velocidade de redução das citações.

5. Significado e Conclusão

• Ineficácia Atual das Estratégias: O estudo conclui que as respostas editoriais atuais (seja retratação, EoC ou aviso) não reduzem significativamente a taxa de citação além do declínio natural esperado para artigos científicos.
• Causas da Persistência: A persistência das citações pode ser atribuída a:
  • Atraso na publicação da resposta editorial (muitas vezes ocorrendo após o pico de citações).
  • Falta de visibilidade (especialmente para Avisos Editoriais que não são indexados em bases de dados bibliográficas).
  • Falha dos autores em verificar a integridade atualizada das fontes ou uso de gerenciadores de referência que não atualizam automaticamente o status de retratação.
• Implicações para a Política Editorial: A descoberta sugere que as estratégias atuais de correção podem ter pouco valor prático na prevenção de citações futuras de pesquisas não confiáveis.
• Recomendações Futuras: A eficácia pode ser melhorada através de ações mais rápidas (antes do pico de citações) e pela implementação de diretrizes que garantam maior visibilidade e indexação universal das respostas editoriais (como as novas diretrizes do NISO).

Em suma, o estudo alerta que, sem mudanças estruturais na rapidez e na visibilidade das respostas editoriais, a comunidade científica continuará citando pesquisas comprometidas de integridade, independentemente do tipo de aviso publicado.