Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
Este artigo descreve o protocolo para o desenvolvimento do INSPECT-IPD, uma nova ferramenta concebida para identificar ensaios clínicos randomizados problemáticos através da avaliação e implementação de verificações forenses em dados individuais de participantes por meio de uma combinação de testes empíricos e consenso de especialistas internacionais.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
Imagine que você é um chef tentando fazer a melhor sopa do mundo. Para fazer isso, você reúne receitas de centenas de cozinheiros diferentes (estes são Ensaios Clínicos Randomizados, ou RCTs). Você prova um pouco de cada receita para ver se a sopa funciona. Geralmente, você apenas lê o cartão da receita que o cozinheiro escreveu.
Mas e se alguns desses cozinheiros mentiram? E se eles inventaram a lista de ingredientes ou até fingiram que cozinharam a sopa? Ler apenas o cartão da receita nem sempre consegue pegar um mentiroso.
Este artigo é sobre a construção de uma nova lupa superpoderosa chamada INSPECT-IPD. Veja como ela funciona, dividida em etapas simples:
O Problema: O "Cartão da Receita" não é suficiente
Os autores já construíram uma ferramenta chamada INSPECT-SR que verifica os cartões das receitas em busca de sinais de alerta. Mas eles perceberam que, às vezes, você precisa ver o pote de sopa real — os ingredientes brutos individuais — para saber com certeza se o cozinheiro está dizendo a verdade.
No mundo da ciência, este "pote de sopa" é chamado de Dados Individuais de Participantes (IPD). São os dados brutos de cada pessoa no estudo. O artigo observa que, quando os cientistas conseguem olhar para esses dados brutos, encontram estudos falsos ou quebrados com muito mais frequência (como encontrar 44% de estudos falsos vs. apenas 2% quando olhavam apenas para o cartão da receita).
O Objetivo: Construir a ferramenta "Cozinha Forense"
A equipe quer construir uma nova ferramenta, o INSPECT-IPD, para ajudar os cientistas a verificar esses dados brutos. Mas eles não podem simplesmente adivinhar quais verificações usar. Eles precisam construir um "menu" de verificações que realmente funcionem.
Para fazer isso, eles estão realizando um projeto de cinco etapas:
Etapa 1: Reunindo as Ferramentas
Primeiro, eles estão criando uma lista gigante de todas as formas possíveis de verificar dados brutos. É como reunir todos os utensílios de cozinha possíveis: balanças, termômetros, microscópios e até detectores de IA. Eles obtiveram essa lista de especialistas e pesquisas anteriores.
Etapa 2: O Teste "Falso vs. Real"
Em seguida, eles vão testar esses utensílios.
- Eles pegarão 15 conjuntos de dados reais (receitas de sopa reais).
- Eles criarão 15 conjuntos de dados falsos usando uma IA (como o ChatGPT) para simular como um mentiroso poderia preparar dados falsos.
- Eles pedirão a 30 especialistas diferentes que usem os utensílios nesses conjuntos de dados.
- O Objetivo: Ver quais utensílios realmente detectam a sopa falsa e quais são confusos ou inúteis. Eles querem saber: Esta verificação é fácil de entender? Ela realmente pega os dados ruins?
Etapa 3: O Voto dos Especialistas (Pesquisa Delphi)
Uma vez que saibam quais utensílios funcionam, eles pedirão a um grande grupo de especialistas internacionais (estatísticos, médicos, editores e até pacientes) que votem neles.
- Eles classificarão cada verificação em uma escala de 1 a 9 baseada em: "O quão útil é isso?" e "O quão fácil é de entender?".
- Eles querem manter apenas as verificações nas quais quase todos concordam que são tanto úteis quanto fáceis de usar.
Etapa 4: O Menu Final
Os especialistas se reunirão (virtualmente) para decidir a lista final.
- Se uma verificação for ótima para pegar mentirosos, mas muito difícil de entender, eles podem movê-la para uma "seção de especialistas" ou escrever um manual de instruções melhor para ela.
- O resultado será um rascunho da ferramenta INSPECT-IPD — um guia passo a passo para verificar dados brutos.
Etapa 5: O "Teste de Direção"
Finalmente, eles deixarão usuários do mundo real testarem a ferramenta.
- Eles pedirão a pessoas que escrevem Revisões Sistemáticas (os chefs de sopa) e Editores de Periódicos (os inspetores de saúde dos restaurantes) que usem a ferramenta em estudos reais.
- Eles perguntarão: "Foi fácil de usar? Isso ajudou você a decidir se um estudo era confiável?"
- Com base nesse feedback, eles farão ajustes na ferramenta uma última vez antes de lançá-la ao público.
Regras Importantes do Jogo
O artigo é muito claro sobre o que esta ferramenta não é:
- Não é um teste detector de mentiras: Ela não dirá "Esta pessoa é um criminoso". Ela apenas diz: "Estes dados parecem suspeitos, então tenha cuidado".
- Não é para todos: Você só pode usar isso se tiver acesso aos dados brutos (o IPD). Se você tiver apenas o artigo publicado, deve usar a ferramenta mais antiga (INSPECT-SR).
- Não é uma varinha mágica: Os autores admitem que, à medida que a IA melhora na falsificação de dados, a ferramenta precisará ser atualizada, assim como um software antivírus precisa de atualizações.
O Panorama Geral
Os autores acreditam que, se tivermos uma ferramenta boa e fácil de usar para verificar dados brutos, os periódicos podem começar a exigir que os cientistas compartilhem seus dados brutos com mais frequência. Isso pode tornar a ciência mais honesta, porque se você sabe que alguém vai verificar seu "pote de sopa" com uma lupa, é menos provável que você tente falsificá-la.
Em resumo: Este artigo é o plano para construir um novo kit de controle de qualidade de alta tecnologia para estudos científicos, projetado para detectar dados falsos ao olhar para os ingredientes brutos em vez de apenas para o cartão da receita.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.