Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

Este estudo compara o desempenho de 11 filtros no Ovid Embase para remover registros de animais e não humanos, revelando que a eficácia varia significativamente entre os métodos e depende de fatores como o tema, o tipo de publicação e o idioma, exigindo que especialistas discutam a adequação do filtro ao contexto específico da revisão.

O essencial

Imagine que você é um cozinheiro tentando preparar um prato delicioso para humanos (um estudo sobre saúde humana). Mas, no seu armário de especiarias (que é o banco de dados Embase), há milhares de receitas misturadas: algumas são para humanos, outras são para cães, gatos, ratos e até plantas.

Se você usar a receita errada, pode acabar servindo um prato de "ração de cachorro" para seus convidados humanos, ou pior, jogar fora uma receita humana incrível porque achou que era de cachorro.

Este estudo é como um teste de chefes para ver qual é a melhor "peneira" (filtro) para separar as receitas humanas das de animais, sem estragar o prato.

Aqui está o resumo da história, traduzido para uma linguagem simples:

1. O Problema: A Peneira Imperfeita

Os pesquisadores (Helen e Connor) perceberam que, na internet científica, existem 11 tipos diferentes de "peneiras" que as pessoas usam para tentar tirar os registros de animais. O problema é que ninguém sabia ao certo qual dessas peneiras funcionava melhor. Algumas eram muito grossas (deixavam passar animais), outras eram muito finas (atrapalhavam e jogavam fora receitas humanas boas).

2. O Experimento: A Grande Prova de Fogo

Para descobrir a verdade, eles criaram um cenário de teste:

• A Mistura: Eles pegaram 3.000 receitas (registros científicos) misturadas: algumas eram puramente de humanos, outras de animais, e algumas eram uma mistura estranha dos dois.
• O Julgamento: Dois especialistas leram cada uma e decidiram: "Isso deve ficar?" (Humano) ou "Isso deve ir embora?" (Animal).
• O Teste: Eles aplicaram as 11 peneiras diferentes e viram o que cada uma fez.

3. Os Resultados: Quem foi o Campeão?

Aqui estão as descobertas principais, usando analogias:

• A Peneira "Super Sensível" (Método 11):
  Imagine uma peneira que tem buracos tão grandes que quase nada escapa. Ela foi a melhor em não jogar fora as receitas humanas. Se você tem medo de perder uma informação importante, essa é a sua escolha. Ela manteve 90,6% dos registros humanos corretos.

  • O lado ruim: Como ela é tão aberta, ela também deixou passar muitos "animais" que deveriam ter sido removidos.

• A Peneira "Super Rigorosa" (Método 3):
  Imagine uma peneira com buracos minúsculos. Ela foi a melhor em tirar os animais. Se o seu objetivo é garantir que nenhum animal entre na sua lista, essa é a campeã. Ela removeu 91,7% dos registros de animais corretamente.

  • O lado ruim: Por ser tão rigorosa, ela também jogou fora muitas receitas humanas boas por engano (só manteve 75,4% dos humanos).

• O Dilema:
  Geralmente, quanto mais você tenta tirar os animais, mais você acaba jogando fora humanos. É um equilíbrio delicado, como tentar pegar areia com as mãos: se você fechar a mão muito forte, a areia escapa; se deixar aberta, a areia fica.

4. O Que Foi Jogado Fora Por Engano?

Os pesquisadores olharam o que as peneiras jogaram fora que não deveriam ter sido jogado fora. A surpresa?
A maioria dos registros humanos que foram excluídos por engano eram sobre "uso de participantes humanos ou dados".

• Analogia: Imagine que você estava procurando por receitas de bolo de cenoura, mas a peneira achou que, porque a receita mencionava "ovos" (que vêm de galinhas), ela deveria ser jogada fora. O filtro confundiu a menção a um animal com o fato de o estudo ser sobre animais.

5. Por Que Isso Acontece? (O Mistério da Indexação)

O banco de dados funciona como uma biblioteca onde os livros são organizados por etiquetas.

• Às vezes, o bibliotecário (o indexador) esquece de colocar a etiqueta "Humano" em um livro sobre humanos.
• Às vezes, o livro é um resumo de conferência ou um texto em outro idioma, e a etiqueta não é aplicada da mesma forma.
• Se a peneira depende apenas dessas etiquetas, ela vai errar. É como tentar encontrar um amigo em uma festa apenas olhando para quem tem um crachá escrito "Humano". Se seu amigo esqueceu o crachá, você não vai vê-lo.

6. A Lição Final (O Conselho do Chef)

O estudo conclui que não existe uma peneira perfeita para todos os casos.

• Se você está fazendo uma revisão de saúde mental: Talvez você queira incluir estudos sobre "terapia com cães de assistência". Se usar uma peneira muito forte, você vai perder esses estudos importantes.
• Se você quer apenas testes clínicos em humanos: Você pode querer uma peneira mais forte para limpar a bagunça.

O conselho principal: Antes de escolher qual peneira usar, a equipe de pesquisa e o especialista em busca devem conversar. Eles devem perguntar: "Animais podem aparecer de forma relevante no nosso estudo?" Se a resposta for sim, use a peneira mais frouxa (Método 11). Se a resposta for não, e você quer pureza, use a mais rígida (Método 3), mas saiba que pode perder algumas joias humanas no processo.

Em resumo: Não existe mágica. Escolher o filtro certo é como escolher a ferramenta certa para o trabalho: depende do que você quer construir e do que você está disposto a perder no caminho.

Resumo técnico

Resumo Técnico: Comparação de 11 Filtros para Remover Registros Animais e Não Humanos no Ovid Embase

1. O Problema

Revisões sistemáticas e sínteses de evidências focadas em populações humanas frequentemente necessitam excluir registros relacionados a animais ou não humanos (como estudos pré-clínicos). No entanto, no banco de dados Ovid Embase, não existem dados de desempenho validados para os filtros de busca comumente utilizados para essa exclusão.

• Desafio: Existem múltiplos filtros de autoria variada (alguns validados, outros não) com abordagens de design diferentes (uso de cabeçalhos de assunto Emtree, campos de título/resumo, ou combinações).
• Risco: O uso de filtros não validados ou mal compreendidos pode levar à exclusão indevida de registros relevantes para humanos (falsos negativos), especialmente em casos onde o termo "humano" não foi indexado, mas o estudo é relevante (ex.: terapias assistidas por animais, detecção de doenças por animais).
• Objetivo: Investigar o impacto de 11 filtros diferentes no Ovid Embase, comparando sua sensibilidade, especificidade e o tipo de conteúdo que eles excluem erroneamente.

2. Metodologia

O estudo foi exploratório e seguiu as seguintes etapas:

• Seleção de Filtros: Foram analisados 11 métodos distintos (listados na Tabela 1 do artigo), variando desde filtros usados pelo Cochrane Common Mental Disorders Group e Canada's Drug Agency até filtros adaptados de guias do Embase e estratégias do CRD (Centre for Reviews and Dissemination).
• Criação de Conjuntos de Dados (Gold Standard):
  • Desenvolveram-se três estratégias de busca para capturar registros de: (1) animais/não humanos; (2) humanos; e (3) animais/não humanos e humanos.
  • Amostras de 500 registros removidos e 500 retidos por cada estratégia foram exportadas, totalizando 3.000 registros.
• Triagem (Screening): Dois revisores classificaram manualmente os registros como "deve ser removido" ou "deve ser retido" com base no título e resumo.
• Análise de Desempenho:
  • Os 11 filtros foram aplicados sequencialmente aos conjuntos de dados.
  • Calcularam-se Sensibilidade (capacidade de reter registros relevantes), Especificidade (capacidade de remover registros irrelevantes) e Precisão Global.
  • Os registros retidos que foram erroneamente removidos foram categorizados em 7 grupos de conteúdo (ex.: uso de participantes humanos, revisões sobre condições humanas, etc.).
• Contexto de Indexação: A equipe consultou a Elsevier para entender como os termos de assunto Emtree (como human/ e animal experiment/) são aplicados, especialmente em registros com indexação automática (ex.: resumos de conferências, pré-prints).

3. Contribuições Principais

• Validação Empírica: Fornecimento de dados de desempenho reais para 11 filtros amplamente utilizados, mas anteriormente não testados contra um padrão-ouro no contexto do Embase.
• Análise de Design: Identificação de como as diferenças no design dos filtros (uso de campos de texto livre vs. apenas cabeçalhos Emtree, e a inclusão/exclusão de termos para "não humanos" como plantas e fungos) impactam diretamente a sensibilidade e a especificidade.
• Categorização de Erros: Mapeamento detalhado de quais tipos de registros humanos são mais frequentemente excluídos erroneamente, fornecendo insights sobre as limitações da indexação Emtree.
• Recomendação Prática: Oferece diretrizes claras para especialistas em informação sobre qual filtro priorizar dependendo da necessidade de sensibilidade vs. especificidade.

4. Resultados Chave

• Sensibilidade (Retenção de Relevantes):
  • O Método 11 foi o mais sensível, retendo corretamente 90,6% dos registros que deveriam ser mantidos (no conjunto de todos os dados).
  • O Método 10 também teve alta sensibilidade (88,3%).
  • Os outros 9 filtros tiveram sensibilidade entre 75,2% e 78,9%.
  • Observação: Os métodos 10 e 11 são os únicos que não tentam remover registros de "não humanos" (como plantas e fungos), focando apenas em "experimentos com animais", o que explica sua maior sensibilidade.
• Especificidade (Remoção de Irrelevantes):
  • O Método 3 teve a maior especificidade, removendo corretamente 71,5% dos registros que deveriam ser excluídos.
  • Os métodos 10 e 11 tiveram a menor especificidade (49,9% e 41,2%, respectivamente), indicando que eles retêm muitos registros animais que deveriam ser removidos.
• Tipos de Registros Erroneamente Excluídos:
  • A categoria mais excluída erroneamente foi "usa participantes ou dados humanos" (44,9% em média).
  • Isso sugere que muitos estudos relevantes para humanos não possuem o termo de indexação human/ no Embase, tornando-os vulneráveis a filtros baseados apenas na ausência de termos animais.
• Impacto do Design:
  • Filtros que utilizam campos de título e resumo (como o Método 3) tendem a ter maior especificidade, mas menor sensibilidade, pois termos como "estudos em animais foram excluídos" podem aparecer em resumos de estudos humanos, levando à exclusão indevida.
  • Filtros baseados apenas em cabeçalhos de assunto (Emtree) (como Método 11) são mais sensíveis, mas podem falhar em remover registros que não possuem indexação manual adequada.

5. Significado e Conclusão

O estudo conclui que não existe um filtro "perfeito" universal. A escolha do filtro deve ser uma decisão colaborativa entre especialistas em informação e as equipes de revisão, baseada nos critérios de inclusão/exclusão específicos do projeto.

• Recomendação: Para maximizar a recuperação de estudos relevantes (alta sensibilidade), o Método 11 é recomendado, pois minimiza a perda de estudos humanos.
• Cuidados Necessários: A equipe deve estar ciente de que filtros podem excluir registros de resumos de conferências, pré-prints e literatura não em inglês, pois estes frequentemente recebem apenas indexação automática e podem carecer de termos Emtree específicos.
• Futuro: É necessária mais pesquisa para validar filtros para outros tipos de estudo (qualitativos, econômicos) e para entender melhor a indexação de registros que não possuem termos de doença, droga ou dispositivo.

Em suma, o artigo fornece uma base crítica para que especialistas em informação tomem decisões informadas sobre a aplicação de filtros de exclusão animal no Embase, equilibrando a necessidade de limpeza dos resultados com a preservação da sensibilidade da busca.