Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

Este estudo compara cinco métodos de limitação linguística no Ovid MEDLINE e no Embase com a exclusão manual durante a triagem, concluindo que, embora os filtros automáticos apresentem alta precisão, erros de metadados e a exclusão manual de registros em inglês exigem a realização de buscas por citações para mitigar riscos em revisões de evidências.

O essencial

Imagine que você e seus amigos estão organizando uma grande festa de estudos (uma revisão sistemática) para responder a uma pergunta importante sobre saúde. Vocês precisam encontrar todos os livros, artigos e pesquisas relevantes sobre o tema. O problema é que o mundo é grande e as pesquisas estão escritas em muitas línguas diferentes.

A pergunta que este estudo faz é: "Deveríamos filtrar os livros na porta da biblioteca, antes de entrar, ou deixar todos entrarem e só depois, na sala de leitura, escolhermos quais vamos ler?"

Aqui está a explicação do estudo, traduzida para uma linguagem simples e com algumas analogias divertidas:

1. O Dilema da Porta da Biblioteca

Muitas equipes de pesquisa decidem colocar um guarda na porta (um filtro de idioma) que só deixa entrar quem fala inglês.

• Vantagem: A sala fica mais vazia, o trabalho é mais rápido e barato (não precisam contratar tradutores).
• Risco: O guarda pode ser um pouco "atrasado" ou ter um manual errado. Ele pode expulsar um livro que está escrito em inglês, mas que no catálogo da biblioteca está marcado erroneamente como "francês".

2. O Experimento: Cinco Maneiras de Ser o Guarda

Os autores do estudo testaram cinco métodos diferentes para serem esse "guarda" na porta das duas maiores bibliotecas de medicina do mundo (MEDLINE e Embase).

• Método 1: O guarda olha apenas a etiqueta "Inglês".
• Método 2: O guarda deixa entrar "Inglês" ou "Sem etiqueta".
• Método 3: O guarda é mais generoso, deixando entrar "Inglês", "Sem etiqueta" ou "Línguas indefinidas".
• Método 4 e 5: O guarda usa uma lista de "Línguas que NÃO queremos" e remove tudo que não for inglês (ou que não seja inglês ou indefinido).

A Grande Surpresa:
Os cinco guardas funcionaram exatamente igual. Eles deixaram entrar quase a mesma quantidade de livros e expulsaram quase os mesmos. Não importa qual método você use, o resultado é muito similar.

3. O Problema das Etiquetas Erradas (O "Fantasma" do Erro)

Aqui está a parte mais importante da história. O estudo descobriu que as etiquetas das bibliotecas às vezes estão erradas.

• O Caso dos Livros Expulsos: De cada 1.000 livros que deveriam entrar (porque são em inglês), os guardas expulsaram 2 ou 3 por engano.

  • Por que? Porque a etiqueta dizia "Espanhol" ou "Polonês", mas o livro tinha capítulos em inglês. O guarda, confiando cegamente na etiqueta, jogou o livro fora.
  • A lição: Se você usar o filtro na porta, você pode perder informações valiosas por causa de um erro de digitação no catálogo.

• O Caso dos Livros que Entraram (mas deveriam sair): O estudo também olhou para os livros que foram expulsos na sala de leitura (durante a triagem) porque pareciam ser em outra língua.

  • Descobriram que alguns desses livros expulsos na verdade eram em inglês!
  • Por que? O guarda na porta (o filtro de busca) não viu o erro, mas quem estava na sala de leitura (a triagem humana) também errou ao olhar a capa do livro e achou que não era inglês.

4. A Analogia do "Cachorro de Guarda"

Pense nos filtros de idioma como um cachorro de guarda treinado para latir para quem não fala inglês.

• Se o cachorro é muito estrito, ele pode morder um vizinho que fala inglês, mas que tem um sotaque estranho ou um nome de cachorro que parece estrangeiro (metáfora para os erros de metadados).
• Se o cachorro é muito solto, ele deixa entrar muitos estranhos, e você perde tempo tentando entender o que eles dizem.

O estudo diz que, embora o cachorro seja muito bom (99,8% de acerto), ele não é perfeito. Às vezes, ele morde o dono.

5. A Conclusão: O Que Fazer?

O estudo não diz "não use o filtro". Ele diz: "Use com cuidado e tenha um plano B".

• Se você tem pouco tempo/dinheiro: Pode usar o filtro na porta (na busca). É rápido e eficiente. Mas saiba que você pode perder 2 ou 3 livros importantes por erro de etiqueta.
• Como se proteger? Se você usar o filtro na porta, faça uma segunda busca depois (chamada de "pesquisa de citações"). É como se você perguntasse aos livros que já estão dentro: "Quem mais vocês leram?". Assim, você recupera os livros que o guarda expulsou por engano.
• Se você tem tempo: O ideal é deixar todos os livros entrarem (sem filtro na porta) e escolher quais ler depois. Isso garante que nenhum livro em inglês seja perdido por um erro de etiqueta, mas exige mais trabalho e, talvez, tradução.

Resumo em uma frase:

Filtrar apenas por inglês na busca é como usar um filtro de peneira muito fino: funciona muito bem e deixa passar quase tudo, mas se a etiqueta do grão estiver errada, você pode perder uma semente preciosa sem perceber. O segredo é confiar no filtro, mas sempre dar uma olhada no que foi jogado fora para garantir que nada importante se perdeu.

Resumo técnico

Título: Limitação a registros em inglês: Uma comparação de cinco métodos no Ovid MEDLINE e Embase versus remoção durante a triagem

1. Problema Investigado

A exclusão de registros em idiomas não ingleses (NEL - Non-English Language) em revisões sistemáticas e sínteses de evidências é uma prática comum, frequentemente motivada por restrições de tempo, orçamento ou falta de recursos para tradução. No entanto, essa prática introduz o "viés de idioma", que pode distorcer os resultados da revisão se evidências relevantes forem publicadas em outros idiomas.

Existem duas abordagens principais para aplicar essa restrição:

1. Na estratégia de busca: Aplicar filtros de idioma diretamente no banco de dados (Ovid MEDLINE e Embase).
2. Durante a triagem: Manter todos os idiomas na busca e excluir registros não ingleses manualmente na fase de seleção de títulos/resumos ou texto completo.

O problema central abordado pelo estudo é a falta de comparação empírica entre esses métodos. Especificamente, há incerteza sobre a precisão dos metadados de idioma nos bancos de dados: filtros aplicados na busca podem remover erroneamente artigos em inglês devido a metadados incorretos ou ausentes, enquanto a triagem manual também pode levar a exclusões equivocadas. O estudo visa entender como os metadados de idioma são aplicados e qual o impacto real de cinco métodos diferentes de limitação de idioma versus a exclusão durante a triagem.

2. Metodologia

Os autores realizaram um estudo exploratório utilizando dados de sete sínteses de evidências (revisões sistemáticas) anteriores, cobrindo temas de saúde como intervenções farmacêuticas, saúde mental e saúde pública.

• Dados de Teste: Foram utilizados dois conjuntos de dados derivados das revisões originais:
  • "Includes" (Incluídos): Registros que atenderam aos critérios de elegibilidade na triagem de texto completo.
  • "NEL Excludes" (Excluídos por NEL): Registros que foram excluídos especificamente por serem em idiomas não ingleses durante a triagem.
  • Total de registros testados: 1.509 do MEDLINE e 1.584 do Embase.
• Métodos de Limitação de Idioma Testados: Foram desenvolvidos e testados cinco métodos distintos no Ovid MEDLINE e Embase para limitar a busca a registros em inglês (EL):
  1. Método 1: Limite nativo para "Idioma Inglês".
  2. Método 2: Limite para "Inglês" OU "Nenhum idioma especificado".
  3. Método 3: Limite para "Inglês", "Nenhum idioma especificado" OU "Idiomas indefinidos" (ex: undetermined, multilingual, polyglot).
  4. Método 4: Técnica "not (NEL not EL)" – Remove registros com metadados de NEL que não possuem também metadados de EL (usando códigos de campo de idioma).
  5. Método 5: Técnica "not (NEL not EL/undefined)" – Variação do método 4 que inclui idiomas indefinidos na exclusão para evitar remover registros multilíngues.
• Procedimento: Os autores reexecutaram as buscas aplicando cada um dos cinco métodos aos conjuntos de dados. Compararam quais registros foram recuperados ou removidos em relação ao que foi decidido na triagem original.
• Análise de Metadados: Os registros que foram erroneamente removidos (que deveriam ter sido incluídos) ou erroneamente recuperados (que deveriam ter sido excluídos) foram analisados manualmente para verificar a precisão dos metadados de idioma, o país de publicação e o idioma real do texto completo.

3. Contribuições Principais

• Comparação Direta: É um dos primeiros estudos a comparar empiricamente o desempenho de múltiplas estratégias de filtragem de idioma em Ovid MEDLINE e Embase contra a exclusão manual durante a triagem.
• Análise de Metadados: Fornece uma análise detalhada da precisão dos metadados de idioma, revelando que erros ocorrem tanto em bancos de dados diferentes para o mesmo artigo quanto dentro do mesmo banco de dados.
• Guia Prático: Oferece recomendações técnicas sobre como construir estratégias de busca mais sensíveis (ex: incluindo registros sem idioma especificado) para minimizar a perda de evidências relevantes.
• Validação de Abordagens: Valida a preocupação de que a aplicação de filtros na busca pode ser tão arriscada quanto a triagem manual se os metadados estiverem incorretos.

4. Resultados

• Desempenho dos Métodos: Todos os cinco métodos de limitação de idioma performaram de forma idêntica nos conjuntos de dados testados.
  • Recuperação de "Includes": 99,8% dos registros que deveriam ser incluídos foram recuperados no MEDLINE e 99,7% no Embase.
  • Remoção de "NEL Excludes": 98,2% dos registros não ingleses foram removidos no MEDLINE e 94,6% no Embase.
• Erros de Exclusão (Falsos Negativos):
  • MEDLINE: 2 de 1.022 registros (0,2%) em inglês foram removidos erroneamente pelos filtros.
  • Embase: 3 de 1.140 registros (0,3%) em inglês foram removidos erroneamente.
  • Causa: Todos os 5 registros removidos erroneamente tinham metadados de idioma parcialmente corretos (ex: o artigo estava disponível em inglês e espanhol, mas o metadado listava apenas "Espanhol", fazendo com que o filtro de inglês o excluísse).
• Erros de Inclusão (Falsos Positivos na Triagem):
  • Ao analisar os registros que foram excluídos manualmente durante a triagem (por serem marcados como NEL), mas que foram recuperados pelos filtros de inglês, descobriu-se que muitos eram, de fato, artigos em inglês.
  • MEDLINE: 8 de 9 registros recuperados eram realmente em inglês.
  • Embase: 9 de 24 registros recuperados eram realmente em inglês.
  • Causa: Erros humanos na triagem ou metadados incorretos onde o idioma principal era inglês, mas o registro foi marcado como NEL (ex: revistas bilíngues onde o resumo está em inglês, mas o metadado aponta para o idioma local).
• Natureza dos Erros: A maioria dos erros de metadados ocorreu em revistas bilíngues/multilíngues ou em periódicos onde o artigo estava em um idioma não inglês, mas o resumo estava em inglês.

5. Significado e Conclusões

O estudo conclui que, embora a taxa de erro ao aplicar filtros de idioma na busca seja baixa (aproximadamente 0,2% a 0,3%), o risco de excluir evidências válidas é real e decorre de metadados de idioma incorretos ou incompletos, especialmente em publicações bilíngues.

• Implicações para Especialistas de Informação:
  • A aplicação de filtros de idioma na estratégia de busca é viável e pragmaticamente segura para a maioria das revisões, mas não é infalível.
  • Recomenda-se o uso de métodos que incluam registros sem idioma especificado (como o Método 3) para aumentar a sensibilidade.
  • É crucial entender as diferenças de metadados entre MEDLINE e Embase, pois um erro pode ocorrer em um banco e não no outro.
• Implicações para Equipes de Revisão:
  • A exclusão de registros baseada apenas em idioma durante a triagem também é propensa a erros humanos e de metadados.
  • Para mitigar o risco de viés de idioma (seja na busca ou na triagem), as equipes devem considerar o uso de busca de citações (para frente e para trás) para recuperar registros que possam ter sido perdidos devido a erros de metadados.
  • A decisão de limitar por idioma deve ser justificada e relatada transparentemente. Se houver recursos, a inclusão de estudos em outros idiomas (mesmo que apenas para triagem de resumos) pode reduzir o viés, embora o custo-benefício deva ser avaliado.

Em suma, o estudo demonstra que não existe um método "perfeito" para lidar com o idioma. A melhor prática envolve uma combinação de estratégias de busca sensíveis (incluindo metadados indefinidos), triagem rigorosa e o uso de busca de citações para cobrir as lacunas deixadas por metadados imprecisos.