Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
Este estudo demonstra que o aprimoramento da detecção de fábricas de artigos baseada em aprendizado de máquina na pesquisa de câncer, ao integrar dados de texto completo, citações e imagens com informações de título e resumo, melhora significativamente a precisão do modelo, alcançando até 98,2% na validação interna e 96,4% na validação externa.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta biblioteca do conhecimento científico, onde pesquisadores constroem novas descobertas sobre os ombros daqueles que vieram antes, existe uma sombra perigosa: a fábrica de artigos (paper mill). Estas não são pequenas oficinas de erros honestos, mas operações organizadas que fabricam artigos de pesquisa falsos e vendem o direito de ser listado como autor para quem estiver disposto a pagar. O dano que elas causam é profundo, particularmente no campo da pesquisa de câncer. Quando um cientista tenta curar uma doença, ele depende dos dados em estudos publicados para guiar seus próximos passos. Se esses dados forem fabricados por uma fábrica de artigos, o cientista desperdiça anos de tempo e milhões de dólares perseguindo um fantasma, enquanto os pacientes permanecem em risco. Durante anos, a comunidade científica tem lutado para encontrar essas falsificações antes que sejam publicadas, muitas vezes dependendo do título e do resumo curto de um artigo para detectar a fraude. Mas, à medida que os falsificadores se tornam mais habilidosos, os resumos que escrevem estão se tornando mais difíceis de distinguir da realidade.
Um estudo recente propôs-se a ver se olhar mais profundamente em um artigo poderia capturar esses falsificadores. Os pesquisadores fizeram uma pergunta simples: se olharmos para todo o corpo de um artigo de pesquisa, incluindo seus métodos detalhados, seus resultados, as imagens de seus experimentos e a lista de outros artigos que ele cita, podemos detectar a fraude melhor do que apenas lendo o título e o resumo? Para responder a isso, eles construíram um sistema de computador treinado para reconhecer as impressões digitais sutis de uma fábrica de artigos. Eles reuniram uma coleção massiva de artigos falsos conhecidos, identificados por especialistas que já os haviam sinalizado, e os combinaram com um grande grupo de estudos de câncer genuínos e de alta qualidade. A equipe então alimentou esses dados em um sistema de aprendizado de máquina, um tipo de inteligência artificial que aprende padrões por meio de exemplos. Eles testaram o sistema de três maneiras diferentes: primeiro, dando a ele apenas o título e o resumo; segundo, dando a ele o texto completo das seções de métodos e resultados; e terceiro, mostrando a ele as imagens reais usadas nos experimentos. Finalmente, eles combinaram todas essas pistas em um detector poderoso.
Os resultados mostraram que olhar para o quadro completo faz uma diferença significativa. Quando o computador foi limitado apenas ao título e ao resumo, ele teve um bom desempenho, identificando corretamente cerca de 91,5 por cento dos artigos falsos em um novo grupo de teste não visto anteriormente. Isso igualou o desempenho de ferramentas anteriores que dependiam apenas de resumos curtos. No entanto, quando os pesquisadores adicionaram o texto completo do artigo, especificamente as seções que descreviam como os experimentos foram feitos e quais foram os resultados, a precisão do sistema melhorou. Ele começou a capturar mais falsificações, atingindo uma precisão de 92,1 por cento no novo grupo de teste. O texto completo revelou padrões que o resumo curto não detectou, como protocolos experimentais reciclados ou sequências de ingredientes que não faziam sentido, que são truques comuns usados pelas fábricas de artigos.
O estudo também testou se as imagens nos artigos poderiam ajudar. O computador foi treinado para observar as figuras e gráficos para ver se pareciam manipulados ou suspeitos. Embora este método tenha funcionado melhor do que o acaso, não foi tão confiável quanto a leitura do texto. O detector de imagens identificou corretamente cerca de 76 por cento dos artigos falsos no novo grupo de teste, mas teve mais dificuldades do que as ferramentas baseadas em texto. Foi particularmente bom em identificar artigos reais, mas deixou passar muitas falsificações. Isso sugere que, embora as imagens falsas sejam um sinal de alerta, as palavras do artigo contam uma história mais clara. Os pesquisadores também observaram a lista de referências, verificando se um artigo citava outros artigos falsos conhecidos. Esta pista foi útil, mas foi o sinal menos poderoso de todos, provavelmente porque a lista de artigos falsos conhecidos ainda não é completa o suficiente para capturar todas as conexões.
A ferramenta mais poderosa surgiu quando os pesquisadores combinaram todas as informações disponíveis. Eles pegaram as pontuações do leitor de texto, do visualizador de imagens e do verificador de referências e as fundiram em uma única decisão. Este modelo fundido, que considerou o texto completo, as imagens e as citações tudo ao mesmo tempo, alcançou a maior precisão de qualquer sistema testado. No novo grupo de teste não visto, ele identificou corretamente 96,4 por cento dos artigos falsos. Este foi um claro avanço em relação aos métodos mais antigos que dependiam de um único tipo de pista. O estudo sugere que, à medida que as fábricas de artigos se tornam mais sofisticadas, a única maneira de detê-las é usar um sistema que examine cada parte do documento. Assim como um editor humano pode ler um artigo, verificar as fotos e verificar as fontes para garantir a qualidade, o computador agora faz o mesmo, mas com uma velocidade e escala que nenhum humano poderia igualar. Os achados indicam que o futuro da proteção da integridade científica reside nessas verificações abrangentes e de múltiplas camadas, garantindo que a base da pesquisa de câncer permaneça sólida e confiável.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.