Label-free, low-cost AI ranking for systematic review screening

Todos os anos, médicos e pesquisadores dependem de revisões sistemáticas para dar sentido ao vasto oceano de estudos médicos. Essas revisões são o alicerce das diretrizes clínicas, dizendo aos profissionais quais tratamentos funcionam e quais não funcionam. No entanto, criar uma é um processo árduo e lento que pode levar mais de um ano do início ao fim. A parte mais exaustiva não é a análise, mas a triagem: uma equipe de especialistas humanos deve ler milhares de títulos e resumos, decidindo um por um se cada estudo é relevante o suficiente para ser lido na íntegra. É uma tarefa que exige foco intenso e consome uma quantidade massiva de tempo humano, muitas vezes atrasando a chegada de informações vitais às pessoas que delas precisam.

Durante anos, cientistas tentaram usar computadores para ajudar nessa classificação, esperando mostrar os estudos mais promissores primeiro para que os humanos pudessem parar de ler mais cedo. Mas essas ferramentas geralmente exigem que um humano rotule centenas de exemplos antes que elas aprendam como trabalhar, e elas têm dificuldade em saber exatamente quando é seguro parar de ler. Recentemente, surgiram novos e poderosos modelos de inteligência artificial que conseguem compreender texto sem precisar de nenhum treinamento prévio em tópicos médicos específicos. A questão que os pesquisadores enfrentaram era se essas novas ferramentas poderiam atuar como um filtro barato, rápido e preciso para organizar essas listas massivas de estudos antes mesmo que um único humano as tocasse.

Em um estudo recente, uma equipe da Indiana University School of Medicine colocou um novo tipo de inteligência artificial, chamada Jev, à prova contra esse exato desafio. Eles não pediram à IA que lesse os estudos e tomasse uma decisão final; em vez disso, pediram que ela simplesmente os classificasse. O objetivo era ver se a IA conseguiria organizar uma lista de quase 170.000 registros de 128 revisões médicas diferentes para que os estudos mais relevantes aparecessem no topo da lista, sem que a IA tivesse visto um único exemplo rotulado por humanos dessas revisões específicas. Os pesquisadores compararam essa nova ferramenta contra softwares gratuitos antigos e contra alguns dos modelos de IA generativa mais avançados e caros disponíveis.

Os resultados mostraram que a nova IA foi extraordinariamente eficaz em seu trabalho. Quando os pesquisadores deixaram a IA ordenar os registros, ela colocou os estudos relevantes muito mais acima na lista do que o melhor software gratuito conseguiria. Na verdade, ela superou as ferramentas gratuitas em todas as revisões testadas. Quando comparada aos modelos generativos mais poderosos, a nova ferramenta chegou muito perto, ficando apenas ligeiramente atrás do melhor desempenho, mas fazendo isso por uma fração do custo. Enquanto os modelos mais avançados custavam cerca de quatorze dólares e sessenta e cinco centavos para processar mil registros, esta nova ferramenta custou apenas dois centavos para a mesma tarefa. Ela não foi apenas mais barata; também foi mais rápida e mais precisa do que outros modelos de nível intermedio que custavam significativamente mais.

Os pesquisadores então exploraram como essa classificação poderia ser combinada com o trabalho humano para economizar tempo. Eles descobriram que, se os humanos começassem a ler a lista na ordem sugerida pela IA, encontrariam os estudos relevantes muito mais rápido do que se lessem em uma ordem aleatória ou usassem métodos de ordenação mais antigos. Ao usar a classificação da IA como ponto de partida e depois adicionar o feedback de um humano conforme avançavam, a equipe calculou que poderiam economizar uma quantidade substancial de tempo de leitura, mantendo a descoberta de quase todos os estudos importantes. No entanto, o estudo também revelou uma limitação crucial: embora a IA pudesse ordenar a lista lindamente, ela não conseguia dizer de forma confiável à equipe exatamente quando parar de ler.

Como as pontuações da IA não eram perfeitamente calibradas para prever a chance exata de um estudo ser relevante, estabelecer um ponto de corte fixo para interromper a leitura provou ser arriscado. Em alguns casos, o uso de um limite de pontuação simples fez com que a equipe perdesse estudos importantes que deveriam ter sido incluídos. Os pesquisadores descobriram que a única maneira de parar com segurança era continuar a leitura até que uma verificação estatística confirmasse que eles provavelmente haviam encontrado todos os estudos relevantes. Isso significa que a IA é uma excelente ferramenta para organizar o trabalho e mostrar aos humanos onde olhar primeiro, mas ainda não pode substituir o julgamento humano necessário para decidir quando a busca está verdadeiramente completa.

Em última análise, este trabalho demonstra que uma IA de baixo custo e livre de rótulos pode melhorar dramaticamente a eficiência da triagem de pesquisas médicas. Oferece uma maneira de obter uma ordem de leitura de alta qualidade desde o primeiro registro, poupando as equipes de terem que ler milhares de estudos irrelevantes antes de encontrar os poucos que importam. Embora não resolva todo o problema de quando parar, fornece um ponto de partida poderoso e econômico que torna o trabalho humano subsequente muito mais focado e eficaz. Para o campo da medicina baseada em evidências, isso representa um passo significativo para tornar a criação de diretrizes clínicas mais rápida e menos onerosa, garantindo que o melhor conhecimento médico chegue aos pacientes mais rapidamente.