Constructed negatives determine the population a benchmark can rank over
Este artigo argumenta que os rankings de benchmarks são fundamentalmente limitados pela exclusão de entidades mal anotadas ao construir negativos, demonstrando que altas taxas de omissão (W > 0,5) impedem o ordenamento estrito de modelos e urge a comunidade a relatar de forma transparente as definições de alvo, o suporte de amostragem e as evidências para comparações.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
Na vasta paisagem da descoberta biológica, os cientistas frequentemente dependem de modelos computacionais para prever como as proteínas interagem ou onde as etiquetas químicas se ligam a elas. Para ensinar esses modelos, os pesquisadores devem mostrar-lhes exemplos de coisas que acontecem (positivos) e exemplos de coisas que não acontecem (negativos). O desafio é que, embora tenhamos uma boa lista de coisas que acontecem, raramente temos uma lista completa de tudo o que não acontece. Em vez disso, os cientistas frequentemente criam uma lista de "negativos" assumindo que qualquer interação ou modificação que ainda não viram é provavelmente um não-evento. Essa suposição é a base de muitos benchmarks, ou testes padrão, usados para julgar o quão bem um novo modelo performa. Se o teste for falho, a classificação dos melhores modelos torna-se não confiável, potencialmente enviando pesquisadores pelo caminho errado em sua busca por novos medicamentos ou insights biológicos.
Um pesquisador da Universidade de Tulane, Justin Li, descobriu uma falha fundamental na forma como esses testes são frequentemente construídos. Ele descobriu que a maneira como os cientistas escolhem seus exemplos "negativos" frequentemente deixa de fora enormes porções do mundo biológico, efetivamente tornando o teste cego para a maioria dos candidatos que ele afirma avaliar. O trabalho de Li mostra que, quando um teste exclui mais da metade dos candidatos possíveis, nenhuma ordenação estrita de dois modelos é identificada sem suposições adicionais, mesmo que um modelo pontue mais alto no teste. O estudo não aponta apenas um erro menor; ele demonstra que a própria população que um benchmark afirma classificar é, muitas na verdade, uma fatia minúscula e não representativa da realidade, e que as melhorias vistas nesses testes podem às vezes desaparecer ou até reverter quando aplicadas ao quadro completo.
O cerne do problema reside em uma regra que muitos pesquisadores usam para manter seus dados limpos. Para evitar rotular acidentalmente um evento biológico real como um "negativo" apenas porque ele ainda não foi descoberto, os cientistas costumam estabelecer um nível alto para inclusão. Eles podem dizer: "Usaremos apenas proteínas como exemplos negativos se já soubermos muito sobre elas". Embora isso pareça uma maneira segura de garantir a precisção, Li mostrou que essa regra atua como um peneiramento que filtra quase tudo. Em oito tarefas diferentes envolvendo modificações químicas em proteínas, essa regra excluiu entre 60% e 97% das proteínas candidatas. Nos piores casos, o teste estava olhando apenas para uma fração minúscula das proteínas que deveria cobrir.
Li desenvolveu uma maneira de medir exatamente quanto da população alvo está faltando. Ele descobriu que, uma vez que a porção ausente excede a metade do total, o teste perde sua capacidade de garantir uma classificação estrita entre modelos sem suposições sobre a região excluída. Imagine tentar julgar a qualidade de uma biblioteca lendo apenas os livros da prateleira de cima; se as prateleiras de baixo contiverem os melhores livros, seu julgamento estará errado. Nesses testes biológicos, a "prateleira de cima" é o pequeno grupo de proteínas bem anotadas, enquanto as "prateleiras de baixo" são a vasta maioria das proteínas que o teste ignora. Quando a porção ignorada é tão grande, um modelo pode parecer ser o melhor no teste simplesmente porque acontece de funcionar bem naquele pequeno grupo fácil, enquanto falha miseravelmente no restante do mundo biológico.
Para provar isso, Li realizou um experimento específico onde comparou um modelo padrão com uma versão que incluía informações extras sobre a proteína inteira. No teste padrão, que olhava apenas para as proteínas bem anotadas, a informação extra pareceu ajudar. No entanto, quando Li reconstruiu o teste para incluir as proteínas previamente excluídas, a informação extra na verdade prejudicou o desempenho do modelo em sete de oito tarefas. A característica que parecia uma atualização útil no teste estreito tornou-se um passivo quando o modelo foi forçado a lidar com a gama total de candidatos. Essa reversão mostra que o teste inicial não estava medindo a verdadeira capacidade de generalização do modelo; estava apenas medindo o quão bem o modelo se ajustava a um conjunto específico e estreito de regras.
O estudo também examinou um benchmark popular para interações proteicas, que é usado para testar quão bem os computadores podem prever quais proteínas se ligam. Este benchmark utiliza um filtro de duas etapas para criar seus exemplos negativos. Primeiro, ele remove proteínas inteiras que têm muitas conexões e, segundo, remove pares de proteínas que estão muito próximos em uma estrutura de rede. Li descobriu que o primeiro passo, sozinho, exclui proteínas inteiras, o que significa que, para algumas proteínas, não há exemplos negativos de forma alguma. O segundo passo remove quase todos os pares para muitas outras proteínas. O resultado é um teste onde os exemplos "negativos" são tão esparsos e enviesados que não representam o mundo real das interações proteicas. De fato, o teste exclui 73% das proteínas em seu próprio universo declarado, deixando um enorme hiato entre o que o teste afirma medir e o que ele realmente vê.
O trabalho de Li não sugere que esses modelos sejam inúteis, mas sim que devemos ser honestos sobre o que eles estão realmente testando. Um benchmark deve declarar claramente qual parte do mundo biológico ele cobre e admitir o que deixa de fora. Se um teste exclui mais da metade dos candidatos, ele não pode certificar que um modelo é melhor do que outro para toda a população sem suposições adicionais. O pesquisador recomenda que os cientistas relatem exatamente quantos candidatos são incluídos e excluídos, e que sejam cautelosos ao afirmar que um modelo é superior, a menos que o teste cubra uma parte grande o suficiente do alvo para tornar uma comparação justa.
As descobertas servem como uma correção necessária para o campo da predição biológica. Ao separar o desempenho de um modelo nos dados que ele vê do seu desempenho nos dados que ele perde, Li fornece um caminho mais claro a seguir. O estudo sugere que a prática atual de usar filtros rigorosos para criar negativos "limpos" pode estar fazendo mais mal do que bem, criando uma ilusão de progresso que desaparece quando os modelos enfrentam a realidade desordenada e incompleta dos dados biológicos. A solução não é abandonar esses testes, mas desenhá-los com uma compreensão total de seus limites, garantindo que as classificações que produzem reflitam o verdadeiro potencial dos modelos, em vez das peculiaridades do próprio teste.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.