Constructed negatives determine the population a benchmark can rank over
Cet article soutient que les classements de référence sont fondamentalement limités par l'exclusion d'entités mal annotées lors de la construction des négatifs, démontrant que des taux d'omission élevés (W > 0,5) empêchent un ordonnancement strict des modèles et exhortant la communauté à rapporter de manière transparente les définitions des cibles, le support d'échantillonnage et les preuves pour les comparaisons.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Dans le vaste paysage de la découverte biologique, les scientifiques s'appuient souvent sur des modèles informatiques pour prédire comment les protéines interagissent ou où les étiquettes chimiques se fixent sur elles. Pour enseigner à ces modèles, les chercheurs doivent leur montrer des exemples de choses qui arrivent (les positifs) et des exemples de choses qui n'arrivent pas (les négatifs). Le défi est que, si nous avons une bonne liste de choses qui arrivent, nous n'avons que rarement une liste complète de tout ce qui ne se produit pas. Au lieu de cela, les scientifiques créent souvent une liste de « négatifs » en supposant que toute interaction ou modification qu'ils n'ont pas encore vue est probablement un événement non réalisé. Cette hypothèse constitue le fondement de nombreux bancs d'essai, ou tests standards, utilisés pour juger de la performance d'un nouveau modèle. Si le test est défectueux, le classement des meilleurs modèles devient peu fiable, ce qui pourrait envoyer les chercheurs sur une fausse piste dans leur recherche de nouveaux médicaments ou d'aperçus biologiques.
Un chercheur de l'Université Tulane, Justin Li, a mis au jour une faille fondamentale dans la manière dont ces tests sont souvent construits. Il a découvert que la façon dont les scientifiques choisissent leurs exemples « négatifs » laisse souvent de vastes portions du monde biologique de côté, rendant le test effectivement aveugle à une majorité des candidats qu'il prétend évaluer. Le travail de Li montre que lorsqu'un test exclut plus de la moitié des candidats possibles, aucun classement strict de deux modèles n'est identifié sans hypothèses supplémentaires, même si un modèle obtient un score plus élevé au test. L'étude ne se contente pas de pointer une erreur mineure ; elle démontre que la population même que le banc d'essai prétend évaluer est souvent une infime tranche non représentative de la réalité, et que les améliorations observées sur ces tests peuvent parfois disparaître ou même s'inverser lorsqu'elles sont appliquées à l'ensemble du tableau.
Le cœur du problème réside dans une règle que de nombreux chercheurs utilisent pour garder leurs données propres. Pour éviter de classer accidentellement un événement biologique réel comme un « négatif » simplement parce qu'il n'a pas encore été découvert, les scientifiques fixent souvent un seuil d'inclusion très élevé. Ils pourraient dire : « Nous n'utiliserons des protéines comme exemples négatifs que si nous en connaissons déjà beaucoup sur elles. » Bien que cela semble être un moyen sûr de garantir l'exactitude, Li a montré que cette règle agit comme un tamis qui filtre presque tout. Dans huit tâches différentes impliquant des modifications chimiques sur des protéines, cette règle a exclu entre 60 % et 97 % des protéines candidates. Dans les cas les plus graves, le test n'examinait qu'une infime fraction des protéines qu'il était censé couvrir.
Li a développé un moyen de mesurer précisément quelle portion de la population cible est manquante. Il a constaté qu'une fois que la partie manquante dépasse la moitié du total, le test perd sa capacité à garantir un classement strict entre les modèles sans hypothèses concernant la région exclue. Imaginez essayer de juger la qualité d'une bibliothèque en ne lisant que les livres de l'étagère du haut ; si les étagères du bas contiennent les meilleurs livres, votre jugement sera erroné. Dans ces tests biologiques, l'« étagère du haut » est le petit groupe de protéines bien annotées, tandis que les « étagères du bas » sont la vaste majorité des protéines que le test ignore. Lorsque la partie ignorée est aussi importante, un modèle peut apparaître comme étant le meilleur au test simplement parce qu'il fonctionne bien sur ce petit groupe facile, tout en échouant lamentablement sur le reste du monde biologique.
Pour le prouver, Li a mené une expérience spécifique où il a comparé un modèle standard à une version incluant des informations supplémentaires sur l'ensemble de la protéine. Sur le test standard, qui ne regardait que les protéines bien annotées, l'information supplémentaire semblait aider. Cependant, lorsque Li a reconstruit le test pour inclure les protéines précédemment exclues, l'information supplémentaire a en fait nui à la performance du modèle dans sept des huit tâches. La caractéristique qui apparaissait comme une amélioration utile dans le test étroit est devenue un handicap lorsque le modèle a été contraint de faire face à la gamme complète des candidats. Ce renversement montre que le test initial ne mesurait pas la véritable capacité de généralisation du modèle ; il mesurait simplement la capacité du modèle à s'ajuster à un ensemble de règles spécifiques et étroites.
L'étude a également examiné un banc d'essai populaire pour les interactions protéiques, utilisé pour tester la capacité des ordinateurs à prédire quelles protéines s'assemblent. Ce banc d'essai utilise un filtre en deux étapes pour créer ses exemples négatifs. Premièrement, il supprime des protéines entières qui ont trop de connexions, et deuxièmement, il supprime des paires de protéines qui sont trop proches dans une structure de réseau. Li a découvert que la première étape exclut des protéines entières, ce qui signifie que pour certaines protéines, il n'existe aucun exemple négatif. La seconde étape supprime presque toutes les paires pour de nombreuses autres protéines. Le résultat est un test où les exemples « négatifs » sont si rares et biaisés qu'ils ne représentent pas le monde réel des interactions protéiques. En fait, le test exclut 73 % des protéines de son propre univers déclaré, laissant un fossé massif entre ce que le test prétend mesurer et ce qu'il voit réellement.
Le travail de Li ne suggère pas que ces modèles sont inutiles, mais plutôt que nous devons être honnêtes sur ce qu'ils testent réellement. Un banc d'essai devrait clairement énoncer quelle partie du monde biologique il couvre et admettre ce qu'il laisse de côté. Si un test exclut plus de la moitié des candidats, il ne peut certifier qu'un modèle est meilleur qu'un autre pour l'ensemble de la population sans hypothèses supplémentaires. Le chercheur recommande aux scientifiques de rapporter précisément combien de candidats sont inclus et exclus, et d'être prudents avant de prétendre qu'un modèle est supérieur, à moins que le test ne couvre une portion suffisamment large de la cible pour permettre une comparaison équitable.
Ces conclusions constituent une correction nécessaire au domaine de la prédiction biologique. En séparant la performance d'un modèle sur les données qu'il voit de sa performance sur les données qu'il manque, Li offre une voie plus claire vers l'avenir. L'étude suggère que la pratique actuelle consistant à utiliser des filtres stricts pour créer des négatifs « propres » peut faire plus de mal que de bien, créant une illusion de progrès qui disparaît lorsque les modèles sont confrontés à la réalité désordonnée et incomplète des données biologiques. La solution n'est pas d'abandonner ces tests, mais de les concevoir avec une compréhension totale de leurs limites, afin de s'assurer que les classements qu'ils produisent reflètent le véritable potentiel des modèles plutôt que les particularités du test lui-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.