Constructed negatives determine the population a benchmark can rank over
Dieses Paper argumentiert, dass Benchmark-Rankings durch den Ausschluss schlecht annotierter Entitäten bei der Konstruktion von Negativen fundamental begrenzt sind, indem es demonstriert, dass hohe Auslassungsraten (W > 0,5) eine strikte Modellordnung verhindern, und drängt die Community dazu, Zieldefinitionen, Sampling-Support und Evidenzen für Vergleiche transparent zu berichten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der weiten Landschaft biologischer Entdeckungen verlassen sich Wissenschaftler oft auf Computermodelle, um vorherzusagen, wie Proteine interagieren oder wo chemische Markierungen an ihnen anhaften. Um diese Modelle zu lehren, müssen Forscher ihnen Beispiele für Dinge zeigen, die passieren (Positive), und Beispiele für Dinge, die nicht passieren (Negative). Die Herausforderung besteht darin, dass wir zwar eine gute Liste von Dingen haben, die tatsächlich geschehen, aber selten eine vollständige Liste von allem, was nicht geschieht. Stattdessen erstellen Wissenschaftler oft eine Liste von „Negativen“, indem sie davon ausgehen, dass jede noch nicht beobachtete Interaktion oder Modifikation wahrscheinlich ein Nicht-Ereignis ist. Diese Annahme bildet das Fundament vieler Benchmarks, oder Standardtests, die dazu dienen, die Leistungsfähigkeit eines neuen Modells zu beurteilen. Wenn der Test fehlerhaft ist, wird die Rangfolge der besten Modelle unzuverlässig, was Forscher potenziell auf einen falschen Weg bei ihrer Suche nach neuen Medikamenten oder biologischen Erkenntnissen führen kann.
Justin Li, ein Forscher an der Tulane University, hat einen grundlegenden Fehler in der Art und Weise aufgedeckt, wie diese Tests oft konstruiert werden. Er fand heraus, dass die Art und Weise, wie Wissenschaftler ihre „negativen“ Beispiele auswählen, oft riesige Teile der biologischen Welt auslässt, was den Test effektiv blind für die Mehrheit der Kandidaten macht, die er eigentlich bewerten soll. Lis Arbeit zeigt, dass ein Test, der mehr als die Hälfte der möglichen Kandidaten ausschließt, keine strikte Ordnung zwischen zwei Modellen identifizieren kann, ohne zusätzliche Annahmen zu treffen, selbst wenn ein Modell auf dem Test besser abschneidet. Die Studie weist nicht nur auf einen geringfügigen Fehler hin; sie demonstriert, dass die Population, über die ein Benchmark eine Rangfolge zu erstellen vorgibt, oft nur ein winziger, nicht repräsentativer Ausschnitt der Realität ist, und dass die auf diesen Tests erzielten Verbesserungen beim Übergang auf das Gesamtbild manchmal verschwinden oder sich sogar umkehren können.
Der Kern des Problems liegt in einer Regel, die viele Forscher anwenden, um ihre Daten sauber zu halten. Um zu vermeiden, ein echtes biologisches Ereignis versehentlich als „Negativ“ zu kennzeichnen, nur weil es noch nicht entdeckt wurde, setzen Wissenschaftler oft eine hohe Hürde für die Aufnahme fest. Sie könnten sagen: „Wir werden nur Proteine als negative Beispiele verwenden, wenn wir bereits viel über sie wissen.“ Während dies wie ein sicherer Weg klingt, um die Genauigkeit zu gewährleisten, zeigte Li, dass diese Regel wie ein Sieb wirkt, das fast alles herausfiltert. In acht verschiedenen Aufgaben im Zusammenhang mit chemischen Modifikationen an Proteinen schloss diese Regel zwischen 60 % und 97 % der Kandidaten-Proteine aus. In den extremsten Fällen betrachtete der Test nur einen winzigen Bruchteil der Proteine, die er eigentlich abdecken sollte.
Li entwickelte eine Methode, um genau zu messen, wie viel der Zielpopulation fehlt. Er fand heraus, dass, sobald der fehlende Anteil die Hälfte der Gesamtheit überschreitet, der Test die Fähigkeit verliert, eine strikte Rangfolge zwischen Modellen ohne Annahmen über den ausgeschlossenen Bereich zu garantieren. Stellen Sie sich vor, Sie versuchen, die Qualität einer Bibliothek zu beurteilen, indem Sie nur die Bücher im obersten Regal lesen; wenn die unteren Regale die besten Bücher enthalten, wird Ihr Urteil falsch sein. In diesen biologischen Tests ist das „obere Regal“ die kleine Gruppe gut annotierter Proteine, während die „unteren Regale“ die große Mehrheit der Proteine sind, die der Test ignoriert. Wenn der ignorierte Teil so groß ist, könnte ein Modell allein deshalb als das beste auf dem Test erscheinen, weil es zufällig gut auf dieser kleinen, einfachen Gruppe funktioniert, während es in der restlichen biologischen Welt kläglich versagt.
Um dies zu beweisen, führte Li ein spezifisches Experiment durch, bei dem er ein Standardmodell mit einer Version verglich, die zusätzliche Informationen über das gesamte Protein enthielt. Auf dem Standardtest, der nur die gut annotierten Proteine betrachtete, schien die zusätzliche Information hilfreich zu sein. Als Li jedoch den Test rekonstruierte, um die zuvor ausgeschlossenen Proteine einzubeziehen, schaderten die zusätzlichen Informationen dem Modell in sieben von acht Aufgaben tatsächlich. Das Merkmal, das in dem engen Test wie ein hilfreiches Upgrade aussah, wurde beim Modell zur Last, als es gezwungen war, sich mit dem vollen Spektrum der Kandidaten auseinanderzusetzen. Diese Umkehrung zeigt, dass der ursprüngliche Test nicht die wahre Fähigkeit des Modells zur Generalisierung maß, sondern lediglich maß, wie gut das Modell einer spezifischen, engen Menge an Regeln entsprach.
Die Studie untersuchte auch einen populären Benchmark für Proteininteraktionen, der verwendet wird, um zu testen, wie gut Computer vorhersagen können, welche Proteine aneinanderhaften. Dieser Benchmark nutzt einen zweistufigen Filter, um seine negativen Beispiele zu erstellen. Zuer erst wird es durch das Entfernen ganzer Proteine, die zu viele Verbindungen aufweisen, und zweitens durch das Entfernen von Proteinkonstrukten, die sich in einer Netzwerkstruktur zu nah sind. Li fand heraus, dass der erste Schritt allein ganze Proteine ausschließt, was bedeutet, dass es für einige Proteine überhaupt keine negativen Beispiele gibt. Der zweite Schritt entfernt für viele andere Proteine nahezu alle möglichen Paare. Das Ergebnis ist ein Test, bei dem die „negativen“ Beispiele so spärlich und verzerrt sind, dass sie die reale Welt der Proteininteraktionen nicht repräsentieren. Tatsächlich schließt der Test 73 % der Proteine in seinem eigenen definierten Universum aus, was eine massive Lücke hinterlässt zwischen dem, was der Test zu messen vorgibt, und dem, was er tatsächlich sieht.
Lis Arbeit deutet nicht darauf hin, dass diese Modelle nutzlos sind, sondern vielmehr, dass wir ehrlich darüber sein müssen, was sie tatsächlich testen. Ein Benchmark sollte klar angeben, welchen Teil der biologischen Welt er abdeckt, und zugeben, was er auslässt. Wenn ein Test mehr als die Hälfte der Kandidaten ausschließt, kann er nicht zertifizieren, dass ein Modell besser als ein anderes für die gesamte Population ist, ohne weitere Annahmen zu treffen. Der Forscher empfiehlt, dass Wissenschaftler genau berichten, wie viele Kandidaten ein- und ausgeschlossen werden, und dass sie vorsichtig damit sein sollten, die Überlegenheit eines Modells zu behaupten, sofern der Test nicht einen großen genug Teil des Zielobjekts abdeckt, um einen fairen Vergleich zu ermöglichen.
Die Ergebnisse dienen als notwendige Korrektur für das Feld der biologischen Vorhersage. Indem er die Leistung eines Modells auf den Daten, die es sieht, von seiner Leistung auf den Daten trennt, die es verpasst, bietet Li einen klareren Weg nach vorne. Die Studie legt nahe, dass die aktuelle Praxis, strikte Filter zu verwenden, um „saubere“ Negative zu erzeugen, mehr Schaden als Nutzen anrichten kann, indem sie eine Illusion von Fortschritt schafft, die verschwindet, sobald die Modelle mit der unordentlichen, unvollständigen Realität biologischer Daten konfrontiert werden. Die Lösung besteht nicht darin, diese Tests aufzugeben, sondern sie mit einem vollen Verständnis ihrer Grenzen zu entwerfen, um sicherzustellen, dass die von ihnen produzierten Rangfolgen das wahre Potenzial der Modelle widerspiegeln und nicht die Eigenheiten des Tests selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.