Benchmarking antibody-antigen co-folding on human monomeric antigens

In der mikroskopischen Welt des menschlichen Immunsystems agieren Antikörper als hochspezialisierte Schlüssel, die darauf ausgelegt sind, perfekt in die Schlösser zu passen, die von eindringenden Viren oder schädlichen Proteinen präsentiert werden. Jahrzehntelang träumten Wissenschaftler davon, genau vorhersagen zu können, wie diese Schlüssel und Schlösser allein durch den Blick auf ihre chemischen Baupläne zusammenpassen. Diese Fähigkeit würde die Medizin revolutionieren und es Forschern ermöglichen, neue Medikamente und Impfstoffe zu entwickeln, ohne jede einzelne Version im Labor bauen und testen zu müssen. Diese Vorhersage blieb jedoch eines der hartnäckigsten Rätsel der Biologie. Während Computer exzellent darin geworden sind, zu erraten, wie zwei Proteine aneinanderhaften könnten, sind Antikörper ein Sonderfall. Im Gegensatz zu den meisten Proteinen, die sich gemeinsam mit ihren Partnern entwickeln, entwickeln sich Antikörper unabhängig, was bedeutet, dass ihnen die gemeinsame Evolutionsgeschichte fehlt, die Computern hilft, genaue Vermutungen anzustellen. Zudem ist der Teil des Antikörpers, der tatsächlich das Ziel ergreift, eine flexible, wackelige Schleife, die ständig ihre Form verändert, was es unglaublich schwierig macht, sie mit Standardwerkzeugen zu modellieren.

Ein Forscherteam setzte sich zum Ziel, zu messen, wie weit die neueste Generation von Computerprogrammen bei der Lösung dieses spezifischen Rätsels gekommen ist. Sie sammelten eine massive Sammlung von 412 realen Beispielen von Antikörpern, die an menschliche Proteine gebunden waren, und erstellten so einen strengen Testdatensatz, den die Computerprogramme vor ihrer Erstellung noch nicht gesehen hatten. Durch das Testen von zehn verschiedenen Vorhersagemethoden gegen diese neuen Daten entdeckten sie, dass die jüngste Software einen dramatischen Sprung nach vorne gemacht hat und erfolgreich die korrekte Form für etwa die Hälfte der neuen, unbekannten Fälle vorhersagt. Die Studie zeigte jedoch auch, dass selbst die besten Programme immer noch mit den flexibelsten Teilen des Antikörpers kämpfen und dass das bloße häufigere Raten nicht immer zu einer besseren Antwort führt. Die Forscher fanden heraus, dass die älteren Programme aufholen könnten, wenn man dem Computer genau sagen würde, wo der Antikörper das Ziel berühren sollte, was darauf hindeutet, dass die Hauptschwierigkeit nicht nur in der Intelligenz der Software liegt, sondern in ihrer Fähigkeit, den richtigen Ausgangspunkt in einem riesigen Meer von Möglichkeiten zu finden.

Die Forscher begannen mit der Zusammenstellung eines Benchmarks namens HuMonoAg-Bench, einer kuratierten Bibliothek von 4-12 Antikörper-Komplexen unter Beteiligung menschlicher Proteine. Sie teilten diese Sammlung sorgfältig in zwei Gruppen basierend darauf auf, wann die Strukturen entdeckt wurden. Eine Gruppe bestand aus 278 Komplexen, die vor September 2021 veröffentlicht wurden – ein Datum, das als Cutoff für die Trainingsdaten vieler moderner Vorhersagewerkzeuge dient. Die andere Gruppe enthielt 134 nach diesem Datum veröffentlichte Komplexe, um sicherzustellen, dass die Computerprogramme diese spezifischen Formen zuvor noch nie gesehen hatten. Um den Test noch präziser zu gestalten, unterteilten sie die neue Gruppe in solche, bei denen die Antigene den älteren sehr ähnlich waren, und solche, die völlig neuartig waren. Dieser Aufbau ermöglichte es ihnen zu testen, ob die Computer lediglich alte Beispiele auswendig lernten oder tatsächlich lernten, neue Interaktionen vorherzusagen. Sie ließen dann zehn verschiedene Co-Folding-Protokolle – Methoden, die simulieren, wie zwei Proteine gemeinsam falten – gegen diesen Datensatz laufen und verglichen die Ergebnisse mit den tatsächlichen experimentellen Strukturen, um zu sehen, wie nah die Vorhersagen an der Realität lagen.

Die Ergebnisse zeigten eine klare und signifikante Verbesserung der neuesten Methoden im Vergleich zu den älteren. Bei der Vorhersage der Strukturen der neuen, ungesehenen Komplexe gelang es der älteren Software, in nur etwa 16 bis 22 Prozent der Fälle eine korrekte oder nahezu korrekte Form zu finden. Im Gegensatz dazu erreichten die fortschrittlichsten Methoden, wie Protenix v2, IntelliFold-2 und ESMFold2, in etwa 33 bis 52 Prozent derselben Fälle ein Modell von mittlerer oder besserer Qualität. Der beste Performer, Protenix v2, erreichte eine Erfolgsquote von 52 Prozent für Standard-Antikörper und sogar 82 Prozent für eine spezifische Art von Single-Domain-Antikörper, wenn das Antigen vertraut war. Trotz dieses Fortschritts betonte die Studie, dass fast die Hälfte der neuen Ziele weiterhin ungelöst blieb, was darauf hindeutet, dass während das Feld schnell vorangeschritten ist, ein großer Teil der Antikörper-Interaktionen noch außerhalb der Reichweite aktueller Technologien liegt. Die Forscher stellten fest, dass diese Verbesserung nicht einfach darauf zurückzuführen war, dass die neueren Programme mehr Daten gesehen hatten, da sie ähnliche Trainings-Cutoffs teilten, sondern vielmehr auf grundlegende Verbesserungen in der Modellierung der komplexen Formen zurückzuführen war.

Eine tiefergehende Untersuchung der Frage, warum einige Vorhersagen erfolgreich waren und andere scheiterten, deutete auf ein spezifisches Strukturmerkmal hin: die CDRH3-Schleife. Dies ist eine flexible, haarähnliche Struktur am Antikörper, die den primären Kontaktpunkt zum Ziel darstellt. Die Studie fand heraus, dass die Genauigkeit dieser einzelnen Schleife der stärkste Indikator dafür war, ob eine Vorhersage erfolgreich sein würde. Während die Computer im Allgemeinen gut darin waren, die starren Teile des Antigens und die anderen, stabileren Schleifen des Antikörpers zu modellieren, blieb die CDRH3-Schleife die schwierigste Komponente, die korrekt darzustellen, insbesondere wenn sie lang war. Die neueren Methoden zeigten eine deutliche Verbesserung bei der Modellierung dieser spezifischen Schleife, was direkt mit ihren höheren Gesamterfolgsraten korrelierte. Die Forscher stellten jedoch fest, dass selbst wenn die lokale Struktur der Schleife gut modelliert wurde, dies nicht garantierte, dass der gesamte Antikörper im Verhältnis zum Ziel korrekt positioniert war, was zeigt, dass es nicht dasselbe ist, die Teile richtig zu bekommen, wie das gesamte Puzzle korrekt zusammenzusetzen.

Die Forscher testeten auch, was passieren würde, wenn sie den Computerprogrammen einen Hinweis darüber gaben, wo der Antikörper binden sollte. In einem realen Szenario wissen Wissenschaftler vielleicht einige Schlüsselstellen am Zielprotein, an denen ein Antikörper haftet, aber sie kennen nicht die exakte Form des Antikörpers. Durch die Bereitstellung dieser begrenzten Information als Einschränkung (Constraint) stiegen die Erfolgsraten der älteren Methoden um 20 bis 30 Prozentpunkte und erreichten damit das Niveau der stärksten unbeschränkten Methoden. Dieser Befund legt nahe, dass die primäre Einschränkung der älteren Software nicht ein Mangel an Verständnis der Physik war, sondern die Unfähigkeit, den korrekten Bindungsmodus unter Milliarden von Möglichkeiten zu finden. Wenn der Suchraum durch einen Hinweis verengt wurde, konnten die älteren Programme die Lösung finden. Diese Verbesserung hing jedoch stark von der Genauigkeit des Hinweises ab; wenn die bereitgestellte Information nur teilweise korrekt war, verschwand der Verbesserungseffekt.

Abschließend untersuchte das Team, ob das häufigere Durchführen der Simulationen die verbleibenden Probleme lösen würde. Sie fanden heraus, dass das Hauptproblem bei den unbeschränkten Methoden im Sampling-Fehler lag: Die korrekte Form tauchte in der Menge der generierten Modelle einfach nie auf. Als sie die Anzahl der Simulationsläufe erhöhten, fanden sie zwar mehr korrekte Formen, stellten aber auch fest, dass das Rankingsystem des Computers oft versagte, das beste Modell als die beste Antwort auszuwählen. Dies schuf einen neuen Engpass: Selbst wenn die korrekte Antwort generiert wurde, erkannte die Software sie nicht immer als die beste Option. Die Studie kam zu dem Schluss, dass das Erhöhen der Versuche zwar hilft, die Fähigkeit, das beste Modell zu ranken und auszuwählen, jedoch ebenso wichtig wird wie die Fähigkeit, sie überhaupt zu generieren. Die verbleibenden ungelösten Fälle waren eine vielfältige Mischung aus schwierigen Zielen ohne ein einziges gemeinsames Merkmal, was darauf hindeutet, dass der Weg nach vorne erfordert, mehrere verschiedene Arten von Herausforderungen zu lösen, anstatt nur ein spezifisches Problem zu beheben.