Testing the reliability of AI-generated protein structures

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Architekten namens AlphaFold. Seine Aufgabe ist es, eine Liste von Anweisungen (eine Proteinsequenz) zu betrachten und ein 3D-Modell einer Maschine (eine Proteinstruktur) zu bauen. Jahrelang war dieser Roboter bei seiner Arbeit brillant und baute perfekte Modelle für echte biologische Maschinen.

Die Wissenschaftler hinter dieser Studie stellten jedoch eine knifflige Frage: „Was passiert, wenn wir den Roboter austricksen?“

Der „Fake-Bauplan“-Test

Um die Zuverlässigkeit des Roboters zu testen, erstellten die Forscher eine Reihe von falschen Bauplänen. Dies waren zufällige Buchstabenfolgen, die so aussah, als könnten sie Anweisungen für eine Maschine sein, aber in Wirklichkeit waren sie nur Unsinn – Datenmüll, den die Natur niemals bauen wollte.

Sie fütterten diese falschen Baupläne in den Roboter und fragten ihn: „Wie oft wird dieser Roboter selbst aus reinem Unsinn selbstbewusst eine perfekt aussehende Maschine bauen?“

Das Ergebnis: Ein seltener Fehler

Der Roboter erledigte seine Arbeit unglaublich gut. Fast immer erkannte er: „Hey, das ist Unsinn“, und weigerte sich, ein sicheres Modell zu bauen. Er war jedoch nicht perfekt.

Die Studie ergab, dass der Roboter etwa einmal auf 435 Versuche hin einen Fehler macht. In diesen seltenen Fällen sagt er selbstbewusst: „Ich habe eine großartige Maschine gebaut!“, obwohl die Anweisungen gefälscht waren. Dies wird als „falsch-positiv“ bezeichnet.

Der glückliche Zufall: Verborgene Schätze finden

Hier wurde es interessant. Während sie den Roboter testeten, fanden die Forscher unerwartet etwas im menschlichen Genom (unserem Körper-Handbuch).

Sie fanden einige Abschnitte im Handbuch, von denen Wissenschaftler zuvor dachten, sie seien nur „tote Zonen“ oder „Müll“ (speziell Teile von Genen, die keine Proteine kodieren). Aber als sie diese Abschnitte in den Roboter einspeisten, baute er hochwertige Strukturen!

Es stellte sich heraus, dass dies keine Fehler waren. Dies waren verborgene, vergessene Anweisungen (Pseudogene), die die Wissenschaftler übersehen hatten. Der Roboter hatte recht damit, dort eine Struktur zu bauen.

Was das bedeutet

Diese Entdeckung lehrte die Forscher zwei wesentliche Dinge:

1. Der Roboter ist vertrauenswürdig: Die „Fehlerrate“ ist so gering (1 zu 435), dass man, wenn der Roboter sagt, er habe eine großartige Struktur gebaut, sehr sicher sein kann, dass sie echt ist.
2. Ignorieren Sie den „Müll“ nicht: Da der Roboter so gut ist, ist es selbst dann, wenn er eine Struktur in einem Teil des Handbuchs findet, den wir für nutzlos hielten, einen zweiten Blick wert. Es könnte entweder ein verborgener Hinweis sein, den wir übersehen haben, oder ein seltener Fehler, aber es ist definitiv untersuchenswert.

Kurz gesagt: Der Roboter ist ein fantastischer Baumeister, der sich selten von falschen Plänen täuschen lässt, und manchmal hilft er uns sogar dabei, verborgene Schätze in unseren eigenen Handbüchern zu finden, von denen wir gar nicht wussten, dass sie existieren.