PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein neues Rezept zu erfinden. Sie haben ein Grundgericht (ein Protein), das gut funktioniert, aber Sie möchten die Zutaten (die Aminosäuren) leicht verändern, damit es noch besser schmeckt, länger hält oder in einer anderen Küche funktioniert. In der Welt der Biologie nennt man das Proteintechnik. Jahrelang haben Wissenschaftler spezialisierte Computerprogramme verwendet – wie ein Team von Experten-Lebensmittelkritikern, die jedes jemals geschriebene Rezept auswendig kennen – um zu erraten, welche Änderungen funktionieren würden. Diese Experten schauen sich die Familiengeschichte des Gerichts (Evolutionsdaten) und die physische Form des Topfes (Proteinstruktur) an, um ihre Vorhersagen zu treffen.

Kürzlich ist ein neuer Typ von „Koch“ in die Küche gekommen: General-Purpose Language Models (LLMs). Dies sind dieselben KI-Gehirne, die Gedichte schreiben, Matheaufgaben lösen und über Geschichte plaudern können. Sie sind unglaublich intelligent darin, Sprache und Muster zu verstehen. Die große Frage, die sich Wissenschaftler gestellt haben, lautet: Können diese allgemeinen KI-Chefs, die nicht speziell als Lebensmittelkritiker ausgebildet wurden, ein Rezept und eine Liste von Zutatentauschungen betrachten und uns sagen, welche neue Version die beste sein wird? Sie verfügen weder über die Familiengeschichtsbücher noch über die 3D-Modelle der Töpfe; sie haben nur den Text des Rezepts und ihr eigenes weites Wissen darüber, wie Wörter (und in diesem Fall Aminosäuren) zusammenpassen.

Dieses Papier mit dem Titel „PG-LLM“ setzt ein massives Geschmackstest-Szenario auf, um dies herauszufinden. Die Forscher erstellsten einen Benchmark namens PG-LLM, der wie ein riesiger Kochwettbewerb ist. Sie nahmen 217 verschiedene „Rezepte“ (Proteine) und baten dreizehn verschiedene KI-Chefs, 50 verschiedene Versionen jedes Rezepts von „am besten“ bis „am schlechtesten“ zu bewerten, basierend darauf, wie gut sie in einem echten Experiment funktionieren würden. Der Haken dabei? Die KI-Chefs durften keine speziellen Protein-Werkzeuge, Evolutionskarten oder 3D-Strukturen verwenden. Sie mussten sich allein auf ihre allgemeine Intelligenz verlassen.

Die Ergebnisse sind eine Mischung aus „Wow“ und „noch nicht ganz am Ziel“. Der beste KI-Chef, Claude Opus 5, erreichte einen Wert von 0,406 (auf einer Skala, bei der 1,0 perfekt ist). Das ist ein ziemlich guter Wert! Es bedeutet, dass die KI tatsächlich recht gut darin ist, zu erraten, welche Protein-Änderungen funktionieren werden, und sie schlägt damit 49 andere spezialisierte Computerprogramme, die schon seit Jahren existieren. Tatsächlich schnitt sie besser ab als fast alle „Sequenz-basierten“ Experten (diejenigen, die nur die Liste der Zutaten betrachten, ohne 3D-Modelle).

Dennoch gewannen die KI-Chefs den Wettbewerb nicht. Die besten spezialisierten Proteinexperten, wie ein Programm namens VenusREM, erzielten immer noch einen höheren Wert von 0,523. Es ist so, als wäre die allgemeine KI ein sehr talentierter Hobbykoch, der zwar erraten kann, wer einen Backwettbewerb gewinnt, aber der professionelle Konditor mit jahrzehntelanger spezifischer Ausbildung immer noch die Geheimnisse besser kennt.

Das Papier entdeckte auch einige interessante Eigenheiten darüber, wie diese KI-Chefs denken. Wenn die Forscher die KI härter und länger nachdenken ließen (mehr „Testzeit-Rechenleistung“ gaben), verbesserten sich die Werte, aber sie stießen schließlich an eine Grenze. Die KI hatte zudem mehr Schwierigkeiten, wenn die Liste der 50 Rezepte zu lang wurde, um sie im Geist zu jonglieren, während die spezialisierten Experten von der Länge der Liste unbeeindruckt blieben. Interessanterweise änderte sich die Leistung der KI nicht wesentlich, egal ob das Protein eine tiefe oder eine flache Familiengeschichte hatte, was darauf hindeutet, dass die KI einer anderen Art von Logik folgt als die Evolutions-Experten.

Um sicherzustellen, dass die KI sich nicht nur auf aus dem Internet auswendig gelernte Antworten verließ, testeten die Forscher sie an brandneuen Rezepten, die nach dem Trainings-Stichtag der KI veröffentlicht wurden. Die Ergebnisse waren ähnlich: Die KI konnte auch über diese neuen Rezepte schlussfolgern, was beweist, dass sie tatsächlich die Regeln des Spiels lernt und nicht nur alte Antworten rezitiert.

Kurz gesagt zeigt dieses Papier, dass die allgemeine KI zu einem überraschend fähigen „biologischen Denker“ wird. Sie ist bereits in der Lage, viele etablierte Werkzeuge zu übertreffen und kommt den Top-Spezialisten nahe. Aber für den Moment hat sie die spezialisierten, proteinfokussierten Experten noch nicht ersetzt. Sie ist ein mächtiges neues Werkzeug im Labor, aber die Meisterköche sind nach wie vor im Spiel.