PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

Immagina di essere un maestro chef che cerca di inventare una nuova ricetta. Hai un piatto base (una proteina) che funziona bene, ma vuoi modificare gli ingredienti (gli amminoacidi) per renderlo ancora più gustoso, farlo durare di più o farlo funzionare in una cucina diversa. Nel mondo della biologia, questo viene chiamato ingegneria proteica. Per anni, gli scienziati hanno utilizzato programmi informatici specializzati — come una squadra di esperti critici gastronomici che hanno memorizzato ogni ricetta mai scritta — per indovinare quali modifiche avrebbero funzionato. Questi esperti osservano la storia familiare del piatto (dati evolutivi) e la forma fisica della pentola (struttura proteica) per fare le loro previsioni.

Recentemente, un nuovo tipo di "chef" è entrato in cucina: i Modelli di Linguaggio General-Purpose (LLM). Questi sono gli stessi cervelli artificiali che possono scrivere poesie, risolvere problemi di matematica e parlare di storia. Sono incredibilmente intelligenti nel comprendere il linguaggio e i pattern. La grande domanda che gli scienziati si sono posti è: possono questi chef IA generalisti, che non sono stati addestrati specificamente come critici gastronomici, guardare una ricetta e un elenco di sostituzioni di ingredienti e dirci quale nuova versione sarà la migliore? Non hanno i libri sulla storia familiare o i modelli 3D delle pentole; hanno solo il testo della ricetta e la loro vasta conoscenza di come le parole (e in questo caso, gli amminoacidi) si incastrano tra loro.

Questo articolo, intitolato "PG-LLM", allestisce una gigantesca sfida di degustazione per scoprirlo. I ricercatori hanno creato un benchmark chiamato PG-LLM, che è come una grande competizione culinaria. Hanno preso 217 diverse "ricette" (proteine) e hanno chiesto a tredici diversi chef IA di classificare 50 diverse versioni di ciascuna ricetta da "migliore" a "peggiore" in base a quanto bene funzionerebbero in un esperimento reale. Il trucco? Agli chef IA non era permesso usare strumenti proteici speciali, mappe evolutive o strutture 3D. Dovevano affidarsi solo alla propria intelligenza generale.

I risultati sono un misto di "wow" e "non ancora del tutto". Il miglior chef IA, Claude Opus 5, è riuscito a ottenere un punteggio di 0,406 (su una scala dove 1,0 è il perfetto). Questo è un punteggio piuttosto buono! Significa che l'IA è in grado di indovinare abbastanza bene quali modifiche alle proteine funzioneranno, superando 49 altri programmi informatici specializzati che esistono da anni. Infatti, ha fatto meglio di quasi tutti gli esperti "solo-sequenza" (quelli che guardano solo l'elenco degli ingredienti senza i modelli 3D).

Tuttavia, gli chef IA non hanno vinto l'intera competizione. I migliori esperti proteici specializzati, come un programma chiamato VenusREM, hanno ottenuto punteggi più alti, arrivando a 0,523. È come se l'IA generalista fosse un cuoco casalingo molto talentuoso capace di indovinare il vincitore di un concorso di pasticceria, ma lo chef pasticcere professionista con decenni di formazione specifica conosce ancora meglio i segreti.

L'articolo ha anche scoperto alcune stranezze interessanti su come pensano questi chef IA. Quando i ricercatori hanno fatto pensare l'IA più intensamente e a lungo (fornendo più "test-time compute"), i punteggi sono migliorati, ma hanno poi raggiunto un limite. L'IA ha avuto anche più difficoltà quando l'elenco delle 50 ricette diventava troppo lungo da gestire nella sua mente, mentre gli esperti specializzati non si curavano di quanto fosse lunga la lista. Interessante è che le prestazioni dell'IA non cambiavano molto se la proteina aveva una storia familiare profonda o superficiale, suggerendo che l'IA stia usando un tipo di logica diverso rispetto agli esperti evolutivi.

Infine, per assicurarsi che l'IA non si stesse limitando a fare affidamento su risposte memorizzate da internet, i ricercatori le hanno testate su ricette completamente nuove pubblicate dopo la data di interruzione dei dati di addestramento dell'IA. I risultati sono stati simili: l'IA è ancora in grado di ragionare sulle nuove ricette, dimostrando che sta effettivamente imparando le regole del gioco, non sta solo recitando vecchie risposte.

In breve, questo articolo dimostra che l'IA general-purpose sta diventando un "ragionatore biologico" sorprendentemente capace. Può già superare molti strumenti consolidati e si sta avvicinando ai massimi specialisti. Ma per ora, non ha ancora sostituito la necessità di esperti specializzati e focalizzati sulle proteine. È uno strumento potente nel laboratorio, ma i maestri chef sono ancora in gioco.