In Other Words: Learning When to Trust Generated Protein Function Descriptions

Le cellule sono le unità fondamentali della vita e, all'interno di ogni cellula, minuscole macchine chiamate proteine svolgono il lavoro pesante. Esse costruiscono strutture, trasmettono segnali e guidano le reazioni chimiche che mantengono in vita un organismo. Per decenni, gli scienziati hanno conosciuto la ricetta chimica di queste macchine — la sequenza di amminoacidi di cui sono composte — ma conoscere la ricetta non rivela sempre ciò che la macchina faccia effettivamente. Mentre una piccola frazione di proteine note è stata studiata attentamente e descritta da esperti umani, la stragrande maggioranza rimane un mistero. Per queste proteine sconosciute, gli scienziati si sono affidati ai computer per indovinarne la funzione confrontandole con quelle note, ma questo metodo spesso fallisce quando la nuova proteina appare diversa da tutto ciò che è presente nel database. Il problema non è solo la mancanza di dati, ma la mancanza di fiducia; quando un computer scrive una descrizione, non c'è modo di sapere se si tratti di un'intuizione brillante o di un'allucinazione sicura di sé.

Un team di ricercatori dell'Università Emory e di un istituto partner in Polonia ha sviluppato un nuovo approccio per risolvere questo specifico problema di fiducia. Hanno creato un sistema chiamato ProtTale, che genera descrizioni in testo libero di ciò che una proteina fa, proprio come farebbe un essere umano scrivendo in un libro di testo di biologia. Tuttavia, la vera innovazione non risiede nella scrittura stessa, ma in un secondo componente che agisce da giudice. Questo sistema non si limita a produrre una risposta; calcola un punteggio di affidabilità per tale risposta, dicendo all'utente esattamente quanta fiducia debba riporre nella descrizione. I ricercatori hanno scoperto che, sebbene il loro nuovo metodo non sia perfetto nel prevedere ogni funzione, è straordinariamente bravo a sapere quando ha ragione e quando sta tirando a indovinare. Filtrando le previsioni a bassa confidenza, sono stati in grado di raddoppiare l'accuratezza delle descrizioni per le proteine più corte, trasformando un flusso di incerti tentativi in un insieme affidabile di fatti.

La difficoltà principale in questo campo è che la funzione proteica è complessa e dipendente dal contesto. I metodi informatici tradizionali cercano di forzare queste descrizioni in categorie rigide, come se volessero assegnare una proteina a uno specifico riquadro su un grafico. Sebbene ciò mantenga la coerenza, spesso manca della sfumatura di come una proteina funzioni realmente. I nuovi modelli di intelligenza artificiale hanno imparato a scrivere in linguaggio naturale, offrendo descrizioni più flessuali ed espressive. Ma questa libertà ha un costo: una frase fluida può sembrare convincente anche se è completamente errata. Non c'è stato un modo standard per misurare se due diverse descrizioni testuali significhino la stessa cosa, lasciando gli scienziati senza modo di verificare se il computer abbia davvero compreso la proteina o se abbia solo imitato il linguaggio della biologia.

Per affrontare questo problema, i ricercatori hanno costruito un "giudice" utilizzando un grande modello linguistico, un tipo di intelligenza artificiale addestrata a valutare la qualità del testo. Invece di controllare la semplice sovrapposizione di parole, questo giudice confronta la descrizione generata dal computer con la descrizione nota, scritta da un esperto, per vedere se descrivono la stessa funzione. Il giudice assegna un'etichetta: un match confermato, un mismatch confermato o qualcosa nel mezzo. I ricercatori hanno testato questo sistema su migliaia di proteine e hanno scoperto che il giudice era altamente consistente e conservativo, concedendo un "match" solo quando le funzioni erano realmente equivalenti. Questo giudice è poi diventato l'insegnante per il modello principale, ProtTale.

ProtTale è stato addestrato in due fasi. Prima, ha imparato a riconoscere i pattern nelle sequenze proteiche che suggerivano la condivisione di una funzione, utilizzando un database massiccio di milioni di proteine. Successivamente, ha imparato a generare descrizioni testuali basate su tali pattern. Fondamentalmente, il modello è stato addestrato anche a prevedere la propria affidabilità. Ha imparato a osservare la sequenza proteica e a stimare la probabilità che la propria descrizione superasse il test del giudice. Ciò ha prodotto un punteggio, che gli autori chiamano pJay, che funge da misuratore di fiducia. Un punteggio alto significa che il modello è probabilmente corretto; un punteggio basso significa che il modello sta probabilmente indovinando.

Quando i ricercatori hanno testato ProtTale su un set di proteine che il modello non aveva mai visto prima, hanno scoperto che le sue prestazioni erano paragonabili a quelle di altri metodi d'avanguardia in termini di accuratezza pura. Tuttavia, la differenza chiave risiedeva nei dettagli. Mentre altri metodi erano corretti su alcune proteine ed errati su altre, ProtTale era corretto su un set diverso di proteine. Più importante ancora, il punteggio di affidabilità funzionava come un potente filtro. Quando i ricercatori hanno ignorato le previsioni con punteggi bassi e hanno considerato solo quelle con punteggi alti, l'accuratezza delle descrizioni è aumentata significativamente. Per le proteine corte, la precisione è quasi raddoppiata. Ciò significa che per le proteine per cui il modello si sentiva fiducioso, la descrizione era quasi certamente corretta.

Lo studio ha anche rivelato che il punteggio di affidabilità non era solo un riflesso dello stato interno del modello, ma una proprietà genuina della proteina stessa. Le proteine che sono più facili da comprendere dalla sola sequenza ricevevano punteggi più alti, mentre quelle strutturalmente complesse o uniche ricevevano punteggi più bassi. I ricercatori hanno validato questo dato facendo revisionare una selezione delle previsioni da parte di un esperto umano che non conosceva i punteggi di affidabilità. Le valutazioni dell'esperto erano strettamente allineate con la fiducia del modello: quando il modello diceva di non essere sicuro, l'esperto concordava che la descrizione fosse debole, e quando il modello era fiducioso, l'esperto trovava la descrizione accurata.

Questo lavoro suggerisce un nuovo standard per l'uso dell'intelligenza artificiale in biologia. L'obiettivo non è necessariamente far sì che il modello abbia ragione ogni singola volta, il che potrebbe essere impossibile data la complessità della vita, ma rendere il modello onesto su quando ha ragione. Accoppiando una descrizione generativa con un segnale di confidenza appreso, gli scienziati possono finalmente usare questi strumenti per annotare le parti "oscure" del mondo proteico — la vasta quantità di proteine che non sono mai state studiate. I ricercatori sostengono che questa capacità di dire "non lo so" è preziosa quanto la capacità di dire "lo so", perché permette agli sperimentali di concentrare il proprio tempo e le proprie risorse sulle previsioni di cui possono effettivamente fidarsi.