Pseudoperplexity Probes Memorization in Protein Language Models

Immagina i Modelli Linguistici per le Proteine (pLM) come ProtT5 come studenti super intelligenti che hanno letto quasi ogni libro di testo di biologia esistente. Questi modelli sono incredibili nel prevedere cosa verrà dopo in una sequenza proteica, proprio come un modello linguistico prevede la parola successiva in una frase.

Ma c'è una grande preoccupazione: questi studenti hanno davvero imparato le regole della grammatica (come sono costruite le proteine) o hanno solo memorizzato le frasi specifiche che hanno letto nei loro libri di testo? Se avessero solo memorizzato i libri, potrebbero fallire quando viene chiesto loro di scrivere di un argomento che non hanno mai visto prima.

L'Esperimento: Il Test del "Finto" vs. "Vero"

Per scoprire se ProtT5 stava solo recitando i suoi compiti o se aveva davvero compreso il materiale, i ricercatori hanno predisposto un test utilizzando un concetto chiamato pseudoperplessità. Pensa a questo come a un "metro della sorpresa".

• Se il modello è sorpreso da una sequenza, significa che non l'ha vista prima (bassa memorizzazione).
• Se il modello non è affatto sorpreso, potrebbe significare che ha già visto esattamente quella sequenza prima (alta memorizzazione).

La Configurazione
I ricercatori hanno fornito a ProtT5 due tipi di sequenze proteiche:

1. La Lista "Vista": Sequenze che facevano parte dei dati di addestramento originali del modello (come i vecchi compiti di uno studente).
2. La Lista "Non Vista": Sequenze brand new, genuinamente innovative, che il modello non aveva mai incontrato prima (come una domanda d'esame completamente nuova).

Per assicurarsi che il test fosse equo, hanno fatto corrispondere perfettamente queste liste. Si sono assicurati che le proteine "viste" e quelle "non viste" avessero la stessa lunghezza, provenissero da famiglie di organismi simili e avessero livelli di complessità simili. Era come assicurarsi che lo studente venisse testato su due saggi della stessa lunghezza e difficoltà, ma scritti da persone diverse.

Il Controllo di Base
Prima di fidarsi dei risultati, i ricercatori hanno controllato se la lista "Non Vista" fosse effettivamente nuova. Hanno utilizzato strumenti statistici classici (modelli n-gram) per analizzare i pattern. Hanno confermato che le sequenze "Non Viste" erano effettivamente abbastanza diverse dai dati di addestramento da essere considerate nuove, non solo versioni leggermente ritoccate di quelle vecchie.

I Risultati
Quando hanno eseguito il "metro della sorpresa" (pseudoperplessità) su ProtT5:

• Il modello ha reagito diversamente alle sequenze "Viste" rispetto a quelle "Non Viste". Era meno sorpreso dalle sequenze che aveva studiato in precedenza.
• Questo ha dimostrato che ProtToto possiede una certa memoria dei suoi dati di addestramento.

La Conclusione
Tuttove, la differenza non era enorme. Non era come se il modello stesse recitando il libro di testo parola per parola. Invece, il "segnale di memorizzazione" era modesto.

In termini semplici: ProtT5 non è solo un pappagallo che ripete i suoi dati di addestramento, ma non è nemmeno un genio perfetto che non ha mai visto una frase specifica prima d'ora. Ha una memoria rilevabile ma limitata di ciò che ha studiato, pur facendo affidamento soprattutto sulle regole generali della grammatica delle proteine per gestire le nuove informazioni.