Pseudoperplexity Probes Memorization in Protein Language Models

Stel je Protein Language Models (pLMs) zoals ProtT5 voor als superintelligente studenten die bijna elk biologiehandboek ter wereld hebben gelezen. Deze modellen zijn geweldig in het voorspellen van wat er volgt in een eiwitsequentie, net zoals een taalmodel voorspelt wat het volgende woord in een zin is.

Maar er is een grote zorg: hebben deze studenten ook echt de regels van de grammatica geleerd (hoe eiwitten worden opgebouwd), of hebben ze alleen de specifieke zinnen die ze in hun tekstboeken lazen, uit het hoofd geleerd? Als ze alleen de boeken uit hun hoofd hebben geleerd, kunnen ze falen wanneer ze gevraagd wordt om over een onderwerp te schrijven dat ze nog nooit eerder hebben gezien.

Het Experiment: De "Fake" vs. "Real" Test

Om erachter te komen of ProtT5 simpelweg haar huiswerk aan het opzeggen was of het materiaal echt begreep, hebben de onderzoekers een test opgezet met een concept genaamd pseudoperplexity. Denk hierbij aan een "verrassingsmeter".

• Als het model verrast is door een sequentie, betekent dit dat het deze niet eerder heeft gezien (lage memorisatie).
• Als het model helemaal niet verrast is, kan dit betekenen dat het exact deze sequentie eerder heeft gezien (hoge memorisatie).

De Opzet
De onderzoekers gaven ProtT5 twee soorten eiwitsequenties:

1. De "Seen" Lijst: Sequenties die deel uitmaakten van de oorspronkelijke trainingsdata van het model (zoals het oude huiswerk van een student).
2. De "Unseen" Lijst: Splinternieuwe, werkelijk unieke sequenties die het model nog nooit eerder was tegengekomen (zoals een gloednieuwe examenvraag).

Om ervoor te zorgen dat de test eerlijk was, hebben ze deze lijsten perfect met elkaar gematcht. Ze zorgden ervoor dat de "seen" en "unseen" eiwitten dezelfde lengte hadden, uit vergelijkbare organismefamilies kwamen en een vergelijkbaar niveau van complexiteit hadden. Het was alsof je ervoor zorgt dat de student wordt getest op twee essays van dezelfde lengte en moeilijkheidsgraad, maar geschreven door verschillende mensen.

De Baseline Check
Voordat ze de resultaten vertrouwden, controleerden de onderzoekers of de "Unseen" lijst daadwerkelijk nieuw was. Ze gebruikten eenvoudige, klassieke statistische tools (n-gram modellen) om de patronen te analyseren. Ze bevestigden dat de "Unseen" sequenties inderdaad verschillend genoeg waren van de trainingsdata om als nieuw beschouwd te worden, en niet slechts licht aangepaste versies van oude sequenties.

De Resultaten
Toen ze de "verrassingsmeter" (pseudoperplexity) op ProtT5 draaiden:

• Het model reageerde anders op de "Seen" sequenties vergeleken met de "Unseen" sequenties. Het was minder verrast door de sequenties die het eerder had bestudeerd.
• Dit bewees dat ProtT5 inder alles wel degelijk een geheugen heeft van zijn trainingsdata.

De Conclusie
Het verschil was echter niet enorm. Het was niet alsocht dat het model de tekstboeken woord voor woord nasprak. In plaats daarvan was het "memorisatie-signaal" bescheiden.

In eenvoudige termen: ProtT5 is geen papegaai die simpelweg de trainingsdata herhaalt, maar het is ook geen perfect genie dat nog nooit een specifieke zin heeft gezien. Het heeft een detecteerbaar maar beperkt geheugen van wat het heeft bestudeerd, terwijl het nog steeds grotendeels vertrouwt op de algemene regels van de eiwitgrammatica om met nieuwe informatie om te gaan.