Pseudoperplexity Probes Memorization in Protein Language Models

想象一下，将蛋白质语言模型（pLMs）（如 ProtT5）比作那些读遍了几乎所有生物学教科书的超级学霸。这些模型在预测蛋白质序列的下一个部分时表现得极其出色，就像语言模型预测句子中下一个单词一样。

但有一个巨大的担忧：这些学生究竟是学会了语法规则（蛋白质是如何构建的），还是仅仅背诵了他们在教科书中读到的特定句子？如果他们只是背诵了书本，那么当被要求撰写一个从未见过的课题时，他们可能会失败。

实验：“虚假”与“真实”测试

为了弄清楚 ProtT5 究竟是在背诵作业，还是真正理解了材料，研究人员设计了一个名为**伪困惑度（pseudoperplexity）**的概念测试。把这想象成一个“惊讶程度计”。

• 如果模型对一个序列感到惊讶，这意味着它以前从未见过它（低记忆性）。
• 如果模型完全不感到惊讶，则意味着它可能以前见过这个完全相同的序列（高记忆性）。

实验设置
研究人员给了 ProtT5 两类蛋白质序列：

1. “已见”列表： 属于模型原始训练数据中的序列（就像学生以前做过的作业）。
2. “未见”列表： 全新的、具有真正原创性的序列，模型从未遇到过它们（就像一道全新的考试题）。

为了确保测试公平，他们完美地匹配了这两份列表。他们确保“已见”和“未见”的蛋白质长度相同、来自相似的生物类群，并且具有相似的复杂度。这就像是确保学生接受的是两篇长度和难度都相同的文章，只是由不同的人编写而已。

基准检查
在信任结果之前，研究人员先检查了“未见”列表是否真的属于“新内容”。他们使用简单的、传统的统计工具（n-gram 模型）来分析模式。他们确认了“未见”序列确实与训练数据足够不同，可以被视为新的，而不仅仅是旧版本的微调版本。

结果
当他们在 ProtT5 上运行“惊讶程度计”（伪困惑度）时：

• 模型对“已见”序列与“未见”序列的反应确实不同。对于它学习过的序列，它的惊讶程度较低。
• 这证明了 ProtT5 确实对它的训练数据有一定的记忆。

结论
然而，这种差异并不大。它并不像模型在逐字逐句地背诵教科书。相反，这种“记忆信号”是适度的。

简单来说：ProtT5 并不只是重复训练数据的鹦鹉学舌，但它也不是一个面对特定句子时从未见过的完美天才。它拥有可检测但有限的记忆，同时主要依靠蛋白质语法的通用规则来处理新信息。