Pseudoperplexity Probes Memorization in Protein Language Models

タンパク質言語モデル（pLM）、例えばProtT5を、存在しうるほぼすべての生物学の教科書を読み終えた「超優秀な学生」として想像してみてください。これらのモデルは、言語モデルが文章の次の単語を予測するように、タンパク質の配列の次に何が来るのかを予測することに長けています。

しかし、大きな懸念があります。これらの学生は、本当に「文法（タンパク質がどのように構築されるか）」のルールを学んだのでしょうか？ それとも、読んだ教科書の特定の文章をただ暗記しただけなのでしょうか？ もし彼らが単に本を暗記しただけなら、見たこともないトピックについて書くように求められたときに、失敗してしまうかもしれません。

実験：「偽」対「真」のテスト

ProtT5が宿題を丸暗記していただけなのか、それとも教材を真に理解していたのかを確かめるために、研究者たちは**擬似パープレキシティ（pseudoperplexity）**という概念を用いたテストを用意しました。これは「驚きメーター」と考えてください。

• もしモデルが配列に対して「驚いた」のであれば、それはモデルがその配列をこれまで見たことがない（暗記が低い）ことを意味します。
• もしモデルが全く驚かなかったのであれば、それはモデルがその正確な配列を以前に見たことがある（暗記が高い）可能性があることを意味します。

セットアップ
研究者たちは、ProtT5に2種類のタンパク質配列を与えました：

1. 「既知」のリスト： モデルの元の学習データに含まれていた配列（学生の古い宿題のようなもの）。
2. 「未知」のリスト： 真に斬新で、モデルが一度も遭遇したことのない新しい配列（新しい試験問題のようなもの）。

このテストが公平であることを確認するために、彼らはこれらのリストを完璧に一致させました。「既知」のタンパク質と「未知」のタンパク質が同じ長さであり、同様の生物種に由来し、同様の複雑さを持っているようにしました。それは、同じ長さで同じ難易度のエッセイであっても、書いた人が異なる場合を想定して、テストが公平になるようにしたようなものです。

ベースラインの確認
結果を信頼する前に、研究者たちは「未知」のリストが本当に新しいものであるかどうかを確認しました。彼らは、単純で古典的な統計ツール（n-gramモデル）を使用してパターンを分析しました。彼らは、「未知」の配列が、学習データの単なるわずかな改変版ではなく、十分に異なる新しいものであることを確認しました。

結果
ProtT5に対して「驚きメーター（擬似パープレキシティ）」を実行したところ：

• モデルは、「未知」の配列と比較して、「既知」の配列に対して異なる反応を示しました。モデルは、以前に学習した配列に対しては、あまり驚きませんでした。
• これは、ProtT5が学習データの記憶を確かに持っていることを証明しました。

結論
しかし、その差は劇的なものではありませんでした。モデルが教科書の内容を逐語的に復唱しているような状態ではありませんでした。むしろ、「暗記のシグナル」は控えめなものでした。

簡単に言えば、ProtT5は学習データを繰り返すだけのオウムではありませんが、特定の文章を一度も見たことがないような完璧な天才でもありません。ProtT5は、学習した内容に対する検出可能ではあるが限定的な記憶を持ちつつ、新しい情報を扱う際には主にタンパク質の文法の一般的なルールに依拠しているのです。