Pseudoperplexity Probes Memorization in Protein Language Models

**단백질 언어 모델(pLM)**인 ProtT5를 세상에 존재하는 거의 모든 생물학 교과서를 읽은 초천재 학생이라고 상상해 보세요. 이 모델들은 언어 모델이 문장에서 다음에 올 단어를 예측하는 것처럼, 단백질 서열에서 다음에 올 것이 무엇인지 예측하는 데 매우 뛰어납니다.

하지만 큰 걱정거리가 하나 있습니다. 이 학생들이 정말로 문법의 규칙(단백질이 어떻게 구성되는지)을 배웠을까요, 아니면 자신이 읽은 특정 문장들을 그저 암기한 것뿐일까요? 만약 이들이 책을 단순히 암기한 것이라면, 한 번도 본 적 없는 주제에 대해 글을 써야 할 때 실패할 수도 있습니다.

실험: "가짜" 대 "진짜" 테스트

ProtT5가 숙제를 그대로 읊고 있는 것인지, 아니면 정말로 내용을 이해하고 있는 것인지 알아내기 위해, 연구진은 **의사 퍼플렉서티(pseudoperplexity)**라는 개념을 사용하는 테스트를 설정했습니다. 이것을 "놀람 지수"라고 생각해 보세요.

• 만약 모델이 어떤 서열을 보고 놀란다면, 그것은 모델이 해당 서열을 본 적이 없다는 것을 의미합니다 (낮은 암기력).
• 만약 모델이 전혀 놀라지 않는다면, 그것은 모델이 이 정확한 서열을 이전에 본 적이 있을 가능성을 의미합니다 (높은 암기력).

설정
연구진은 ProtT5에게 두 종류의 단백질 서열를 주었습니다:

1. "본 적 있는" 리스트: 모델의 원래 학습 데이터에 포함되었던 서열들 (마치 학생의 예전 숙제와 같습니다).
2. "본 적 없는" 리스트: 모델이 한 번도 접해보지 못한 완전히 새롭고 독창적인 서열들 (마치 완전히 새로운 시험 문제와 같습니다).

테스트가 공정하도록 하기 위해, 연구진은 이 리스트들을 완벽하게 맞추었습니다. "본 적 있는" 단백질과 "본 적 없는" 단백질의 길이가 같고, 유사한 생물 군에서 유래했으며, 복잡성 수준도 비슷하도록 만들었습니다. 이는 마치 학생에게 동일한 길이와 난이도를 가졌지만 서로 다른 사람이 쓴 두 편의 에세이를 테스트하는 것과 같았습니다.

기준점 확인
결과를 신뢰하기 전에, 연구진은 "본 적 없는" 리스트가 실제로 새로운 것인지 확인했습니다. 그들은 n-gram 모델과 같은 단순하고 고전적인 통계 도구를 사용하여 패턴을 분석했습니다. 그들은 "본 적 없는" 서열들이 학습 데이터와 충분히 다르며, 기존 것들을 약간만 수정한 버전이 아니라 진정으로 새로운 것임을 확인했습니다.

결과
Prot-T5에 대해 "놀람 지수"(의사 퍼플렉서티)를 실행했을 때:

• 모델은 "본 적 있는" 서열과 "본 적 없는" 서열에 대해 다르게 반응했습니다. 모델은 이전에 공부했던 것들에 대해서는 덜 놀랐습니다.
• 이는 ProtT5가 학습 데이터에 대한 어느 정도의 기억을 가지고 있음을 증명했습니다.

결론
하지만 그 차이는 크지 않았습니다. 모델이 교과서를 토씨 하나 틀리지 않고 그대로 읊고 있는 수준은 아니었습니다. 대신, "암기 신호"는 적당한 수준이었습니다.

쉽게 말해, ProtT5는 학습 데이터를 그대로 반복하는 앵무새는 아니지만, 특정 문장을 한 번도 본 적 없는 완벽한 천재도 아닙니다. ProtT5는 공부한 내용에 대해 감지 가능하지만 제한적인 기억을 가지고 있으면서, 동시에 새로운 정보를 처리하기 위해 단백질 문법의 일반적인 규칙에 주로 의존하고 있습니다.