🧬 biology

Retrieval and competition: how a protein foundation model starts a protein

본 논문은 ESM2-8M 단백질 언어 모델이 마스킹된 잔기를 직접 인식하는 것이 아니라 복잡하고 분산된 계산 회로를 통해 통계적 사전 확률을 검색함으로써 메티오닌 개시의 보편적 생물학적 규칙을 예측한다는 사실을 밝히며, 이는 높은 모델 신뢰도가 진정한 생물학적 증거가 아닌 통계적 기본값을 반영할 수 있음을 보여준다.

원저자: Piotr Jedryszek, Oliver M. Crook

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Piotr Jedryszek, Oliver M. Crook

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

상상해 보세요. ESM2라는 이름의 매우 똑똑하고 독서량이 풍부한 사서가 있다고 가정해 봅시다. 이 사서는 수백만 권의 책 (단백질 서열) 을 읽었으며, 새로운 이야기의 첫 번째 단어가 무엇일지 예측하는 것으로 유명합니다.

생물학 세계에는 간단한 규칙이 하나 있습니다. 거의 모든 단백질 이야기는 "Methionine(메티오닌)"이라는 단어로 시작한다는 것입니다 (이를 **"M"**이라고 부르겠습니다). 이 사서는 너무 많은 책을 읽었기 때문에, 첫 번째 단어가 가려진 (마스크된) 이야기를 건네주면 답이 "M"일 것이라고 매우 확신합니다.

하지만 이 논문이 해결하는 미스터리는 바로 이것입니다: 사서가 실제로 이 사실을 알아내기 위해 이야기 속 단서들을 보고 있는 것일까요? 아니면 단순히 습관에 기반해 추측하고 있는 것일까요?

이 논문의 저자들은 사서의 뇌 (컴퓨터 모델) 뒤를 살짝 엿보아 그들이 어떻게 이 추측을 하는지 확인하기로 결정했습니다. 그들은 사서가 "M"을 찾기 위해 이야기의 첫 번째 자리를 실제로 "읽고" 있는 것이 아니라는 사실을 발견했습니다. 대신 그들은 참고서, 특별한 질문, 그리고 줄다리기를 포함하는 교묘한 다단계 트릭을 사용하고 있었습니다.

이 트릭이 어떻게 작동하는지 간단한 부분으로 나누어 설명해 보겠습니다:

1. "참고서" (BOS 토큰)

사서의 사무실에는 모든 파일의 맨 앞에 **BOS(시퀀스 시작)**라고 불리는 특별한 토큰이 있습니다. 보통 사람들은 이것이 "여기서 시작"이라고 적힌 스티커 같은 지루한 라벨이라고 생각합니다.

하지만 이 논문은 사서에게 이 스티커가 실제로는 참고서라는 사실을 발견했습니다. 이 책 안에는 사서가 영구적으로 "M"이라는 답을 적어두었습니다. 이 책은 당신이 읽는 이야기가 무엇이든 항상 똑같습니다. 그것은 규칙에 대한 정적인 기억입니다.

2. "특별한 질문" (탐정의 메모)

사서가 첫 번째 단어를 추측해야 할 때, 그들은 단순히 첫 번째 자리만 보지 않습니다. 그들은 탐정 (어텐션 헤드) 을 보내 참고서를 확인하게 해야 합니다.

하지만 탐정은 "나는 이야기의 맨 처음에 있다"라고 말하는 특별한 메모(질문) 를 가지고 있을 때만 참고서로 갈 수 있습니다.

이 메모는 어떻게 만들어질까요? 한 단계로 만들어지는 것이 아닙니다. 사서 뇌의 여러 층을 거쳐 점차적으로 구축됩니다. 이전 층의 다른 탐정들이 "시작" 라벨을 보고 그 정보를 전달하며, "우리는 0 번째 위치에 있다!"라고 말하는 메모를 서서히 조립합니다.
반전: 만약 탐정이 5 번째 위치 (이야기의 중간) 에 서 있다면, 그들이 만드는 메모는 다릅니다. 그것은 "참고서로 가라"라고 말하지 않습니다. 대신 "참고서를 무시하라"고 말합니다.

3. "줄다리기" (회로 경쟁)

이것이 가장 중요한 부분입니다. 사서에게는 단 하나의 목소리만 있는 것이 아닙니다. 그들은 많은 내부 목소리 (회로) 를 가지고 있어 예측을 외치고 있습니다.

목소리 A (위치적 사전 지식): 이 목소리는 탐정이 0 번째 위치에 있을 때마다 항상 "M!"이라고 외칩니다. 크고 일관적입니다.
목소리 B (맥락 회로): 이 목소리들은 이야기의 나머지 부분을 듣습니다. 만약 이야기가 "A"(알라닌) 의 긴 사슬에 관한 것이라면, 목소리 B 는 "아니야! 'A'야!"라고 외칩니다.

결과:

이야기의 시작 (0 번째 위치) 에서는 목소리 A 가 보통 가장 크기 때문에, 사서는 "M"을 예측합니다.
이야기의 중간에서는 목소리 A 가 여전히 "M!"이라고 외치고 있습니다 (참고서는 항상在那里이기 때문입니다). 하지만 목소리 B 는 훨씬 더 크게 "A!"라고 외칩니다. 사서는 가장 큰 목소리에 귀를 기울이므로 "A"를 예측합니다.

이 논문은 사서가 이야기 중간에서 목소리 A 를 침묵시키는 "음소거 버튼"을 가지고 있지 않다는 사실을 발견했습니다. 대신 목소리 A 는 항상 존재하며, 단지 맥락에 의해 다수결로 밀려날 뿐입니다.

4. "기하학적 게이트" (RoPE)

사서는 올바른 메모를 만들기 위해 이야기에서 자신이 어디에 있는지 어떻게 알까요? 그들은 **RoPE(Rotary Position Embedding, 회전 위치 임베딩)**라는 수학 도구를 사용합니다.

RoPE 를 이야기 속을 이동함에 따라 회전하는 나침반이나 시계 바늘이라고 생각해 보세요.

0 번째 위치에서 나침반은 북쪽을 가리킵니다. 이는 "참고서"와 완벽하게 정렬되어 탐정이 그것을 찾을 수 있게 합니다.
10 번째 위치에서 나침반은 남쪽을 가리킵니다. 이는 탐정을 정렬 불일치 상태로 만들어, 참고서가 여전히 그곳에 앉아 있더라도 탐정이 그것을 찾지 못하게 합니다.

이 논문은 이 정렬이 두 가지 방식으로 일어난다는 것을 발견했습니다:

방향: 나침반이 올바른 방향을 가리킵니다 (각도 정렬).
강도: 탐정의 목소리는 위치에 따라 더 크거나 작아집니다 (규범 증폭).

만약 나침반을 부수면 (RoPE 를 제거하면), 사서는 혼란에 빠집니다. 그들은 이야기의 시작뿐만 아니라 모든 위치에서 "M!"이라고 외치기 시작합니다. 더 이상 시작과 중간을 구별할 수 없기 때문입니다.

큰 결론

이 논문은 단백질의 시작 부분에서 "M"을 예측하는 사서의 확신이 그 특정 자리에서 생물학적 신호를 인식했기 때문이 아님을 결론지었습니다.

대신 다음과 같은 이유 때문입니다:

그들은 "참고서"(BOS) 에서 저장된 규칙을 검색했습니다.
그들이 시작점에 있음을 확인하기 위해 탐정 팀이 구축한 "특별한 메모"를 사용했습니다.
이야기의 나머지를 기반으로 추측하려던 다른 목소리들과의 "줄다리기"에서 승리했습니다.

왜 이것이 중요한가요?
저자들은 사서가 확신한다고 해서 그들이 생물학을 "이해"한다는 뜻은 아니라고 경고합니다. 그들은 단순히 통계적 기본값으로 줄다리기에서 승리하고 있을 뿐일 수 있습니다. 만약 어떤 단백질의 생물학이 이상하다면 (예: "M"이 아닌 다른 것으로 시작한다면), 사서는 여전히 내부 "참고서"가 그렇게 말하기 때문에 "M"이라고 추측할 것입니다. 그들은 예외를 배우지 못했습니다.

과학에서 AI 의 예측을 진정으로 신뢰하려면, 단순히 답변을 보는 것만으로는 부족합니다. AI 가 실제 증거를 사용하고 있는지, 아니면 운 좋은 추측을 하고 있는지 보기 위해 회로(탐정들, 나침반, 줄다리기) 를 이해해야 합니다.

기술 요약: 단백질 기초 모델에서의 검색과 경쟁

문제 제기
단백질 언어 모델 (PLM) 은 실험 및 임상 결정을 안내하는 데 점점 더 의존되고 있습니다. 그러나 중요한 모호성이 남아 있습니다: 확신 있는 예측이 입력 내의 생물학적 의미 있는 증거를 인식한 결과인지, 아니면 특정 증거와 무관하게 적용된 저장된 통계적 기본값을 검색한 결과인지 여부입니다. 두 메커니즘 모두 동일한 예측을 산출하지만, 전자의 경우에만 일반화에 대한 신뢰가 정당화됩니다. 기존 기계적 해석 가능성 방법들은 내부 특징을 식별하고 표현을 분해해 왔으나, 위치 간 정보 라우팅인 어텐션 메커니즘을 대부분 블랙박스로 취급해 왔습니다. 구체적으로, 정보 흐름을 지시하는 위치 인코딩의 역할은 거의 scrutiny 를 받지 못했습니다. 본 논문은 단백질이 일반적으로 메티오닌 (Met) 으로 시작한다는 간단하고 거의 보편적인 생물학적 규칙의 계산 경로를 추적함으로써 이 격차를 해소합니다.

방법론
저자들은 6 층, 800 만 파라미터 단백질 언어 모델인 ESM2-8M 을 분석했습니다. 초기 잔기가 마스킹되었을 때 첫 번째 위치 (위치 0) 에서 메티오닌을 예측하는 것을 분해하기 위해 일련의 기계적 해석 가능성 기법을 활용했습니다:

Ablation 연구: 필요한 구성 요소를 식별하기 위해 특정 토큰 위치 (마스킹 전용 vs 모든 위치) 에서 어텐션 헤드와 MLP 모듈을 체계적으로 0-ablation 하는 것.
활성화 패칭: "깨끗한"실행 (위치 0 에서 마스킹) 에서 중간 표현 (쿼리, 키, 값, 어텐션 출력) 을 "오염된"실행 (내부 위치에서 마스킹) 에 주입하여 인과적 의존성을 분리하는 것.
회로 발견: 메티오닌 예측에 필요한 최소한의 구성 요소 집합을 식별하기 위한 탐욕적 검색.
노름 - 방향 분해: 회전 위치 임베딩 (RoPE) 주파수 대역 내 어텐션 점수의 새로운 분해. 저자들은 어텐션 점수 ( $Q \cdot K$ ) 를 크기 항 (쿼리 노름) 과 정렬 항 (쿼리와 키 사이의 각도의 코사인) 으로 분리하여 위치 정보가 어떻게 인코딩되는지 결정했습니다.
RoPE 조작: 위치 간 RoPE 회전을 교환하고 균일한 인덱스 이동을 적용하여 기하학적 인과성을 테스트하는 것.
경쟁 실험: 폴리알라닌 시퀀스를 사용한 컨텍스트 연장 및 파괴 실험을 통해 경쟁 신호가 메티오닌 로그릿에 미치는 영향을 관찰하는 것.

주요 결과

회로 경쟁, 국소적 인식 아님:
모델은 위치 0 의 정체성을 국소적으로 감지하여 위치 0 에서 메티오닌을 예측하는 것이 아니라, 회로 간의 경쟁을 통해 예측합니다. 메티오닌 회로는 첫 번째 위치에서 대략 일정한 신호를 기여합니다. 내부 위치에서는 컨텍스트 의존적 회로가 경쟁 신호를 생성하여 종종 메티오닌 사전 확률을 압도합니다. 컨텍스트가 파괴될 때 (예: 내부 잔기 마스킹), 메티오닌 신호가 다시 지배적으로 나타납니다. 이는 모델이 위치 0 에 대한 규칙을 "켜는"것이 아니라, 다른 곳에서 더 강력한 컨텍스트 신호에 의해 덮어쓰이는 일정한 사전 확률을 유지한다는 것을 나타냅니다.
메티오닌 회로 아키텍처:
예측은 단순한 국소 규칙이 아니라 분산된 다층 회로에 의해 매개됩니다:
- 읽기 (Layer 6): 헤드 L6H8 이 최종 읽기 역할을 합니다. 이 헤드는 거의 독점적으로 시퀀스 시작 (BOS) 토큰에 어텐션을 주며 출력에 메티오닌 특정 신호를 기록합니다. 이 헤드의 출력 - 값 (OV) 벡터는 메티오닌 로그릿 기울기와 매우 정렬되어 있습니다.
- 쿼리 구성 (상류 레이어): L6H8 은 독립적으로 작용하지 않습니다. 이는 주로 레이어 1, 4, 5 에서 BOS 토큰에 어텐션을 주는 어텐션 헤드들이 구성한 쿼리에 의존합니다. 이러한 상류 헤드들은 RoPE 매개 위치 신호를 사용하여 BOS 키와 정렬되도록 쿼리를 조립합니다.
- 표현 구축 (MLP): 초기 레이어 MLP(L1, L2, L4) 는 BOS 에서의 키/값 표현과 마스킹된 위치에서의 쿼리를 구축하는 데 필수적입니다. 이들이 없으면 회로가 실패합니다.
BOS 토큰의 능동적 역할:
수동적인 구분자로 간주되는 BOS 와는 대조적으로, 저자들은 이것이 능동적인 계산 노드로 기능함을 발견했습니다. BOS 는 회로가 검색하는 안정적인 위치 불변 참조 표현 (키 및 값) 을 저장합니다. 예측의 특정성 (왜 위치 0 에서 발생하고 다른 곳에서는 발생하지 않는지) 은 BOS 표현의 변화가 아니라 마스킹된 토큰에서 형성된 쿼리에 의해 완전히 결정됩니다.
위치 선택성 메커니즘 (RoPE):
저자들은 RoPE 주파수 대역 전반에 걸친 어텐션 점수의 노름 - 방향 분해를 도입했습니다. 그들은 위치 선택성이 쿼리 노름과 각도 정렬의 결합된 변화에서 발생함을 발견했습니다:
- 주도 대역 ( $f_0$ ): 두 축 모두에서 작동합니다. 내부 위치에서 이 대역의 쿼리 노름은 약 7 배 감소하며, BOS 키와의 코사인 정렬은 약 0.8 에서 거의 0 으로 떨어집니다.
- 부수적 대역 ( $f_1, f_2, f_6$ ): 주로 정렬 선택기로 작용하며, 코사인 값이 부호가 바뀌거나 붕괴되는 동안 노름은 상대적으로 안정적으로 유지됩니다.
- 게이트로서의 RoPE: 경쟁 컨텍스트 회로가 없는 고립된 최소 회로에서 RoPE 를 제거하면 모델이 모든 위치에서 메티오닌을 예측하게 됩니다. 따라서 RoPE 는 단순히 위치 0 에서 예측을 가능하게 하는 것이 아니라, 내부 위치에서 사전 확률을 억제하기 위해 회로를 능동적으로 게이트합니다.

의의 및 주장
본 논문은 생물학적 인식과 통계적 검색을 구분하기 위해서는 개별 회로, 주파수 대역, 그리고 쿼리 구성 수준에서의 분해능이 필요하다고 주장합니다.

기계적 검증: 가장 단순한 생물학적 규칙 (단백질은 Met 로 시작함) 에조차 모델의 예측은 직접적인 인식이 아니라 분산된 계산 회로에 의해 매개됩니다. 이는 더 복잡한 작업의 경우 모델의 신뢰도와 근본적인 생물학적 증거 사이의 관계가 점점 더 모호해질 것임을 시사합니다.
신뢰도의 해석 가능성: 높은 신뢰도는 올바른 생물학적 증거의 사용을 보장하지 않습니다. 이는 단순히 한 회로 (통계적 사전 확률) 가 다른 회로를 지배하고 있음을 나타낼 뿐일 수 있습니다.
일반적인 계산 모티프: 이 발견들은 참조 프레임으로서의 BOS 토큰의 능동적 역할과 위치 라우팅을 위한 쿼리 구성의 사용을 강조하며, 이러한 모티프는 단백질 모델을 넘어 트랜스포머 아키텍처 전반에 걸쳐 일반적일 수 있습니다.
한계: 저자들은 회로 아키텍처가 ESM2-8M 에서 식별되었지만, 이러한 특정 모티프가 더 큰 모델이나 다른 PLM 계열에서 유지되는지는 여전히 열린 질문이라고 지적합니다. 또한 상류 쿼리 구성에는 순수하게 RoPE 기반 헤드와 적어도 하나의 컨텍스트 의존적 헤드 (L4H3) 가 포함되며, 후자의 구체적인 내용은 아직 식별되지 않았음을 확인했습니다.

이 연구는 모델의 생물학적 "지식"이 복잡하고 분산된 회로를 통해 검색된 통계적 규칙성의 부산물일 수 있으므로, 생물학적 위험이 높은 예측의 경우 기계적 검증이 필요하고 도전적이라고 결론 내립니다.