기술 요약: 단백질 언어 모델의 반복 제어

1. 문제 정의

단백질 언어 모델(PLM)은 구조 예측 및 de novo 단백질 설계 분야를 발전시켰으나, 특정 실패 모드인 병적 반복(pathological repetition) 문제에 직면해 있습니다. 자연어에서는 반복이 주로 가독성을 떨어뜨리는 데 그치지만, 단백질의 경우 반복은 낮은 구조적 다양성, 불안정한 폴드(fold), 그리고 비기능적 생물학적 특성으로 이어집니다.

본 논문은 이 실패를 두 가지 정형화된 형태로 식별합니다:

1. 모티프 수준의 반복(Motif-level repetition): 짧은 $n$-gram 파편(예: 디펩타이드 또는 트리펩타이드)이 주기적으로 반복됨 (예: AGAGAG).
2. 호모폴리머 반복(Homopolymer repetition): 단일 아미노산 잔기가 긴 연속된 구간을 형성함 (예: AAAAAA).

온도 스케일링(temperature scaling), top-$p$ 샘플링, 반복 페널티와 같은 기존 자연어 처리(NLP)의 디코딩 휴리스틱 솔루션들은 단백질 영역에서 종종 실패합니다. 이러한 방법들은 반복을 줄이는 대신 **구조적 유용성(structural utility)**을 희생하는 경향이 있으며, 이는 AlphaFold 신뢰도 점수(pLDDT, pTM)를 낮추고 생성된 단백질을 생물학적으로 불가능하게 만듭니다. 또한, PLM 내에서 반복과 구조적 유용성은 밀접하게 얽혀 있어, 재학습 없이 이를 분리하기가 매우 어렵습니다.

2. 방법론: 유용성 제어 대조적 스티어링 (UCCS)

저자들은 재학습이나 디코딩 휴리스틱 수정 없이 생성을 유도하는 표현 수준의 개입 방식인 UCCS를 제안합니다. 이 방법은 반복이 구조적 유용성과 분리된 데이터로부터 유도된 특정 스티어링 벡터를 은닉 상태(hidden states)에 주입함으로써 제어될 수 있다는 전제하에 작동합니다.

2.1 반복 및 유용성의 정량화

문제를 공식화하기 위해, 본 논문은 두 가지 상호 보완적인 지표를 도입합니다:

• 반복 점수 ($R(x)$): 다음을 집계한 통합 지표입니다:
  • 토큰 수준 엔트로피 ($H_{norm}$): 전역적인 아미노산 불균형을 측정합니다.
  • Distinct-$n$ ($n=2,3$): 국소적 모티프 다양성을 측정합니다.
  • 호모폴리머 다양성 ($R_{hpoly}$): 동일한 잔기가 임계값(기본값 $k=4$)보다 길게 이어지는 것을 페널티로 부여합니다.
• 유용성 점수 ($U(x)$): 구조적 대리 지표, 구체적으로 AlphaFold의 pLDDT(국소 신뢰도)와 pTM(전역 토폴로지 신뢰도)의 평균으로부터 도출됩니다.

2.2 대조 데이터셋 구축

핵심 과제는 높은 반복성을 가진 서열이 자연스럽게 낮은 구조적 유용성과 상관관계를 갖는다는 점입니다. 이를 해결하기 위해, UCCS는 반복($\Delta R$)의 차이를 극대화하면서도 구조적 유용성의 차이($\Delta U \le \epsilon$)를 엄격하게 제한하는 대조 데이터셋 ($D^+$ 및 $D^-$)을 구축합니다.

• 양의 집합 ($D^+$): 저반복 서열 (천연 단백질 또는 고품질 PLM 생성물).
• 음의 집합 ($D^-$): 고반복 서열 (병적 PLM 생성물).
• 선택 전략: 저자들은 선택된 서열들이 서로 다른 반복 수준에도 불구하고 유사한 구조적 타당성을 갖도록 하기 위해 파레토 기반 프런티어 선택 또는 복합 점수 산출 방식을 사용합니다.

2.3 스티어링 벡터 주입

대조 집합이 확립되면, 특정 트랜스포머 레이어 $L$에서 스티어링 벡터 ($v_L$)가 계산됩니다:
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
여기서 $\phi_L(x)$는 서열 수준의 요약 표현(마스크드 언어 모델의 경우 평균 풀링, 자기회귀 모델의 경우 마지막 토큰)입니다.

추론 과정 중, 이 벡터는 은닉 상태에 주입됩니다:
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
여기서 $\alpha$는 스티어링 강도를 제어하는 스칼라입니다. 이 연산은 구조적 특징이 인코딩된 유용성 매칭 데이터셋을 보존하면서 병적 반복 패턴을 억제합니다.

3. 주요 기여

1. 체계적 특성화: 병적 반복을 PLM의 핵심 실패 모드로 식별하고, 이를 모티프 수준과 호모폴리머 반복으로 분류한 최초의 체계적 연구입니다.
2. 지표 개발: 다양성과 접힘 가능성(foldability) 사이의 트레이드오프를 평가하기 위한 통합 반복 점수($R(x)$) 및 유용성 점수($U(x)$)를 도입했습니다.
3. UCCS 방법론: 재학습 없이 반복 제어를 구조적 유용성과 분리하는 데이터셋 가이드형 스티어링 방법을 제시했습니다.
4. 포괄적 평가: 두 가지 모델 패러다임(Masked LM: ESM-3; Autoregressive LM: ProtGPT2), 세 가지 데이터셋(CATH, UniRef50, SCOP), 그리고 두 가지 생성 설정(무조건부 및 조건부)에 걸친 광범위한 실험을 수행했습니다.

4. 실험 결과

본 논문은 원본 모델, 디코딩 휴리스틱(온도, top-$p$, 반복 페널티), 그리고 메커니즘 수준의 개입(뉴런 비활성화, 프로브 스티어링)을 포함한 베이스라인들과 UCCS를 비교 평가합니다.

• 성능: UCCS는 일관되적으로 가장 우수한 트레이드오프를 달려하며, 유용성 점수($U(x)$)를 유지하거나 약간 개선하면서 반복 점수($R(x)$)를 유의미하게 향상시킵니다.
  • ESM-3에서, UCCS는 CATH에 대한 무조건부 생성 시 유용성을 보존하면서 $R(x)$를 최대 55%까지 개선했습니다.
  • ProtGPT2에서, UCCS는 유용성 제약을 위반하지 않으면서 온도 샘플링 대비 반복을 최대 20% 감소시켰습니다.
• 베이스라인과의 비교:
  • 디코딩 휴리스틱: 표면적인 다양성을 높이는 데는 효과적이지만, 구조적 신뢰도(낮은 pLDDT/pTM)를 지속적으로 저하시켰습니다.
  • 메커니즘 수준 베이스라인: 뉴런 비활성화 및 프로브 스티어링은 불안정한 성능을 보였으며, 두 지표를 동시에 개선하지 못하거나 유용성을 저하시키는 경우가 많았습니다.
• 절제 연구(Ablation Studies):
  • 데이터셋 구축: 구조적 선택(Pareto/Composite)이 무작위 샘플링보다 우수했으며, 특히 분산을 줄이는 데 효과적이었습니다.
  • 스티어링 강도 ($\alpha$): 최적의 성능은 $\alpha \approx 1.0 \sim 2.0$에서 발견되었습니다.
  • 레이어 주입: 효과적인 스티어링은 네트워크의 후기 레이어(ESM-3의 경우 마지막 몇 개 레이어, ProtGPT2의 경우 마지막 1/3 지점)에서 발생했습니다.
• 일반화: 방법론은 ProGen2(자기회귀) 및 DPLM(확산 기반)에서도 검증되어, 다양한 생성 아키텍처에 대한 견고함을 입증했습니다.

5. 의의 및 주장

본 논문은 단백질의 구조적 생존 가능성에 직접적인 영향을 미친다는 점에서, 반복 제어를 텍스트 기반의 반복 문제와 구별되는 PLM의 핵심 과제로 확립한다고 주장합니다.

• 원칙적인 접근법: 저자들은 데이터셋 가이드형 대조적 스티어링이 디코딩 휴리스틱으로는 해결할 수 없는 반복과 유용성의 얽힘 문제를 해결하는 원칙적인 방법을 제공한다고 주장합니다.
• 메커니즘적 통찰: 레이어별 프로빙과 뉴런 수준의 상관관계 분석을 통해, 반복이 초기에는 분산된 표현 현상으로 나타나 중간 레이어에서 얽히고, 최종 레이어에서 로짓 정렬된 끌개 상태(logit-aligned attractor state)로 날카로워진다는 것을 밝혀냈습니다. ESM-3은 ProtGPT2보다 반복 관련 하위 공간(subspace)이 더 양극화되어 있어 더 심각한 퇴화를 보임을 확인했습니다.
• 신뢰성: 본 연구는 신뢰할 수 있는 단백질 생성을 위해서는 폴딩 가능성을 보존하는 개입이 필요함을 강조하며, UCCS를 재학습의 계산 비용 없이 이를 달 Ach 수 있는 플러그 앤 플레이 메커니즘으로 포지셔닝합니다.

저자들은 병적 반복이 단백질 모델링에서 새롭게 인식된 문제이지만, 표현 스티어링을 통해 이를 제어하는 것이 생물학적으로 유효한 de novo 단백질을 생성하기 위한 필수적인 단계라고 결론짓습니다.