Improved inference of multiscale sequence statistics in generative protein models

이 논문은 단백질 시퀀스 생성 모델의 추론에서 발생하는 다중 스케일 통계적 왜곡을 해결하기 위해 새로운 정규화 전략인 확률적 볼츠만 기계 (sBM) 를 제안하며, 이를 통해 사후 보정 없이도 기능성과 다양성을 모두 갖춘 단백질 시퀀스를 생성할 수 있음을 보여줍니다.

핵심

이 논문은 **"단백질을 만드는 인공지능이 왜 실패하는지, 그리고 어떻게 더 똑똑하게 만들 수 있는지"**에 대한 이야기입니다.

비유를 들어 쉽게 설명해 드릴게요.

1. 문제: "요리 레시피를 배우는 학생"

생물학자들은 수천 년간 진화해 온 자연의 단백질 (예: 효소) 들을 분석해서, 마치 요리 레시피처럼 새로운 단백질을 만들어내는 인공지능 (AI) 모델을 만들려고 합니다.

하지만 여기서 큰 문제가 생깁니다.

• 데이터 부족: 자연에 있는 단백질 레시피 (데이터) 는 많지만, AI 가 배우려는 레시피의 변수 (재료와 조리법) 는 어마어마하게 많습니다.
• 불균형한 학습: AI 는 중요한 레시피 (예: '불 조절' 같은 핵심 기능) 와 사소한 레시피 (예: '소금 한 꼬집' 같은 구조적 안정성) 를 구별하지 못합니다.

기존의 AI 는 이 불균형을 해결하기 위해 **"모든 것을 똑같이 가볍게 다뤄라"**라는 규칙 (정규화) 을 적용했습니다. 하지만 이 규칙은 오히려 핵심 기능을 가진 중요한 부분들을 너무 약하게 만들고, 사소한 부분들을 너무 강조하게 만들어 버렸습니다.

결과: AI 가 만들어낸 단백질은 모양은 그럴듯해 보이지만, 실제로는 기능을 하지 못하는 '쓰레기'가 대부분이었습니다.

2. 해결책: "스마트한 학습법 (sBM)"

이 논문은 **확률적 볼츠만 머신 (sBM)**이라는 새로운 학습법을 소개합니다. 기존 방식의 문제점을 해결하는 핵심 비유는 다음과 같습니다.

• 기존 방식 (L2 정규화): 마치 학생에게 "모든 과목의 점수를 평균적으로 맞추라"고 강요하는 것과 같습니다. 중요한 수학 (기능) 과 사소한 체육 (구조) 을 똑같이 취급해서, 수학 실력은 떨어지고 체육 점수만 높아지는 이상한 학생이 됩니다.
• 새로운 방식 (sBM): 이 방법은 **"어떤 부분은 깊게 파고들고, 어떤 부분은 가볍게 스쳐 지나가라"**는 지혜를 줍니다.
  • 유연한 학습: AI 가 학습하는 과정에서 스스로 "이 부분은 중요하니까 더 신경 써야겠다", "저 부분은 데이터가 부족하니까 너무 깊게 파지 말아야겠다"라고 판단하게 합니다.
  • 자연스러운 균형: 중요한 기능 (Sector) 과 구조적 안정성 (Contact) 사이의 균형을 자연스럽게 찾아냅니다.

3. 성과: "완벽한 요리사 탄생"

이 새로운 방법 (sBM) 으로 학습한 AI 는 놀라운 결과를 보여줍니다.

1. 기능성 (Fidelity): 만들어낸 단백질이 실제로 제 기능을 하는 비율이 기존 방법보다 훨씬 높습니다.
2. 다양성 (Diversity): 기존 방법은 기능을 하려면 비슷한 것들만 만들어냈지만, sBM 은 기능은 하면서도 서로 완전히 다른 새로운 단백질들을 만들어냅니다.
3. 후처리 불필요: 기존 방법은 기능을 회복시키기 위해 나중에 강제로 온도를 낮추는 등 '보정 작업'을 해야 했지만, sBM 은 처음부터 바로 좋은 결과를 냅니다.

4. 결론: 왜 이것이 중요한가?

이 연구는 단순히 단백질 디자인을 잘하는 방법을 넘어, **"복잡하고 다양한 데이터를 가진 모든 인공지능 모델"**에 중요한 교훈을 줍니다.

• 핵심 메시지: 데이터가 부족할 때, 모든 것을 똑같은 잣대로 재고 다스리는 것은 오히려 해가 됩니다. 데이터의 다양한 규모 (크기와 중요도) 를 이해하고, 각각에 맞는 유연한 학습 전략을 써야만 진짜 똑똑한 AI 가 될 수 있습니다.

한 줄 요약:

"기존 AI 는 단백질 레시피를 배울 때 '중요한 기능'과 '사소한 구조'를 구분 못 해서 실패했지만, 새로운 AI(sBM) 는 이 둘을 자연스럽게 균형 있게 배워, 기능도 좋고 다양성도 풍부한 새로운 단백질을 성공적으로 만들어냈다."

기술 요약

1. 문제 제기 (Problem)

생물학적 데이터 (특히 단백질 서열) 는 고차원적이며 다양한 스케일의 통계적 구조를 가집니다.

• 다중 스케일 통계 구조: 단백질 서열에는 기능적 제약 (결합, 촉매, 알로스테리 등) 을 반영하는 **집단적 상관관계 (collective correlations, 섹터 내)**와 물리적 접촉을 반영하는 **국소적 상관관계 (localized correlations, 섹터 외)**가 공존합니다.
• ** undersampling (불충분한 샘플링) 과 편향:** 단백질 동족체 (homologs) 의 수는 모델 파라미터 수에 비해 매우 적어, 모델 추론 시 과소표본 문제가 발생합니다. 이를 해결하기 위해 기존에는 **균일한 정규화 (Uniform Regularization, 예: L2 정규화)**를 사용했습니다.
• 기존 방법의 한계: 균일한 정규화는 서로 다른 스케일의 상관관계를 균등하게 처리하지 못합니다. 이는 집단적 패턴을 과소평가하고 국소적 패턴을 과대평가하는 체계적인 편향 (bias) 을 초래합니다. 결과적으로 생성된 단백질 서열은 기능이 없거나 (비기능성), 다양성과 새로움 (novelty) 이 떨어지는 문제가 발생합니다. 기존에는 사후 보정 (post hoc correction, 예: 온도 파라미터 조절) 으로 기능을 회복하려 했으나, 이는 다양성을 희생하는 대가를 치르게 했습니다.

2. 방법론 (Methodology)

저자들은 기존 볼츠만 머신 (BM) 추론의 한계를 극복하기 위해 **확률적 볼츠만 머신 (sBM)**을 도입했습니다. sBM 은 명시적인 정규화 (L2 페널티) 대신 추론 과정 자체에서 발생하는 **암시적 정규화 (implicit regularization)**를 활용합니다.

• 핵심 메커니즘:
  1. 곡률 정보 활용 (Curvature Information): 1 차 미분 정보 (기울기) 뿐만 아니라 목적 함수의 국소적 곡률 (Hessian 근사) 을 활용하여 파라미터 공간의 '뻣뻣한 (stiff)' 방향과 '느슨한 (sloppy)' 방향을 구분합니다. 이는 L-BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno) 알고리즘을 통해 구현됩니다.
  2. 암시적 정규화 요소:
     • 조기 종료 (Early Stopping): 반복 횟수 ($N_{iter}$) 를 제한합니다.
     • 곡률 추정 제한 (Curvature Approximation): L-BFGS 의 메모리 파라미터 ($m$) 를 제한하여 과거 기울기 정보의 양을 조절합니다.
     • 제한된 샘플링 (Limited Sampling): 모델 통계량을 계산할 때 유한한 수의 몬테카를로 체인 ($N_{chains}$) 만을 사용합니다. 이는 데이터의 제한된 샘플 수 ($M$) 를 반영하여 과적합을 방지합니다.
• 구현: sBM 은 $N_{chains}$를 주요 정규화 하이퍼파라미터로 사용하여, 다양한 스케일의 상관관계를 더 균일하게 추정하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 정규화 전략 제안: 단백질 서열의 다중 스케일 통계 구조를 왜곡 없이 포착할 수 있는 sBM 알고리즘을 개발했습니다.
2. 이론적 및 실험적 검증:
   • 합성 데이터 (Synthetic Data): ground-truth 파라미터가 알려진 수학적 모델을 사용하여, sBM 이 기존 BM 보다 파라미터 추정의 편향을 크게 줄이고 다양한 스케일의 상호작용을 정확히 복원함을 증명했습니다.
   • 실제 단백질 데이터 (Chorismate Mutase Family): 실제 효소 (chorismate mutase) 가족에 적용하여, sBM 이 생성한 서열이 실험적으로 검증된 기능성 (fidelity) 을 가지면서도 높은 다양성 (diversity) 과 새로움 (novelty) 을 유지함을 입증했습니다.
3. 생성 성능의 균형 달성: 기존 BM 은 기능성 (fidelity) 을 높이면 다양성이 급격히 떨어지는 트레이드오프 관계에 있었으나, sBM 은 사후 보정 없이도 이 세 가지 지표 (기능성, 새로움, 다양성) 간의 최적 균형을 달성했습니다.

4. 결과 (Results)

• 편향 감소: 합성 데이터 실험에서 sBM 은 정규화 강도 ($N_{chains}$) 를 조절함으로써 집단적 상호작용과 국소적 상호작용의 상대적 크기를 실제 값에 가깝게 추정했습니다. 반면, 기존 BM 은 정규화 강도에 따라 특정 패턴이 과대 또는 과소 추정되는 편향이 명확했습니다.
• 생성 성능 (Synthetic Data):
  • sBM 으로 추론된 모델은 $N_{chains}$를 중간값으로 설정했을 때, 기능성 서열 비율 (약 84%) 이 높고, 자연 서열과의 거리 (novelty, 약 37%) 와 다양성 (diversity) 이 모두 우수한 결과를 보였습니다.
  • 기존 BM 은 낮은 온도 ($T < 1$) 에서 샘플링하여 기능성을 높일 수 있었으나, 이는 서열의 다양성을 심각하게 저해했습니다.
• 생성 성능 (실제 단백질 데이터 - Chorismate Mutase):
  • 실험적 검증 (성장 선택 assay) 결과, sBM 으로 생성된 서열 중 약 33% 가 기능성을 가졌습니다. 이는 기존 BM ($T=0.66$) 과 유사한 기능성 수준을 보이지만, 다양성 점수는 sBM 이 37% 로 BM 의 25% 보다 훨씬 높았습니다.
  • sBM 은 자연 서열과 유사한 통계적 에너지 분포를 가지면서도 자연 서열과 구별되는 새로운 서열을 생성할 수 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 생물학적 모델링의 패러다임 전환: 고차원 시스템에서 제한된 데이터로 다중 스케일 구조를 모델링할 때, 균일한 정규화 대신 스케일에 따른 불균형을 고려한 암시적 정규화가 필수적임을 보여주었습니다.
• 단백질 설계의 발전: sBM 은 기능적이고 다양하며 자연스럽지 않은 (novel) 단백질 서열을 설계하는 데 있어 기존 방법론보다 우월한 성능을 제공합니다. 이는 사후 보정 없이도 고품질의 생성 모델을 구축할 수 있음을 의미합니다.
• 광범위한 적용 가능성: 이 연구는 단백질뿐만 아니라 다양한 스케일의 상관관계를 가진 다른 생물학적 시스템 (예: 유전체, 신경망 등) 의 생성 모델 추론에도 적용 가능한 통찰을 제공합니다.

요약하자면, 이 논문은 sBM을 통해 단백질 생성 모델의 추론 편향을 해결하고, 기능성, 다양성, 새로움이라는 상충되는 목표를 동시에 달성할 수 있는 새로운 기준을 제시했습니다.