Generative design of intrinsically disordered protein regions with IDiom

이 논문은 3700 만 개의 자연계 내재적 무질서 영역 서열로 학습된 IDiom 이라는 생성형 단백질 언어 모델을 소개하며, 이를 통해 구조적 맥락에 기반하거나 맥락 없이도 생물학적으로 유의미한 무질서 단백질 영역을 설계하고 Reinforcement Learning 을 통해 세포 내 위치 특이성을 부여할 수 있음을 보여줍니다.

핵심

1. 문제: "단단한 블록"만 만드는 기존 AI 의 한계

기존의 단백질 설계 AI 들은 마치 레고 블록을 조립하는 데 특화되어 있었습니다. 레고처럼 모양이 딱 정해져 있고 단단한 구조 (Folded structure) 를 가진 단백질은 잘 만들 수 있었죠.

하지만 자연계에는 레고처럼 딱딱하지 않고, 구름처럼 흐물거리는 단백질도 많습니다. 이를 '본질적으로 무질서한 영역 (IDR)'이라고 부릅니다. 이 구름 같은 단백질들은 세포 내에서 신호를 전달하거나, 세포 소기관을 만드는 등 아주 중요한 일을 합니다.

기존 AI 의 문제점:

• 레고 (단단한 구조) 는 잘 만들지만, 구름 (무질서한 구조) 은 어떻게 만들어야 할지 몰라 혼란을 겪었습니다.
• 기존 모델들은 자연에서 발견되는 구름 단백질들의 '흐르는 패턴'을 제대로 배우지 못했습니다.

2. 해결책: IDiom(아이디옴) - "구름의 언어"를 배우는 AI

연구팀은 AlphaFold 데이터베이스에 있는 3,700 만 개의 무질서한 단백질 조각을 모아 IDiom 이라는 AI 를 훈련시켰습니다.

• 비유: IDiom 은 구름이 어떻게 생겼는지, 바람에 어떻게 흔들리는지, 어떤 구름이 비를 내리고 어떤 구름이 안개를 만드는지 3,700 만 권의 구름 관찰 일기를 읽으며 배운 '구름 전문가'입니다.
• 특이한 학습법 (Fill-in-the-middle):
  • 일반적인 AI 는 글을 앞에서부터 쓰지만, IDiom 은 글의 중간을 비우고 그 빈칸을 채우는 방식으로 배웠습니다.
  • 예: "구름은 [빈칸] 을 타고 흐른다." -> AI 가 빈칸에 알맞은 구름 모양을 채워 넣는 훈련을 통해, 주변 문맥 (세포 환경) 에 맞춰 가장 자연스러운 구름을 만들어내는 능력을 기릅니다.

3. IDiom 의 놀라운 능력

A. 자연스러운 구름 만들기 (생성 능력)

IDiom 은 단순히 구름을 흉내 내는 게 아니라, 자연에서 볼 법한 다양한 구름을 만들어냅니다.

• 비유: 마치 유명한 화가가 자연의 구름을 보고 그렸듯이, IDiom 이 만든 구름은 실제 자연의 구름과 통계적으로 매우 비슷하지만, 단순히 복사한 것이 아니라 완전히 새로운 구름입니다.
• 이 구름들은 세포 내에서 실제로 기능을 할 수 있는 형태 (전하 분포, 소수성 패턴 등) 를 갖추고 있습니다.

B. 문맥에 맞는 구름 만들기 (맥락 학습)

IDiom 은 주변 환경을 보고 구름 모양을 바꿀 줄 압니다.

• 사례 (NPM1 단백질): 세포핵 안의 특정 부위 (핵소체) 에 가는 단백질은 전하가 특정 패턴으로 배열되어야 합니다.
• IDiom 에게 "이 단백질의 앞뒤 문맥을 보고, 그 사이에 들어갈 구름을 만들어줘"라고 하면, 그곳에 딱 맞는 구름을 만들어냅니다. 마치 옷을 입을 때 날씨와 장소에 맞춰 옷차림을 바꾸는 것처럼 말입니다.

C. 목적지에 맞는 구름 만들기 (강화 학습)

가장 흥미로운 부분은 원하는 목적지로 구름을 보내는 것입니다.

• 연구팀은 IDiom 에게 "이 구름을 세포핵으로 보내줘", "이 구름은 **스트레스granule(세포 내 응집체)**으로 보내줘"라고 명령했습니다.
• 비유: AI 가 "핵으로 가려면 양 (+) 전하를 많이 띄고, RNA 와 잘 붙을 수 있는 문양을 넣어야 해"라는 규칙을 스스로 깨우쳐서, 목적지에 맞는 맞춤형 구름을 설계해냈습니다.
• 이는 마치 우편배달부가 "이 편지는 서울로, 저 편지는 부산으로"라고 하면, 각각의 목적지에 맞는 우편물 포장법을 스스로 찾아내는 것과 같습니다.

4. 왜 이것이 중요한가요?

이 기술은 합성 생물학과 신약 개발에 혁명을 일으킬 수 있습니다.

1. 맞춤형 치료제: 특정 세포만 공격하거나 특정 부위로 약물을 전달하는 '스마트 단백질'을 설계할 수 있습니다.
2. 세포 공장 설계: 세포 내에서 원하는 물질을 모으거나 분해하는 '인공 소기관'을 만들 수 있습니다.
3. 새로운 발견: 우리가 몰랐던 단백질의 비밀스러운 규칙 (문법) 을 AI 가 찾아내어, 생물학의 새로운 지식을 열어줍니다.

요약

IDiom은 "구름 같은 단백질"이라는 난해한 영역을 이해하고, 주변 환경에 맞춰 그리고 원하는 목적지에 도달하도록 그 모양을 설계해내는 초고도화된 단백질 디자이너입니다. 이제 우리는 자연의 법칙을 따라가며, 세포 안에서 새로운 기능을 가진 단백질들을 마음대로 만들어낼 수 있는 시대가 왔습니다.

기술 요약

1. 문제 정의 (Problem)

• 본질적 무질서 영역 (IDRs) 의 설계 난제: 본질적 무질서 단백질 영역 (Intrinsically Disordered Regions, IDRs) 은 전 생물에 걸쳐 존재하며, 전사 조절, 세포 신호 전달, 세포 내 구획화 등 핵심적인 생물학적 기능을 수행합니다. 그러나 이들은 안정적인 3 차 구조 (fold) 를 형성하지 않기 때문에, 기존 구조 기반 생성 모델 (Structure-based generative models) 을 적용할 수 없습니다.
• 기존 방법론의 한계:
  • 기존 단백질 언어 모델 (PLMs) 은 주로 구조화된 도메인 (folded domains) 으로 훈련되어 있어, 무질서 영역에 대한 생성 사전 확률 (generative prior) 이 편향되어 있습니다.
  • 기존 시퀀스 기반 접근법 (샘플링 기반) 은 진화적 통계 (evolutionary statistics) 를 포착하지 못하거나, 생성된 시퀀스를 주변 구조적 맥락 (flanking context) 에 조건부로 생성할 수 없는 한계가 있습니다.
• 목표: 자연계의 무질서 영역이 가진 진화적 통계와 시퀀스 패턴을 학습하고, 주변 맥락에 따라 조건부 생성이 가능하며, 특정 기능 (예: 세포 내 위치) 을 목표로 설계할 수 있는 생성 플랫폼 개발이 필요합니다.

2. 방법론 (Methodology)

A. 데이터 수집 및 전처리 (Data Curation)

• 데이터 소스: AlphaFold Database (AFDB) 의 2 억 1 천 4 백만 개 단백질 시퀀스에서 AlphaFold2 의 pLDDT 점수를 활용하여 무질서 영역을 식별했습니다. (pLDDT < 70 을 무질서로 간주).
• 데이터 필터링: 90% 시퀀스 동일성으로 클러스터링한 후, 30 잔기 미만의 짧은 영역, 전체 길이가 512 잔기를 초과하는 단백질, 전체가 저 pLDDT 인 시퀀스를 제거했습니다.
• 최종 데이터셋: 3700 만 개의 무질서 영역 (IDRs) 을 확보했습니다.

B. 모델 아키텍처 및 학습 전략 (Model & Training)

• 모델 이름: IDiom (1 억 2 천 2 백만 파라미터의 Decoder-only Transformer).
• Fill-in-the-Middle (FIM) 변환:
  • 무질서 영역을 생성할 때 주변 구조적 맥락 (N 말단 및 C 말단) 을 조건으로 삼기 위해 FIM 전략을 적용했습니다.
  • 시퀀스를 <N>(N 말단 맥락), <C>(C 말단 맥락), <I>(무질서 영역 자체) 토큰으로 마킹하고, <I>와 무질서 영역을 시퀀스 끝으로 이동시켜 표준 자기회귀 (autoregressive) 학습을 가능하게 했습니다.
  • 이를 통해 **맥락 조건부 생성 (Context-conditioned generation)**과 맥락 없는 완전 무질서 단백질 (IDP) 생성을 모두 지원합니다.
• 데이터 증강: 3700 만 개의 IDR 과 이를 맥락 없이 제거한 3700 만 개의 IDP 를 합쳐 총 7400 만 개의 시퀀스로 전학습 (Pre-training) 을 수행했습니다.

C. 강화 학습을 통한 미세 조정 (Post-training with RL)

• 목표: 특정 세포 내 위치 (Nucleolus, Chromosome, P-bodies, Stress granules) 로의 국소화 (Localization) 를 최적화.
• 보상 모델 (Reward Model): ProtGPS (ESM2 임베딩 기반, 12 개 세포 구획 국소화 확률 예측) 를 사용.
• 알고리즘: Group Relative Policy Optimization (GRPO) 사용.
• 정규화 (Regularization):
  • KL 발산 (KL Divergence) 패널티: 사전 학습된 모델의 분포에서 너무 멀어지지 않도록 제어.
  • 엔트로피 패널티: 시퀀스 다양성 붕괴 방지.
  • 길이 패널티: 목표 길이 (100 잔기) 유지.

3. 주요 결과 (Key Results)

A. 생성된 시퀀스의 자연스러움 및 다양성

• 다양성: 생성된 시퀀스는 훈련 데이터와 60% 이상의 높은 시퀀스 동일성을 보이지 않아, 훈련 데이터의 단순 복제가 아닌 새로운 다양성을 확보했습니다.
• 조성 및 패턴: 자연계의 무질서 영역 (DisProt 데이터셋) 과 유사한 아미노산 조성 (Pro, Ser 풍부, Leu, Ile, Val 등 소수성 잔기 부족) 과 전하 패턴 (Charge patterning, $\kappa$), 소수성 분포 (SHD), 저복잡도 (Low-complexity) 특성을 잘 재현했습니다.
• 구조 예측: ColabFold 를 통한 구조 예측 시, 생성된 시퀀스는 자연계 IDRs 와 유사하게 낮은 pLDDT 점수 (무질서 특성) 를 보였습니다.

B. 맥락 학습 능력 (In-context Learning)

• NPM1 사례 연구: 인간 단백질 NPM1 의 무질서 영역 주변 맥락을 프롬프트로 입력했을 때, 모델은 해당 맥락에 적합한 전하 블록 (charge block) 패턴을 가진 시퀀스를 생성했습니다.
• 결과: 생성된 시퀀스는 자연계 NPM1 과 높은 시퀀스 동일성은 없더라도, 전하 분리 (charge segregation) 패턴 ($\kappa$ 값) 이 자연계와 유사하게 재현되었습니다. 이는 모델이 주변 구조적 맥락을 이해하고 생물학적으로 타당한 무질서 영역을 설계할 수 있음을 시사합니다.

C. 강화 학습을 통한 기능적 설계

• 세포 내 위치 최적화: RL 후학습을 통해 특정 세포 소기관 (핵소체, 염색체, P-body, 스트레스 과립) 으로 국소화되도록 설계된 시퀀스를 생성했습니다.
• 생물학적 특징의 발현:
  • 핵소체/염색체: 핵 국소화 신호 (NLS) 와 인산화 (PTM) 모티프가 풍부하게 생성됨.
  • P-body/스트레스 과립: RNA 결합 모티프 (RG/RGG, F/YGG 등) 가 풍부하게 생성됨.
• 무질서 특성 유지: RL 후학습을 거친 시퀀스도 여전히 낮은 pLDDT 값을 유지하여, 구조가 잡히지 않은 무질서 단백질로서의 특성을 잃지 않았습니다.

4. 주요 기여 (Key Contributions)

1. 최대 규모의 무질서 영역 전용 데이터셋: AlphaFold DB 기반 3700 만 개 IDRs 를 활용한 대규모 데이터셋 구축 및 정제.
2. IDiom 모델 개발: 무질서 영역의 진화적 통계와 맥락 의존성을 학습한 최초의 대규모 자기회귀 단백질 언어 모델.
3. 맥락 기반 생성 능력: 주변 구조적 맥락에 따라 생물학적으로 타당한 무질서 영역을 생성할 수 있음을 입증 (NPM1 사례).
4. RL 기반 기능 설계: 외부 보상 모델 (ProtGPS) 을 통해 특정 세포 내 위치를 목표로 하는 무질서 시퀀스를 설계하고, 이 과정에서 생물학적으로 중요한 모티프 (NLS, PTM, RNA 결합 등) 가 자동으로 학습됨을 보임.

5. 의의 및 결론 (Significance)

• 합성 생물학 및 의약품 개발: IDiom 은 합성 생물학에서 무질서 영역을 정밀하게 설계할 수 있는 범용 플랫폼을 제공합니다. 이는 표적 약물 전달, 인공 생체 응집체 (condensates) 설계, 세포 신호 조절 등에 활용될 수 있습니다.
• 설계 패러다임의 전환: 구조 기반 설계에서 벗어나, 시퀀스 통계와 기능적 목표 (보상 함수) 에 기반한 무질서 영역 설계가 가능해졌습니다.
• 미래 전망: 고처리량 실험 데이터와 결합하여 반복적인 최적화가 가능하며, 기능적 무질서 영역을 가진 단백질을 축소하거나 (shrinking proteins) 새로운 기능을 가진 무질서 펩타이드를 발견하는 데 기여할 것으로 기대됩니다.

이 연구는 구조가 없는 단백질 영역의 합리적 설계 (Rational Design) 에 있어 중요한 이정표가 되었으며, 생성형 AI 를 이용한 단백질 공학의 지평을 넓혔습니다.