Confidence is the key: how conformal prediction enhances the generative design of permeable peptides

기술적 요약: 신뢰도가 핵심입니다: 동형 예측이 투과성 펩타이드의 생성적 설계를 어떻게 향상시키는지

문제 제기
REINVENT 및 PepINVENT와 같은 강화 학습 (RL) 과 결합된 생성 모델은 de novo 분자 설계에 강력한 도구입니다. 그러나 예측 모델을 점수 함수로 사용하는 것에 대한 의존성은 적용 영역 (domain of applicability) 이라는 치명적인 취약점을 도입합니다. RL 에이전트가 화학 공간을 탐색할 때, 종종 예측 모델의 훈련 분포를 벗어난 분자를 제안합니다. 이러한 영역에서는 예측이 신뢰할 수 없게 되어, 최적화가 높은 보상을 주지만 불확실성이 큰 화학 공간으로 이끌 수 있습니다. 이 문제는 소분자에 비해 훈련 데이터에서 과소 대표되어 있지만 치료적 잠재력을 보이는 고리 펩타이드의 경우 특히 심각합니다. 도전 과제는 모델의 외삽 (extrapolation) 의 인공물과 구별하여, 높은 예측 확률이 보정되지 않고 신뢰성이 부족할 수 있는 상황에서 진정으로 투과성이 있는 설계를 식별하는 데 있습니다.

방법론
저자들은 세포 투과성 고리 펩타이드 설계를 위한 RL 루프에 동형 예측 (Conformal Prediction, CP) 을 직접 통합하는 불확실성 인식 생성 프레임워크를 제안합니다.

• 생성 프레임워크: 이 연구는 CHUCKLES 표기법으로 자연 및 비자연 아미노산이 포함된 반합성 데이터로 훈련된 트랜스포머 기반 모델인 PepINVENT를 활용합니다. RL 과정은 입력 고리 펩타이드의 아미노산 위치를 마스킹하고 대체물을 생성하는 것을 포함합니다.
• 예측 모델: CycPeptMPDB 데이터베이스 (6,876 개의 고리 펩타이드 항목) 로 훈련된 XGBoost 분류기가 수동 막대 투과성 (PAMPA 어레이 데이터) 을 예측합니다. 이 모델은 설명자로 확장 연결 지문 (ECFP) 을 사용합니다.
• 불확실성 정량화: 원시 모델 확률을 사용하는 대신, 저자들은 Mondrian 유도 동형 예측 (ICP) 을 사용합니다. 이 프레임워크는 개별 인스턴스에 대한 유효한 신뢰도 추정을 제공하도록 예측을 보정합니다. 이는 두 가지 p-값을 생성합니다: $P_1$(분자가 투과성일 것이라는 신뢰도) 과 $P_0$(분자가 비투과성일 것이라는 신뢰도).
  • $P_1 > 0.2$이고 $P_0 < 0.2$인 경우 (80% 신뢰도에 해당), 예측은 "동형적으로 효율적 (conformally efficient)" (신뢰할 수 있음) 으로 간주됩니다.
  • 효율성을 높이기 위해 10 개의 ICP 모델을 사용한 집계 동형 예측기 (ACP) 가 사용되었습니다.
• 점수 전략: 이 연구는 RL 루프 내에서 6 가지 점수 함수를 평가했습니다:
  1. 원시 모델 (RM): 투과성 클래스의 확률 (기준선).
  2. CP P1: 투과성 클래스에 대한 p-값을 최대화.
  3. CP 1-P0: 비투과성 p-값의 보충값을 최대화.
  4. CP P1-P0: 두 p-값 간의 차이를 최대화.
  5. 가혹 함수 (Harsh Function): $P_1 > 0.2$이고 $P_0 < 0.2$인 경우에만 1 또는 0 의 이진 보상을 제공.
  6. 부드러운 함수 (Soft Function): 조건 중 하나가 충족되면 부분 보상 (0.5) 을, 두 조건이 모두 충족되면 전체 보상 (1) 을 제공하는 단계 함수.

RL 루프는 150 개의 테스트 쿼리 (612 개의 잔기를 가진 고리 펩타이드) 에 대해 350 에포크 동안 이러한 점수를 최적화하며, 쿼리당 14 개의 위치를 마스킹합니다.

주요 결과

• 원시 확률의 한계: RL 에이전트가 원시 모델 확률을 성공적으로 증가시켰음 (0.51 에서 0.87 로) 에도 불구하고, 동형적으로 효율적인 예측의 수는 낮게 유지되었습니다. $P_0$가 종종 유의성 임계값 위에 남아 있었기 때문에, 높은 원시 확률이 분자가 예측자의 적용 영역 내에 있음을 보장하지는 않았습니다.
• CP 기반 점수의 우위:
  • 단일 p-값 목표 (P1 또는 1-P0) 는 미미한 개선을 보였으며 공동 신뢰도를 보장하지 못했습니다.
  • "부드러운" 점수 함수가 모든 다른 방법보다 우수했습니다. 이는 목표인 50% 동형적으로 효율적인 투과성 예측에 도달하는 데 가장 빠른 수렴 (~150 에포크) 을 달성했으며, 신뢰할 수 있는 투과성 라벨을 가진 분자의 가장 높은 비율을 생성했습니다.
  • "가혹" 함수는 학습 가능했지만 희소한 보상 때문에 초기 탐색에서 효율성이 낮았습니다.
• 유효성 대 효율성: 부드러운 점수 함수는 원시 모델이나 단일 p-값 방법보다 총 고유 유효 분자의 수는 적게 생성했지만, 해당 분자 중 동형적으로 효율적인 투과성 예측의 비율 은 훨씬 더 높았습니다. 이는 원시 모델이 신뢰할 수 없는 예측으로 히트율을 과장하는 반면, CP-소프트 접근법은 신뢰할 수 있는 히트를 목표로 함을 나타냅니다.
• 길이 의존성: 성능은 펩타이드 길이에 따라 달라졌습니다. 부드러운 점수 함수는 훈련 데이터에 잘 대표된 길이 6, 7, 8, 10 의 펩타이드를 효과적으로 최적화했습니다. 길이 9, 11, 12(덜 대표됨) 의 경우, 모델은 350 에포크 내에 높은 신뢰도 수준에 도달하는 데 어려움을 겪었으며, 이는 설계 목표가 예측자의 적용 영역을 초과할 때 프레임워크가 신호를 보낼 수 있음을 보여줍니다.

의의 및 주장
이 논문은 강화 학습 기반 생성 설계에 동형 예측을 직접 통합한 최초의 프레임워크를 제시한다고 주장합니다. 저자들은 이 접근법이 다음과 같다고 논합니다:

1. 격차 해소: 예측 모델의 고유한 불확실성과 RL 의 전략적 탐색을 연결하여, 에이전트가 화학 공간의 신뢰할 수 없는 영역을 악용하는 것을 방지합니다.
2. 신뢰성 강화: 원시 확률이 아닌 보정된 신뢰도에 기반하여 설계를 보상함으로써, 생성된 펩타이드가 높은 점수일 뿐만 아니라 모델의 영역 내에서 통계적으로 유효함을 보장합니다.
3. 효율성 향상: "부드러운" 점수 전략은 전통적인 불확실성 무지 방법보다 고보상, 신뢰할 수 있는 화학 공간으로의 수렴을 가속화합니다.
4. 실용적 유용성: 이 방법은 적용 영역의 엄격성과 탐색 간의 균형을 조절할 수 있는 조정 가능한 메커니즘 (유의수준을 통해) 을 제공하여, 예측 신뢰성이 가장 중요한 분자 설계 작업에 대한 견고한 전략을 제시합니다.

이 연구는 특정 최적 점수 함수는 작업에 따라 다를 수 있지만, CP, RL, 생성 모델을 결합한 시너지 효과가 더 신뢰할 수 있고 효율적인 de novo 분자 설계를 위한 일반화 가능한 길을 제공한다고 결론지었습니다.