AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

기술 요약: AutoProteinEngine (AutoPE)

문제 정의
단백질 공학은 신약 개발 및 효소 최적화와 같은 생물 의학적 응용 분야에서 매우 중요하지만, 유도 진화(directed evolution)와 같은 전통적인 방식은 종종 비효율적이고 자원 집약적입니다. 딥러닝(DL) 모델(예: ESM 및 AlphaFold 시리즈)이 예측 정확도를 향상시켰음에도 불구하고, 이들의 활용은 여전히 많은 생물학자에게 접근하기 어려운 상태입니다. 주요 장벽으로는 모델을 훈련하거나 미세 조정(fine-tuning)하기 위한 전문적인 코딩 기술의 필요성, 하이퍼파라미터 최적화의 복잡성, 멀티모달 단백질 데이터(서열 및 그래프)의 전처리 어려움, 그리고 기존 자동 머신러닝(AutoML) 프레여워크의 도메인 특화 지식 부족 등이 있습니다. 현재의 AutoML 도구들은 일반적으로 상당한 계산적 전문 지식을 요구하며, 단백질 공학의 특정 양식(modality)과 데이터 소스에 맞춤화되어 있지 않습니다.

방법론: AutoProteinEngine (AutoPE)
이러-러한 과제를 해결하기 위해 저자들은 대규모 언어 모델(LLM)을 활용하여 단백질 공학에 특화된 멀티모달 AutoML을 구동하는 에이전트 프레임워크인 AutoProteinEngine (AutoPE)을 제안합니다. 이 프레임워크는 세 가지 통합된 구성 요소를 통해 작동합니다:

1. LLM 기반 AutoML 코어:

   • 자연어 인터페이스: 사용자는 자연어를 통해 작업(예: "변이 효과 예측")을 지정합니다. LLM은 사전 정의된 "모델 zoo"(ESM 및 AlphaFold 시리즈 포함)를 기준으로 작업을 검증하고, 모호한 요청을 명확히 하기 위해 대화를 진행합니다.
   • 계획 및 검색: 도메인 문헌에 대한 검색 증강 생성(RAG)을 사용하여, LLM은 데이터 전처리, 모델 선택 및 구성을 위한 계획을 수립합니다.
   • 멀티모달 처리: 서열과 그래프 데이터를 모두 포함하는 작업의 경우, AutoPE는 서로 다른 양식의 임베딩을 결합하여 구조적 및 서열적 정보를 상호 보완적으로 활용하는 후기 융합(late fusion) 체계를 채택합니다.
   • 훈련 최적화: LLM은 손실 함수를 선택하고, 배치 크기와 학습률을 결정하며, 조기 종료(early stopping)를 구현함으로써 일반적인 훈련 프레임워크를 정교화합니다. 또한 작업별 데이터 증강(예: 서열에 대한 무작위 변이, 구조에 대한 그래프 섭동)을 적용합니다.

2. 자동 하이퍼파라미터 최적화 (Auto HPO):

   • 이 모듈은 트리 구조 파젠 추정기(TPE)와 비동기 연속 절반 감소 알고리즘(ASHA)의 조합을 사용하여 최적의 하이퍼파라미터 탐색을 자동화합니다.
   • TPE는 높은 성능을 내는 구성의 확률을 모델링하며, ASHA는 성과가 낮은 실험을 조기에 종료함으로써 자원 할당을 최적화합니다.
   • LLM은 HPO 과정을 관리하며, 사용자 입력을 요약하고, 설정을 검증하며, 수치적 지표(예: MSE, F1-score)를 자연어 피드백으로 번역하여 사용자에게 전달합니다.

3. 자동 데이터 검색:

   • 시스템은 PDB 및 UniProt과 같은 공공 데이터베이스로부터의 데이터 획득을 간소화합니다. 사용자가 자연어 설명(예: "인간 인슐린 서열 및 구조")을 제공하면, LLM은 이를 분석하여 구조화된 데이터베이스 쿼리를 생성합니다.
   • 데이터가 누락된 경우, LLM은 대안(예: 관련 유기체)을 찾기 위해 사용자에게 대화형 가이드를 제공하거나, 편집 가능한 테이블 인터페이스를 통해 수동 데이터 입력을 허용함으로써 다운스트림 분석을 위한 데이터 일관성을 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 식별합니다:

1. 단백질 공학을 위한 최초의 멀티모달 AutoML 프레임워크: AutoPE는 단백질 공학이라는 특정 도메인 내에서 AutoML 맥락으로 단백질 서열과 단백질 그래프 양식을 모두 다룰 수 있는 최초의 프레임워크로 제시됩니다.
2. 대화형 접근성: 딥러닝 배경지식이 없는 생물학자들이 대화형 상호작용을 통해 복잡한 AutoML 작업을 수행할 수 있게 함으로써 진입 장벽을 크게 낮춥니다.
3. 통합 자동화: 본 프레임워크는 LLM 가이드를 통한 자동 하이퍼파라미터 최적화와 주요 단백질 데이터베이스로부터의 자동 데이터 검색을 독특하게 결합하여, 원활한 엔드 투 엔드(end-to-end) 워크플로우를 생성합니다.

실험 결과
저자들은 두 가지 실제 작업에 대해 AutoPE를 평가했습니다:

• 분류(Classification): Brazzein 단백질 변이의 단맛 예측 (435개 항목).
• 회귀(Regression): STM1221 변이의 효소 활성 점수 예측 (234개 항목).

성능은 제로샷 추론(전통적인 ML과 함께 사전 훈련된 ESM 특징 사용) 및 수동 미세 조정(경험 많은 ML 엔지니어가 수행)과 비교되었습니다.

• 분류 결과: Auto HPO를 적용한 AutoPE가 가장 높은 F1-score(0.7306)와 SRCC(0.4621)를 달성하여, 제로샷 베이스라인과 수동 미세 조정 접근 방식 모두를 능가했습니다. 수동 미세 조정은 높은 정확도(0.9137)를 보였으나 더 낮은 F1-score를 기록하여 과적합(overfitting) 가능성을 시사했습니다. HPO를 적용한 AutoPE는 정확도(0.8908)와 강건성(robustness) 사이의 더 나은 균형을 제공했습니다.
• 회귀 결과: Auto HPO를 적용한 AutoPE는 가장 낮은 RMSE(0.3488)와 MAE(0.1999), 그리고 가장 높은 R² 점수(0.6805)를 달성하여, 모든 베이스라인과 HPO를 적용하지 않은 AutoPE 변형을 앞질렀습니다.

의의 및 주장
본 논문은 AutoPE가 딥러닝 역량과 생물학자의 도메인 전문 지식 사이의 간극을 효과적으로 메운다고 주장합니다. LLM을 AutoML과 통합함으로써, 이 프레임워크는 광범위한 프로그래밍 지식 없이도 연구자들이 복잡한 DL 모델을 활용할 수 있도록 하여 고급 단백질 공학 도구에 대한 접근을 민주화합니다. 저자들은 자동 데이터 검색과 모델 최적화를 통해 시스템이 연구 효율성을 개선함을 입증하였으며, 전통적인 제로샷 및 수동 방식에 비해 상당한 성능 향상을 보여주었다고 단언합니다. 본 연구는 AutoPE를 보다 접근하기 쉽고 효율적인 단백질 공학 워크플로우를 향한 단계로 자리매김하며, 향-후 de novo 단백질 설계 및 더 복잡한 상호작용 예측으로 확장될 잠재력을 가지고 있습니다.