A Human-in-the-Loop Bayesian Optimization Framework for Constraint-Aware Bioprocess Development

기술 요약: 제약 인지형 바이오공정 개발을 위한 인간 참여형(Human-in-the-Loop) 베이지안 최적화 프레임워크

문제 정의
바이오공정 개발, 특히 바이오 의약품 제조 분야는 고차원의 운전 공간, 비용이 많이 들고 시간이 오래 걸리는 실험, 본질적인 생물학적 변동성, 그리고 엄격한 규제 제약(설계 기반 품질 고도화, QbD)으로 인해 상당한 어려움에 직면해 있다. 전통적인 실험 계획법(DoE)은 대개 사전에 정의된 정적인 방식이며, 정보가 축적됨에 따라 적응하는 능력이 부족하여 복잡하고 노이즈가 많거나 이해도가 낮은 시스템에서는 비효율적이다. 베이지안 최적화(BO)는 탐색(exploration)과 활용(exploitation)의 균형을 맞춤으로써 데이터 효율적인 순차적 대안을 제공하지만, 완전히 자동화된 BO 프레임워크는 고위험 및 규제 환경에서 요구되는 해석 가능성과 유연성이 부족한 경우가 많다. 전문가들은 제조 가능성, 안전성 및 타당성에 관한 암묵적 지식을 명시적으로 인코딩하기 어려운 경직된 획득 함수(acquisition function)에 담기 어려운 형태로 통합해야 할 필요가 있다. 또한, 표준 BO는 두 가지 핵심적인 공학적 요구 사항을 명시적으로 다루는 데 실패한다: 즉, 엄격한 제약 조건(예: 중요 품질 특성 또는 CQA) 충족과 입력 섭동(예: 중요 공정 변수 또는 CPP 변동성)에 대한 강건성(robustness) 확보이다.

방법론
본 논문은 **파레토 전선 유도 샘플링(Pareto Front Guided Sampling, PFGS)**의 확장형인 인간 참여형(Human-in-the-Loop, HitL) 베이지안 최적화 프레임워크를 제안한다. PFGS는 단일 자동 추천을 반환하는 대신, 파레토 전선 상의 비지배적(non-dominated) 후보 실험 세트를 제시하여 도메인 전문가가 시각화된 트레이드오프를 바탕으로 다음 배치(batch)를 대화형으로 선택할 수 있도록 한다.

핵심 방법론은 다음 구성 요소들을 포함한다:

1. 대리 모델링(Surrogate Modeling): 누적된 실험 데이터를 바탕으로 가우시안 프로세스(Gaussian Process, GP) 모델을 학습시켜 공정 출력값의 사후 평균 예측치($\mu$)와 불확실성 추정치($\sigma$)를 제공한다.
2. 다목적 재구성(Multi-Objective Reformulation): 프레임워크는 표준 BO의 양적 지표와 제약 조건을 다목적 최적화 문제로 재구성한다. 목적 함수들은 파레토 전선으로 투영되며, 대화형 대시보드를 통해 쌍별(pairwise) 2D 투영 방식으로 시각화된다.
3. 제약 최적화 확장(Constrained Optimization Extension): CQA 제약(예: 순도 제한)을 처리하기 위해, 프레임워크는 제약 조건을 만족할 사후 확률을 명시적인 파레토 목적 함수로 포함한다. 이 확률은 GP 사후 분포로부터 분석적으로 계산된다 (예: $P(\theta_l \leq f_c(x) \leq \theta_u)$).
4. 강건 최적화 확장(Robust Optimization Extension): 입력 변동성에 따른 성능 저하 문제를 해결하기 위해, 프레임워크는 몬테카를로(Monte Carlo, MC) 샘플링 전략을 통합한다. 이를 통해 정의된 입력 섭동(CPP 편차) 분포에 대한 기대 하한 성능을 추정한다. 이 강건성 점수는 네 번째 파레토 목적 함수로 추가된다.
5. HitL 워크플로우:
   • 초기 GP를 데이터셋(예: 라틴 하이퍼큐브 샘플링)을 통해 학습시킨다.
   • 대규모 후보 레시피들을 대리 모델로 평가한다.
   • 다목적 최적화 알고리즘(NSGA-II)이 예측 성능, 예측 불확실성, 제약 조건 만족 확률, 강건성을 기준으로 파레토 전선을 생성한다.
   • 전문가는 임계값(예: 최소 타이터, 최소 제약 확률)을 설정하여 파레토 전선을 필터링한다.
   • 전문가는 필터링된 후보들로부터 실험 배치를 수동으로 선택하거나, "유토피아 지점(utopia point)"과의 거리에 기반한 자동화된 루틴에 선택을 위임한다.
   • 새로운 데이터를 수집하고 GP를 재학습하며, 이 사이클을 반복한다.

주요 기여
본 논문은 BO 및 바이오공정 공학 분야에 다음과 같은 네 가지 주요 기여를 한다:

1. 제약 인지형 PFGS (Constrained PFGS): 확률적 CQA 만족도를 추가적인 파레토 목적 함수로 포함하도록 PFGS 알고리즘을 확장하여, 성능과 실행 가능성 사이의 트레이드오프를 명시적으로 시각화할 수 있게 한다.
2. 강건한 PFFS (Robust PFGS): MC 샘플링을 통해 강건성 기준을 통합함으로써, 후보들이 단순히 명목상의 성능뿐만 아니라 CPP 변동성에 대한 탄력성을 기준으로 평가될 수 있도록 한다.
3. 대화형 시각화: 복잡한 다차원 트레이드오프(성능, 불확실성, 제약, 강건성)를 도메인 전문가가 해석할 수 있도록 하는 대화형 대시보드와 워크플로우를 개발하여, 새로운 획득 함수 설계 없이도 정보에 입각한 의사결정을 촉진한다.
4. 프레임워크 재구성: 기존의 BO 목적 함수들을 인간 참여형 다목적 프레임워크로 재구성함으로써, 새로운 복잡한 획득 함수를 만드는 대신 해석 가능성과 실행 가능성을 개선할 수 있음을 입증한다.

결과
본 프레임워크는 8차원의 fed-batch CHO 세포 배양 시뮬레이터(출력값: 타이터, 응집도, 순도)를 사용하여 검증되었다.

• 초기 반복(Iteration): 시스템은 전문가가 최소 순도 확률(예: >60%) 및 최소 타이터(예: >1000 mg/L)를 기준으로 후보를 필터링할 수 있는 파레토 전선을 성공적으로 식별하였다.
• 반복적 진전: 6회의 반복 과정을 거치면서, 파레토 전선은 더 높은 예측 타이터와 개선된 제약 조건 만족 확률을 보여주며 진화하였다. 강건성 투영 결과, 모델이 개선됨에 따라 더 많은 비율의 후보들이 CPP 섭동 하에서도 성능을 유지함을 보여주었다.
• 전문가의 적응성: 사례 연구는 전문가의 요구사항이 어떻게 진화할 수 있는지 보여주었다. 초기 단계에서는 정보 획득(높은 불확실성)을 우선시하였고, 후기 단계에서는 보수적인 정밀화(높은 제약 확률, 낮은 불확실성)를 우선시하였다.
• 중단 기준: 프레임워크는 원칙적인 중단 기준을 제공하였다: 즉, 전문가의 진화하는 요구사항을 만족하는 후보가 더 이상 남아있지 않을 때, 이는 관심 영역이 충분히 특징화되었음을 나타낸다.

의의 및 주장
저자들은 이 프레임워크가 모델의 권고안을 해석 가능하고 실행 가능하게 만듦으로써 자동화된 최적화의 "신뢰 격차(trust gap)"를 해소한다고 주장한다. 예측 성능, 모델 불확실성, 확률적 제약 만족도, 입력 강건성 간의 트레이드오프를 동시에 노출함으로써, 이 프레임워크는 정보에 입각한 실험 자원 배분을 지원하고 원칙적인 중단 기준을 제공한다.

본 논문은 이 방법론이 바이오공정에 국한되지 않으며, 가우시안 프로세스를 포함하여 비용이 많이 드는 실험, 제약 최적화, 불확실성을 고려한 의사결정이 수반되는 모든 공학 분야에 광범적으로 적용 가능하다는 점을 강조한다. 저자들은 본 프레임워크가 새로운 획득 함수를 도입하는 것이 아니라, 인간의 전문성을 더 잘 통합하기 위해 기존의 전략을 재구성한 것임을 명시한다. 또한, 요구사항 설정 시 발생할 수 있는 인간의 편향 가능성과 다목적 최적화 알고리즘(NSGA-II)의 수렴 의존성 등 한계점도 인정하였다. 향후 연구로는 다중 충실도(multi-fidelity) 최적화 및 완전 자동화된 전략과의 비교가 제안되었다.