기술 요약: 타이로신 발효 예측을 위한 G-Mamba

1. 문제 정의

미생물 발효 공정, 특히 Escherichia coli를 이용한 타이로신 생산은 핵심 코어 파라미터(예: 생물량 및 생성물 농도)에 의존하며, 이는 일반적으로 오프라인 화학 분석을 통해 측정됩니다. 이러한 측정 방식은 시간 지연이 길어 정밀한 실시간 공정 제어를 저해합니다. 이를 해결하기 위해 데이터 기반 모델들이 배치되어 왔으나, 이들은 두 가지 주요 한계점에 직面하고 있습니다:

1. 계산 효율성 부족: 기존의 시계열 네트워크, 특히 트랜스포머(Transformer) 기반 아키텍처는 시퀀스 길이가 증가함에 따라 이차 복잡도($O(N^2)$)를 보이며, 이는 긴 산업용 발효 시퀀스 처리에 있어 비효율적입니다.
2. 메커니즘적 가이드의 부재: 순수 데이터 기반의 "블랙박스" 모델은 변수 간의 복잡하고 비선형적인 공간적 결합을 포착하지 못하거나, 사전 메커니즘 지식(예: 대사 경로)을 통합하지 못하여 다중 목적 예측 시나리오에서 최적의 성능을 내지 못하는 경우가 많습니다.

2. 방법론: G-Mamba 아키텍처

본 논문은 사전 메커니즘 지식과 선택적 상태 공간 모델(Selective State Space Model, Mamba)을 통합한 그레이 박스(gray-box) 다중 목적 예측 네트워크인 G-Mamba를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

A. Mamba 시계열 인코딩 블록

장기적인 시계열 진화 추세를 포착하면서 선형 계산 복잡도를 유지하기 위해, 모델은 양방향 Mamba 아키텍처를 채택합니다.

• 입력 처리: 입력 시퀀스($X \in \mathbb{R}^{L \times D}$)는 먼저 선형 레이어를 통해 고차원 공간으로 임베딩됩니다.
• 상태 공간 모델 (SSM): 임베딩된 특징은 학습 가능한 단계 크기($\Delta$)를 사용하는 Mamba 레이어를 통해 처리됩니다. 핵심 SSM 연산은 다음의 재귀 관계를 따릅니다:
  $$h_t = \bar{A}h_{t-1} + \bar{B}x_t$$
  $$y_t = Ch_t + Dx_t$$
  이를 통해 모델은 셀프 어텐션(self-attention) 메커니즘의 이차 메모리 오버헤드 없이 긴 시퀀스를 효율적으로 처리할 수 있습니다.

B. 이중 인접 행렬을 활용한 GCN 브랜치

프로세스 변수 간의 공간적 결합을 모델링하기 위해 그래프 합성곱 네트워크(GCN) 브랜치가 도입되었습니다. 이는 두 가지 구별된 인접 행렬을 사용합니다:

1. 사전 지식 인접 행렬 ($M$): 세포 대사 경로, 생물 반응 메커니즘 및 운영 제어 로직을 기반으로 명시적으로 구축되었습니다.
   • 예시: pH에 영향을 미치는 변수(예: 아세테이트 생성, $CO_2$ 배출)로부터 pH 노드로 향하는 유향 엣지가 설정됩니다. 마찬가지로, 통기율 및 가스 분율에 근거하여 산소 섭취율(OUR) 및 이산화탄소 배출율(CER)에 대한 의존성이 정의됩니다.
2. 적응형 인접 행렬 ($M_{apt}$): 잠재적인 암묵적 상관관관계를 포착하기 위해 데이터로부터 학습됩니다. 이는 $Softmax(ReLU(E_1 E_2^T))$로 공식화됩니다.

• 연산: GCN은 두 행렬을 모두 사용하여 확산 합성(diffusion convolution)을 수행한 후, 채널 매핑 및 플래트닝(flattening)을 거쳐 공간적으로 상관된 특징을 추출합니다.

C. 게이트 퓨전 모듈 (Gated Fusion Module)

가벼운 게이트 퓨전 메커니즘을 통해 Mamba 블록의 심층 시계열 특징($E_m$)과 GCN 브랜치의 공간적 특징($E_g$)을 적응적으로 병합합니다.

• 메커니즘: 원래의 입력 시퀀스에 대한 경량 선형 투영을 통해 게이팅 벡터($z$)가 계산됩니다.
• 퓨전: 최종 특징 표현은 $E_f = zE_m + (1-z)E_g$로 계산됩니다. 이 설계는 계산 오버헤드를 최소화하면서 시공간 정보를 보존합니다.

3. 주요 기여

저자들은 네 가지 주요 기여를 식별했습니다:

1. 양방향 Mamba 통합: 선형 계산 복잡도로 발효 데이터의 장기적 시계열 진화를 포착하기 위한 양방향 Mamba 아키텍처를 도입했습니다.
2. 하이브리드 공간 모델링: 명시적 키네틱스(kinetics)와 잠재적 공간 결합을 모두 모델링하기 위해, 사전 메커니즘 지식을 이용한 명시적 인접 행렬과 적응형 행렬을 결합한 GCN을 통합했습니다.
3. 게이트 퓨전 메커니즘: 시계열 진화 특징과 공간적으로 분리된 특성을 적응적으로 통합하는 경량 모듈을 설계했습니다.
4. 실증적 검증: 실제 세계의 다중 배치 E. coli 타이로신 발효 데이터셋에 대해 모델의 효과를 입증하였으며, 점 예측(point forecasting) 및 시퀀스 예측(sequence forecasting) 작업 모두에서 주요 베이스라인 모델보다 우수한 성능을 보였습니다.

4. 실험 결과

본 연구는 7.5 L 생물 반응기에서 얻은 30개의 과거 배치 데이터를 활용하였으며, 여기에는 30개의 프로세스 변수(온라인 및 오프라인)가 포함됩니다. 모델은 점 예측 및 시퀀스 예측 작업(입력 길이 4, 6, 8시간)에서 8개의 베이스라인(Informer, Autoformer, PatchTST, DLinear, S-Mamba 포함)과 비교되었습니다.

• 성능 지표: G-Mamba는 모든 작업에서 일관되게 가장 낮은 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 달s성했습니다.
  • 1->1 (점 예측) 작업에서 G-Mamba는 0.214 MSE와 0.313 MAE를 달성하여, 두 번째로 우수한 모델(S-Mamba: 0.319 MSE)을 앞질렀습니다.
  • 다중 목적 예측에서 G-Mamba는 상당한 시너지 성능을 보여주었습니다. 다른 모델들이 생물량(OD600)과 타이로신 농도 사이의 복잡한 대사 결합을 처리하는 데 어려움을 겪는 동안, G-Mamba는 OD600을 보조 상태로 효과적으로 활용하여 타이로신 예측을 가이드함으로써 타이로신 목적 함수에서 모든 베이스라인을 능가했습니다.
• 절제 연구 (Ablation Studies):
  • GCN 모듈을 제거했을 때 평균 MSE가 22.6% 증가하여, 공간 모델링의 필요성을 확인했습니다.
  • Mamba 시계열 인코딩을 제거했을 때 평균 MSE가 38.6% 증가하여, 백본의 시계열 처리 역할을 검증했습니다.
  • 적응형 행렬만 사용했을 때는 성능이 불안정했으나, 이를 사전 지식 행렬과 결합했을 때 모든 작업에서 균형 잡힌 결과를 얻었습니다.
• 효율성: G-Mamba는 트랜스포머 기반 모델들에 비해 현저히 낮은 계산 복잡도와 GPU 메모리 사용량을 보였습니다. 입력 시퀀스 길이가 2시간에서 8시간으로 증가함에 따라, G-Mamba의 계산 비용 증가율은 Informer 증가율의 18.4% 수준에 불과했습니다.

5. 의의 및 주장

본 논문은 G-Mamba가 산업용 발효의 두 가지 병목 현상인 비선형 변수 간 결합과 높은 계산 복잡도를 해결한다고 주장합니다.

• 그레이 박스의 이점: 상태 공간 모델을 메커니즘 지식에 의해 가이드되는 그래프 합성곱 네트워크와 융합함으로써, 순수 데이터 기반 접근 방식의 "블랙박스" 한계를 넘어 정밀한 다중 목적 예측을 위한 강력한 솔루션을 제공합니다.
• 다중 목적 시너지: 본 연구는 G-Mamba가 세포 성장과 생성물 축적 사이의 본질적인 생물학적 대사 결합을 성공적으로 포착하여, 단일 목적 또는 순수 데이터 기반 모델이 달성하지 못하는 교차 작업 성능 강화(cross-task performance reinforcement)를 가능하게 함을 강조합니다.
• 확장성: Mamba 백본의 선형 복잡도는 모델이 긴 시퀀스의 산업용 데이터에 대해 계산 효율성을 유지하도록 보장하며, 이는 실시간 소프트 센싱 및 잠재적인 폐쇄 루프 제어 시스템 통합에 적합합니다.

저자들은 G-Mamba가 특정 타이로신 발효 맥락에서 우수한 성능을 보이지만, 향후 연구는 더 넓은 산업 바이오 프로세스 전반에 걸친 일반화 가능성을 검증하고 모델 예측 제어(MPC) 프레임워크와의 통합을 조사하는 데 집중할 것이라고 결론지었습니다.