How optimal control of cellular cost shapes population-level tumor growth dynamics

기술 요약: 세포 비용 및 종양 성장 역학의 최적 제어

문제 정의
종양 진행은 흔히 외부 치료나 면역 압력에 대한 수동적 반응으로 모델링됩니다. 그러나 생물학적 증거는 종양 집단이 표현형 가소성을 통해 증식과 세포 사멸(apoptosis)을 집단 수준에서 조절할 수 있는 능력을 갖추고 있음을 시사합니다. 수학적 종양학에서 최적 제어 이론이 널리 사용되고 있지만, 기존의 패러다임은 일반적으로 임상의를 수동적인 종양에 맞서 최적화를 수행하는 능동적 주체로 취급합니다. 반대로, 진화 게임 이론과 적응 치료(adaptive therapy)는 종양의 적응을 모델링하기 시작했으나, 종양 집단 자체를 지속적인 환경 및 면역 압력 하에서 생존을 최적화하는 적응적 주체로 명시적으로 다루는 프레임워크에는 여전히 공백이 존재합니다. 본 논문은 성장 유인, 조절 비용, 그리고 외인성 사멸 압력 사이의 트레이드오프 구조가 종양 집단의 거시적 행동(특히 조절된, 휴면 상태의, 또는 지속적인 성장 역학의 출현)을 어떻게 형성하는지 다룹니다.

방법론
저자들은 종양 집단을 제어된 탄생-사멸 과정(birth-death process)으로 모델링하기 위해 연속 시간 마르코프 결정 과정(CTMDP) 프레임워크를 개발했습니다.

• 상태 및 제어: 상태 변수 $N(t)$는 유효 종양 집단 크기를 나타냅니다. 제어 변수 $a \in [0,1]$는 내재적 증식과 조절된 세포 사멸 사이의 균형을 조절하는 집단 수준의 조절 반응을 나타냅니다.
• 역학: 세포당 탄생율은 $\lambda(i,a) = ria$이며, 사멸율은 $\mu(i,a) = \delta i(1-a) + \delta_0 i$입니다. 여기서 $r$은 내재적 증식률, $\delta$는 조절된 사멸률, $\delta_0$는 외인성, 비조절 사멸 압력(예: 면역 신호 또는 치료)을 나타냅니다. 제어 $a$는 균형을 이동시킵니다: 높은 $a$는 증식을 선호하고 조절된 사멸을 억제하는 반면, 낮은 $a$는 세포 사멸을 선호합니다.
• 기초 참조점: 기초 신호 수준 $a^*$는 세포당 탄생과 사멸이 균형을 이루는 지점($a^* = (\delta + \delta_0)/(r + \delta)$)으로 정의됩니다. 조절 비용은 이 기초점으로부터의 편차로 정의됩니다.
• 목적 함수: 본 연구는 비용 스케일링이 최적 정책에 미치는 영향을 결정하기 위해 다섯 가지의 뚜렷한 목적 구조를 평가합니다:
  1. 임계값 의존적 비용 ($C_1$): 인식 규모 $L$을 초과할 때 급격히 증가하는 비용을 추가하며, 이는 면역 감시 임계값을 모델링합니다.
  2. 이차적 집단 비용 ($C_2$): 선형 성장 보상과 균형을 이루는 초선형 비용($i^2$, 밀집 또는 대사 부담을 나타냄)을 포함합니다.
  3. 무제한 선형 보상 ($C_3$): 기초 조절 비용과 대비되는 선형 성장 보상을 균형 있게 다루며, 추가적인 상태 의존적 페널티는 없습니다.
     d. 제약된 선형 보상: 누적 조절 편차에 대한 전역 예산($\beta$) 제약 하에서 선형 성장을 극대화합니다.
     e. 제약된 이차 페널티: 동일한 전역 예산 제약 하에서 오목한 보상(선형 이득 - 이차 페널티)을 극대화합니다.
• 수치적 접근법: 최적 정책은 절단된 상태 공간(truncated state space)에서의 정책 반복(policy iteration) 및 선형 계획법을 사용하여 계산됩니다. 결과적인 역학은 유도된 정규화된 세포당 표류(drift) $g(i)$와 스토캐스틱 겔리시뮬레이션(stochastic Gillespie simulations)을 통해 분석됩니다.

주요 기여 및 결과
본 연구는 회복 역학(growth가 suppression으로 전환되는 현상)의 출현이 적응적 제어만으로 보장되는 것이 아니라, 목적 함수가 집단 크기에 따라 어떻게 스케일링되는지에 결정적으로 달려 있음을 식별했습니다.

1. 비선형 페널티를 통한 회복 역학:

   • 임계값 및 이차 모델: 두 공식 모두 회복 역학을 생성합니다. 임계값 모델은 인식 규모 $L$ 근처에서 성장이 억제로 전환되는 전이를 생성하여, 거의 0에 가까운 표류를 보이는 넓은 영역을 만듭니다. 이차 모델은 내부 집단 규모 주변에서 더 날카롭고 국소적인 전이를 생성합니다. 두 경우 모두, 최적 정책은 작은 크기에서는 높은 증식을 선호하다가, 큰 크기에서는 억제(또는 $a < a^*$ 상태)를 선호하도록 변화하여 집단을 안정화합니다.
   • 메커니즘: 회복 행동은 증식의 한계 비용이 집단 크기에 따라 증가할 때, 즉 지속적인 확장이 점진적으로 불리해질 때 발생합니다.

2. 선형 모델에서의 회복 역학 부재:

   • 무제한 선형 보상: 성장 보상과 조절 페널티가 집단 크기에 비례하여 스케일링될 때, 모델은 회복 체제를 생성하지 못합니다. 최적 정책은 $a^*$ 위에 머물러 있으며, 이는 유한한 성장 지평 없이 지속적이거나 중립에 가까운 성장을 초래합니다. 시스템은 강력한 조절 하에서 0 표류에 접근할 수는 있으나, 음(-)의 표류로 교차 진입하지는 못합니다.
   • 제약된 선형 보상: 전역 예산 제약이 있더라도, 선형 보상 구조는 예산이 증가함에 따라 양(+)의 표류 영역을 확장할 뿐입니다. 이는 내재적인 유한 집단 규모나 회복 전이를 만들어내지 못합니다.

3. 제약 및 보상 구조의 역할:

   • 제약된 이차 모델: 전역 예산이 이차 페널티를 포함하는 보상 구조와 결합될 때, 모델은 회복 역학을 생성합니다. 예산은 기초 신호 상태로부터의 편차의 강도와 지속 시간을 결정하는 반면, 이차 페널티는 지속적인 확장이 결국 불리하게 된다는 것을 보장하여 내부 규모 주변에서 조절이 일어나도록 합니다.

4. 창발적 로지스틱 유사 행동:

   • 본 논문은 로지스틱 밀도 의존성을 직접 부과하지 않고도, 상태 의존적 정책의 최적화를 통해 로지스틱 유사 성장 역학(수용량 아래에서는 양의 표류, 위에서는 음의 표류)이 나타날 수 있음을 입증합니다. 이는 최적화된 정책이 내부 제로 크로싱(zero crossing)을 갖는 감소하는 세포당 표류를 생성할 때 발생합니다.

의의 및 주장
본 논문은 조절된 종양 역학(휴면 및 종양 안정화 포함)이 근본적으로 성장 유인, 조절 비용, 그리고 제약이 집단 크기에 따라 스케일링되는 방식에 의존한다고 주장합니다.

• 이론적 통찰: 이 연구는 적응적 제어만으로는 회복 역학을 생성하기에 충분하지 않다는 관점에 도전합니다. 대신, 그러한 행동은 효과적인 트레이드오프가 집단 상태(예: 초선형 비용 또는 임계값 효과)에 따라 변화할 때만 출현한다고 상정합니다.
• 현상론적 유용성: 목적 함수들은 특정 분자 경로의 기전적 설명이라기보다, 생물학적 트레이드오프(예: 면역 인식, 대사 부담)의 현상론적 표현으로 제시됩니다.
• 종양 행동의 해석: 결과는 관찰된 종양 행동(지속적 성장 vs. 조절된 휴면)이 근본적인 트레이드오프 구조를 반영할 수 있음을 시사합니다. 예를 들어, 휴면에 가까운 상태로의 전이는 종양이 지속적인 증식이 기초 신호 상태에 비해 점점 더 비용이 많이 드는 체제로 진입했음을 나타낼 수 있습니다.
• 치료적 함의: 저자들은 치료적 개입을 단순히 종양 부하를 줄이는 것에 그치지 않고, 지속적인 성장이 점점 더 불리해지는 체제로 종양을 몰아넣기 위해 효과적인 비용 지형(예: 면역 압력 또는 대사 제약 증가)을 수정하는 것으로 볼 수 있다고 제안합니다.

본 연구는 모델이 단일 유효 집단의 최소한의 표현이며 매개변수가 직접적인 생물학적 관측값이 아닌 현상론적인 것임을 인정하며 그 범위를 겸허히 제한합니다. 주요 기여는 특정 거시적 종양 역학을 생성할 수 있는 목적 구조의 클래스를 식별한 데 있습니다.