기술 요약: Cell as Point (CAP)

문제 정의

기존의 세포 추적 방법론은 일반적으로 각 프레임에서 명시적인 세포 검출(detection) 또는 세그멘테이션(segmentation)을 선행 조건으로 필요로 하는 다단계 파이프라인에 의존합니다. 이러한 접근 방식은 흔히 SegLnk, Seg&Lnk 또는 DetSegLnk로 분류되며, 다음과 같은 몇 가지 치명적인 한계를 가집니다:

1. 자원 집약적: 고품질의 세그멘테이션 마스크와 고품질의 정답(ground truth) 주석을 생성하기 위해 상당한 계산 자원이 필요하며, 이는 노동 집약적이고 시간이 많이 소요됩니다.
2. 오차 누적: 초기 단계(검출/세그멘테이션)에서 발생하는 오류가 후속 추적 단계로 누적 및 증폭되어, 전체 프레임워크의 성능을 제한합니다.
3. 데이터 불균형 및 긴 시퀀스: 기존 방법들은 데이터셋 내 세포 분열 이벤트의 불균형한 발생 문제에 취약하며, 긴 시퀀스를 효율적으로 추론하는 데 어려움을 겪어, 종종 완전한 분열 이벤트를 누락하거나 과도한 계산 시간을 요구하게 됩니다.

방법론: Cell as Point (CAP)

저자들은 세포를 세그멘테이션 마스크에 의존하는 대신 하나의 점(point)으로 재정의하는 새로운 엔드투엔드(end-to-end) 일단계(one-stage) 프레임워크인 **CAP (Cell as Point)**를 제안합니다. CAP는 세포 간의 궤적(trajectory)에 내재된 상관관계를 활용하여 시퀀스 내의 수많은 세포 점들을 공동으로 추적합니다.

핵심 표현 방식

CAP는 세그멘테이션 마스크 대신, 세포 추적 데이터를 표현하기 위해 두 가지 핵심 개념을 사용합니다:

• 세포 점 궤적 (Cell Point Trajectory): 시간 $T$ 동안 $N$개 세포의 중심점 위치 $L^i_t = (x^i_t, y^i_t)$로 정의됩니다.
• 세료 점 가시성 (Cell Point Visibility): 시간 $t$에 세포가 존재하는지를 나타내는 이진 지표 $V^i_t \in \{0, 1\}$입니다. 이 표현 방식은 이동(migration), 유사 분열(mitosis, 두 개의 딸세포로 분열), 세포 사멸(apoptosis, 사망)을 포함한 세포의 상태를 명시적으로 처리합니다.

주요 혁신 사항

데이터 불균형과 긴 시퀀스 추론 문제를 해결하기 위해, CAP는 두 가지 특정 메커니즘을 도입합니다:

1. 적응형 이벤트 가이드 샘플링 (Adaptive Event-Guided (AEG) Sampling):

   • 문제: 세포 분열 이벤트는 이동(migration)에 비해 드물게 발생하므로, 모델이 분열 역학을 효과적으로 학습하지 못하는 데이터 불균형이 발생합니다.
   • 해결책: AEG는 완전한 세포 분열 이벤트(모세포의 죽음부터 딸세포의 탄생까지)를 포함하는 프레임을 우선시하는 시간적 샘플링 전략입니다. 이는 데이터셋 내의 총 분열 횟수와 그 지속 시간을 기반으로 분열 이벤트를 포함하는 시퀀스를 샘플링할 확률을 적응적으로 계산합니다. 이를 통해 모델이 훈련 과정에서 균형 잡힌 분열 이벤트를 접할 수 있도록 보장합니다.

2. 롤링 윈도우 추론 (Rolling-as-Window (RAW) Inference):

   • 문제: 전체 긴 시퀀스를 단일 단계에서 처리하는 것은 계산 비용이 많이 들며, 새롭게 등장하는 세포를 포착하기 어렵습니다.
   • 해결책: RAW는 롤링 윈도우를 사용하여 시퀀스를 처리하는 추론 전략입니다. 이는 추론을 위해 하위 시퀀스를 순차적으로 추출합니다. 새로운 세포가 감지되면(가시성 변화를 통해), 해당 세포의 예측 위치를 다음 윈도우의 쿼리 포인트에 즉시 결합합니다. 이를 통해 전체 시퀀스를 한꺼번에 처리할 필요 없이, 긴 시퀀스 전반에 걸쳐 새로운 세포의 연속적이고 안정적인 추적을 가능하게 합니다.

아키텍처

• 백본 (Backbone): 이 프레임워크는 CoTracker에서 파생되어 특화된 RAFT(Recurrent All-Pairs Field Transforms) 아키텍처를 기반으로 한 트랜스포머 기반 신경망($\Theta$)을 활용합니다.
• 특징 추출 (Feature Extraction): 2D CNN이 이미지 특징을 추출합니다. 추적 특징은 세포 점 위치에서의 쌍선형 보간(bilinear interpolation)을 통해 이 특징 맵들로부터 추출됩니다.
• 상관 볼륨 (Correlation Volume): CAP는 4D 상관 볼륨을 사용하여 다양한 스케일에서 추적 특징과 이미지 특징 사이의 유사도를 계산함으로써, 큰 변위(displacement)를 처리할 수 있게 합니다.
• 반복 업데이트 (Iterative Updates): 트랜스포머는 $M$번의 반복적인 업데이트를 수행하며, 궤적 간(cross-trajectory) 및 시간 간(cross-time) 어텐션을 사용하여 세포 궤적과 추적 특징을 정교화합니다.
• 출력 (Output): 모델은 업데이트된 위치와 가시성 점수를 예측합니다. 시그모이드(sigmoid) 활성화 함수는 세포가 분열했는지(두 개의 딸세포 위치 생성) 또는 사멸했는지를 결정합니다.
• 손실 함수 (Loss Function): 모델은 궤적 손실(위치 회귀)과 가시성 손실(이진 존재 여부에 대한 크로스 엔트로피)을 사용하여 감독 학습됩니다.

주요 기여

1. 일단계 프레임워크 (One-Stage Framework): CAP는 명시적인 검출이나 세그멘테이션 단계 없이, 오직 추적 정답(거친 마스크 및 세포 비순환 그래프)에만 의존하여 세포를 추적하는 최초의 엔드투엔드 프레임워크입니다.
2. AEG 샘플링: 훈련 데이터 내 세포 분열 발생의 불균형을 해결하여, 분열 이벤트를 견고하게 학습할 수 있도록 하는 새로운 전략입니다.
3. RAW 추론: 긴 시퀀스를 효율적으로 처리하고 데이터셋에 국한되지 않고 새로운 세포의 등장을 포착하는 통합된 추론 접근 방식입니다.
4. 효율성 및 성능: 프레임워크는 기존의 다단계 방법들보다 현저히 적은 추론 시간과 주석 요구량을 유지하면서 최첨단(SOTA) 성능을 달anim합니다.

실험 결과

저자들은 DeepCell 데이터베이스(HeLa, PC-3, 3T3, RAW264)와 ISBI CTC 데이터셋(U373, GOWT1, Huh7)에서 CAP를 평가했습니다.

• 성능: CAP는 대부분의 데이터셋에서 SOTA 추적 정확도(TRA) 점수를 달성했습니다. 예를 들어, HeLa 데이터셋에서 0.926의 TRA를 기록했으며, U373에서는 구조적 오류(EdgeSplit, EdgeAdd, EdgeDelete, EdgeSemantic) 없이 0.985의 TRA를 달성했습니다.
• 효율성: CAP는 기존의 다단계 방법들보다 추론 시간이 8배에서 32배 더 빠름을 보여주었습니다. 예로, HeLa 데이터셋에서 CAP는 GNN(23.3초)이나 EmbedTrack(41.5초)에 비해 단 1.3초만을 소요했습니다.
• 절제 연구 (Ablation Studies):
  • AEG 샘플링을 비활성화했을 때 성능이 크게 저하되었습니다 (예: U373 TRA가 0.985에서 0.556으로 하락). 이는 분열 이벤트를 학습하는 데 있어 AEG의 필수성을 입증합니다.
  • **교차 궤적 어텐션(cross-trajectory attention)**을 제거했을 때(시간 전용 어텐션 사용) 성능이 감소하여, 공동 추적의 중요성을 강조했습니다.
  • **특징 스트라이드(feature stride)**를 8에서 4로 줄였을 때 정확도가 크게 향 향상되었으며, 이는 미세한 역학 관계를 위해 고해상도 특징이 필요함을 나타냅니다.

의의 및 주장

본 논문은 CAP가 세그멘테이션 기반 전처리 의존성을 제거함으로써 세포 추적의 중요한 전환점을 제시한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 실용성: 고품질 세그멘테이션 마스크의 필요성을 줄임으로써 데이터 주석의 장벽을 낮추어, 전문가의 라벨링이 부족한 임상 적용 분야에서 더욱 실용적으로 만듭니다.
• 확장성: 8~32배 빠른 추론 속도는 세포 행동의 실시간 또는 대규모 분석을 가능하게 합니다.
• 강건성: 프레임워크는 통합된 일단계 모델 내에서 미토시스(mitosis) 및 아포토시스(apoptosis)와 같은 복잡한 생물학적 이벤트를 효과적으로 처리하며, 다단계 파이프라인에서 발견되는 오차 누적 문제를 해결합니다.

저자들은 서로 다른 이미징 장치, 세포 밀도 및 주석 스타일 간의 일반화 문제에 관한 한계를 인정하며, 전문가의 주석 차이가 성능에 영향을 미칠 수 있음을 언급했습니다. 도메인 변화와 다양한 세포군을 다루기 위한 향후 연구 과제를 제시하였습니다.