TARDis: Time Attenuated Representation Disentanglement for Incomplete Multi-Modal Tumor Segmentation and Classification

이 논문은 방사선 피폭 제한으로 인한 다중 모달리티 CT 데이터의 결측 문제를 해결하기 위해, 시간-감쇠 곡선 상의 결측 샘플점으로 재정의하고 해부학적 정적 성분과 관류 동적 성분을 분리하는 물리 인식 프레임워크인 TARDis 를 제안하여 불완전한 모달리티 환경에서도 우수한 종양 분할 및 분류 성능을 달성함을 보여줍니다.

핵심

🏥 문제: "완벽한 사진을 찍기 어려운 현실"

병원에서 암을 진단할 때, 의사는 종양이 어떻게 변하는지 보기 위해 시간이 지남에 따라 여러 번 CT 스캔을 찍습니다.

• 조기 (동맥기): 조영제가 혈관을 타고 들어갈 때
• 중기 (정맥기): 조영제가 조직에 퍼질 때
• 후기 (지연기): 조영제가 빠져나갈 때

이 세 가지 시점의 사진을 모두 보면 종양의 성격을 정확히 알 수 있습니다. 하지만 현실에서는 방사선 피폭을 줄이기 위해나 환자의 상태 때문에 모든 시점을 찍지 못하는 경우가 많습니다. 마치 영화의 한 장면만 보고 전체 줄거리를 추측해야 하는 상황과 같습니다.

기존의 AI 들은 "사진이 하나 없으면 그 부분을 빈칸으로 두고 나머지 사진만 보거나, 빈칸을 무작위로 채우려" 했습니다. 하지만 이 방법은 **시간의 흐름에 따른 자연스러운 변화 (혈류의 움직임)**를 무시하기 때문에, 중요한 정보를 놓치기 쉽습니다.

---

💡 해결책: TARDis (시간을 감지하는 해부학자)

이 논문이 제안한 TARDis는 "사진이 없다면, 그 시간을 상상해서 만들어내자"는 아이디어입니다.

1. 핵심 아이디어: "고정된 뼈대"와 "흐르는 물"을 분리하다

종양의 모습은 두 가지 요소로 나뉩니다.

• 고정된 뼈대 (해부학): 종양의 모양, 크기, 위치. (시간이 지나도 변하지 않음)
• 흐르는 물 (혈류 역학): 조영제가 흐르며 변하는 색상과 밝기. (시간에 따라 계속 변함)

기존 AI 는 이 둘을 섞어서 보지만, TARDis 는 이 둘을 완벽하게 분리해서 봅니다.

비유: 종양을 집에 비유해 봅시다.

• 고정된 뼈대: 집의 구조 (벽, 기둥, 방의 위치). 이는 시간이 지나도 변하지 않습니다.
• 흐르는 물: 집 안의 조명이나 사람이 움직이는 모습. 이는 시간에 따라 변합니다.

TARDis 는 "집의 구조 (뼈대) 는 이미 알고 있으니, 시간만 알려주면 그 시간에 맞는 조명 (혈류) 을 AI 가 스스로 상상해 낼 수 있다"고 생각합니다.

2. 어떻게 작동할까? (두 가지 길)

TARDis 는 두 가지 길을 동시에 걷습니다.

• 길 1: 뼈대 찾기 (해부학적 경로)

  • 어떤 시점의 CT 가 들어오든 상관없이, **종양의 기본 모양 (뼈대)**만 뽑아냅니다.
  • 마치 조각상을 보듯, 어떤 각도에서 보든 같은 얼굴을 인식하는 것과 같습니다.
  • 이 정보는 모든 시점에 공통적으로 적용됩니다.

• 길 2: 시간 상상하기 (동적 경로)

  • "이 사진은 몇 분 뒤에 찍힌 거야?"라고 AI 가 스스로 추정합니다.
  • 그리고 뼈대 정보와 추정된 시간을 조합하여, **그 시간에 조영제가 어떻게 흐를지 확률적으로 상상 (생성)**해냅니다.
  • 마치 시간 여행을 하듯, "아, 이 환자는 동맥기 (초기) 를 찍지 않았구나. 그럼 내가 뼈대 정보를 바탕으로 동맥기 때 조영제가 어떻게 퍼졌을지 만들어내자"는 것입니다.

3. 결과: "사진이 하나뿐이어도 완벽하게 진단"

이 기술의 가장 놀라운 점은 데이터가 매우 부족할 때에도 강력하다는 것입니다.

• 기존 AI: 동맥기 사진이 없으면 "아, 중요한 게 없네"라고 포기하거나 엉뚱한 답을 냅니다.
• TARDis: 동맥기 사진이 없어도, "뼈대는 이렇고, 시간은 이렇다면, 동맥기 때는 이렇게 보였을 거야"라고 상상해서 채워 넣습니다.

실제 실험 결과, 사진이 하나만 있어도 다른 AI 들보다 훨씬 정확하게 종양을 찾아내고 분류했습니다. 마치 한 장의 스케치만으로도 완성된 그림을 그려내는 천재 화가와 같습니다.

---

🌟 왜 이것이 중요한가요?

1. 환자의 안전: 더 이상 모든 시점을 찍을 필요가 없습니다. 필요한 정보만 있으면 되므로 방사선 피폭을 줄일 수 있습니다.
2. 진단의 정확성: 병원마다 찍는 방식이 달라서 (어떤 병원은 동맥기만 찍고, 어떤 병원은 정맥기만 찍는 등) 생기는 혼란을 해결합니다. TARDis 는 어떤 방식이든 일관된 진단을 내립니다.
3. 미래의 의료: "데이터가 부족해서 진단을 못 한다"는 변명이 사라집니다. AI 가 부족한 정보를 **물리 법칙 (혈류의 흐름)**에 기반하여 스스로 채워주기 때문입니다.

📝 한 줄 요약

TARDis는 "시간이 흐르며 변하는 종양의 모습"을 고정된 뼈대와 흐르는 물로 나누어 이해하고, 사진이 부족해도 AI 가 시간을 상상해 부족한 부분을 채워줌으로써, 적은 방사선으로도 정확한 암 진단을 가능하게 하는 혁신적인 기술입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 조영 증강 CT(Contrast-enhanced CT) 에서 종양의 정확한 진단과 분할은 조영제의 시간에 따른 혈역학적 프로파일 (Time-Attenuation Curve, TAC) 에 크게 의존합니다.
• 문제점:
  • 불완전한 모달리티 (Incomplete Modalities): 임상 현장에서는 방사선 피폭 제한, 촬영 시간, 병원 간 촬영 프로토콜의 불일치로 인해 모든 위상 (동맥기, 정맥기, 지연기 등) 을 포함한 완전한 데이터를 얻기 어렵습니다.
  • 기존 방법의 한계: 기존 딥러닝 접근법은 결손된 위상을 단순히 '빈 채널'로 취급하거나, 위상 간의 시간적 연속성 (Temporal Continuity) 을 무시하고 독립적인 채널로 간주합니다. 이로 인해 결손된 위상의 혈역학적 정보를 효과적으로 추론하지 못해 성능이 저하됩니다.
  • 도메인 시프트: 서로 다른 병원이나 장비에서 촬영된 데이터는 동일한 위상이라도 시간 지연 차이로 인해 강도 분포가 달라져 (Temporal Mismatch) 모델의 일반화 성능을 떨어뜨립니다.

2. 제안 방법론: TARDis (Methodology)

저자들은 **시간 감쇠 표현 분리 (Time Attenuated Representation Disentanglement, TARDis)**라는 새로운 물리 인식 (Physics-aware) 프레임워크를 제안합니다. 핵심 아이디어는 Hounsfield Unit(HU) 값을 **시간 불변의 정적 성분 (해부학)**과 **시간 의존적인 동적 성분 (관류)**으로 명시적으로 분리하는 것입니다.

가. 핵심 가설 (Hypothesis)

CT 의 HU 값은 다음 두 가지로 분해될 수 있다고 가정합니다:

1. 정적 성분 ($H_s$): 시간과 무관한 조직의 고유 해부학적 구조 및 기본 밀도 (비조영 CT 값과 동일).
2. 동적 성분 ($H_d$): 조영제가 조직을 통과하며 발생하는 시간 의존적 증강 프로파일 (위상별 특성).

나. 아키텍처 (Architecture)

TARDis 는 공유 인코더를 사용하여 유연한 수의 입력 모달리티를 처리하며, 두 가지 경로를 통해 특징을 분리합니다 (Fig. 3 참조).

1. 모달리티 무관 경로 (Modal-Agnostic Path - 정적 성분 추출):

   • 목적: 모든 위상에서 일관된 해부학적 구조를 추출.
   • 기법: VQ-VAE (Vector Quantized Variational Autoencoder) 기반의 학습 가능한 임베딩 사전 (Embedding Dictionary) 을 사용합니다.
   • 작동: 각 위상에서 추출된 특징을 사전의 가장 가까운 토큰으로 양자화 (Quantization) 하여 위상별 노이즈를 제거하고 일관된 해부학적 표현 ($\hat{X}_s$) 을 생성합니다.
   • 손실 함수: 서로 다른 위상 간의 표현 일관성을 보장하기 위해 쌍별 평균 제곱 오차 (Pair-wise MSE) 를 사용합니다.

2. 모달리티 특정 경로 (Modal-Specific Path - 동적 성분 추출):

   • 목적: 시간과 해부학에 조건부인 동적 증강 프로파일을 모델링.
   • 기법: 혈역학적 조건부 변이 오토인코더 (Hemodynamic Conditional VAE, HCVAE).
   • 작동:
     • 상대 시간 추정: 경량 회귀 네트워크를 통해 현재 스캔의 상대 시간 ($\tau$) 을 추정합니다 (마진 랭킹 손실 사용).
     • 생성 모델링: 추정된 해부학적 특징 ($\hat{X}_s$) 과 상대 시간 ($\tau$) 을 조건으로 하여, 동적 특징의 확률 분포를 학습하고 샘플링합니다.
     • 결손 처리: 추론 시 결손된 위상이 있더라도, 학습된 잠재 분포에서 샘플링하여 해당 시간점의 동적 특징을 확률적으로 재구성할 수 있습니다.

3. 적응형 조립 (Adaptive Assembly):

   • 분리된 정적 및 동적 특징을 주의 메커니즘 (Attention Mechanism) 을 통해 가중치 합으로 결합하여 최종 분할 마스크를 예측합니다. 이는 입력 모달리티의 수 ($N$) 가 변할 때 유연하게 대응합니다.

다. 학습 전략

• 모달리티 드롭아웃 (Modality Dropout): 훈련 시 임의의 위상을 드롭하여 모델이 특정 위상 조합에 의존하지 않도록 강제합니다.
• 분리 손실 (Disentanglement Loss): CLUB (Conditional Log-Bound) 손실을 사용하여 정적/동적 표현 간, 그리고 서로 다른 동적 표현 간의 상호 정보 (Mutual Information) 를 최소화하여 물리적으로 의미 있는 분리를 달성합니다.

3. 주요 기여 (Key Contributions)

1. 물리 기반 표현 분리: CT 혈역학의 물리적 원리 (TAC) 를 기반으로 해부학과 관류를 분리하는 새로운 프레임워크를 제안했습니다.
2. 불완전 데이터에 대한 강건성: 결손된 위상을 '빈 데이터'가 아닌 'TAC 상의 결손 샘플'로 재정의하여, CVAE 를 통해 결손된 혈역학적 정보를 확률적으로 추론하는 능력을 갖췄습니다.
3. 유연한 입력 처리: 고정된 채널 수를 요구하지 않고, 임의의 수 ($N$) 의 모달리티를 처리할 수 있는 공유 인코더 및 적응형 조립 모듈을 설계했습니다.
4. 물리 인식 (Physics-aware) 설계: 단순한 통계적 상관관계가 아닌, 시간과 해부학의 조건부 관계를 명시적으로 모델링하여 해석 가능성과 일반화 성능을 높였습니다.

4. 실험 결과 (Results)

저자들은 대규모 비공개 복부 CT 데이터셋 (Changhai, 2,282 명) 과 공개 데이터셋 (C4KC-KiTS, BraTS 2018) 을 통해 방법을 검증했습니다.

• 성능 우위:
  • 분류 (Classification): 종양 스크리닝, 양성/악성 분류, 아형 진단 (Subtype Diagnosis) 모두에서 기존 SOTA 방법 (RFNet, mmFormer, M3AE 등) 을 압도적으로 상회했습니다. 특히 아형 진단에서 TARDis 는 평균 AUC 0.923 을 기록하여 2 위 방법 (0.760) 보다 월등히 높았습니다.
  • 분할 (Segmentation): 단일 모달리티 (예: 비조영 CT 만 존재) 상황에서도 TARDis 는 Dice 점수 0.859 를 기록하여, 결손 시 성능이 급격히 떨어지는 기존 방법들 (0.6~0.7 대) 보다 훨씬 강건했습니다.
• 강건성 분석:
  • 중요한 위상 (동맥기, 정맥기) 이 결손되었을 때 기존 방법들은 성능이 급감했으나, TARDis 는 부드러운 성능 곡선을 유지하며 결손된 관류 정보를 성공적으로 추론함을 보였습니다.
  • MRI 데이터 (BraTS) 에도 적용 가능하여, CT 에 국한되지 않는 일반적인 불완전 모달리티 문제 해결 능력을 입증했습니다.
• 시각화: t-SNE 분석을 통해 정적/동적 특징이 명확히 분리되었고, 서로 다른 위상이 잠재 공간에서 하위 군집을 형성함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: 완전한 다중 위상 촬영이 불가능한 상황에서도 정확한 진단과 분할이 가능해져, 방사선 피폭을 줄이고 촬영 시간을 단축할 수 있는 잠재력을 제공합니다.
• 기술적 혁신: 기존 '채널 마스킹'이나 '단순 융합'의 패러다임을 넘어, 시간 감쇠 곡선 (TAC) 기반의 생성적 추론을 통해 데이터 결손 문제를 해결하는 새로운 접근법을 제시했습니다.
• 확장성: 이 '연속 시간 분리 (Continuous-time Disentanglement)' 패러다임은 저선량 진단, 병원 간 데이터 정합 등 다양한 의료 영상 과제로 확장 가능할 것으로 기대됩니다.

요약하자면, TARDis 는 결손된 CT 데이터의 물리적 특성을 이해하고, 해부학적 구조와 시간적 변화를 분리하여 학습함으로써, 극단적인 데이터 희소성 상황에서도 높은 진단 정확도를 유지하는 혁신적인 프레임워크입니다.