기술 요약: 구조화된 파운데이션 모델 적응을 통한 기하학적 일관성을 갖춘 내시경 표현 학습

1. 문제 정의

단안 내시경(예: 기관지경, 부비동 수술, 결장경)에서의 정확한 비전 기반 내비게이션은 깊이 정보의 부족, 약한 조직 질감, 비강체 변형, 그리고 다양한 임상 도메인에 걸친 상당한 외관 변화로 인해 어려움을 겪고 있습니다. 이러한 요인들은 포즈 추정, 깊이 예측, 이미지-해부학적 정렬을 복잡하게 만듭니다. 최근의 비전 파운데이션 모델(FM)은 강력한 사전 학습된 표현을 제공하지만, 안정적인 공간 추론에 필요한 기하학적 일관성(geometry-consistent) 있는 특징은 부족한 경우가 많습니다. 또한, 이러한 대규모 모델을 내시경 장면으로 적응시키는 것은 정밀한 기하학적 지도(예: 카메라 포즈, 3D 구조, 조밀한 깊이)를 포함하는 대규모의 라벨링된 임상 데이터셋이 부족하기 때문에 어렵습니다. 기존 방법들은 기하학적 일관성을 강제하지 않고 의미론적 인지에만 집중하거나, 하드웨어 및 조명에 따른 도메인 변화에 민감한 도메인 특화 사전 학습에 의존합니다.

2. 방법론

저자들은 세 가지 핵심 구성 요소를 통해 기하학적으로 일관되고 도메인에 강건한 이미지 표현을 학습하기 위한 통합 프레임워크를 제안합니다.

A. 다층적 도메인 무작위화를 적용한 합성 데이터 파이프라인

임상적 기하학 라벨의 부족을 극복하기 위해, 본 프레임워크는 CT 유래 해부학적 모델로부터 생성된 목적 맞춤형 합성 데이터셋을 활용합니다.

• 생성: 가상 내시경 뷰를 샘플링된 카메라 궤적을 따라 렌더링하여, 정답(ground-truth) 깊이 및 상대적 포즈가 포함된 쌍(pair) 이미지를 생성합니다.
• 증강: Sim-to-Real 간극을 메우기 위해, 프레임워크는 현실적인 외관 변환을 위한 CycleGAN을 사용하며, 네 가지 이미지 모달리티(RGB, 합성 RGB, 렌더링된 깊이, 기성 디스패리티 예측값)를 포함합니다.
• 무작위화: 훈련에는 광도 변환, 블러, 노이즈, 얇은 판 스플라인(thin-plate spline) 변형 및 쌍 레벨의 재배열을 포함한 광범위한 무작위화가 포함되어 도메인 불변성을 보장합니다.

B. 계층 인식 기하-의미론적 적응 (HGSA)

파운데이션 모델 전체를 균일하게 미세 조정하는 대신, 저자들은 사전 학습된 Vision Transformer의 특정 레이어에 저차원 어댑터(LoRA)를 선택적으로 삽ale하는 구조화된 적응 전략인 HGSA를 도입합니다.

• 계층적 탐색: 프레임워크는 다음을 포함한 최적의 어댑터 구성을 결정하기 위해 조粗-세밀(coarse-to-fine) 탐색을 수행합니다:
  1. 레이어 배치: 어떤 트랜스포머 레이어($L_a$)가 적응으로부터 가장 큰 이득을 얻는지 식별 (예: 레이어 5–12가 최적으로 발견됨).
  2. 대상 모듈: 수정할 어텐션 프로젝션($V, QV, QVK, QVKO$) 선택.
  3. 용량: 어댑터 랭크($r$) 및 스 scaling factor($\alpha$) 튜닝.
• 근거: 이 접근 방식은 적응 과정을 트랜스포머의 고유한 계층 구조와 정렬시켜, 중간 레이어는 기하학적 대응 관계를 학습하도록 유도하고, 더 깊은 레이어는 의미론적 추상화를 보존하도록 합니다.

C. 계층 인식 감독 목적 함수

훈련 목적 함수는 기하학적 일관성과 의미론적 강건성을 모두 강제하기 위해 세 가지 손실 항을 결합합니다:

1. 기하 인식 특징 대응 ($L_{ms}$): 중간 특징에 적용되는 이 손실은 PatchNCE와 코사인 재투영 손실을 결합한 다중 스케일 조밀 토큰 손실을 사용합니다. 이는 합성 깊이에서 유도된 정답 플로우 필드를 사용하여 한 뷰의 특징을 다른 뷰로 워핑(warp)함으로써 공간적 일관성을 강제합니다.
2. 의미 인식 표현 정규화 ($L_{InfoNCE}$): 더 깊은 레이어의 글로벌 토큰에 적용되는 이 인스턴스 레벨 대비 학습 손실은 쌍으로 된 뷰의 장면 레벨 임베딩을 정렬하여 도메인 간 의미론적 일관성을 보장합니다.
3. 교사 증류 ($L_{Gram}$): 고정된 DINO 교사 모델을 사용하는 Gram 기반 정규화로, 패치 특징의 상관 구조를 보존하여 모델이 공간적 충실도를 희생하면서 글로벌 의미론에만 과도하게 집중하는 것을 방지합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 통합 파이프라인: 합성 기하학 데이터셋, HGSA 메커니즘, 그리고 계층 인식 및 레이어별 목적 함수를 통합하여 기하학적으로 일관되면서도 도메인에 강건한 내시경 표현을 학습하는 엔드 투 엔드 프레임워크를 제공합니다.
• HGSA의 효능: HGSA가 표현 품질을 향상시키는 효과적인 적응 전략임을 입증하는 통제된 실험을 수행했습니다. 결과적으로 얻은 표현은 다운스트림 내비게이션 작업(포즈 및 깊이 추정)을 지원하며, 다양한 내시경 도메인 전반에서 유용하게 유지됩니다.
• 일반화 및 확장성:
  • Sim-to-Real 전이: 추가적인 인코더 적응 없이 합성 기관지경 데이터에서 실제 환자 영상으로의 강력한 전이를 입증했습니다.
  • 교차 도메인 전이: 제한된 감독 하에 기관지경 학습된 인코더를 부비동 및 결장경 데이터셋에 적응시키는 능력을 보여주었습니다.
  • 확장성: 프레임워크가 더 큰 백본 모델(ViT-S에서 ViT-L까지) 및 더 큰 훈련 데이터 크기에 따라 유리하게 확장됨을 검증했습니다.

4. 실험 결과

프레임워크는 선형 프로빙(linear probing)과 다운스트림 내비게이션 작업을 통해 기관지경, 부비동, 결장경 데이터셋에서 평가되었습니다.

• 표현 품질 (Probing):

  • HGSA 구성(특히 Cfg 7.4.8: 레이어 5–12, QVKO 모듈, 랭크 32, 스케일 64)은 의미론적 정확도(장면 분류)와 기하학적 정확도(깊이 추정) 사이의 균형을 맞추며 가장 높은 결합 프로빙 점수($S_{probe}$)를 달성했습니다.
  • 절제 연구(Ablation studies)를 통해 구성 요소 중 하나라도 제거하면 성능이 저하됨을 확인했으며, 특히 $L_{InfoNCE}$는 의미론적 분리성에, $L_{ms}$는 기하학적 일관성에 결정적임을 확인했습니다.
  • 토큰 레벨 기하 대응 메트릭(PCK@1, 코사인 유사도)에서 제안된 방법은 일반 DINO 및 전체 LoRA 베이스라인보다 우수한 성능을 보였습니다.

• 다운스트림 내비게이션 작업:

  • 포즈 추정: 실제 기관지경 영상에서 제안된 인코더는 베이스라인에 비해 우수한 렌더링-이미지 정렬(NC, DS, SI 지표)을 달ach하여, 더 정확한 포즈 최적화를 나타냈습니다.
  • 깊이 추정: 해당 방법은 더 구조적으로 일관된 깊이 맵을 생성했습니다.
  • 교차 도메인 전이: 제한된 타겟 데이터로 부비동 및 결장경에 적응했을 때, 프레임워크는 깊이 추정에서 일관되게 일반 및 전체 LoRA 베이스라인을 능가했습니다. 포즈 추정의 경우 결장경에서는 개선이 뚜렷했으나, 부비동의 경우 미세 조정에 사용된 데이터셋의 크기가 작아 개선 폭이 완만했습니다.

• 확장성: 성능은 더 큰 백본(ViT-L > ViB > ViS) 및 더 큰 훈련 데이터 서브셋(100% > 50% > 25%)에 따라 단조 증가하였으며, 이는 조기 포화 현상이 없음을 시사합니다.

5. 의의 및 주장

저자들은 본 연구를 범용 파운데이션 모델과 수술용 내비게이션의 특정 기하학적 요구 사항 사이의 중요한 간극을 메우는 실질적인 접근법으로 위치시킵니다.

• 실용적 유용성: 본 프레임워크는 정밀한 임상 주석을 요구하지 않고 합성 데이터와 구조화된 적응을 활용함으로써, 강건한 내비게이션 도구를 구축하기 위한 확장 가능한 경로를 제공합니다.
• 일반화에 대한 신중한 주장: 저자들은 프레임워크가 부비동 및 결장경으로의 전이 가능성을 보여주지만, 이는 제로샷 일반화가 아닌 제한된 타겟 도메인 적응에 기반한 결과임을 명시했습니다. 그들은 부비동 내시경에서의 성능 변화가 특정 도메인에서의 추가 데이터나 타겟 적응의 필요성을 강조한다고 인정했습니다.
• 핵심 통찰: 본 논문은 일반적인 시각적 특징을 도전적인 내시경 환경에서 안정적이고 기하학적으로 일관된 추론을 지원할 수 있는 표현으로 변환하기 위해 "계층 인식, 기하학 가이드 적응"이 필수적이라고 주장합니다.