기술 요약: CoGE – 단안 대장내시경을 위한 시뮬레이션-실제 온라인 기하학적 추정

문제 정의

기하학적 추정 (깊이 추정 및 장면 재구성을 포함) 은 대장내시경 중 외과 의사에게 3 차원 공간 지각 및 내비게이션을 제공하는 데 필수적입니다. 그러나 대장의 좁고 폐쇄된 특성으로 인해 실제 대장내시경에서 기하학적 정답 (깊이 맵, 점 구름, 카메라 매개변수) 을 획득하는 것은 극도로 어렵고 비용이 많이 듭니다. 자기지도 학습 방법이 존재하지만, 종종 지도 학습 모델보다 성능이 떨어집니다. 반면, 지도 학습 모델은 일반적으로 정답이 포함된 대규모 데이터셋을 필요로 하는데, 이는 현실적인 환경에서 희귀합니다. 시뮬레이션 소프트웨어 (예: VR-Caps) 가 기하학적 정답을 생성할 수 있지만, 아티팩트와 조명 다양성으로 인해 시뮬레이션 데이터와 실제 데이터 사이에 상당한 "특성 격차"가 존재합니다. 또한, 기존 시뮬레이션-실제 접근 방식은 종종 실제 데이터를 전처리하기 위해 스타일 변환 네트워크에 의존하는데, 이는 추론 효율성을 저하시키고 장면 간 성능을 저해할 수 있습니다.

방법론

저자들은 시뮬레이션 데이터만으로 훈련되지만 실제 장면에서 효과적으로 작동하는 온라인 단안 기하학적 추정을 위한 기반 모델 기반 프레임워크인 CoGE를 제안합니다. 이 프레임워크는 캐시된 이전 프레임 $I_{t-1}$과 현재 프레임 $I_t$로 구성된 관찰 쌍을 입력받아 점 맵, 카메라 포즈, 조명 맵, 신뢰도 맵을 출력합니다.

1. 구조 인식 지각 (SAP)

특성 격차를 해결하고 시뮬레이션 및 실제 장면 전반에 걸쳐 공통된 구조적 특징을 추출하기 위해, 저자들은 웨이블릿 변환을 기반으로 한 구조 인식 지각 블록을 내장합니다.

• 분해: 입력 이미지는 이산 웨이블릿 변환 (DWT) 을 통해 네 개의 서브밴드로 분해됩니다: Low-Low (근사), Low-High (수평 세부 사항), High-Low (수직 세부 사항), High-High (대각선 세부 사항).
• 특성 추출: 모델은 저주파 (Low-Low) 성분에서 특징을 추출하기 위해 윈도우 기반 멀티헤드 자기 어텐션 (W-MHSA) 을 활용하고, 다른 밴드에서 고주파 국부 세부 사항을 추출하기 위해 특정 컨볼루션 커널 ($7\times1$, $1\times7$, $3\times3$) 을 사용합니다.
• 융합: 서로 다른 웨이블릿 구성의 특징들을 융합하고 역 DWT 를 통해 재구성하여 최종 구조적 표현을 형성합니다.

2. 조명 인식 감독 (IAS)

대장 내의 다양하고 불안정한 조명 조건을 처리하기 위해 자기지도 학습 기반의 조명 인식 감독 모듈이 도입됩니다.

• 이론: 레틴렉스 (Retinex) 이론에 기반하여, 이 모듈은 이미지의 본질적 성분이 기울기 영역에서 조명에 불변이라고 가정합니다.
• 메커니즘: IAS 모듈은 조명 영향 맵 ($L_t$) 과 본질적 그래프 ($A_t$) 를 생성합니다. 훈련 중 $L_t$는 추정 결과의 신뢰도 맵 ($C_t$) 을 조정하는 데 사용되어, 조명 분포에 기반하여 모델의 신뢰도를 효과적으로 제어함으로써 조명 간섭을 완화합니다.

3. 메모리 포기 메커니즘

대장내시경에서 일반적인 긴 시퀀스를 고려하여, 프레임워크는 중복 정보를 관리하기 위해 포기 메커니즘이 포함된 메모리 시스템을 사용합니다.

• 읽기: 이전 특징은 키 ($M_k$) 와 값 ($M_v$) 메모리 캐시에서 관련 정보를 검색합니다.
• 포기: 임계값 기반 메커니즘이 메모리 토큰을 필터링합니다. 특정 임계값 (5e-4) 미만의 어텐션 가중치를 가진 메모리 토큰이 5% 미만의 특징 토큰에 대해 존재하는 경우, 이는 관련이 없는 것으로 간주되어 삭제됩니다. 이는 현재 관찰에 간섭할 수 있는 중복 메모리의 축적을 방지합니다.
• 업데이트: 새로운 메모리는 메모리 관련 특징에서 인코딩되어 필터링된 캐시와 연결됩니다.

4. 아키텍처 개요

백본은 SAP 블록에 이어지는 여섯 개의 ViT-L 블록을 활용합니다. 디코더는 현재 및 메모리 관련 특징을 처리하기 위해 자기 어텐션과 교차 어텐션을 사용하는 여섯 개의 블록으로 구성됩니다. 하류 헤드 (DPT) 는 최종 점 맵, 카메라 포즈, 신뢰도 맵을 출력합니다.

주요 기여

1. 구조 인식 지각: 시뮬레이션 및 실제 대장내시경 장면 간에 공유되는 공통 구조적 및 국부적 특징 (에지) 을 추출하기 위해 웨이블릿 변환을 활용하는 새로운 블록.
2. 조명 인식 감독: 대장 표면의 다양한 조명 조건이라는 과제를 해결하기 위해 조명 분포에 기반하여 기하학적 추정의 신뢰도를 조정하는 모듈.
3. 메모리 포기 메커니즘: 긴 시퀀스에서 과거 관찰의 간섭을 줄이기 위해 중복 및 관련 없는 메모리 토큰을 필터링하는 전략.
4. 시뮬레이션-실제 성능: 시뮬레이션 데이터만으로 훈련된 모델이 스타일 변환 전처리가 필요 없이 보지 못한 시뮬레이션 장면과 실제 대장내시경 데이터셋 모두에서 최첨단 성능을 달성함.

실험 결과

모델은 VR-Caps (SimCol3D) 의 24 개 시뮬레이션 시퀀스로 훈련되었으며, 실제 데이터셋 (C3VD, C3VDv2) 과 자체 이미지에서 평가되었습니다.

• 단안 깊이 추정: SimCol 데이터셋에서 CoGE 는 Abs Rel 0.027과 $\delta < 1.25$ 정확도 0.995를 달성하여 STream3R, MonST3R, CUT3R 과 같은 다른 기반 모델들을 능가했습니다. 실제 데이터셋 (C3VD 및 C3VDv2) 에서도 일관되게 가장 낮은 오율 (예: C3VD 에서 Abs Rel 0.083) 과 가장 높은 정확도 지표를 달성하여 최첨단 방법들보다 우수한 성능을 보였습니다.
• 3D 재구성: 평균 유클리드 거리 (mED) 와 특정 오차 임계값 ($\delta < N$) 이내의 점 비율을 사용하여 CoGE 는 우수한 재구성 정확도를 입증했습니다. 예를 들어, C3VD 에서 mED 3.957과 $\delta < 4.0$ 비율 0.645를 달성하여 STream3R 및 CUT3R 과 같은 경쟁자들을 크게 능가했습니다.
• 애블레이션 연구: SAP 블록, IAS 모듈, 또는 메모리 포기 메커니즘을 제거하면 모든 데이터셋에서 측정 가능한 성능 저하가 발생하여 각 구성 요소의 필요성이 확인되었습니다.

중요성 및 주장

이 논문은 CoGE 가 내시경을 위한 시뮬레이션-실제 기하학적 추정에서 중요한 진전을 나타낸다고 주장합니다. 오직 시뮬레이션 데이터만으로 훈련함으로써, 이 방법은 비용이 많이 들고 획득하기 어려운 실제 세계 기하학적 정답의 필요성을 우회합니다. 이 프레임워크는 비효율적인 스타일 변환 전처리에 의존하는 대신, 웨이블릿 기반 구조 추출 및 조명 인식 신뢰도 제어와 같은 특정 아키텍처 혁신을 통해 도메인 격차를 성공적으로 해소합니다.

저자들은 모델이 실시간 추론 (>15 FPS) 을 달성하지만, 구조 인식 지각 블록의 포함으로 인해 경량 모델에 비해 효율성이 약간 감소한다고 지적합니다. 또한, 성능은 모션 블러, 급격한 동적 변화, 또는 특정 병변 조직이 존재할 경우 저하될 수 있음을 인정하며, 이는 향후 과제로 남아 있다고 덧붙였습니다. 주요 기여는 구조적 공통점과 조명 변이를 명시적으로 처리하도록 설계된 모델일 때, 시뮬레이션 훈련 데이터만으로도 대장내시경에서 고품질의 온라인 3D 지각이 가능함을 입증한 것입니다.