기술 요약: REVEAL – 잠재 생성(Latent Generation)을 위한 표현 기반 내시경 시각 임베딩 정렬

문제 정의

내시경 분야의 기초 생성 모델(Foundation Generative Models) 개발은 두 가지 주요 난관에 봉착해 있다: 자연 이미지와 임상 내시경 데이터 사이의 상당한 도메인 격차, 그리고 대규모 확산 트랜스포머(Diffusion Transformers, DiTs) 학습에 따르는 높은 계산 비용이다. 표현 정렬(Representation alignment)이 일반 컴퓨터 비전 분야에서 효율성을 개선해 왔으나, 고도로 전문화된 내시경 영상 공간에서의 효용성은 아직 입증되지 않았다. 기존 전략들은 대개 전역적인 의미론적 풍부함(Global semantic richness)을 우선시하는 범용 비전 인코더(예: ImageNet 사전 학습 모델)에 의존한다. 그러나 내시경 장면은 미세한 점막 질감, 경면 반사(Specular reflections), 복잡한 해부학적 형태에 의해 정의되므로, 전역적인 의미론적 레이블만으로는 불충분한 신호를 제공한다. 도메인 외(Out-of-domain)의 의미론적 프록시에 의존하는 것은 차원이 낮은 형태학적 충실도(Morphological fidelity)와 내시경 매니폴드의 미묘한 임상적 특성을 포착하지 못하는 결과를 초래할 위험이 있다. 더욱이, 기존의 내시경 기초 모델들은 주로 판별적(Discriminative) 모델이며, 대규모 생성적 사전 학습(Generative pretraining)을 임상적 시각 표현을 구축하는 경로로 탐구한 선행 연구는 없었다.

방법론

저자들은 500만 개의 레이블 없는 내시경 프레임으로 구성된 다기관 데이터셋인 **GastroNet-5M (GN-5M)**을 통해 학습된 기초 생성 모델인 REVEAL(Representation-driven Endoscopic Visual Embedding Alignment)을 소개한다.

아키텍처 및 학습

REVEAL은 압축된 잠재 공간 내에서 작동하는 잠재 생성 모델로서, 백본으로 Scalable Interpolant Transformer (SiT)를 활용한다. 이 프레임워크는 이중 목적 학습 전략을 채택한다:

1. 디노이징 목적 함수(Denoising Objective): 모델은 노이즈로부터 이미지를 합성하기 위해 확률적 보간 과정(Flow Matching)을 역전시키는 법을 학습한다.
2. 표현 정렬(Representation Alignment, REPA): 도메인 특화 지식을 주입하기 위해, 학생(Student) SiT 모델의 은닉 상태(Hidden states)를 동결된 도메인 적응형 "교사(Teacher)" 비전 인코더와 정렬한다. 이는 교사의 패치 수준 특징과 학생의 은닉 상태 사이의 코사인 유사도를 최대화함으로써 달성된다.

주요 아키텍처 개선 사항

iREPA 프레임워크를 기반으로, REVEAL은 고주파 해부학적 세부 사항을 보존하기 위해 다음과 같은 특정 수정 사항을 도입했다:

• 컨볼루션 투영(Convolutional Projection): 표준 다층 퍼셉트론(MLP) 대신 경량 컨볼루션 레이어를 투영 헤드에 사용한다. 이는 국소적 귀납 편향(Local inductive bias)을 도입하여 인접한 패치 토큰 간의 공간적 관계를 보존하고 미세한 질감의 손실을 방지한다.
• 공간 정규화(Spatial Normalization): 대상 표현에 공간 정규화 레이어를 적용하여 전역 분산을 억제하고 국소적 해부학적 구조의 신호 대 잡음비(SNR)를 높임으로써, 모델이 뚜렷한 구조적 신호에 집중할 수 있도록 한다.

전체 손실 함수는 디노이징 손실과 정렬 손실의 결합으로 구성된다 ($\mathcal{L} = \mathcal{L}_{\text{Denoising}} + \lambda \cdot \mathcal{L}_{\text{REPA}}$), 여기서 $\lambda$는 1로 설정된다.

도메인 적응

결정적으로, 교사 인코더는 범용 모델이 아니라 GN-5M 내시경 분포에 직접 사전 학습된 모델이다. 저자들은 대상 표현이 내시경 데이터의 고유한 시각적 특성과 본질적으로 정렬되도록 2단계 커리큘럼을 사용하여 GN-5M 상에서 DINOv3 ViT-B/16을 학습시켰다.

주요 기여

1. 정렬 설계의 체계적 벤치마크: 본 논문은 잠재 공간 선택(VAE 백엔드), 대상 표현, 그리고 모델 스케일링(SiT-S에서 SiT-L까지)이 형태학적 충실도와 수렴에 미치는 영향을 평가하는 광범위한 절제 연구(Ablation study)를 제공한다.
2. 강건성 및 일반화 평가: 모델은 실제 영상 아티팩트(모션 블러, 디포커스, 과노출 등)를 포함하는 오염된 강건성 벤치마크(BE-C)를 포함한 여러 독립적인 데이터셋을 통해 평가되어, 학습 분포를 넘어선 일반화 능력을 입증한다.
3. 최대 규모의 내시경 생성 기초 모델: REVEAL은 500만 프레임으로 학습된 현재까지 가장 큰 규모의 내시로스 생성 기초 모델이다. 이는 고충실도 이미지 생성기와 경쟁력 있는 특징 추출기라는 이중 목적을 수행한다.

결과

생성 성능

• 충실도(Fidelity): 최적의 구성은 SD2 잠재 공간과 DINOv3-B (GN-5M) 교사를 사용하는 것이다. 모델을 SiT-L/2로 스케일링하고 전체 GN-5M 데이터셋으로 학습했을 때, 서열 가우스 분포(Fréchet Inception Distance, FID) 5.32를 달성하였으며, 이는 하위 집합이나 범용 교사로 학습된 모델들을 크게 상회하는 수치이다.
• 질적 합성: REVEAL은 현실적인 점막 질감과 경면 하이라이트를 포착하는 고충실도 이미지를 생성한다. 또한 인페인팅(Inpainting) 및 아웃페인팅(Outpainting)과 같은 공간 편집 작업에서 구조적 일관성을 유지하며 위장관 매니폴드의 기하학적 제약을 준수한다.

판별 성능 (특징 추출)

명시적으로 분류를 위해 최적화되지 않은 생성 모델임에도 불구하고, REVEAL의 동결된 SiT 블록은 강력한 특징 추출기로 기능한다:

• 벤치마킹: POLAR(용종 분류) 및 BE(바렛 식도) 벤치마크에서 REVEAL은 기존의 내시경 기초 모델인 EndoViT 및 Endo-FM을 능가하는 경쟁력 있는 결과를 달ach했다.
• 강건성: 오염된 영상 조건(BE-C) 하에서, REVEAL은 급격히 성능이 저하된 EndoViT에 비해 우수한 강건성을 보여주었다. REVEAL은 범용 인코더(SAM2, DINOv2, DINOv3) 및 도메인 특화 판별 모델보다 뛰어난 성능을 유지하며 경쟁력을 입증했다.

의의 및 주장

본 논문은 도메인 적응형 시각적 사전 지식과의 표현 정렬이 의료 영상의 합성 충실도를 이끄는 주요 동력이라고 주장한다. 저자들의 주장은 다음과 같다:

• 도메인 특수성의 중요성: 도메인 내 인코더가 범용 대안보다 일관되게 우수한 성능을 보였으며, 이는 도메인 외의 의미론적 프록시에 의존하는 것이 임상적 미묘함을 포착하기에 불충분함을 증명한다.
• 생성적 사전 학습의 유효한 경로: 대규모 생성적 사전 학습은 임상적 시각 표현을 구축하기 위한 마스크 이미지 모델링(Masked Image Modeling)의 유효하고 보완적인 경로이다.
• 이중 용도: 정렬된 잠재 공간은 희귀 병변 생성(조건부 합성), 생성적 특징을 통한 분할(Segmentation), 분포 외 탐지(OOD detection)를 포함한 다운스트림 태스크를 위한 다재다능한 기초를 제공한다.
• 진입 장벽 완화: 방대한 임상 데이터로 학습된 고용량 백본을 제공함으로써, REVEAL은 전문화된 임상 도구 개발을 위한 계산적 문턱을 낮추어 미래의 지능형 소화기 내과 시스템을 위한 개방적이고 다재다능한 기초를 제공한다.

저자들은 모델이 판별 태스크를 위해 명시적으로 학습되지 않았음에도 불구하고, 깨끗한 조건과 오염된 조건 모두에서 전문 판별 모델을 능가하는 능력은 생성적 사전 학습을 통해 견고하고 해부학적으로 일관된 표현을 학습하는 것의 가치를 강조한다고 결론짓는다.