기술 요약: 대장내시경 영상에서의 노이즈가 있는 시간적 자기지도학습을 위한 대비 학습

문제 정의

폴립 트랙릿(동일한 폴립의 연속된 검출 시퀀스)의 견고한 표현 학습은 폴립 특성 분석, 자동 보고서 작성, 병변 검색 등 다양한 AI 지원 대장내시경 응용 분야에 필수적입니다. 지도 대비 학습은 효과성이 입증되었으나, 이는 영상 전반에 걸쳐 동일한 기본 폴립에 검출을 연결하는 '폴립 엔티티' 주석에 의존합니다. 이러한 주석을 생성하는 것은 비용이 많이 들고 시간이 소요되며 전문적인 임상 지식을 필요로 하므로, 지도 접근법의 확장성을 제한합니다.

기존의 자기지도 학습 방법은 이를 우회하기 위해 트랙릿을 불연속 세그먼트로 분할하거나 클러스터링합니다. 그러나 이러한 접근법은 영상 전반에 걸친 폴립 엔티티의 완전한 의미론적 일관성을 포착하지 못하는 경우가 많습니다. 반면, 명시적인 엔티티 주석을 활용하는 최근의 지도 학습 방법은 우수한 성능을 보여 지도 학습과 자기지도 학습 간의 상당한 격차를 부각시킵니다. 대장내시경의 시각적 환경이 매우 가변적임에도 불구하고(시점, 크기, 조명, 모션 블러, 가림 등의 변화), 수동 엔티티 주석에 의존하지 않고 이 격차를 좁히는 것이 과제입니다.

방법론

제안된 프레임워크는 대장내시경 절차의 고유한 순차적 워크플로우를 활용하여 시간적 구조에서 자기지도 연관성을 도출합니다. 핵심 가정은 시간적으로 가까이 포착된 관측치는 동일한 폴립 엔티티를 묘사할 가능성이 높다는 것입니다.

1. 자기지도로서의 시간적 구조

이 방법은 실제 폴립 검출로부터 트랙릿 집합 $\{x_i\}$를 구성합니다. 영상 $v_i$ 내의 각 앵커 트랙릿 $i$에 대해, 동일한 영상($v_j = v_i$) 내의 다른 트랙릿들로부터 후보 긍정 트랙릿의 '배지(bag)'를 구성합니다.

• 순위 매기기: 트랙릿을 앵커로부터의 시간적 거리에 따라 정렬합니다.
• 배지 구성: 시간적으로 가장 가까운 트랙릿만 선택하는 것 (이는 중복된 뷰를 초래함) 대신, 지수 분포 $P_\tau(r) \propto \exp(-r/\tau)$에서 $K$개의 서로 다른 순위를 샘플링합니다. 온도 매개변수 $\tau$는 배지의 다양성을 조절합니다: 낮은 $\tau$는 가까운 이웃을 선택하여 높은 유사성과 낮은 노이즈를, 높은 $\tau$는 먼 이웃을 선택하여 높은 다양성과 더 높은 잘못된 연관성 위험을 초래합니다.
• 커리큘럼 학습: 뷰 다양성과 연관성 정확도 간의 균형을 맞추기 위해 커리큘럼 변수 $c \in [0, 1]$를 도입합니다. 온도 $\tau$는 훈련 과정에서 코사인 스케줄을 사용하여 최소값에서 최대값으로 점진적으로 증가합니다. 이를 통해 모델은 안전하고 매우 유사한 연관성으로 시작하여 점차 더 다양하고 잠재적으로 노이즈가 많은 시간적 연관성으로부터 학습할 수 있습니다.

2. 노이즈 인식 대비 손실 함수

시간적 근접성이 두 트랙릿이 동일한 폴립에 속함을 보장하지는 않기 때문입니다 (예: 빠르게 연속해서 나타나는 두 개의 서로 다른 폴립). 결과적으로 생성된 '배지'에는 '불순한' 샘플 (서로 다른 폴립의 트랙릿) 이 포함될 수 있습니다. 배지 내의 모든 샘플을 긍정으로 취급하면 표현 학습이 저하될 수 있습니다.

저자들은 표준 대비 제약을 완화하는 노이즈 인식 대비 손실 함수를 제안합니다. 배지 내의 모든 긍정 샘플이 앵커와 유사해야 한다는 요구 대신, 이 손실 함수는 적어도 하나의 트랙릿이 배지 내 다른 어떤 앵커의 트랙릿보다 앵커와 더 유사하도록 강제합니다.

• 수학적 공식화: 손실 함수는 최대 연산자의 로그 - 합 - 지수 (log-sum-exp) 근사를 사용합니다. 이는 배지 내 최상위 일치 긍정과 앵커 간의 유사성을 최대화하면서, 다른 앵커의 부정 샘플과 앵커 간의 유사성을 최소화합니다.
• 효과: 이 공식화는 모델이 배지 내의 노이즈가 있는 (잘못된) 시간적 연관성을 효과적으로 '무시'하여 학습된 임베딩 공간의 저하를 방지할 수 있게 합니다.

3. 아키텍처

이 프레임워크는 프레임 임베딩 추출을 위한 ResNet-50 으로 구성된 경량 인코더와 전역 트랙릿 표현을 집계하기 위한 세 개의 트랜스포머 인코더 레이어 스택을 사용합니다. 손실 함수는 최종 트랙릿 임베딩, 프레임 단위 임베딩, 또는 둘 다에 적용될 수 있습니다.

주요 기여

1. 자기지도 프레임워크: 대장내시경의 순차적 워크플로우를 활용하여 시간적 구조에서 자기지도 신호를 구축하고 수동 폴립 엔티티 주석의 필요성을 제거하는 새로운 접근법.
2. 노이즈 인식 대비 손실 함수: 배지 내 가장 일관된 긍정 샘플만이 학습 과정을 주도하도록 보장함으로써 노이즈가 있는 시간적 연관성의 영향을 완화하도록 설계된 손실 함수.
3. 종합적 평가: 여러 하류 작업에 대해 네 개의 공개 데이터셋 (REAL-Colon, SUN, PolypSize, PolypsSet) 에서 수행된 광범위한 평가로, 최근 파운데이션 모델과 맞먹거나 초과하는 성능을 입증함.

결과

이 방법은 REAL-Colon 데이터셋의 27 개 영상 (85 개 폴립) 으로만 훈련되었으며 네 가지 하류 작업에서 평가되었습니다:

• 폴립 검색: 평균 정밀도 (mAP) 와 히트율로 측정.
• 재식별 (ReID): AUROC 와 AUPR 로 측정.
• 크기 추정: 비선형 프로빙을 통한 이진 분류 (소형 vs 비소형).
• 조직학 분류: 비선형 프로빙을 통한 이진 분류 (선종 vs 비선종).

성능 하이라이트:

• 자기지도 베이스라인 대비: 제안된 방법은 이전 자기지도 접근법 (예: TPC, MVE, SFE) 보다 검색 mAP 에서 23.69% 상대적 개선, 조직학 정확도에서 24.4% 개선 등 상당한 차이로 우위를 점했습니다.
• 완전 지도 베이스라인 대비: 이 방법은 비싼 엔티티 주석에 의존하는 완전 지도 베이스라인과 비교하여 일관되게 우수하거나 동등한 성능을 달성했습니다. 예를 들어, ReID 에서 최상의 지도 베이스라인 대비 AUPR 을 18.56% 개선했습니다.
• 파운데이션 모델 대비: 27 개 영상으로 훈련된 경량 인코더 (25.6M 파라미터) 는 모든 작업에서 1136M 파라미터의 DinoV2-giant 와 같은 대규모 범용 파운데이션 모델 및 내시경 전용 파운데이션 모델과 맞먹거나 초과하는 성능을 보였습니다.
• 애블레이션 연구: 지수 순위 기반 샘플링과 커리큘럼 학습 전략 모두 성능 향상에 기여함을 확인했습니다. 프레임 및 트랙릿 임베딩 모두에 손실을 적용했을 때 가장 좋은 전체 결과가 나왔습니다.

중요성 및 주장

이 논문은 이 작업이 임상 응용 분야에서 높은 성능을 유지하면서 수동 주석에 대한 의존성을 크게 줄여 대장내시경에서의 확장 가능한 표현 학습을 가능하게 한다고 주장합니다. 대장내시경 영상의 절차적 구조를 활용하고 시간적 자기지도학습에 내재된 노이즈를 처리하는 메커니즘을 도입함으로써, 저자들은 견고한 폴립 트랙릿 표현을 효율적으로 학습할 수 있음을 입증했습니다. 소규모 데이터셋으로 훈련된 경량 아키텍처를 사용하여 대규모 파운데이션 모델의 성능과 맞먹거나 초과할 수 있다는 능력은, 데이터 주석 자원이 제한된 임상 환경에서 AI 지원 도구를 배포하기 위한 실용적인 길을 제시합니다.