💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

이 논문은 시계열 메모리 큐(Temporal Memory Queue)를 활용하여 시계열 앵커(Temporal Anchors)를 생성하고 꼬리 클래스(tail classes)의 잠재적 지지 영역을 점진적으로 확장함으로써, 의료 영상 분류에서 클래스 불균형을 완화하고 결정 경계를 개선하는 새로운 프레임워크인 순환 대조 학습(Recurrent Contrastive Learning, RCL)을 제안한다.

원저자: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물원을 돌아다니며 다양한 종류의 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 만약 동물원에 사자는 1,000마리뿐인데 호랑이는 단 5마리뿐이라면, 로봇은 사자를 포착하는 데는 매우 능숙해지겠지만 호랑이가 어떻게 생겼는지는 잊어버리거나, 더 심하게는 모든 고양이과 동물을 사자라고 생각할 수도 있습니다. 이는 의료 AI 분야에서 흔히 발생하는 '클래스 불균형(class imbalance)'이라는 문제입니다. 의사들은 흔한 질병에 대한 데이터는 엄청나게 많지만, 드물거나 심각한 질병에 대한 데이터는 매우 적습니다. AI 모델이 이렇게 불균형한 데이터로 학습되면, 흔한 것들에 편향되어 드물고 중요한 사례들을 놓치게 됩니다. 이를 해결하기 위해 과학자들은 보통 로봇에게 희귀한 동물의 사진을 더 많이 보여주거나(리샘플링), 수업 중에 그들에게 더 주의를 기울이라고 말하는(가중치 재설정) 방법을 시도합니다. 하지만 여기에는 함정이 있습니다. 이러한 방법들은 종종 로봇이 가진 몇 안 되는 희귀한 사진들을 더 열심히 들여다보게 만들 뿐, 실제로 희귀한 동물이 흔한 것들로부터 명확하게 구별될 수 있도록 로봇의 뇌 속에 충분한 '공간'을 만들어주지는 못합니다.

여기서 주지위안(Zhiyuan Zhu)과 그의 팀이 **순환 대조 학습(Recurrent Contrastive Learning, RCL)**이라는 영리한 아이디어로 등장합니다. 단순히 카드를 섞거나 희귀한 것들에게 더 크게 소리치는 대신, 그들은 희귀 질병이 AI의 마음속에서 영토를 확장할 수 있도록 돕는 '메모리 버퍼'를 구축하기로 했습니다. 이를 붐비는 댄스 플로어에 비유해 봅시다. 인기 있는 아이들(흔한 질병)이 공간을 모두 차지하고 있고, 희귀한 아이들(희귀 질병)은 아주 작은 구석에 찌그러져 있습니다. 연구진의 해결책은 이전 연습 세션에서 온 '유령 무용수들(ghost dancers)'—즉, 과거의 희귀한 아이들의 동작들—을 데려와 그들 주변에 서서 보호막을 만드는 것입니다. 이 버블은 인기 있는 아이들을 밀어내어, 희귀한 질병들이 제대로 인식될 수 있는 공간을 확보해 줍니다. 연구팀은 경동맥 초음파 스캔, 당뇨망막병증 이미지, 무릎 X-ray를 포함한 세 가지 의료 데이터셋을 통해 이 방법을 테스트했으며, 그 결과 그들의 방식이 이전 기술들보다 희귀한 상태를 더 잘 포착한다는 것을 발견했습니다.

문제점: 의료 AI의 "인기 있는 아이" 효과

의료 영상의 세계에서는 모든 질병이 동일하게 취급되지 않습니다. 감기나 가벼운 피부 발진처럼 항상 발생하는 것들이 있는 반면, 희귀한 유전 질환이나 특정 암 단계처럼 훨씬 덜 빈번한 것들도 있습니다. 우리가 이러한 상태를 진단하도록 AI를 학습시키는 것은, 흔한 감기에 대한 예시는 1,000개를 보았지만 희귀 질병에 대한 예시는 단 5개만 본 학생을 훈련시키는 것과 같습니다. 자연스럽게 학생(AI)은 감기 전문가가 되지만, 희귀한 질병을 보면 혼란에 빠집니다. 심지어 희귀 질병을 흔한 질병으로 착각할 수도 있는데, 이는 AI의 '마음' 속에서 희귀 질병이 독자적으로 존재할 수 있는 충분한 공간을 갖지 못하기 때문입니다.

논문은 기존의 해결책들이 희귀 질병의 예시를 더 많이 보여주거나(리샘플링), 혹은 그 몇 안 되는 예시에 "더 주의를 기울이라"고 지시함으로써(가중치 재설정) 이를 해결하려 한다고 지적합니다. 이러한 방법들이 어느 정도 도움은 되지만, 근본적인 문제는 해결하지 못합니다. 즉, 희귀 질병들은 여전히 AI의 특징 공간(feature space) 내에서 아주 작고 붐비는 구석에 갇혀 있습니다. 이들은 너무 조밀하게 모여 있어서 흔한 질병들이 쉽게 그들의 영역을 침범할 수 있으며, 이는 오류로 이어집니다.

해결책: 시간 여행하는 유령과 보호 버블

저자들은 **순환 대조 학습(Recurrent Contrastive Learning, RCL)**이라는 새로운 전략을 제안합니다. 이것이 어떻게 작동하는지 이해하기 위해, AI의 학습 과정을 시간에 따른 일련의 훈련 세션이라고 상상해 보세요.

1. 시간 여행 메모리 (Temporal Memory Queue)
보통 AI는 현재 훈련 중인 배치(batch)에서 보는 예시들만을 기억합니다. RCL은 **시간 메모리 큐(Temporal Memory Queue, TMQ)**라는 특별한 "타임머신"을 도입합니다. 이 큐는 단순히 현재의 이미지만 보유하는 것이 아니라, 이전 훈련 세션에서의 "특징 상태(feature states)"(이미지에 대한 AI의 이해)를 저장합니다. 이는 마치 지난주, 지난달에 AI가 무엇을 배웠는지 기록한 일기를 간직하는 것과 같습니다. 이를 통해 AI는 최근에 희귀 질병의 새로운 예시를 많이 보지 못했더라도, 과거에 그 희귀 질병을 어떻게 이해했었는지 되돌아볼 수 있습니다.

2. 유령 무용수 (Temporal Anchors)
여기에 마법 같은 기술이 있습니다. AI가 희귀 질병(꼬리 클래스, tail class)에 대해 학습하려고 할 때, AI는 자신의 시간 여행 일기를 들여다봅니다. 그리고 이전 세션에서 얻은 그 희귀 질병의 "유령 형태의 표현(feature representations)"인 "유령 무용수"들을 골라냅니다. 이 유령들은 **시간 앵커(Temporal Anchor, TAR)**를 만드는 데 사용됩니다.

희귀 질병이 광활한 대양 속의 작은 섬이라고 상상해 보세요. 근처에는 거대한 대륙인 흔한 질병들이 있습니다. 도움이 없다면, 바다의 파도(흔한 질병의 특징들)가 섬을 덮쳐서 구별하기 어렵게 만듭니다. TAR는 섬 주변에 설치된 일련의 부표나 보호 장벽 역할을 합니다. 이 부표들은 과거의 섬으로부터 온 "유령" 버전들로 만들어집니다. 이 부표들을 희귀 질병 주변에 배치함으로써, AI는 효과적으로 섬의 영토를 확장합니다. 이는 흔한 질병들을 밀어내는 "완충 지대"를 만들어, 희귀 질병이 자신만의 뚜렷한 공간을 가질 수 있도록 보장합니다.

3. 순환 루프 (Recurrent Loop)
이 과정은 "순환적"입니다. 즉, 반복해서 일어납니다. AI가 훈련함에 따라 새로운 정보로 메모리 큐를 계속 업데이트하지만, 동시에 오래된 앵커들도 계속 유지합니다. 이는 희귀 질병 주변에 점점 커지고 확장되는 영역을 만들어내어, 그들을 더 견고하고 흔한 것들과 잘 분리되도록 만듭니다.

결과: 더 선명한 그림

연구팀은 이 방법을 세 가지 실제 의료 데이터셋에 대해 테스트했습니다:

경동맥 초음파: 혈관 내 플라크를 확인하기 위한 목 혈관 이미지 (3,404개 이미지).
당뇨망막병증: 시력 손실을 확인하기 위한 안구 이미지 (3,662개 이미지).
무릎 골관절염: 무릎 관절염의 심각도를 등급화하는 X-ray (8,260개 이미지).

세 가지 경우 모두에서 RCL 방식은 기존의 가장 우수한 방법들보다 일관된 개선을 보여주었습니다.

경동맥 데이터셋에서, 이 새로운 방법은 기존 최고 기록을 경신하며 **87.10%**의 균형 정확도(Balanced Accuracy)를 달성했습니다.
무릎 데이터셋에서는, 특수한 메모리 기술 없이 기본 AI 모델만 사용했을 때보다 균형 정확도가 9.09% 향상되었습니다.
안구 데이터셋에서, 이 방법은 인간 전문가와 매우 높은 일치도를 나타내는 0.92의 이차 가중 카파(Quadratic Weighted Kappa) 점수를 기록했습니다.

연구진은 t-SNE(서로 다른 것들이 얼마나 가깝거나 먼지를 보여주는 지도와 같은 기술)를 사용하여 AI의 뇌 내부에서 어떤 일이 일어나고 있는지 시각화했습니다. 그들은 RCL이 없을 때 희귀 질병들이 작고 붐비는 점들로 찌그러져 있는 것을 보았습니다. 반면 RCL을 적용했을 때, 희귀 질병들은 흔한 질병들과의 명확한 "완충 지대"를 가진 크고 잘 정의된 영역으로 확장되었습니다. "유령 무용수(앵커)"들이 성공적으로 보호 필드를 형성하여 흔한 질병들이 희귀한 것들을 밀어내는 것을 막아주었습니다.

이것이 왜 중요한가

이 논문은 우리가 단순히 희귀 질병을 위한 더 많은 데이터를 필요로 하는 것이 아니라, 이미 가지고 있는 데이터를 사용하는 더 스마트한 방법이 필요하다는 점을 시사합니다. 희귀한 상태 주변에 보호 필드를 구축하기 위해 AI의 역사를 활용함으로써, 우리는 의료 AI를 더 공정하고 정확하게 만들 수 있습니다. 이는 현실 세계에서 희귀하지만 심각한 질병을 놓치는 것이 생명을 위협할 수 있기 때문에 매우 중요합니다. 저자들은 이 방법이 잘 작동하지만, 현재는 설정값(예: 메모리에 유지할 "유령"의 개수)에 대한 수동 튜닝이 필요하다고 언급했습니다. 향후 연구는 이 과정을 자동화하는 것을 목표로 할 것입니다. 하지만 지금으로서는, 이 "시간 여행하는 메모리" 접근 방식은 가장 희귀한 환자들이 우리의 AI 의사로부터 마땅히 받아야 할 관심을 받을 수 있도록 보장하는 유망한 새로운 길을 제시합니다.

기술 요약: 불균형한 의료 영상 분류를 위한 순환 대조 학습 (Recurrent Contrastive Learning)

문제 정의

의료 영상 분류는 질병 발생률의 내재적 차이로 인해 발생하는 심각한 클래스 불균형 문제에 자주 직면합니다. 희귀 질환(테일 클래스, tail classes)은 흔한 질환(헤드 클래스, head classes)에 비해 샘플 수가 현저히 적습니다. 클래스 리샘플링이나 손실 가중치 재설정(loss reweighting)과 같은 기존 방식들은 주로 관찰된 특징 분포 내에서 작동합니다. 이러한 방법들은 특징의 가중치를 조절하거나 샘플링을 조정하지만, 잠재 공간(latent space) 내에서 테일 클래스의 지지 영역(support region)을 명시적으로 확장하는 데는 실패합니다. 결과적으로, 테일 클래스의 표현(representation)은 지나치게 응축되어 헤드 클래스에 의해 쉽게 침범당하며, 이는 편향된 결정 경계와 클래스 간 분리도 저하를 초导致합니다. 이는 테일 클래스가 임상적 의사결정에 있어 정확한 식별이 필수적인 중증 또는 희귀 질환에 해당하는 경우가 많다는 점에서 특히 중요합니다.

방법론: 순환 대조 학습 (Recurrent Contrastive Learning, RCL)

저자들은 "영역 확장(field-expansion)" 관점에서 클래스 불균형을 해결하는 순환 대조 학습 (RCL) 프레임워크를 제안합니다. 단순히 기존 데이터를 재가중하는 대신, RCL은 잠재 공간에서 테일 클래스의 지지 영역을 능동적으로 확장합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 백본 및 특징 추출 (Backbone and Feature Extraction)

프레임워크는 LoRA (Low-Rank Adaptation) 어댑터를 결합한 DINOv3를 백본으로 활용합니다.

구조: 입력 이미지는 1280차원의 클래스 토큰( $f_i$ )을 추출하도록 처리됩니다.
헤드(Heads): 분류기 헤드( $G(\cdot)$ )는 교차 엔트로피 감독을 위한 예측을 출력하며, 프로젝션 헤드( $P(\cdot)$ )는 특징을 256차원의 정규화된 임베딩( $z_i$ )으로 매핑하여 대조 학습을 수행합니다.
학습 전략: DINOv3 백본은 동결(frozen)된 상태로 유지되며, LoRA 어댑터와 헤드만을 최적화합니다. 이를 통해 적은 수의 학습 가능한 파라미터로 효율적인 적응을 보장합니다.

2. 시간적 메모리 큐 (Temporal Memory Queue, TMQ)

배치 단위 또는 FIFO 큐 기반 대조 학습의 한계를 극복하기 위해, RCL은 **시간적 메모리 큐 (TMQ)**를 도입합니다.

기능: TMQ는 여러 학습 에포크(epoch)에 걸쳐 코퍼스 수준의 특징을 보존함으로써 다양화된 글로벌 참조(global references)를 제공합니다.
메커니즘: 각 에포크 $m$ 에서, 프로젝션 임베딩 $z_i^{(m)}$ 은 지수 이동 평균(EMA)을 통해 메모리 뱅크 $Q^{(m)}$ 에 저장된 특징 $q_i^{(m)}$ 를 업데이트합니다:
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
저장: 업데이트된 뱅크들은 시간에 따라 인큐잉(enqueue)되어 시퀀스 $TMQ = \{Q^{(m)}\}_{m=0}^M$ 을 형성합니다. 이를 통해 모델은 역사적인 글로벌 임베딩에 접근할 수 있으며, 양성(positive) 및 음성(negative) 쌍이 시간적으로 다양하고 진화하는 표현 공간과 정렬되도록 보장합니다.

3. 시간적 앵커 (Temporal Anchors, TARs) 및 순환 대조 손실

핵-이노베이션은 테일 클래스 주변에 "앵커 필드(anchor field)"를 형성하기 위한 시간적 앵커 (TARs) 구축입니다.

앵커 구축: 테일 클래스의 경우, 모델은 과거의 메모리 뱅크(에포크 $m-st$)로부터 특징을 검색합니다. 클래스 내 특징들에 K-means 클러스터링을 적용하고, 클러스터 중심에서 가장 먼 하위- $k_t$ 특징들을 선택합니다. 선택된 특징들은 가우시안 노이즈로 섭동(perturbation)되어 앵커 집합 $A$ 를 생성합니다.
영역 확장 (Field Expansion): 이 앵커들은 잠재 공간 내 테일 클래스 특징의 주변 영역을 점유하기 위해 순환적으로 재사용됩니다. 이는 헤드 클래스의 침범을 억제하는 버퍼 마진(buffer margin)을 생성합니다.
손실 함수: 프레임워크는 현재 배치 특징과 구축된 앵커를 모두 포함하는 순환 대조 손실( $L_{RCL}$ )을 사용합니다:
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
최종 손실은 교차 엔트로피와 순환 대조 손실의 조합입니다: $L = L_{ce} + \alpha L_{RCL}$ .

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

RCL 프레임워크: 순환적으로 구축된 시간적 앵커를 대조 학습에 주입하여 테일 클래스의 지지 영역을 확장함으로써 헤드 클래스의 침범을 효과적으로 완화하는 새로운 불균형 학습 프레임워크를 제안합니다.
시간적 메모리 큐 (TMQ): 학습 단계 전반에 걸쳐 코퍼스 수준의 역사적 임베딩을 보존하여, 이를 통해 TAR 구축에 활용할 수 있는 메커니즘을 제공합니다.
실증적 검증: 세 가지 불균형 의료 데이터셋(프라이빗 다기관 경동맥 데이터셋, APTOS 2019, KneeOA)에 대한 광범적인 실험을 통해 강력한 베이스라인 모델 대비 일관된 개선을 입증했습니다.

실험 결과

본 방법론은 세 가지 데이터셋에 대해 균형 정확도(Balanced Accuracy, Bacc), F1-score, 정확도(Accuracy), 그리고 이차 가중 카파(Quadratic Weighted Kappa, QWK)를 사용하여 평가되었습니다.

성능: RCL은 세 데이터셋 모두에서 최고의 균형 정확도를 달ides했습니다.
- Carotid: 87.10% Bacc (Vanilla DINOv3의 79.75% 대비)
- APTOS 2019: 69.01% Bacc 및 0.922 QWK (원래 챌린지의 상위 랭크 CNN-Ensemble 방법론을 능가함)
- KneeOA: 70.19% Bacc (Vanilla DINOv3의 61.10% 대비)
백본 불가지론 (Backbone Agnosticism): DINOv3 대신 ResNet50을 사용했을 때도 RCL은 상당한 개선을 보였으며, Carotid 및 KneeOA 데이터셋에서 DINOv3 미세 조정(fine-tuning) 성능을 능가했습니다.
정성적 분석: t-SNE 시각화는 RCL이 더 균형 잡힌 특징 분포를 생성함을 확인시켜 주었습니다. 구체적으로, "앵커 필드"는 테일 클래스의 경계를 확장하고 헤드 클래스와 테일 클래스 사이의 중간 영역을 점유함으로써, 테일 클래스의 중심을 헤드 클래스 분포로부터 밀어내는 효과적인 버퍼 역할을 수행했습니다.

의의 및 주장

본 논문은 RCL이 단순한 재가중치 설정이나 리샘플링을 넘어, 클래스 불균형을 해결하는 중요한 패러다임 전환을 제공한다고 주장합니다. 표현 학습을 영역 확장 관점에서 해석함으로써, 이 방법은 테일 클래스의 잠재적 지지 영역을 명시적으로 확장합니다. 이러한 접근 방식은 테일 클래스의 표현이 지배적인 헤드 클래스에 의해 "침범당하는" 것을 방지하여, 클래스 간 분리도와 결정 경계의 공정성을 향상시킵니다.

저자들은 이 프레임워크가 효과적이지만, 현재 샘플 단계(sample steps) 및 앵커 선택 비율과 같은 수동 하이퍼파라미터 튜닝에 의존하고 있음을 언급했습니다. 이들은 적응형 앵커 선택(adaptive anchor selection) 개발을 이러한 한계를 해결하기 위한 향후 연구 방향으로 제시했습니다. 연구 촉진을 위해 코드는 공개되었습니다.