Forgetting-Resistant and Lesion-Aware Source-Free Domain Adaptive Fundus Image Analysis with Vision-Language Model

본 논문은 시각 - 언어 모델을 활용한 소스 프리 도메인 적응 (SFDA) 에서 기존 방법의 한계인 예측 망각과 세밀한 병변 정보 활용 부재를 해결하기 위해, 목표 모델의 신뢰할 수 있는 예측을 보존하는 '망각 저항' 모듈과 시각 - 언어 모델의 세밀한 지식을 병변 인식에 활용하는 '병변 인식' 모듈을 포함한 새로운 FRLA 방법을 제안하고 fundus 이미지 진단 성능을 크게 향상시켰음을 보여줍니다.

핵심

🍳 배경 이야기: 요리사의 새로운 도전

상상해 보세요. 어떤 요리사 (AI 모델) 가 **A 병원 (원천 도메인)**에서 아주 오랫동안 일하며 훌륭한 요리를 배웠습니다. 그런데 이 요리사가 **B 병원 (목표 도메인)**으로 자리를 옮기게 되었습니다.

문제는 B 병원의 주방 환경, 재료, 심지어 손님들의 입맛까지 A 병원과 조금 다르다는 것입니다. (예: A 병원은 한국식 국물을 주로 내는데, B 병원은 일본식 국물을 내는 경우처럼요.)

기존의 AI 는 새로운 환경에 적응하느라 이전에는 잘하던 요리 (질병 진단) 를 잊어버리거나 (Forgetting), 새로운 환경의 특징을 제대로 파악하지 못해 실수를 자주 했습니다.

최근에는 **유명 셰프 (Vision-Language Model, ViL)**가 쓴 요리책 (기반 모델) 을 참고하게 되었습니다. 이 요리책은 다양한 재료와 레시피에 대한 지식이 풍부하지만, 요리사가 이 책을 무작정 따라 하다 보니 오히려 자신의 실력을 망치거나, 책에 있는 세부적인 팁 (병변 부위 등) 을 놓치는 문제가 생겼습니다.

저희 연구팀은 이 두 가지 문제를 해결하기 위해 **'FRLA'**라는 새로운 훈련 방법을 고안했습니다.

---

💡 해결책 1: "잊지 않는 메모장" (Forgetting-Resistant Adaptation)

문제: 요리사가 요리책 (ViL 모델) 을 보며 새로운 레시피를 배우는 과정에서, 자신이 원래 잘하던 요리 (높은 확신으로 진단했던 질병) 를 갑자기 망쳐버리는 경우가 있었습니다.

해결책:

1. 메모장 (Memory Bank) 만들기: 요리사가 매일 아침, 자신의 실력을 점검하고 "오늘은 이 요리를 완벽하게 만들었다!"라고 생각한 레시피들을 메모장에 적어둡니다.
2. 잊지 않기 훈련: 새로운 레시피를 배우는 중에도, "내가 메모장에 적어둔 이 요리는 절대 망치지 않아!"라고 스스로 확인하며, 기존의 실력을 유지하도록 강하게 훈련시킵니다.

비유: 새로운 언어를 배울 때, 모국어 (기존 실력) 를 잊지 않도록 매일 모국어 독서를 병행하는 것과 같습니다.

---

💡 해결책 2: "병변을 찾는 돋보기" (Lesion-Aware Adaptation)

문제: 유명 셰프의 요리책은 "이 요리는 맛이 좋다"라고 **전체적인 느낌 (이미지 전체)**만 알려줄 뿐, "어떤 재료가 어디에 들어갔는지 (병변 부위)" 같은 세부적인 정보는 잘 알려주지 않았습니다. 하지만 안과 진단에서는 **눈의 어떤 부분이 손상되었는지 (병변 위치)**를 아는 것이 매우 중요합니다.

해결책:

1. 돋보기 (Patch-wise) 사용: 요리책 (ViL 모델) 을 읽을 때, 전체 그림만 보는 게 아니라 재료 하나하나를 확대해서 보는 돋보기를 씁니다.
2. 세부 지도 그리기: "이 부분은 당뇨망막병증이 있는 곳이야", "저 부분은 녹내장 의심 부위야"라고 이미지의 작은 조각 (Patch) 단위로 정확한 위치를 가르쳐 줍니다.
3. 점점 줄어드는 지도: 처음에는 이 세부 지도를 많이 참고하지만, 요리사가 스스로 익숙해지면 지도의 도움을 조금씩 줄여 스스로 판단하는 능력을 키웁니다.

비유: 지도를 볼 때, "서울에 있다"라고만 알려주는 게 아니라, "강남역 3 번 출구 앞"이라고 정확한 위치를 알려주는 GPS 와 같습니다.

---

🏆 결과: 어떤 변화가 있었나요?

이 두 가지 방법 (잊지 않는 메모장 + 세부 지도) 을 합치니 놀라운 결과가 나왔습니다.

1. 기존의 유명 셰프 (ViL 모델) 만 쓸 때보다 훨씬 정확해졌습니다.
2. 다른 최신 AI 방법들보다도 더 좋은 성적을 거뒀습니다.
3. 특히, **녹내장 (Glaucoma)**이나 **당뇨망막병증 (DR)**처럼 까다로운 질병을 진단할 때, 이전에는 실수가 많았던 부분들이 크게 개선되었습니다.

📝 한 줄 요약

"새로운 환경에 적응하더라도, 내가 잘하던 실력은 잊지 않게 하고 (메모장), 질병이 있는 정확한 위치를 세세하게 가르쳐 줌으로써 (돋보기), AI 가 더 똑똑하고 신뢰할 수 있는 안과 의사가 되도록 돕는 연구입니다."

이 연구는 환자의 사생활을 보호하면서 (원래 데이터 없이도 적응 가능), 더 정확한 안과 진단을 가능하게 하는 중요한 기술로 평가받고 있습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 안저 (Fundus) 이미지는 망막 질환을 선별하는 데 필수적이지만, 촬영 장비나 프로토콜의 차이로 인한 도메인 편이 (Domain Shift) 문제가 심층 신경망의 성능을 저하시킵니다.
• 제약 조건: 소스 도메인 (Source Domain) 의 데이터에 접근할 수 없으며, 타겟 도메인 (Target Domain) 에는 레이블이 없는 상태인 소스 프리 도메인 적응 (SFDA, Source-Free Domain Adaptation) 문제를 해결해야 합니다.
• 기존 방법의 한계:
  1. 기억 상실 (Forgetting): 최근 연구 (ViL 모델 활용) 는 상호 정보 (Mutual Information, MI) 손실을 사용하여 타겟 모델과 비전 - 언어 (ViL) 모델 간의 지식을 정제하지만, 타겟 모델이 이미 잘 예측했던 고신뢰도 예측값이 ViL 모델의 영향으로 인해 오히려 성능이 떨어지는 '기억 상실' 현상이 발생합니다.
  2. 세부 정보 무시: 기존 ViL 기반 SFDA 방법은 전역적인 이미지 수준의 정보만 활용하여, 안저 진단에 필수적인 병변 (Exudates, Drusen 등) 의 위치를 파악하는 세밀한 (Fine-grained) 패치 (Patch) 수준의 지식을 충분히 활용하지 못합니다.

2. 제안 방법 (Methodology: FRLA)

저자들은 FRLA (Forgetting-Resistant and Lesion-Aware) 라는 새로운 프레임워크를 제안하며, 크게 두 가지 모듈로 구성됩니다.

A. Forgetting-Resistant Adaptation (기억 저항적 적응)

• 목적: 타겟 모델의 고신뢰도 예측값이 ViL 모델의 지식 정제 과정에서 손실되는 것을 방지합니다.
• 메커니즘:
  • 메모리 뱅크 (Memory Bank): 적응 주기마다 타겟 모델의 예측 결과를 저장하여 신뢰할 수 있는 예측 (Confident Predictions) 을 보관합니다.
  • 이중 상호 정보 손실 (Dual Mutual Information Loss):
    1. 기존 MI 손실 ($L_{dis}$): 타겟 모델 예측과 ViL 모델 예측 간의 상호 정보를 최대화.
    2. 제안된 MI 손실 ($L_{fr}$): 타겟 모델의 현재 예측과 메모리 뱅크에 저장된 과거의 신뢰할 수 있는 예측 간의 상호 정보를 최대화하여, 기존에 잘 맞았던 예측을 명시적으로 보존합니다.
  • 두 손실 함수는 동일한 스케일을 가지므로 하이퍼파라미터 균형 조정이 불필요합니다.

B. Lesion-Aware Adaptation (병변 인식 적응)

• 목적: ViL 모델이 가진 세밀한 패치 수준의 지식을 활용하여 타겟 모델이 병변 영역을 인식하도록 돕습니다.
• 메커니즘:
  • 패치 수준 예측 생성: ViL 모델의 특징 맵을 CAM (Class Activation Mapping) 방식과 유사하게 처리하여 이미지 내 각 패치에 대한 확률 분포를 생성합니다.
  • 적응적 패치 수준 감독 (Adaptive Patch-level Supervision):
    1. 불일치 제거: 메모리 뱅크의 신뢰할 수 있는 이미지 수준 예측과 일치하지 않는 패치 예측은 제거합니다.
    2. 클래스 불균형 보정: 패치별 클래스 불균형을 고려하여 가중치를 조정합니다.
    3. 점진적 감쇠 손실 (Attenuating Loss): 학습 초기에는 패치 수준의 지도 학습 ($L_{la}$) 을 통해 병변 위치를 학습하게 하지만, 학습이 진행됨에 따라 손실 가중치를 점진적으로 0 으로 줄여 주요 이미지 분류 작업에 방해가 되지 않도록 합니다.

3. 주요 기여 (Key Contributions)

1. 기억 상실 문제 해결: 상호 정보 손실 기반 SFDA 에서 발생하는 타겟 모델의 고신뢰도 예측 손실 문제를 해결하기 위해, 메모리 뱅크와 이중 MI 손실을 도입한 Forgetting-Resistant 모듈을 제안했습니다.
2. 세밀한 지식 활용: ViL 모델이 가진 전역 정보뿐만 아니라 병변 위치를 파악할 수 있는 패치 수준의 세밀한 지식을 활용하는 Lesion-Aware 모듈을 설계했습니다.
3. 성능 입증: 기존 SOTA(SOTA) 방법론 및 ViL 모델 자체보다 우수한 성능을 달성하며, 안저 이미지 진단의 도메인 적응 문제를 효과적으로 해결함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: ODIR(소스), FIVES 및 VietAI(타겟) 를 사용하여 4 가지 주요 안과 질환 (정상, 황반변성, 당뇨망막병증, 녹내장) 에 대해 평가했습니다.
• 성능 비교:
  • 제안된 FRLA 는 기존 SOTA 방법 (SHOT, COWA, Co-learn, DIFO) 및 ViL 모델 (FLAIR) 의 제로샷 성능을 모두 능가했습니다.
  • 특히 ODIR $\to$ FIVES 설정에서 평균 정확도 80.4% 를 기록하여 기존 최상위 방법 (DIFO: 78.6%) 보다 우위를 점했습니다.
• 애블레이션 연구 (Ablation Study):
  • $L_{fr}$ (기억 저항 모듈) 추가: 특정 클래스 (예: 녹내장) 의 정확도 급락을 방지하고 전체 평균 정확도를 크게 향상시켰습니다.
  • $L_{la}$ (병변 인식 모듈) 추가: 학습 초기 단계에서 모델이 병변 영역을 더 잘 인식하도록 도와 최종 정확도 향상에 기여했습니다.
  • 두 모듈을 모두 결합했을 때 가장 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 소스 프리 도메인 적응 (SFDA) 분야에서 기반 모델 (Foundation Model) 의 잠재력을 극대화하면서도, 기존 방법론의 치명적인 단점인 '기억 상실'과 '세부 정보 부재'를 동시에 해결했습니다.

• 임상적 의의: 안저 이미지 진단에서 병변의 정확한 위치 파악은 진단의 핵심이므로, 패치 수준의 지도 학습을 도입한 것은 실제 임상 적용에 매우 유용합니다.
• 기술적 의의: 상호 정보 손실을 기반으로 한 지식 증류 과정에서 타겟 모델의 고유한 강점을 보존하는 메커니즘을 제시함으로써, 향후 ViL 모델 기반의 도메인 적응 연구에 중요한 방향성을 제시했습니다.

결론적으로, FRLA 는 프라이버시를 보호하면서도 (소스 데이터 없이) 고도의 정확도로 다양한 도메인의 안저 이미지를 진단할 수 있는 강력한 프레임워크를 제공합니다.