FunPiQ: A New Benchmark for Pixel-Level Quality Assessment in Fundus Images

기술 요약: FunPiQ 및 EFIQA-CP

문제 정의
안저 촬영술(Color fundus photography, CFP)은 대규모 안과 스크리닝을 위한 주요 방식이지만, 전체 이미지가 아닌 특정 영역에 영향을 미치는 국소적 저하(예: 불일치한 조명, 낮은 대비, 초점 이탈)에 매우 취약합니다. 기존의 안저 이미지 품질 평가(Fundus Image Quality Assessment, FIQA) 방법들은 데이터셋과 임상 작업마다 크게 달라지는 이미지 수준의 레이블에 의존합니다. 예를 들어, 특정 질환(예: 녹내장)에 적합한 "고품질"의 정의가 다른 질환에는 불충분할 수 있습니다. 이러한 작업 의존성은 수동적인 이미지 수준 평가를 주관적이고 시간이 많이 걸리게 만듭니다. 또한, 기존의 이미지 수준 레이블은 국소적 저하에 대한 정량적 평가를 불가능하게 하여, 신뢰할 수 있고 설명 가능한 FIQA 시스템의 개발을 제한합니다. 일부 방법들이 저하 영역을 국소화하려고 시도하지만, 종종 노이즈가 있는 의사 레이블(pseudo-labels)에 의존하거나 전역적 문맥(global context)이 부족하여, 자연적으로 혈관 밀도가 낮은 영역(예: 황반)을 저하된 영역으로 잘못 분류하는 등 정밀한 국소화에 어려움을 겪습니다.

방법론
본 논문은 새로운 벤치마크 데이터셋인 FunPiQ와 픽셀 수준 품질 평가를 위한 새로운 방법론인 EFIQA-CP를 소개합니다.

1. FunпиQ 데이터셋:

   • 구성: 이 데이터셋은 인종, 획득 장치(테이블탑형부터 모바일 기기까지), 저하 유형의 다양성을 보장하기 위해 세 가지 기존 벤치마크(미국의 EyeQ, 브라질의 BRSET 및 mBRSET)에서 추출한 300개의 이미지로 구성됩니다.
   • 주석 전략: 전역 레이블을 사용하는 기존 데이터셋과 달리, FunPiQ는 픽셀 수준의 품질 주석을 제공합니다. 이미지는 전문의의 감독 하에 숙련된 판독가들에 의해 주석이 달렸습니다.
   • 클래스: 해부학적 가시성에 따라 세 가지 서수 범주(ordinal categories)를 정의합니다:
     • Good (양호): 경계가 뚜렷하고 잘 정의된 망막 구조가 선명하게 나타남.
     • Usable (사용 가능): 선명도나 대비가 다소 감소했으나 식별 가능한 구조가 존재함.
     • Bad (불량): 심각한 아티팩트, 신호 소실 또는 매체 불투명성으로 인해 판독이 불가능한 영역.
   • 선택: 데이터셋은 모델이 국소적으로 품질을 구분하는 능력을 테스트할 수 있도록, 소스 데이터셋에서 이전에 "bad"로 레이블링된 이미지들을 특별히 샘플링하여 각 이미지 내에 양호, 사용 가능, 불량 영역이 혼재되도록 했습니다.

2. EFIQA-CP 방법:

   • 아키텍처: 이 방법은 DINOv3 백본을 활용하여 특징을 추출하는 EFIQA 파이프라인을 기반으로 합니다. 표준 선형 어댑터를 7×7 심층 합성곱(depthwise convolution)을 특징으로 하는 얕고 넓은 ConvNeXt 스타일의 네트워크로 교체하였습니다. 이 설계는 더 넓은 수용 영역(receptive field)을 통해 공간 정보를 통합함으로써 전역적 문맥을 반영하며, 이를 통해 혈관 밀도가 낮은 영역을 오분류하는 문제를 해결합니다.
   • 학습 전략: 혈관 부재만을 기반으로 한 혈관 비지도 이상 탐지(Vessel Unsupervised Anomaly Detection) 모델에 의해 생성된 의사 레이블의 고유한 노이즈를 처리하기 위해, 저자들은 비음수 양의 미표기 학습(Non-Negative Positive-Unlabeled, nnPU) 학습을 채택했습니다.
     • 엄격한 임계값을 사용하여 신뢰할 수 있는 저품질 픽셀(양성 클래스)을 분리하고, 나머지는 미표기(unlabeled) 상태로 취급합니다.
     • nnPU 프레임워크는 숨겨진 부정적 사례(hidden negatives)의 추정 위험이 0 미만으로 떨어지는 것을 방지하여, 학습을 안정화하고 의사 레이블 과적합을 완화합니다.
     • 목적 함수는 소프트플러스(softplus) 대리 손실(surrogate loss)과 양의 클래스 사전 확률($\pi = 0.05$)을 사용합니다.

주요 기여

1. FunPiQ 벤치마크: 국소적 저하에 대한 그라운드 트루스 주석을 제공하는, CFP의 픽셀 수준 품질 평가를 위한 최초의 공개 벤치마크입니다.
2. EFIQA-CP: 넓은 수용 영역을 가진 어댑터와 의사 레이블의 노이즈를 처리하고 공간적 정밀도를 높이기 위한 nnPU 학습을 결합하여, 기존의 설명 가능하도록 설계된(EBD) 접근 방식들을 개선한 새로운 방법입니다.
3. 포괄적 평가: 새로운 데이터셋에서 기존의 FIQA 방법들(엔드 투 엔드, EBD, 이상 탐지 방식 포함)에 대한 철저한 벤치마킹을 수행하여 픽셀 수준 성능의 기준점(baseline)을 수립했습니다.

결과
Quadratic Weighted Kappa (QWK) 및 평균 Sørensen–Dice 계수 (mDice)와 함께 이진 "Reject" 작업 지표(AUROC, AUPRC, S95)를 사용하여 FunPiQ 데이터셋에 대해 광범위한 평가를 수행했습니다.

• 성능: EFIQA-CP는 모든 지표와 데이터셋(BRSET, EyeQ, mBRSET 및 병합된 세트)에서 최첨단(state-of-the-art) 성능을 달 기록했습니다. 이는 기존 EFIQA에 비해 통계적으로 유의미한 개선을 보여주었습니다 (예: 병합된 데이터셋의 QWK에 대해 $p < 0.0001$).
• 비교: EBD 방법들(EFIQA-CP, EFIQA, EyeQual)은 엔드 투 엔드 지도 학습 방식(MCF-Net, FGR-Net) 및 일반적인 이상 탐지 방식(PatchCore, UniVAD)보다 일관되게 우수한 성능을 보였습니다.
• 정성적 분석: EFIQA-CP는 가장 정밀한 품질 맵을 생성하였으며, 부드러운 영역과 더 나은 점수 범위 활용도를 보여주었습니다. EyeQual는 "good" 클래스에 대해서는 높은 정밀도를 보였으나, "usable"과 "bad"를 구분하는 데 어려움을 겪었습니다. 일반적인 이상 탐지 방법들은 저하된 영역을 강조하는 경향이 있었으나, 패치 전반에 걸쳐 높은 점수를 생성하는 노이즈 섞인 맵을 만들어 냈으며, 이는 이들이 대규모 품질 저하보다는 압축된 형태의 이상치(compact anomalies)에 편향되어 있음을 시사합니다.
• 절제 실험(Ablation): nnPU 손실을 표준 이진 교차 엔트로피(BCE)로 교체했을 때 과적합과 성능 저하가 발생하였으며, 이는 노이즈가 있는 레이블 설정에서 nnPU 프레임워크의 필요성을 확인시켜 줍니다.

의의 및 주장
저자들은 해부학적 가시성에 기반한 픽셀 수준 FIQA가 이미지 수준 평가보다 더 작업 불가지론적(task-agnostic)이고 설명 가능한 접근 방식이라고 주장합니다. 픽셀 수준의 그라운드 트루스를 제공함으로써, FunPiQ는 국소화 정밀도에 대한 정량적 평가를 가능하게 했습니다.

본 논문은 설명 가능하도록 설계된(EBD) 접근 방식이 국소 품질 예측에 있어 뚜렷한 이점을 가진다고 주장합니다. 특히, EFIQA-CP는 건축적 개선(전역 문맥)과 강건한 학습 전략(nnPU)을 결합하는 것이 의사 레이블의 노이즈를 효과적으로 완화할 수 있음을 입증했습니다. 저자들은 픽셀 수준의 맵이 비전문가 운영자에게 직접적인 임상적 가치(이미지의 어느 부분이 불충분한지 식별)를 제공하고, 목표화된 재촬영을 유도할 수 있다고 봅니다. 나아가, 이러한 맵은 해부학적 구조와 아티팩트를 구분하기 위한 이미지 향상 모델의 사전 정보(prior)로 사용될 수 있습니다. 본 연구는 픽셀 수준의 CFP 품질 탐지에 대한 후속 연구와 더 강력한 임상 적용성을 가진 더욱 견고하고 유연한 FIQA 방법론의 개발을 독려하는 것을 목표로 합니다.