External Validation of Deep Learning OCTA Quality Control for Foveal Avascular Zone Analysis

기술 요약: 중심와 무혈관 구역(FAZ) 분석을 위한 딥러닝 OCTA 품질 관리의 외부 검증

문제 정의
광간섭 단층 혈관 조영술(OCTA)은 망막 및 맥락막 혈류의 비침습적, 깊이별 해상도 이미징을 가능하게 하여 당뇨망막병증 및 연령 관련 황반변성과 같은 질환의 평가를 용이하게 한다. 그러나 중심와 무혈관 구역(FAZ)의 정량적 분석은 이미지 저하에 매우 민감하다. 움직임으로 인한 혈관 중복, 초점 이탈, 신호 손실, 그림자 현상, 중심 이탈, 분할 오류, 투영 아티팩트 등의 아티팩트는 FAZ 경계를 가리거나 혈관 측정을 왜곡할 수 있다. 현재는 수동 품질 관리(QC)가 표준이지만, 이는 시간이 많이 소요되고 주관적이며 확장하기 어렵다. 다양한 안과적 양식에 대해 개발된 기존의 딥러닝 기반 이미지 품질 평가 접근 방식이 존재하지만, 사이트별 재학습 없이 다양한 임상 현장에서 FAZ 분석을 위해 검증된 견고하고 자동화된 이미지 수준의 QC 파이프라인에 대한 필요성이 있다.

방법론
저자들은 FAZ 분석 전 OCTA 이미지를 "고품질" 또는 "저품질"로 분류하도록 설계된 자동화된 이미지 수준 품질 관리 파이프라인인 OCTA_QC를 개발하였다.

• 모델 아키텍처: 시스템은 ImageNet 사전 학습된 가중치로 초기화된 DenseNet-161 아키텍처를 활용한다. 최종 분류 레이어는 이진 분류를 수행하기 위해 두 개의 출력을 가진 선형 레이어로 교체되었다.
• 훈련 데이터: 모델은 Jules-Gonin 안과 병원(HOJG)의 4,195개 OCTA 이미지 데이터셋을 통해 미세 조정(fine-tuning)되었다. 이미지는 고품질(클래스 1, n=2,569) 또는 저품질(클래스 0, n=1,626)로 라벨링되었다. 데이터는 클래스 층화 무작위 분할(class-stratified random splitting)을 사용하여 훈련(2,936개), 검증(629개), 내부 테스트(630개) 세트로 나누어졌다.
• 훈련 전략: 파이프라인은 이미지 증강(수평 뒤집기 및 TrivialAugmentWide), 레이블 평활화(label smoothing)가 적용된 클래스 가중치 교차 엔트로피 손실, 그리고 검증 기반 체크포인트 선택(최고의 macro-averaged F1-score를 가진 모델 선택)을 채택하였다. 최적화에는 학습률 웜업(learning-rate warm-up)과 코사인 어닐링(cosine annealing)을 사용하는 확률적 경사 하강법이 사용되었다.
• 전처리: 입력 이미지는 3채널 이미지로 로드되었으며, 크기 조정, 224 × 224 픽셀 중심 크롭, 정규화 과정을 거쳤다.
• 외부 검증 프로토콜: 일반화 능력을 평가하기 위해, 모델을 Erasmus MC(EMC)의 22개 이미지로 구성된 외부 테스트 세트에 적용하였다. 결정적으로, EMC 데이터에 대한 미세 조정이나 추가 학습은 수행되지 않았다. 모델은 샘플 외 성능을 평가하기 위해 변경 없이 그대로 적용되었다.
• 평가 지표: 성능은 수신자 조작 특성 곡선 아래 면적(AUROC), macro-averaged F1-score (macro-F1), 정밀도(precision), 재현율(recall), 정확도(accuracy), 특이도(specificity, 여기서는 저품질 이미지를 올바르게 거부하는 것으로 정의됨)를 사용하여 측정되었다.

주요 기여

1. 재사용 가능한 QC 워크플로우 개발: 본 논문은 모델 개발부터 품질 결정(라벨 및 확률)의 배치 내보내기에 이르기까지 자동화된 이미지 수준 QC를 위한 완전한 파이프라인을 제시한다.
2. 적응 없는 외부 검증: 본 연구는 사이트별 적응 없이 한 기관(HOJG)에서 다른 기관(EMC)으로의 딥러닝 QC 도구 배포 시 발생하는 문제를 해결하며, 모델이 서로 다른 기관 간의 이미지 품질을 구별하는 능력을 샘플 외(out-of-sample) 평가를 통해 입증하였다.
3. FAZ 분석을 위한 통합: 파이프라인은 FAZ 경계 추출을 위한 전처리 필터로 기능하도록 명시적으로 설계되었으며, 대규모 정량 연구에서 이미지 선택을 자동화하는 메커니즘을 제공한다.

결과
대상 데이터에 대한 미세 조정 없이, EMC의 22개 이미지로 구성된 작은 외부 테스트 세트에서 OCTA_QC 파이프라인은 다음과 같은 지표를 달성하였다:

• AUROC: 0.7946
• Macro-F1 Score: 0.6364
• 정확도: 63.6%
• 특이도: 87.5% (저품질 이미지를 높은 비율로 올바르게 거부함을 나타냄)
• 정밀도 및 재현율: 둘 다 macro-averaged 값으로 0.6875였다.

파이프라인은 이미지 수준의 품질 라벨과 확률을 성공적으로 내보내어 배치 이미지 선택을 가능하게 하였다. 또한 마스트리히트(Maastricht)의 이미지에도 모델을 적용하였으나, 해당 적용에 대한 참조 라벨링된 성능 결과는 제공되지 않았다.

의의 및 주장
저자들은 본 연구를 대규모 FAZ 연구를 위한 자동화된 이미지 선택의 기초적인 단계로 규정한다. 주요 의의는 하나의 데이터셋에서 훈련된 딥러닝 모델이 재학습 없이 외부 코호트에서 고품질 및 저품질 OCTA 이미지를 구별할 수 있음을 보여준 데 있다.

그러나 본 논문은 다음과 같이 겸손하고 엄격한 입장을 유지한다:

• 검증 범위: 저자들은 외부 테스트 세트의 작은 표본 크기(n=22)가 더 넓은 EMC 코호트나 다른 영상 장치에 대한 성능 해석을 제한한다는 점을 명시적으로 밝힌다. 결과는 샘플 외 성능을 설명할 뿐, 보편적인 교차 사이트 성능을 확립하지는 않는다.
• 다운스트림 영향: 본 연구는 이 QC 파이프라인이 FAZ 측정의 정확도, 반복성 또는 수동 검토 시간을 개선한다는 것을 증명했다고 주장하지 않는다. 이러한 다운스트림 혜택은 향후 평가가 필요한 사항으로 식별되었다.
• 비교 우위: 본 논문은 기존 QC 모델, 장치별 품질 지표 또는 독립적인 인간 판독자와의 헤드 투 헤드 비교를 수행하지 않았으므로, 이들에 대한 우월성을 주장하지 않는다.
• 한계점: 저자들은 현재의 이미지 수준 접근 방식이 거부된 이미지 내에서 사용 가능한 영역을 유지할 수 없고, 거부의 원인이 되는 특정 아티팩트를 식별할 수 없으며, 보고된 성능 기록에 신뢰 구간이 부족하다는 점을 인정한다.

결론적으로, 본 논문은 OCTA_QC가 FAZ 분석을 위한 기능적이고 자동화된 이미지 선택 단계를 제공하며, 이 파이프라인의 추가적인 사용 및 평가를 지원한다고 주장하지만, 입증된 임상적 우월성이나 추가적인 대규모 검증 없는 보편적 적용 가능성을 주장하는 데에는 신중한 태도를 취한다.