A Neuro-Symbolic Fuzzy Rule-based Approach forMelanoma Classification

기술 요약: 흑색종 분류를 위한 신경-기호적 퍼지 규칙 기반 접근 방식

문제 정의
피부암, 특히 흑색종은 그 공격적인 성격과 높은 사망률로 인해 중대한 글로벌 보건 과제로 남아 있다. 딥러닝 방식은 자동화된 더모스코피(dermoscopic) 이미지 분석에서 효과적임을 입증해 왔으나, 해석 가능성이 결여된 "블랙박스" 시스템으로 작동하는 경우가 많다. 또한, 순수 이미지 기반 접근 방식은 피부과 의사들이 전통적으로 사용하는 특정 더모스코피 속성(예: 색소 망상 구조, 점 및 구상 구조, 줄무늬, 청백색 베일 등)과 같은 임상적으로 의미 있는 진단적 단서들을 간과할 수 있다. 상당한 실질적 병목 현상은 이러한 속성들이 자동 진단 과정에서 정답(ground-truth) 입력값으로 제공되지 않는 경우가 많으며, 단순한 이진 변수가 아니라 다양한 강도나 존재 정도를 나타내는 특성을 가진다는 점이다.

방법론
저자들은 딥러닝 기반의 시각적 분석과 퍼지 규칙 기반 추론을 통합하여 이러한 한계를 해결하는 신경-기호적(neuro-symbolic) 프레임워크를 제안한다. 방법론은 다음 단계로 진행된다:

1. 데이터셋 조화(Dataset Harmonization): 본 연구는 PH2와 Derm7pt 데이터셋을 조화시켜 통합 데이터셋을 구축한다. 진단 레이블은 이진 체계(흑색종 대 비흑색종)로 변환되며, 공유되는 더모스코피 속성인 색소 망상 구조, 점 및 구상 구조, 줄의 형태(streaks), 청백색 베일, 퇴행성 구조만을 유지한다. 두 소스 간의 명칭 불일치를 해결하기 위해 통일된 어휘집을 설정한다.
2. 규칙 추출: 진단 규칙은 J48 결정 트리 알고리즘을 사용하여 조화된 속성 주석으로부터 자동으로 추출된다. 이 규칙들은 특정 속성 상태의 조합을 진단 결과와 연결하는 IF–THEN 구조를 따른다.
3. 신경-기호적 프레임워크:
   • 속성 예측: EfficientNet-B3 모델을 사용하여 병변 이미지로부터 더모스코피 속성의 멤버십 정도(0과 1 사이의 값)를 직접 추정한다. 이는 범주형 "예/아니오" 레이블을 시각적 증거의 점진적 성격을 인정하는 소프트 퍼지 집합(soft fuzzy sets)으로 대체한다.
   • 퍼지 추론: 예측된 멤버십 정도는 추출된 규칙에 입력된다. 퍼지 연산자(결합을 위한 t-norm 및 합집합을 위한 s-norm)를 사용하여 규칙을 평가한다. 본 연구에서는 Łukasiewicz, Gödel, Hamacher, Yager, Product를 포함한 여러 퍼지 연산자를 평가한다.
   • 멀티모달 통합: 본 프레클은 이미지 기반 분류 점수($S_{MM}$)와 신경-기호적 추론 점수($S_{NS}$)를 후기 결합(late fusion) 전략을 통해 결합하는 멀티모달 아키텍처를 탐구한다: $S_{final} = (1-\lambda) \cdot S_{MM} + \lambda \cdot S_{NS}$.
4. 실험 설정: 조화된 데이터셋을 사용하여 층화 5-겹 교차 검증(stratified five-fold cross-validation)을 통해 평가를 수행한다. 연구는 세 가지 주요 설정을 테스트한다:
   • 이미지만 사용(Image-only): 속성 주석을 사용할 수 없는 시나리오를 시뮬레이션하여 이미지만으로 학습 및 테스트되는 모델.
   • 멀티모달(Multimodal): 정답 속성이 학습과 테스트 과정 모두에서 제공되는 모델.
   • 독립적 추론(Standalone Reasoning): 퍼지 규칙 기반 분기를 독립적으로 평가.

주요 기여

• 신경-기호적 프레임워크: 딥러닝 시각 분석과 퍼지 논리 기반의 진단 추론을 결합한 해석 가능한 흑색종 분류 프레임워크 제안.
• 멀티모달 아키텍처: 더모스코피 이미지와 정답 속성 및 퍼지 로직을 통합하는 EfficientNet-B3 기반의 멀티모달 분류 아키텍처 설계.
• 조화된 데이터셋: 일관된 속성 표현을 가진 통합 PH2–Derm7pt 데이터셋 구축.
• 비교 평가: 다양한 통합 전략(rule-loss 대 late fusion)과 융합 메커니즘(연결, 곱셈, 덧셈)을 포괄적으로 평가하여, 멀티모달 예측과 퍼지 추론 사이의 후기 결합이 가장 높은 효과를 낸다는 것을 입증함.

결과

• 이미지만 사용 설정: 정답 속성을 사용할 수 없는 시나리오에서, Hamacher 퍼지 추론을 사용한 후기 결합이 베이스라인인 EfficientNet-B3를 유의미하게 능가했다. 정확도는 0.8183(베이스라인)에서 0.8671로 향상되었고, 흑색종 F1-score는 0.6269에서 0.7229로 증가했다. 이 설정에서 rule-loss 구성은 베이스라인보다 개선된 성능을 보이지 못했다.
• 멀티모달 설정: 학습과 테스트 시 정답 속성이 모두 사용 가능한 경우, 요소별 덧셈(element-wise summation)이 베이스라인 중 가장 효과적인 융합 전략이었다(정확도 0.8671). 퍼지 규칙을 후기 결합으로 통합했을 때 성능이 더욱 향상되어, 정확도 0.8852와 흑색종 F1-score 0.7707을 달성했다.
• 퍼지 연산자: 독립적인 퍼지 추론 평가 중에서 Hamacher와 Yager (p=2) 연산자가 가장 높은 정확도(0.8588)를 기록했으며, Gödel과 Product가 그 뒤를 바짝 쫓았다(0.8580).
• 강건성(Robustness): 정답 속성으로 학습되었으나 테스트 시에는 속성이 없는(이미지만 사용) 경우, 덧셈 베이스라인은 성능 저하(정확도 0.7630)를 보였으나, 예측된 속성을 사용한 후기 결합 전략을 사용할 때는 높은 성능(0.8670)을 유지하여 구조화된 주석이 누락된 상황에서도 신경-기호적 접근 방식의 강건함을 보여주었다.

의의 및 주장
본 논문은 데이터 기반 학습을 규칙 기반 추론과 통합하는 것이 순수 이미지 기반 딥러닝 방식보다 뚜렷한 이점을 제공한다고 주장한다. 임상 속성에 대한 퍼지 멤버십 정도를 추정하고 이를 해석 가능한 진단 규칙에 적용함으로써, 이 프레임워크는 분류 효율성을 높일 뿐만 아니라 결정에 대한 인간이 읽을 수 있는 설명을 제공한다. 저자들은 후기 결합이 특히 효과적이며, 이를 통해 시스템이 시각적 특징과 명시적 임상 지식의 상호 보완적인 강점을 활용할 수 있게 한다고 강조한다.

연구는 상대적으로 작은 규모의 조화된 데이터셋, 조화 과정에서의 잠재적 세밀도 손실, 그리고 속성 예측의 정확도에 대한 추론 분과의 의존성 등의 한계를 인정한다. 향-후 연구로는 더 크고 다양한 외부 데이터셋에서 프레임워크를 검증하고, 다중 클래스 병변 분류로 접근 방식을 확장하는 것이 제안되었다.