💻 computer science

MIFR: A Modality-Invariant and Fair Representation Framework for Skin Disease Classification

이 논문은 고정밀 피부 질환 분류와 다양한 피부색에 걸친 공정한 성능을 동시에 달성하기 위해 다중 목적 손실 함수를 활용하여 다중 모달 임상 및 더모스코피 이미지를 활용하는 새로운 프레임워크인 MIFR을 소개한다.

원저자: Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

원저자: Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

피부는 인체의 가장 큰 기관으로, 무해한 점과 위험한 암이 놀라울 정도로 유사하게 보일 수 있는 복잡한 풍경입니다. 수십 년 동안 의사들은 이러한 병변을 검사하기 위해 두 가지 주요 방식에 의존해 왔습니다. 일반 카메라로 찍은 일반 사진인 '임상 이미지'와, 더모스코프라고 불리는 특수 장치로 촬영한 고배율의 '더모스코픽 이미지'가 그것입니다. 최근 인공지능이 피부 질환을 찾아내는 데 숙련되었음에도 불구하고, 이러한 디지털 도구들은 두 가지 고질적인 장애물에 직면해 있습니다. 첫째, 대부분의 시스템은 한 가지 유형의 이미지만 보도록 훈련되어 있어, 확대된 더모스코픽 사진에는 잘 작동하는 모델이 일반 임상 사진에서는 완전히 실패할 수 있다는 점입니다. 둘째, 그리고 아마도 더 결정적으로, 이러한 시스템은 어두운 피부색을 가진 사람들에게 적용될 때 어려움을 겪는 경우가 많습니다. 대다수의 훈련 데이터가 밝은 안색을 가진 사람들로부터 오기 때문에, 알고리즘은 어두운 피부톤에는 잘 적용되지 않는 특징들을 바탕으로 질병을 인식하는 법을 배우게 되며, 이는 오진과 불평등한 의료 결과로 이어집니다.

연구팀은 이 두 가지 문제를 동시에 해결하기 위해 새로운 접근 방식을 제안하며, 서로 다른 유형의 이미지와 서로 다른 피부톤에 대해 동일한 공정성을 갖는 시스템을 개발했습니다. 'MIFR'이라 명명된 이들의 연구는 사진이 어떻게 찍혔는지 또는 피부색이 어떤지에 의존하지 않고 피부 질환에 대한 단일하고 통합된 이해를 학습하도록 설계된 프레임워크를 소개합니다. 임상 사진과 더모스코픽 이미지를 위해 별도의 도구를 만드는 대신, 이 시스템은 질병 그 자체의 근본적인 모습을 보는 법을 배웁니다. 연구진은 임상 사진과 그에 대응하는 환자의 더모스코픽 이미지를 짝지어, 컴퓨터가 이 두 가지 매우 다르게 보이는 사진이 실제로는 동일한 의학적 상태를 보여준다는 것을 인식하도록 가르쳤습니다. 이러한 서로 다른 관점들을 일치시키도록 강제함으로써, 모델은 카메라나 조명으로 인한 표면적인 차이를 무시하고 질병의 생물학적 징후에 온전히 집중하는 법을 배웁니다.

시스템이 실수로 피부색에 따라 차별하도록 학습하지 않도록 하기 위해, 연구진은 영리한 훈련 메커니즘을 추가했습니다. 그들은 컴퓨터가 환자의 피부 타입을 숨기면서 동시에 질병을 예측하도록 가르쳤습니다. 마치 어려운 질문에 정답을 맞춰야 하지만, 학생의 배경에 관한 어떤 단서도 사용해서는 안 된다는 규칙이 있는 학생을 상상해 보십시오. 이 디지털 버전에서 시스템은 한 부분은 이미지 특징으로부터 피부 톤을 추측하려 하고, 다른 부분은 그 추측이 실패하도록 해당 특징들을 뒤섞으려 하는 게임을 수행합니다. 시간이 흐름에 따라, 시스템은 피부색과 관련된 정보를 제거하고 질병을 진단하는 데 필요한 세부 정보만을 남기는 법을 배웁니다. 이 과정은 최종 도구가 가장 어두운 피부를 가진 사람에게도, 가장 밝은 피부를 가진 사람에게도 똑같이 잘 작동하도록 보장합니다.

연구진은 짝을 이룬 이미지(임상 사진과 더모스코픽 이미지가 모두 존재하는 경우)를 포함한 여러 공개 데이터베이스의 피부 이미지 모음을 통해 새로운 프레임워크를 테스트했습니다. 그들은 세 가지 흔한 질환, 즉 흑색종(위험한 형태의 피부암), 모반(양성 점), 그리고 기저세포암(가장 흔한 유형의 피부암)에 집중했습니다. 결과는 시스템이 표준 사진을 보든 확대된 뷰를 보든 상관없이 이러한 질병들을 정확하게 분류할 수 있음을 보여주었으며, 이는 모델이 '양식 불변적 표현(modality-invariant representation)'을 성공적으로 학습했음을 입증합니다. 이전에 본 적 없는 데이터, 즉 다른 지역의 데이터셋으로 테스트했을 때도 모델은 높은 정확도를 유지했으며, 단 하나의 유형의 이미지만 전문화된 기존 방법들보다 뛰어난 성능을 보였습니다.

아마도 가장 중요한 것은, 이 시스템이 상당한 수준의 공정성 개선을 보여주었다는 점입니다. 연구진이 다양한 피부 톤에 걸쳐 모델이 얼마나 잘 작동하는지 측정했을 때, 새로운 접근 방식은 기존 도구들과 비교하여 가장 밝은 그룹과 가장 어두운 그룹 사이의 정확도 격차를 훨씬 줄여주었습니다. 데이터 시각화를 통해 컴퓨터가 실제로 동일한 질병의 이미지를 (카메라 종류나 피부 톤에 관계없이) 하나로 묶어냈음을 확인했습니다. 컴퓨터의 내부 지도에 나타난 데이터 포인트들의 군집은 혼합되어 있었으며, 이는 시스템이 더 이상 환자의 피부색이나 사용된 이미지 유형에 따라 환자를 구분하지 않음을 보여주었습니다.

결과가 유망하기는 하지만, 연구진은 이 방법이 모든 상황에 완벽한 해결책은 아니라는 점을 인정합니다. 현재 시스템은 훈련을 위해 짝을 이룬 이미지를 필요로 하는데, 이는 현실 세계에서 드문 경우이며, 듀얼 카메라 설정은 계산 비용을 증가시킵니다. 또한, 연구는 모델이 더모스코픽 이미지만 포함된 데이터셋으로 테스트했을 때 성능이 약간 하락했다는 점을 언급했는데, 이는 두 가지 유형의 이미지를 모두 위해 작동하도록 만드는 노력이 때로는 한 유형에서 발견되는 특정 세부 사항을 아주 조금 희생하게 될 수도 있음을 시사합니다. 그럼에도 불구하고, 이 연구는 중요한 진전을 의미합니다. 이는 인공지능이 단순히 정확할 뿐만 아니라, 별도의 전문화된 도구 없이도 인간의 전체 피부 스펙트럼과 다양한 의료 영상 환경을 아우르는 환자들에게 공정하게 봉사할 수 있음을 입증합니다.

기술 요약: MIFR – 피부 질환 분류를 위한 양식 불변 및 공정 표현 프레임워크

1. 문제 정의

딥러닝을 통한 피부 질환 진단은 실제 임상 현장 배포를 위해 극복해야 할 두 가지 핵심적인 장벽에 직면해 있습니다:

양식 이질성 (Modality Heterogeneity): 피부 병변은 주로 임상 사진과 더모스코피(dermoscopic) 이미지라는 이질적인 영상 양식을 통해 포착됩니다. 기존 모델은 종종 단일 양식에 의존하며, 이는 정확한 진단에 불충분할 수 있습니다.
인구통계학적 불균형 (Demographic Disparities): 공개 피부 질환 데이터셋은 밝은 피부톤(피츠패트릭 피부 유형 I–III)에 치우쳐 있어, 모델이 어두운 피부톤(FST IV–VI)에서 성능이 현저히 저하되는 문제를 야기합니다. 이는 의료 불평등을 심화시킵니다.

현재의 접근 방식들은 대개 이러한 문제들을 개별적으로 다룹니다. 공정성을 고려한 방법들(예: FairDisCo, PatchAlign)은 일반적으로 단일 양식에서 작동하는 반면, 멀티모달 파운데이션 모델(예: PanDerm)은 명시적인 공정성 제약 조건이 부족한 경우가 많습니다. 또한, 많은 공정성 방법들은 추론 시점에 민감한 속성 레이블(피부톤)을 요구하는데, 이는 임상 환경에서 비현실적입니다.

## 2. 방법론: MIFR 프레임워크

저자들은 추론 시 민감한 속성을 요구하지 않으면서 임상 및 더모스코피 이미지를 공동으로 처리하도록 설계된 듀얼 인코더 아키텍처인 **MIFR (Modality-Invariant and Fair Representation)**를 제안합니다.

2.1 아키텍처

듀얼 인코더 (Dual Encoders): 모델은 임상 이미지( $f^c_\theta$ )와 더모스코피 이미지( $f^d_\phi$ )를 위한 두 개의 독립적인 Vision Transformer (ViT-Small) 인코더를 사용합니다.
투영 헤드 (Projection Heads): 각 인코더의 출력은 입력을 공유 고차원 임베딩 공간( $\mathbb{R}^{512}$ )으로 매핑하기 위해 모달리티별 투영 헤드(배치 정규화 및 GELU 활성화 함수가 포함된 다층 퍼셉트론)를 통과합니다.
추론 유연성 (Inference Flexibility): 추론 시에는 보조 브랜치들을 제거합니다. 모델은 임상 이미지, 더모스코피 이미지 또는 두 가지 모두에 대해 작동할 수 있어, 별도의 특화된 모델을 운용할 필요가 없습니다.

2.2 다중 목적 손실 함수 (Multi-Objective Loss Function)

훈련 과정은 다섯 가지 구성 요소로 이루어진 통합 손실 함수( $L_{Total}$ )를 최적화합니다:

대상 분류 ( $L_{cls}$ ): 정확한 질병 예측( $y_i$ )을 보장하기 위해 클래스 불균형을 해결하는 가중 크로스 엔트로피 손실입니다.
피부톤 속성 브랜치 (SA): 추론 시 $s_i$ $s_{i}$ 가 필요 없이 특징에서 피부톤 편향( $s_i$ $s_{i}$ )을 제거하기 위한 적대적 메커니즘입니다.
- 혼란 손실 ( $L_{conf}$ ): 메인 인코더가 피부톤 분류기를 불확실하게 만들도록(엔트로피를 최대화하도록) 훈련시켜, 피부톤 단서를 효과적으로 숨깁니다.
- 피부 손실 ( $L_{skin}$ ): 인코더가 사소한 해답으로 수렴하는 것을 방지하기 위해 보조 피부톤 분류기가 실제 레이블을 예측하도록 훈련합니다.
대조 학습 브랜치 ( $L_{contr}$ ): 동일한 질병 클래스의 임베딩은 서로 끌어당기고 다른 클래스는 밀어내도록 각 양식별로 적용되는 지도 대조 손실(supervised contrastive loss)로, 클래스 내 응집도를 구축합니다.
양식 불변 브랜치 ( $L_{MI}$ ): VICReg를 기반으로 하며, 동일한 병변의 임상 및 더모스코피 임베딩 간의 정렬을 강제합니다. 여기에는 다음이 포함됩니다:
- 불변성 ( $L_{inv}$ ): 쌍을 이룬 임베딩 간의 코사인 거리를 최소화합니다.
- 분산 ( $L_{var}$ ): 각 임베딩 차원에서 충분한 분산을 보장하여 차원 붕괴를 방지합니다.
- 공분산 ( $L_{cov}$ ): 중복성을 줄이기 위해 임베딩 차원 간의 상관관계를 제거합니다.

2.3 실험 설정

데이터셋:
- 내부 훈련용: 쌍을 이룬 HIBA (FST 포함 1,195개 이미지) 및 Derm7pt (추정 FST 포함 1,738개 이미지) 데이터셋을 사용하며, 흑색종(MEL), 모반(NV), 기저세포암(BCC)에 대해 필터링되었습니다.
- 외부 벤치마크: PAD-UFES-20 (임상 이미지) 및 ISIC 2019 (더모스코피 이미지).
베이스라인: FairDisCo 및 PatchAlign과 비교합니다.
지표: 정확도(Acc), F1-score, AUC, 예측 품질 격차(PQD), 정확도 차이( $\Delta$ Acc).

4. 주요 결과

4.1 내부 성능 (HIBA + Derm7pt)

공정성: 전체 MIFR 모델은 **87.23%**의 PQD를 달성하여, FairDisCo(66.67%)와 PatchAlign(82.98%)을 크게 상회했습니다.
정확도: MIFR는 **93.33%**의 정확도와 **92.17%**의 F1-score를 달성했습니다. 베이스라인(93.81%)보다는 약간 낮지만, 매우 경쟁력 있는 수준입니다.
절제 연구 (Ablation): 대조 학습과 양식 불변성을 결 der 결합한 경우(BASE+Contr+MI) 가장 낮은 정확도 격차(0.0265)를 보였으며, 이는 양식 불변성이 암묵적으로 공정성을 촉진함을 시사합니다.

4.2 외부 일반화

PAD-UFES-20 (임상): MIFR는 정확도(85.10% vs FairDisCo 78.35%)와 AUC(91.89% vs 83.44%) 측면에서 베이스라인을 크게 앞질렀습니다.
ISIC 2019 (더모스코피): MIFR는 76.64%의 정확도를 기록하여 FairDisCo와 대등하고 PatchAlign을 능가했습니다. 그러나 AUC(80.50%)는 베이스 모델(86.62%)보다 낮았습니다. 저자들은 양식 불변성을 강제하는 과정에서 교차 양식 일반화를 위해 양식 특유의 변별력을 희생하는 트레이드오프가 발생했기 때문이라고 설명합니다.

4.3 시각화

t-SNE 시각화는 다음을 확인했습니다:

동일한 질병의 임상 및 더모스코피 임베딩이 기하학적으로 정렬되어 있음 (양식 불변성).
피부톤이 질병 클러스터 내에서 거의 완벽하게 혼합되어 있으며, 이는 피부톤 편향이 제거되었음을 나타냄 (공정성).

5. 의의 및 주장

본 논문은 MIFR가 다음과 같은 방식으로 피부 질환 진단의 형평성과 견고성을 향상시키는 중요한 단계임을 주장합니다:

목적의 통합: 양식 불변성과 공정성을 별개의 과제가 아닌 공동 최적화 문제로 성공적으로 다루었습니다.
실용적 배포: 기존의 많은 공정성 고려 방법들이 요구하는 추론 시점의 민감한 속성 레이블 필요성을 제거했습니다.
교차 데이터셋 견고성: 외부 벤치마크(PAD-UFES-20)에서 우수한 일반화 성능을 입증함으로써, 데이터 분포가 변화하는 실제 환경에서의 적용 가능성을 검증했습니다.

6. 한계점 및 향후 방향

저자들은 다음과 같은 특정 제약 사항을 인정합니다:

데이터 의존성: 프레임워크는 (임상 및 더모스코피 이미지가 쌍을 이루는) 짝을 이룬 훈련 데이터에 의존하며, 이러한 데이터는 흔히 희귀합니다.
계산 비용: 듀얼 인코더 아키텍처는 단일 인코더 모델에 비해 계산 오버헤드를 증가시킵니다.
데이터셋 편향: 본 연구는 아프리카 피부 병변 데이터가 부족한 국제 저장소를 활용했습니다. 저자들은 공용 데이터셋이 여전히 밝은 피부톤에 치우쳐 있음을 언급하며, FST IV–VI에 대한 기존 방법들의 성능 저하 문제를 해결하기 위해 MIFR를 아프리카 임상 데이터셋(예: eSkinHealth)에 적응시키는 것이 필요한 향후 과제라고 밝혔습니다.
하이퍼파라미터 튜닝: 5가지 손실 가중치의 상호작려는 전수 조사보다는 검증 세트에서의 수동 튜닝을 통해 조정되었으며, 이는 최적의 성능을 보장하지 못할 수 있습니다.