⚡ electrical engineering

MLFFM-SegDiff: A Multi-Level Feature Fusion Diffusion Model for Skin Lesion Segmentation

본 논문은 더모스코피 이미지의 모호한 경계 및 아티팩트와 같은 문제를 극복하기 위해 듀얼 경로 U-Net 인코더, 어텐션 기반 융합 모듈, 그리고 경계 민감 손실을 통합한 다층 특징 융합 확산 모델인 MLFFM-SegDiff를 제안하며, 이를 통해 피부 병변 분할 벤치마크에서 최첨단 성능을 달성한다.

원저자: Jingjun Gu, Chaojie Shen, Yifeng Cao, Wei Zhang, Yiliu Li, Aobo Fan

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingjun Gu, Chaojie Shen, Yifeng Cao, Wei Zhang, Yiliu Li, Aobo Fan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

천 조각 위에 있는 희미하고 흐릿한 얼룩의 윤곽을 따라 그리는 모습을 상상해 보세요. 때로는 얼룩이 완벽한 원형처럼 보이기도 하지만, 어떤 때는 가장자리가 뭉툭하여 천 속으로 바로 스며드는 이상한 모양을 띠기도 합니다. 또한, 천 위의 털, 그림자, 주름 등이 있어 얼룩이 어디서 끝나고 천이 어디서 시작되는지 구분하는 것을 더욱 어렵게 만들기도 합니다.

이것은 의사들이 피부 병변 이미지(점이나 피부 반점 사진)를 보고 이것이 위험한지 확인하기 위해 직면하는 도전 과제와 정확히 일치합니다. 목표는 컴퓨터가 질병을 확인하기 위해 이 부분을 측정할 수 있도록 점 주변에 완벽한 선을 그리는 것입니다.

제시된 논문은 이 문제를 해결하기 위해 MLFFM-SegDiff라고 불리는 새로운 도구를 소개합니다. 이 도구가 어떻게 작동하는지 쉽게 설명하면 다음과 같습니다.

문제점: "흐릿한 얼룩"

기존의 컴퓨터 프로그램들은 다음과 같은 이유로 어려움을 겪습니다:

가장자리가 흐릿함: 점이 항상 뚜렷한 선을 가지고 있는 것은 아닙니다.
크기가 다양함: 점은 아주 작거나 매우 클 수 있습니다.
배경에 노이즈가 많음: 털과 그림자가 점의 일부처럼 보입니다.

해결책: "스마트한 화가" (확산 모델 - Diffusion Model)

저자들은 **확산 모델(Diffusion Model)**이라는 유형의 AI를 사용합니다. 이 모델을 마치 TV 노이즈(지지직거리는 화면)로 가득 찬 캔버스에서 시작하여, 단계별로 천천히 정리하여 피부 점의 이미지가 나타나도록 만드는 화가라고 생각하면 됩니다.

보통 이 화가는 노이즈만을 보고 그 아래에 무엇이 있는지 추측합니다. 하지만 이 새로운 방식에서 화가는 조력자와 특별한 도구 세트를 받게 됩니다.

세 가지 비밀 무기

1. 이중 경로 팀 (두 개의 눈을 가진 접근 방식)

기존 방식: 화가는 노이즈와 원래 사진을 각각 따로 본 다음, 그것들을 억지로 합치려고 했습니다.
새로운 방식 (Dual-Path Encoder): 모델에는 함께 작동하는 두 개의 "눈"이 있습니다. 한쪽 눈은 노이즈 섞인 정적을 보고, 다른 쪽 눈은 깨끗한 피부 사진을 봅니다. 이들은 끊임없이 서로 대화합니다. 만약 한쪽 눈이 점처럼 보이는 털을 발견하면, 다른 쪽 눈이 "아니, 저건 그냥 털이야"라고 말해줍니다. 이러한 팀워크는 단 하나만 볼 때보다 점을 더 잘 이해하도록 도와줍니다.

2. 다층 특징 융합 모듈 (레이어 케이크 전략)

기존 방식: 화가가 "거친 스케치" 단계에서 "세부 묘사" 단계로 넘어갈 때, 가장 최근의 스케치만을 전달했습니다. 즉, 처음의 아주 작은 디테일들을 잊어버렸습니다.
새로운 방식 (MLFFM): 건설 현장을 상상해 보세요. 여기에는 설계도(깊고 거시적인 아이디어)와 원자재(질감 같은 얕고 미세한 디테일)가 있습니다. 새로운 **다층 특징 융합 모듈(MLFFM)**은 매우 효율적인 현장 소장과 같습니다. 설계도와 미세한 원자재를 모두 가져와서 완벽하게 혼합한 뒤 화가에게 전달합니다. 이를 통해 최종 그림은 올바른 형태와 선명하고 흐릿한 가장자리를 모두 갖출 수 있게 됩니다.

3. 경계 민감 손실 (빨간 펜의 집중력)

기존 방식: 화가의 작품을 채점하는 선생님은 점의 중간 부분과 가장자리를 똑같이 취급했습니다.
새로운 방식: 모델에게 특별한 규칙이 주어집니다: "중간 부분을 틀리는 것은 괜찮지만, 가장자리를 틀리면 더 큰 벌점을 받는다." 이 규칙은 AI가 흐릿하고 보기 힘든 경계선에 더 많은 주의를 기울이게 하여, 윤곽선을 훨씬 더 정확하게 만듭니다.

결과: 효과가 있었는가?

저자들은 이 새로운 "화가"를 세 가지 서로 다른 피부 이미지 세트(마치 세 개의 서로 다른 미술 수업과 같은)로 테스트했습니다. 그리고 이를 다른 유명한 AI 모델들과 비교했습니다.

점수: 이 새로운 모델은 거의 모든 카테고리에서 승리했습니다. 전체 점을 찾는 능력(Recall)과 형태를 완벽하게 일치시키는 능력(Dice 및 Jaccard 점수) 모두에서 더 뛰어났습니다.
비유: 다른 모델들이 지저도한 얼룩 주위에 원을 그리는 학생이었다면, MLFFM-SegDiff는 얼룩이 보기 힘들 때조차도 구불구불하고 흐릿한 가장자리를 따라 세심하게 선을 긋는 학생이었습니다.

한계점 (제한 사항)

논문은 두 가지 사항을 인정합니다:

속도: 이 모델은 이미지를 단계별로 "정리"해야 하기 때문에(그리기를 지우고 다시 그리기를 여러 번 반복하는 것처럼), 단순한 모델들보다 그림을 완성하는 데 시간이 조금 더 걸립니다.
과도한 열정: 점을 놓치지 않으려고 노력하다 보니, 때때로 배경의 아주 작은 부분까지 포함해 버릴 수도 있습니다. 즉, 점을 찾아내는 데는 뛰어나지만, 점이 아닌 것을 엄격하게 제외하는 데는 조금 부족할 수 있습니다.

요약

요약하자면, 이 논문은 고도로 협력하는 예술가 역할을 하는 새로운 AI 시스템을 제시합니다. 두 개의 "눈"을 사용하여 문제를 바라보고, "거시적 관점"과 "미세한 디테일" 정보를 혼합하며, 흐릿한 가장자리에 특별한 주의를 기울임으로써, 이전 방식들보다 피부 점의 윤곽을 훨씬 더 정확하게 그려냅니다. 이는 의사들이 치료 중인 대상에 대해 더 명확한 시야를 확보할 수 있도록 돕습니다.

기술 요약: MLFFM-SegDiff

문제 정의
피부 병변 분할은 컴퓨터 보조 피부 진단에 있어 필수적인 전제 조건이며, 이는 후속 특징 추출 및 질병 분류에 직접적인 영향을 미친다. 그러나 더모스코피(dermoscopic) 이미지에서 정밀한 분할을 달성하는 것은 다음과 같은 요인들로 인해 여전히 도전적인 과제이다: 모호하거나 불분데한 병변 경계, 병변과 주변 피부 간의 낮은 대비, 병변의 형태 및 크기의 상당한 변화, 그리고 털, 그림자, 반사광과 같은 아티팩트의 간섭. 최근 확산 모델(diffusion models)이 점진적인 역노이즈 제거 능력을 통해 의료 영상 분할 분야에서 유망한 결과를 보여주고 있으나, 기존의 피부 병변 기반 확산 방식들은 불충분한 교차 레벨 특징 상호작용과 부적절한 경계 세부 정보 복구 문제로 어려움을 겪고 있다.

방법론
본 논문은 현재의 분할 프레임워크가 가진 한계를 해결하기 위해 설계된 다중 레벨 특징 융합 확산 모델인 MLFFM-SegDiff를 제안한다. 더모스코피 이미지가 가이드 역할을 하고 병변 마스크가 반복적인 역노이즈 제거를 통해 복원되는 조건부 확산 프레임워크를 기반으로 구축된 이 구조는 세 가지 주요 혁신을 도입한다:

이중 경로 U-Net 인코더 (Dual-Path U-Net Encoder): 표준적인 융합 전략과 달리, 본 모델은 노이즈가 포함된 마스크 브랜치와 이미지 가이드 브랜치를 공동으로 모델링하는 이중 경로 인코더를 채택한다. 이 구조는 특징 추출 과정 중 원본 이미지 특징과 노이즈가 포함된 마스크 특징 사이의 상호작용을 강화한다. 인코더는 잔차 블록(residual blocks)과 선형 어텐션(linear attention)을 통해 특징을 처리하며, 국부 정보 보존을 위한 직접 스킵 특징( $h_i$ )과 추가 융합을 위한 가이드 강화 스킵 특징( $b_i$ )이라는 두 가지 유형의 스킵 특징을 생성한다.
다중 레벨 특징 융합 모듈 (Multi-Level Feature Fusion Module, MLFFM): 기존의 동일 레벨 스킵 연결의 한계를 극복하기 위해, 인코더와 디코더 사이에 MLFFM을 삽입한다. 이 모듈은 강화된 스킵 특징( $b_i$ $b_{i}$ )을 다음과 같이 처리한다:
- 어텐션 강화 (Attention Enhancement): 공간 및 채널 어텐션을 적용하여 정보가 풍부한 영역과 채널을 강조한다.
- 스케일 정렬 (Scale Alignment): 적응형 풀링 또는 쌍선형 보간법을 사용하여 서로 다른 인코더 레벨의 특징을 공통된 공간 해상도로 정렬한다.
- 교차 레벨 융합 (Cross-Level Fusion): 요소별 곱셈(element-wise multiplication)과 합성곱 변환을 통해 정렬된 특징들을 융합한다.
  이를 통해 디코더는 여러 레벨로부터의 얕은 경계 세부 정보와 깊은 시맨틱 표현을 동시에 공동으로 활용할 수 있다.
구성 가능한 경계 민감 손실 (Configurable Boundary-Sensitive Loss): 학습 목적 함수에는 경계 민감 가중치 전략이 포함된다. 경계 어텐션 맵은 병변 윤곽에 가까운 픽셀에 더 높은 가중치를 할당한다. 이 항은 구성이 가능하며, 활성화될 경우 모델이 전체적인 안정성을 해치지 않으면서도 노이즈 제거 과정 중에 모호한 병변 경계를 우선시하도록 유도한다.

주요 기여
본 논문은 세 가지 주요 기여를 명시한다:

이중 경로 특징 추출, 다중 레벨 스킵 특징 융합, 그리고 피부 병변 분할에 특화된 경계 인식 최적화를 통합한 새로운 확산 모델인 MLFFM-SegDiff를 제안하였다.
특징 상호작용을 강화하는 이중 경로 U-Net 인코더, 교차 레벨 시맨틱 및 경계 표현을 향상시키는 MLFFM, 그리고 구성 가능한 경계 민감 손실 항과 같은 구체적인 아키텍처 구성 요소를 설계하였다.
세 개의 공개 데이터셋에 대해 다양한 평가 지표를 사용하여 제안된 방법이 대표적인 베이스라인 모델들(DermoSegDiff, Generic U-Net, SwinUNETR, U-Net)보다 우수한 성능을 보임을 광범적인 실험적 검증을 통해 입증하였다.

실험 결과
본 방법은 ISIC2018, PH2, HAM10000 데이터셋에 대해 5-겹 교차 검증(five-fold cross-validation)을 통해 평가되었다. 성능은 정확도(Accuracy), F1-score, Jaccard 지수, 정밀도(Precision), 재현율(Recall), 특이도(Specificity), 그리고 Dice 계수를 사용하여 측정되었다.

전반적인 성능: MLFFM-SegDiff는 세 데이터셋 모두에서 가장 우수한 평균 성능을 달축했다. 평균 Jaccard 지수는 0.8546에 도달했으며, 평균 Dice 계수는 0.9207에 도달했다.
데이터셋별 세부 사항:
- ISIC2018에서 모델은 가장 높은 정확도(0.9504), F1-score(0.8877), Jaccard(0.7985), 재현율(0.9199), 그리고 Dice(0.8877)를 달성했다.
- PH2 및 HAM10000에서도 제안된 방법은 7가지 모든 평가 지표에서 최상의 성능을 기록했다.
어블레이션 연구 (Ablation Studies): 실험을 통해 이중 경로 U-Net (D-U-Net), MLFFM, 그리고 에지 손실(Edge Loss)의 조합이 특히 PH2와 HAM10000에서 최고의 Dice 및 민감도 점수를 산출함을 확인하였으며, 이는 각 모듈의 상호 보완적인 성격을 나타낸다.
시각적 분석: 정성적 결과에 따르면, MLFFM-SegDiff는 베이스라인 방법들과 비교했을 때, 특히 불규칙한 경계나 모호한 외관을 가진 사례에서 타겟 영역에 더 밀접하게 부합하는 마스크를 생성한다.

의의 및 주장
본 논문은 MLFFM-SegDiff가 병변 영역의 중첩(overlap)과 재현율(recall) 성능을 효과적으로 개선함으로써 자동 피부 병변 분할을 위한 실행 가능하고 효과적인 접근 방식을 제공한다고 주장한다. 저자들은 제안된 다중 레벨 특징 융합 메커니즘이 기존의 확산 기반 방법들에서 불충분했던 얕은 경계 세부 정보와 깊은 시맨틱 구조의 통합 문제를 성공적으로 해결했다고 단언한다.

저자들은 자신의 연구에 대해 겸허한 입장을 유지한다. 그들은 이 방법이 중첩과 재현율을 개선하기는 하지만, ISIC2018 데이터셋에서의 정밀도(Precision)와 특이도(Specificity)는 비교 대상 방법들 중 가장 높지 않았음을 인정하며, 이는 배경 억제 및 미세한 경계 제어 측면에서 개선의 여지가 있음을 시사한다. 또한, 확산 모델 고유의 반복적인 노이즈 제거 과정이 피드포워드 네트워크(feed-forward networks)에 비해 더 높은 계산 비용을 초래할 수 있음을 언급한다. 향후 연구는 효율적인 샘플링 전략과 더 크고 다기관 중심의 임상 데이터셋을 통한 광범위한 검증에 집중할 것을 제안한다.