⚡ electrical engineering

Investigating the Visual Cues of CNNs for Vascular Segmentation: A Case Study in Microscopy and Fundus Imaging

이 연구는 현미경 및 안저 영상에서 CNN 기반 혈관 분할을 유도하는 시각적 단서를 조사하여, 모델이 질감이나 전역적 형태보다는 제한된 20픽셀 수용 영역 내의 픽셀 강도에 주로 의존하며 이러한 단서들이 제거되었음에도 높은 정확도를 유지한다는 사실을 밝혀냈다.

원저자: Weslley dos Santos Silva, Cesar Henrique Comin

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weslley dos Santos Silva, Cesar Henrique Comin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 당신은 지문 대신 인체 내부의 작고 구불구불한 강들이 그려진 지도를 보고 있습니다. 이 강들은 혈관이며, 흐릿한 사진에서 이들을 찾아내는 것은 의사들이 당뇨병이나 심장 질환 같은 질병을 발견하는 데 매우 중요합니다. 수년 동안 컴퓨터는 합성곱 신경망(Convolutional Neural Network), 줄여서 CNN이라고 불리는 특별하고 똑똑한 소프트웨어를 사용하여 이러한 지도를 그리는 데 매우 능숙해졌습니다. CNN을 수천 장의 사진을 보며 패턴을 인식하는 법을 배우는 아주 똑똑한 로봇이라고 생각해보세요. 하지만 문제는 이 로봇이 일종의 '블랙박스'라는 점입니다. 우리는 로봇이 정답을 맞힌다는 것은 알지만, 그것이 무엇을 보고 무엇이 강이고 무엇이 그냥 돌인지 결정하는지는 모릅니다. 로봇은 강의 모양을 보는 걸까요? 아니면 색깔을 보는 걸까요? 아니면 그저 작은 빛의 점을 보고 추측하는 걸까요? 이 논문은 퍼즐을 풀기 위해 로봇이 정확히 어떤 단서들을 사용하는지 보기 위해 로봇의 뇌 내부를 들여다보는 돋리와 같습니다.

연구자들은 이 컴퓨터 뇌들이 실제로 인간 의사가 혈관을 보는 방식과 똑같이 '보고' 있는 것인지, 아니면 쉬운 속임수를 찾아내어 '속임수'를 쓰고 있는 것인지 알아내고 싶었습니다. 이를 위해 그들은 두 가지 다른 종류의 사진을 사용하는 일련의 영리한 실험을 설계했습니다. 하나는 생쥐 뇌의 미세 혈관을 관찰하는 현미경 사진 세트이고, 다른 하나는 인간의 눈 뒷부분을 촬영한 카메라 사진 세트입니다. 그들은 세 가지 큰 질문을 던졌습니다: 로봇은 질감(입자감 있는 모습)에 더 신경을 쓰는가, 아니면 밝기(픽셀이 얼마나 밝거나 어두운가)에 더 신경을 쓰는가? 만약 혈관의 얇은 윤곽선만 보여준다면 로봇은 혈관의 형태를 파악할 수 있는가? 그리고 로봇이 임무를 완수하기 위해 주변의 그림을 얼마나 많이 봐야 하는가?

그들이 발견한 결과는 다음과 같습니다. 첫째, 로봇이 이미지의 '결(grain)'에 신경을 쓰는지 아니면 단순히 밝기에 신경을 쓰는지 테스트했습니다. 그들은 이미지의 작은 정사각형 조각들을 가져와 픽셀을 뒤섞어 질감이 완전히 사라지게 만들었습니다. 마치 카드를 순서가 맞지 않을 때까지 섞는 것과 같습니다. 놀랍게도 로봇은 여전히 꽤 잘 해냈습니다! 이는 픽셀의 밝기가 가장 중요한 단서이긴 하지만, 로봇이 상당히 똑똑하여 질감이 파괴되었을 때도 다른 숨겨진 패턴들을 찾아낼 수 있다는 것을 시사합니다. 이것은 마치 조명이 적절하다면 피부를 단색으로 칠하더라도 친구의 얼굴을 여전히 알아볼 수 있는 것과 같습니다.

다음으로, 그들은 로봇이 혈관의 한가운데를 지나는 얇은 선(중심선)이나 빈 윤곽선만을 보고 전체 강을 그릴 수 있는지 테스트했습니다. 그들은 혈관의 내부 디테일을 모두 제거하여 형태만 남겼습니다. 결과는 어땠을까요? 로봇은 혼란에 빠졌습니다. 로봇은 혈관을 그리려고 시도했지만, 종종 너무 두껍게 그리거나 잘못된 곳을 채우기도 했습니다. 결국, 이러한 특정 유형의 사진들에 대해서는 로봇이 형태만을 보고 나머지를 추측할 수 없다는 것이 드러났습니다. 로봇은 혈관이 얼마나 넓은지 알기 위해 반드시 내부를 봐야 합니다. 이것은 고속도로의 중앙선만 보고 도로의 폭을 추측하려는 것과 같습니다. 아스팔트를 보지 못한다면, 그것이 좁은 진입로인지 거대한 고속도로인지 맞출 수 없는 것과 같습니다.

마지막으로, 그들은 로봇에게 어느 정도의 '맥락(context)'이 필요한지 궁금해했습니다. 로봇은 전체 그림을 봐야 할까요, 아니면 아주 작은 조각만 있으면 될까요? 그들은 점점 더 작은 크기의 이미지 조각을 로봇에게 입력하며 테스트했습니다. 그들은 로봇이 최선의 성과를 내기 위해 32x32 픽셀 너비의 정사각형 패치 정도만 필요하다는 것을 발견했습니다. 패치가 이보다 커져도 로봇은 더 나아지지 않았습니다. 로봇에게는 약 20 픽셀 너비의 작은 영역을 보고 완벽한 결정을 내리는 '스윗 스팟(sweet spot)'이 있는 것으로 보입니다. 로봇은 나무 한 그루를 찾기 위해 숲 전체를 볼 필요가 없습니다.

요약하자면, 이 논문은 이러한 특정 의료 영상의 경우, 컴퓨터 뇌가 혈관의 크고 전역적인 형태보다는 픽셀의 밝기와 국소적인 디테일에 크게 의존하고 있음을 시사합니다. 이것이 한계처럼 들릴 수도 있지만, 이는 과학자들이 더 좋고, 빠르고, 신뢰할 수 있는 의료 도구를 만드는 데 도움이 됩니다. 로봇이 정확히 어떤 단서를 사용하는지 알게 됨으로써, 의사들은 로봇이 단순히 추측하는 것이 아니라 생명을 구하기 위해 올바른 것을 보고 있다는 확신을 가질 수 있습니다.

기술 요약: CNN의 시각적 단서(Visual Cues) 조사: 혈관 분할을 중심으로

문제 정의

혈관 분할은 당뇨병성 망막병증부터 신경 퇴행성 질환에 이르는 다양한 질환을 진단하는 데 있어 매우 중요한 절차입니다. 그러나 이 작업에 사용되는 합성곱 신경망(CNN)은 종종 "블랙박스"로 취급되어, 모델의 결정이 구체적으로 어떤 시각적 특징에 의해 유도되는지에 대한 투명성이 부족합니다. CNN은 높은 정확도를 달성하지만, 이것이 해부학적 연속성(전역적 형태), 국소적 픽셀 강도, 또는 질감 패턴 중 무엇에 의존하는지는 여전히 불분명합니다. 이러한 해석 가능성의 결여는 임상 통합, 모델 디버깅, 그리고 데이터 변화에 대한 강건성 확보를 저해합니다. 나아가, 네트워크의 유효 수용장(Effective Receptive Field, ERF)과 복잡한 분지형 기하 구조를 포착하는 데 필요한 공간적 맥락 사이의 관계 또한 이 영역에서 체계적으로 이해되지 않고 있습니다.

방법론

저자들은 두 가지 구별된 영상 도메인인 형광 현미경(VessMAP 데이터셋)과 망막 안저 촬영(DRIVE 데이터셋)을 사용하여 체계적인 3단계 조사를 수행했습니다. 본 연구는 질감, 형태, 그리고 수용장의 영향을 격리하고 정량화하기 위해 표적 실험을 채택했습니다.

1. 질감 및 강도 영향의 정량화

강도(intensity)와 질감(texture)의 상대적 중요성을 결정하기 위해, 저자들은 패치 기반 분류 작업을 개발했습니다.

패치 추출: VessMAP 이미지에서 $9 \times 9$ 픽셀 패치를 추출했습니다. 두 가지 시나리오가 테스트되었습니다: 혈관 픽셀만 포함된 패치( $f=100\%$ )와 혈관 경계가 포함되되 혈관 픽셀의 비율이 다양한 패치( $f=75\%, 50\%$ ).
섭동(Perturbations): 특정 단서를 제거하기 위해 세 가지 변형 데이터셋을 생성했습니다:
- 강도 정규화 ( $D_{-i}$ ): 픽셀 값을 평균 0, 표준 편차 1로 정규화하여 절대적 강도와 분산을 제거했습니다.
- 픽셀 셔플링 ( $D_{-t}$ ): 각 패치 내의 픽셀 위치를 무작위로 섞어, 강도 값은 보존하되 공간적 질감을 파괴했습니다.
- 균질화 ( $D_{-i,-t}$ ): 정규화와 셔플링을 모두 적용했습니다.
평가: 단순 잔차 네트워크(residual network)를 훈련시켜 이 패치들을 혈관 또는 배경으로 분류했습니다.

2. 형태 단서의 격리

CNN이 순수하게 기하학적 형태만을 바탕으로 혈관을 분할할 수 있는 능력을 평가하기 위해, 내부 혈관의 외형이 제거된 두 가지 데이터셋을 생성했습니다:

윤곽선 데이터셋 ( $D_c$ ): 입력 이미지는 혈관 윤곽(경계)만을 포함하며, 윤곽 위치의 원래 픽셀 강도는 보존되었습니다.
중심선 데이터셋 ( $D_s$ ): 입력 이미지는 혈관 중심선만을 포함하며, 해당 지점의 원래 강도는 보존되었습니다.
평가: U-Net 및 W-Net 아키텍처를 훈련시켜 이러한 희소한 형태 입력을 통해 전체 분할 마스크를 예측하도록 했습니다.

3. 수용장(Receptive Field, RF) 요구사항 분석

본 연구는 모델 아키텍처, 수용장 크기, 그리고 성능 사이의 관계를 두 가지 접근 방식으로 조사했습니다:

아키텍처 변형: 커널 크기($1, 3, 5, 7 $), 다이레이션 비율($ 2, 3, 7$), 그리고 다운샘플링 전략을 달리한 160개의 U-Net 구성을 훈련시켰습니다. 이론적 수용장(Theoretical Receptive Field, TRF)과 유효 수용장(Effective Receptive Field, ERF)을 각각 측정했습니다.
맥락 제한: 최적의 성능을 내기 위한 최소 맥락을 결정하기 위해, 다양한 크기( $4 \times 4$ ~ $512 \times 512$ )의 겹치지 않는 패치로 기본 모델을 훈련시켰습니다.

주요 결과

질감 대 강도

강도의 지배력: 픽셀 강도가 국소적 질감보다 더 결정적인 것으로 나타났습니다. 강도 정보를 제거했을 때( $D_{-i}$ )의 정확도 하락이 셔플링을 통해 질감을 제거했을 때( $D_{-t}$ )보다 더 컸습니다.
섭동에 대한 강건성: 놀랍게도, 강도와 질감 단서가 모두 제거된 경우(균질화된 데이터셋 $D_{-i,-t}$ )에도 네트워크는 75% 이상의 분류 정확도를 유지했습니다. 이는 네트워크가 명시적으로 분석되지 않은 다른 통계적 특징을 활용하고 있음을 시사합니다.
경계의 역할: 패치에 혈관 경계를 포함하는 것이 분류 정확도를 크게 향상시켰으며, 이는 국소적 에지 기반 맥락이 강력한 단서임을 나타냅니다.

형태 단서

형태만으로는 불충분함: CNN은 형태 단서만으로는 전체 혈관 기하 구조를 안정적으로 재구성하는 데 실패했습니다.
- 윤곽선( $D_c$ )을 사용했을 때, 최적의 모델(W-Net)은 54.4%의 Dice 점수를 기록했습니다.
- 중심선( $D_s$ )을 사용했을 때, 최적의 모델(U-Net)은 57.0%의 Dice 점수를 기록했습니다.
- 반면, 전체 데이터를 사용해 훈련된 모델은 약 90%의 Dice 점수를 달성했습니다.
과분할(Oversegmentation): 형태 단서에만 의존하는 모델은 높은 민감도를 보였으나 매우 낮은 특이도를 보였습니다 (예: $D_c$ 에 대한 U-Net의 특이도는 12%). 이는 현재의 CNN이 내부 외형 정보 없이 경계 기하학으로부터 혈관의 굵기를 추론할 수 없음을 의미하며, 결과적으로 심각한 과분할을 초래합니다.

수용장 및 맥락

ERF 포화: 네트워크가 활용하는 유효 수용장(ERF)은 고려된 작업들에 대해 약 20 픽셀에서 수렴했습니다.
커널 크기: 성능은 평균 커널 크기가 커짐에 따라 증가했으나, 평균 커널 크기 3( $3 \times 3$ 커널) 부근에서 정체되었습니다. 더 큰 커널은 유의미한 이득을 주지 못했으며, 이는 필요하지 않을 경우 ERF가 전체 이론적 수용장을 활용하도록 확장되지 않음을 시사합니다.
패치 크기:
- VessMAP(현미경)의 경우, 성능은 패치 크기 $32 \times 32$ 에서 포화되었습니다. 이는 국소적 맥락만으로 충분함을 나타냅니다.
- DRIVE(안저)의 경우, 성능이 테스트된 범위 내에서 포화되지 않았습니다. 이는 전역적 해부학적 랜드마크(예: 시신경 유두)의 존재로 인해 더 큰 전역적 맥락으로부터 얻는 미미한 이득이 있음을 시사합니다.

의의 및 주장

본 논문은 의료 영상 분야의 딥러닝 시스템을 감사(audit)하고 개선하기 위한 정량적 토대를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

진단 템플릿: 본 방법론은 형태, 질감, 맥락의 영향을 분리하여 모델의 결정에 미치는 영향을 규명하는 구조화된 접근 방식을 제공합니다.
RF에 대한 경험적 증거: ERF가 약 20 픽셀에서 포화된다는 발견은, 불필요하게 깊은 네트워크나 전역적 어텐션 메커니즘(Transformer 등)의 계산 오버헤드 없이도 국소적 혈관 묘사를 위해 경량화되고 효율적인 CNN을 맞춤 제작할 수 있음을 시사합니다.
해석 가능성 로드맵: 결과는 모델이 전역적 형태의 추론보다는 국소적 강도와 질감에 크게 의존한다는 점을 강조합니다. 이러한 통찰은 모델이 해부학적 구조를 식별하는 것인지 아니면 국소적 아티팩트에 의해 오도되는 것인지를 구분할 수 있게 함으로써, 특정 단서(강도 vs 형태)에 결정을 귀속시킬 수 있는 설명 가능한 AI(XAI) 프레임워크 개발의 기초가 됩니다.

저자들은 본 연구의 결과가 특정 데이터셋(VessMAP, DRIVE)과 아키텍처(U-Net 변형)에서 도출된 경험적 관찰이며, 모든 신경망의 보편적 특성을 대표하지 않을 수 있음을 인정하며 신중한 태도를 유지하고 있습니다.