Leveraging Causal Reasoning Method for Explaining Medical Image Segmentation Models

이 논문은 의료 영상 분할 모델의 블랙박스 문제를 해결하기 위해 인과 추론 프레임워크를 활용하여 입력 영역과 네트워크 구성 요소가 분할 결과에 미치는 영향을 정량화하는 새로운 설명 기법을 제안하고, 기존 방법보다 더 충실한 설명을 제공하며 다양한 모델의 인지 전략 차이를 규명함을 보여줍니다.

핵심

이 논문은 **"의료용 AI 가 병변을 찾는 이유를 설명해주는 새로운 방법"**에 대한 연구입니다.

기존의 AI 는 "정답을 맞췄다"는 결과만 알려주지, "왜 그 부분을 병변이라고 판단했는지"는 비밀로 했습니다. 마치 눈이 가려진 상태에서 정답을 맞히는 마술사와 같았죠. 이 논문은 그 마술사의 속내를 꿰뚫어 보는 **'원인 분석 도구 (PdCR)'**를 개발했습니다.

아래는 이 논문의 핵심 내용을 일상적인 비유로 풀어낸 설명입니다.

---

🏥 1. 문제: "왜 그걸 병이라고 했죠?" (블랙박스 문제)

의료 현장에서 AI 가 엑스레이나 피부 사진을 보고 "여기에 암이 있다"고 진단한다고 칩시다. 하지만 의사는 AI 가 어떤 특징을 보고 그렇게 판단했는지 모릅니다.

• 기존 방법의 한계: 과거의 설명 도구들은 "이 부분이 중요해 보인다"라고 대략적인 영역만 보여줬습니다. 하지만 상관관계 (함께 나타남) 와 인과관계 (원인) 를 혼동하는 경우가 많았습니다.
  • 비유: "비 (雨) 가 오면 우산 (傘) 을 폅니다." -> 우산이 비를 만드는 걸까요? 아닙니다. 둘 다 비가 오기 때문이죠. 기존 AI 설명 도구들은 우산과 비의 관계를 잘못 해석할 수 있었습니다.

🔍 2. 해결책: "만약 이 부분을 지운다면?" (인과 추론)

저자들은 PdCR이라는 새로운 방법을 제안했습니다. 이 방법은 **"만약 이 부분을 없애거나 바꾼다면, AI 의 판단이 어떻게 변할까?"**를 실험해 보는 방식입니다.

• 비유: 요리사의 레시피 분석
  • AI 가 "이 스프가 맛있어요"라고 했을 때, 왜 맛있다고 했는지 궁금합니다.
  • 기존 방법: "소금이 들어갔으니까 맛있겠지?"라고 추측합니다.
  • PdCR 방법: 스프에서 소금을 실제로 뺏어보고 맛이 어떻게 변하는지 확인합니다.
    • 소금을 빼고 맛이 떨어졌다면? -> 소금은 긍정적 원인 (진짜 이유) 입니다.
    • 소금을 빼고 오히려 맛이 나아졌다면? -> 소금은 부정적 원인 (나쁜 영향) 입니다.
    • 소금을 빼고 맛에 변화가 없다면? -> 소금은 무관한 요소입니다.

이처럼 AI 가 병변을 찾을 때, 주변 환경 (배경, 다른 조직 등) 을 조금씩 바꿔가며 AI 의 반응을 측정하여 진짜 원인을 찾아내는 것입니다.

🛠️ 3. 작동 원리: "조금씩 바꿔보는 실험"

이 방법은 두 가지 전략을 사용합니다.

1. 대략적으로 훑어보기 (Coarse-to-Fine):
   • 처음엔 이미지를 큰 조각 (패치) 으로 나누어, "어떤 부분이 중요할지" 대략적으로筛选 (선별) 합니다. 중요하지 않은 부분은 빠르게 제외하여 시간을 아낍니다.
   • 비유: 책에서 중요한 장을 고를 때, 처음엔 목차를 보고 대략적인 장을 정한 뒤, 그 장의 내용만 자세히 읽는 것과 같습니다.
2. 정밀하게 측정하기 (ATE 계산):
   • 선별된 중요한 부분들에 대해, 실제 데이터를 가져와서 그 부분을 대체하거나 변형한 뒤 AI 의 판단 점수 (Dice 점수) 가 얼마나 변하는지 정밀하게 계산합니다.
   • 비유: 요리에서 소금 양을 1g 씩 바꿔가며 맛이 어떻게 변하는지 정량적으로 측정하는 것과 같습니다.

📊 4. 놀라운 발견: "AI 는 생각보다 복잡하게 생각한다"

이 방법으로 12 가지 다른 종류의 AI 모델들을 분석한 결과, 예상치 못한 사실들이 드러났습니다.

• 긍정적 영향 vs 부정적 영향:
  • 우리는 "주변이 병변을 도와주는 것"만 있을 거라 생각했지만, **주변이 오히려 방해가 되는 경우 (부정적 영향)**도 상당수 발견되었습니다.
  • 비유: 어떤 AI 는 "이 주변 배경이 암을 감추고 있으니, 배경을 지워야 암을 찾을 수 있다"고 생각할 수도 있습니다. 즉, 배경이 방해꾼 역할을 하는 것이죠.
• 모델마다 다른 습관:
  • 같은 병을 찾아도, CNN 이라는 AI 는 "근처의 작은 특징"만 보고 판단하고, ViT 라는 AI 는 "전체적인 분위기"를 보고 판단하는 등 각 모델마다 사물을 보는 습관 (인지 전략) 이 완전히 다릅니다.
  • 비유: 같은 "사과"를 보더라도, 한 사람은 "색깔"을 보고, 다른 사람은 "무게"를 보고, 또 다른 사람은 "향기"를 보고 판단하는 것과 같습니다.

💡 5. 결론: "더 투명하고 안전한 AI 로"

이 연구 (PdCR) 는 의료 AI 가 단순히 "정답을 맞추는 기계"가 아니라, 왜 그렇게 판단했는지 그 이유를 명확히 설명할 수 있는 도구를 제공했습니다.

• 의사들의 신뢰: AI 가 왜 그 부분을 병변으로 판단했는지, 혹시 잘못된 배경을 보고 판단한 건 아닌지 확인할 수 있어 신뢰가 높아집니다.
• 모델 개선: AI 가 어떤 부분을 잘못 보고 있는지 (부정적 영향) 알 수 있으므로, 그 부분을 고쳐 더 똑똑한 AI 를 만들 수 있습니다.

한 줄 요약:

"이 논문은 의료 AI 가 병을 찾을 때 진짜 이유가 무엇인지, 주변 환경이 어떻게 영향을 미치는지를 실험적으로 증명해내는 **'AI 의 속마음 읽기 도구'**를 개발했습니다."

기술 요약

1. 문제 정의 (Problem)

의료 영상 분할 (Medical Image Segmentation) 은 임상 의사결정에서 병변의 정밀한 위치 파악과 개입 가이드에 필수적입니다. 그러나 최신 딥러닝 기반 분할 모델들은 높은 정확도를 보이지만, 그 내부 작동 원리가 불투명한 '블랙박스 (Black-box)' 성격을 띠고 있어 신뢰성 문제가 대두되고 있습니다.

기존의 설명 가능 AI (XAI) 기술들은 주로 이미지 분류 (Classification) 작업에 집중되어 있으며, 분할 작업에는 다음과 같은 한계가 있습니다:

• 밀집 예측 (Dense Prediction) 의 복잡성: 하나의 입력 변수가 고차원 출력 구조의 여러 측면에 기여하고, 출력 변수 간에도 상호 의존성이 존재합니다.
• 인과관계와 상관관계의 혼동: 기존 방법 (퍼뮤테이션, 그래디언트 기반 등) 은 상관관계에 기반하여 중요한 영역을 식별하려 하지만, 이는 인과관계를 보장하지 않습니다. 특히 의료 영상에서는 복잡한 입력 - 출력 상호작용으로 인해 잘못된 연결 (False connections) 이 발생할 수 있습니다.
• 시스템적 도구 부재: 복잡한 공간 추론과 세밀한 결정을 포함하는 분할 모델에 적용할 수 있는 체계적인 설명 도구가 부족합니다.

2. 방법론 (Methodology)

저자들은 PdCR (Perturbation-driven Causal Reasoning) 이라는 새로운 모델-중립 (Model-agnostic) 프레임워크를 제안했습니다. 이 방법은 인과 추론 (Causal Inference) 의 개념을 분할 모델의 설명에 적용합니다.

핵심 프로세스

1. 관심 영역 (RoI) 선정 및 초기 상태 측정:
   • 입력 이미지에서 특정 관심 영역 (RoI) 을 선택하고, 해당 영역에 대한 모델의 초기 예측 성능 (예: DSC 점수) 을 측정합니다.
2. 개입 (Intervention) 및 퍼뮤테이션:
   • RoI 주변의 패치 (Patch) 들을 대상으로 인위적인 교란 (Perturbation) 을 가합니다.
   • 단순히 이미지를 흐리게 하거나 노이즈를 추가하는 기존 방식 대신, 데이터셋의 자연스러운 분포에서 블록을 추출하여 치환하는 방식을 사용합니다. 이는 의료 영상의 특성 (어두운 배경, 균일한 텍스처 등) 을 고려하여 의미 있는 변화를 유도하기 위함입니다.
3. 인과 효과 정량화 (ATE 계산):
   • 평균 치료 효과 (Average Treatment Effect, ATE) 개념을 도입합니다.
   • 특정 패치를 교란했을 때 RoI 의 분할 성능이 어떻게 변하는지 ($R_1 - R_0$) 를 계산하여 해당 패치가 RoI 예측에 미치는 인과적 영향 (Positive/Negative) 을 정량화합니다.
   • 수식: $ATE = E[R_1 - R_0]$
4. 점진적 정제 (Coarse-to-Fine Pruning):
   • 모든 패치에 대해 ATE 를 계산하는 것은 계산 비용이 너무 큽니다.
   • ** coarse-to-fine 전략:** 먼저 소수의 샘플로 불필요한 패치를 필터링한 후, 관련성이 높은 패치에 대해서만 정밀한 ATE 계산을 수행하여 효율성을 높입니다.
5. PdCR 맵 생성:
   • 교란 시 성능이 저하되면 해당 영역은 긍정적 기여 (Positive contribution, 붉은색), 성능이 향상되면 부정적 기여 (Negative contribution, 파란색) 로 시각화합니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 PdCR 제안: 분할 모델의 예측에 대한 입력 영역의 인과적 영향을 정량화하는 최초의 모델-중립 프레임워크입니다. 기존 퍼뮤테이션 기반 방법과 달리, 동시 퍼뮤테이션을 수행하고 집단적 반응을 각 특징에 귀속시킵니다.
• 인과 추론 기반 양방향 귀속: ATE 개념을 적용하여 RoI 주변 교란이 분할 출력에 미치는 영향을 체계적으로 측정합니다. 이를 통해 긍정적 기여 영역뿐만 아니라 부정적 기여 (모델을 혼란스럽게 하는 영역) 를 모두 식별할 수 있습니다.
• 광범위한 실험 및 통찰: 두 가지 대표적인 의료 영상 데이터셋 (HAM10000, FIVES) 과 12 가지 다양한 아키텍처 (CNN, ViT, Mamba, KAN 등) 에 대해 실험을 수행했습니다. 이를 통해 모델 간, 그리고 동일 모델 내에서도 입력에 따라 지각 전략 (Perception strategies) 이 크게 다름을 발견했습니다.

4. 실험 결과 (Results)

• 정량적 평가: HAM10000(피부 병변) 과 FIVES(망막 혈관) 데이터셋에서 기존 설명 방법 (SEG-GRAD, MiSuRe) 과 비교했습니다.
  • 할당 정확도 (Attribution Accuracy): PdCR 은 모든 모델에서 가장 높은 점수를 기록했습니다 (평균 0.3734 vs SEG-GRAD 0.0859, MiSuRe 0.1532).
  • 할당 효율성: PdCR 은 점수 상승 속도가 가장 빨라 RoI 에 가장 영향력 있는 컨텍스트를 빠르게 식별했습니다.
• 정성적 분석 및 통찰:
  • 모델별 지각 차이: CNN 기반 모델은 국소적 이웃에 의존하는 반면, ViT 기반 모델은 전역적 컨텍스트를, Mamba 기반 모델은 순차적 스캔 패턴을 보임.
  • 부정적 기여의 존재: 많은 패치가 RoI 예측에 부정적인 영향을 미친다는 사실을 발견했습니다. 이는 분할 문제에서 기만적인 패턴 (Deceptive patterns) 이 흔하며, 모델이 잘못된 특징에 의존할 수 있음을 시사합니다.
  • 데이터셋 의존성: 동일한 모델 (예: MCU-RE) 이라도 데이터셋 특성에 따라 (큰 병변 vs 얇은 혈관) 전역적 맥락 활용에서 국소적 단서 활용으로 전략을 변경함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 설명: 상관관계가 아닌 인과관계에 기반하여 모델이 왜 특정 영역을 분할하는지, 혹은 어떤 요소가 분할을 방해하는지 명확히 보여줍니다.
• 모델 최적화 가이드: 계산 자원의 한계로 인해 단순히 모델 크기나 데이터 양을 늘리는 것보다, 네트워크 모듈의 실제 역할을 이해하고 최적화하는 것이 중요함을 강조합니다. PdCR 은 이를 위한 분석 도구를 제공합니다.
• 미래 연구 방향: 의료 영상 분할 모델의 투명성을 높이고, 잘못된 예측의 원인을 추적하여 모델의 신뢰성을 확보하는 데 기여할 것으로 기대됩니다. 또한, 전역 특징 분석과 인과 추론의 결합은 더 강력한 설명 가능 프레임워크 개발의 토대가 될 것입니다.

이 논문은 의료 영상 분석 분야에서 딥러닝 모델의 '블랙박스' 문제를 해결하기 위해 인과 추론을 체계적으로 도입한 선구적인 연구로 평가받습니다.