How to gain valuable insight from scarce data with Machine Learning: a post-hoc explanation tool to identify biases in biological images classification

이 논문은 제한된 생물의학 이미지 데이터셋에서 머신러닝 모델이 개체 식별과 같은 편향된 패턴을 학습할 수 있음을 SHAP 기반 설명 기법을 통해 규명하고, 이를 통해 편향을 제거하고 데이터가 지원하는 생물학적 의미 (예: 상처 회복 시기) 를 추출할 수 있음을 보여줍니다.

핵심

이 논문은 **"데이터가 너무 적을 때, 인공지능 (AI) 이 어떻게 속아 넘어갈 수 있는지, 그리고 그 속임수를 어떻게 찾아내어 진짜 통찰을 얻을 수 있는지"**에 대한 흥미로운 이야기입니다.

비유하자면, 이 연구는 **"AI 가 치과 의사가 되어 치아 사진을 보고 '충치'와 '건강한 치아'를 구분하려다 실패한 사건"**을 분석한 것입니다. 하지만 단순히 실패한 것을 끝으로 하지 않고, **"왜 실패했는지"**를 파헤쳐서 오히려 더 중요한 비밀을 찾아냈습니다.

핵심 내용을 쉬운 비유와 함께 설명해 드릴게요.

---

1. 상황: AI 가 치아 사진을 보고 '치유'를 예측하려다

연구진은 쥐의 상처가 **'재생 (다시 살이 붙어 원래대로 돌아옴)'**인지, **'흉터 (상처가 아물지만 기능이 떨어짐)'**인지를 AI 에게 가르치려 했습니다.

• 문제: 실험 동물 (쥐) 을 쓰려면 윤리적, 시간적, 금전적 제약이 있어 사진 (데이터) 이 매우 적었습니다.
• 시도: AI 에게 많은 사진을 보여주고 "이건 재생, 저건 흉터야"라고 가르쳤습니다.

2. 첫 번째 충격: "AI 는 완벽해 보였는데, 실수는 엉뚱한 곳에 있었습니다"

학습을 마친 AI 를 새로운 쥐의 사진으로 시험해 보니, 완전히 망했습니다. (무작위 추측 수준)

• 왜? AI 는 상처의 상태 (재생 vs 흉터) 를 배운 게 아니라, 사진을 찍은 '쥐 개체'의 특징을 외운 것입니다.
• 비유: AI 가 치과 의사가 아니라, **"환자의 얼굴을 기억하는 사람"**이 된 것입니다.
  • "아, 이 사진은 '김철수' 씨의 치아네. 김철수 씨는 항상 '재생' 상태라고 했으니, 이건 재생이야!"라고 추측한 것입니다.
  • 하지만 새로운 환자 (새로운 쥐) 가 오면, 얼굴을 모르니 아무것도 못 맞추는 것입니다.

3. 해결책: "AI 가 뭘 잘못 배웠는지 고해성사 (설명) 시키기"

연구진은 AI 가 왜 그런 실수를 했는지 알아보기 위해 **SHAP(샵)**이라는 도구를 사용했습니다. 이는 AI 의 두뇌를 해부해서 **"어떤 부분을 보고 판단했는지"**를 보여주는 도구입니다.

• 발견: AI 가 '재생/흉터'를 구분할 때 중요하게 생각한 특징과, '어떤 쥐인지'를 구분할 때 중요하게 생각한 특징이 100% 똑같았습니다.
• 결론: AI 는 상처의 상태를 본 게 아니라, **쥐 개개인에게만 있는 미세한 특징 (예: 사진 찍힌 배경의 미세한 노이즈, 쥐의 유전적 특징 등)**을 보고 "아, 이건 A 쥐구나"라고 판단한 뒤, A 쥐는 재생한다고 미리 정해둔 규칙을 적용했던 것입니다.

4. 반전: "실패에서 숨겨진 보물을 찾아내다"

그런데 여기서 끝내지 않았습니다. 연구진은 AI 가 '쥐 개체'를 구분할 때, 실수하는 패턴을 자세히 살펴봤습니다.

• 패턴 발견: AI 가 쥐를 구분할 때, 단순히 '누구'만 구분한 게 아니었습니다. **"상처 난 지 3 일인지, 10 일인지"**도 함께 구분하고 있었습니다.
  • 예를 들어, "3 일짜리 재생 쥐"와 "10 일짜리 재생 쥐"의 사진은 AI 에게서 확연히 다르게 보였습니다.
• 새로운 통찰: 원래 목표였던 '재생 vs 흉터' 구분은 데이터가 부족해서 실패했지만, **'시간에 따른 변화 (3 일 vs 10 일)'**는 데이터가 충분히 명확하게 담고 있었습니다.
• 결과: 연구진은 AI 에게 "재생/흉터"를 구분하라고 하지 말고, **"3 일짜리 사진과 10 일짜리 사진을 구분해"**라고 시켰습니다. 그랬더니 AI 는 완벽하게 성공했습니다.

5. 교훈: "데이터가 부족할 때, AI 의 '실수'를 잘 읽어라"

이 연구가 우리에게 주는 메시지는 다음과 같습니다.

1. AI 는 속기 쉽다: 데이터가 적으면 AI 는 진짜 규칙 (상처의 상태) 대신, 사소한 규칙 (누구의 사진인지) 을 외워서 높은 점수를 받을 수 있습니다.
2. 설명 (Explanation) 이 중요하다: AI 가 왜 그런 판단을 했는지 설명해주는 도구 (SHAP) 를 쓰면, AI 가 속고 있는지, 혹은 진짜 배운 게 있는지 알 수 있습니다.
3. 실패에서 배우자: AI 가 원래 목표를 실패했더라도, 그 실패 원인을 분석하면 **데이터에 숨겨진 진짜 의미 (시간에 따른 변화)**를 발견할 수 있습니다.

요약

이 논문은 **"적은 데이터로 AI 를 훈련시킬 때, AI 가 '누구의 사진인지'만 외우고 '상처의 상태'를 못 본다는 것을 발견했다. 하지만 그 실수를 분석한 결과, '시간의 흐름'이라는 진짜 중요한 정보를 찾아냈다"**는 이야기입니다.

마치 실수한 학생의 시험지를 꼼꼼히 채점해서, 그 학생이 '공부'는 못 했지만 '날짜'는 잘 외웠다는 걸 발견하고, 그 재능을 키워주는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 기계 학습 (ML), 특히 심층 신경망 (CNN) 은 생물의학 이미지 분석에 강력한 도구로 자리 잡았으나, 실제 생물학 연구에서는 실험 데이터 수집의 시간, 비용, 윤리적 제약으로 인해 데이터가 매우 부족 (Scarce Data) 한 경우가 많습니다.
• 문제점:
  • 제한된 데이터셋으로 훈련된 ML 모델은 종종 과적합 (Overfitting) 되어 새로운 데이터에 대해 일반화 (Generalization) 되지 못합니다.
  • 많은 생물의학 ML 연구가 데이터 누출 (Data Leakage) 이나 편향 (Bias) 을 제대로 통제하지 못하여, 모델이 실제 생물학적 패턴이 아닌 위조된 상관관계 (Spurious Correlations) 를 학습하는 경우가 빈번합니다.
  • 재생 의학 분야에서 조직의 '재생 (Regeneration)'과 '흉터 형성 (Scarring)'을 구별하려는 시도가 있었으나, 기존 모델들은 독립적인 테스트 데이터에서 실패했습니다.

2. 연구 방법론 (Methodology)

이 연구는 마우스 조직 이미지의 제한된 데이터셋을 사용하여 재생/흉터 분류를 시도하고, 실패 원인을 규명하기 위해 사후 설명 (Post-hoc Explanation) 기법을 도입했습니다.

• 데이터셋:
  • 28 마리의 C57BL/6 마우스를 대상으로 피하 지방 조직 (AT) 을 절제 후 3 일 (D3) 또는 10 일 (D10) 에 채취.
  • 공초점 이광자 현미경으로 촬영된 48,788 개의 2D 이미지 (핵 및 콜라겐 섬유 채널 포함).
  • 마우스 개체별, 시간대별 (D3/D10), 결과별 (재생/흉터) 로 4 개의 하위 그룹으로 구성됨.
• 모델 아키텍처:
  • 심층 신경망 (CNN): ResNet18, SqueezeNet, VGG11.
  • 트리 기반 모델: XGBoost (이미지 특징 추출 후 사용).
• 실험 설계:
  1. 이진 분류 (Binary Classification): 재생 vs 흉터 구분 (목표 작업).
  2. 개체 분류 (Individual Classification): 마우스 개체별 식별 (편향 확인을 위한 대조 작업).
  3. 데이터 분할: 데이터 누출 방지를 위해 동일한 마우스의 이미지는 훈련/테스트 세트에 섞이지 않도록 엄격하게 분리함.
• 설명 가능성 도구 (Explainability Tool):
  • SHAP (SHapley Additive exPlanations): 모델이 어떤 특징 (Feature) 을 기반으로 예측을 내렸는지 분석.
  • 의존도 플롯 (Dependence Plots): 특정 특징 값이 예측에 미치는 영향을 시각화하여 이진 분류와 개체 분류 간의 패턴 유사성을 비교.

3. 주요 결과 (Results)

A. 이진 분류의 실패 (Generalization Failure)

• 재생 vs 흉터 분류 모델은 훈련 및 검증 세트에서는 높은 정확도를 보였으나, 독립적인 테스트 세트에서는 무작위 추측 (약 50% 정확도) 수준으로 떨어졌습니다. 이는 모델이 실제 생물학적 신호를 학습하지 못하고 과적합되었음을 의미합니다.

B. 개체 식별의 성공 (Individual Recognition Success)

• 동일한 데이터셋으로 마우스 개체를 식별하는 작업을 수행한 결과, CNN 과 XGBoost 모두 높은 정확도로 개체를 구분해냈습니다.
• 이는 모델이 조직의 재생/흉터 상태를 학습한 것이 아니라, 각 마우스 개체만의 고유한 이미지 특징 (Individual Signatures) 을 학습했음을 시사합니다.

C. SHAP 분석을 통한 편향 규명

• 공통 특징: 재생/흉터 분류 모델과 마우스 개체 분류 모델이 동일한 핵심 특징 (Key Features) 을 사용함이 확인되었습니다 (공통 특징 비율 약 77%).
• 의존도 플롯 비교: '재생'으로 분류된 이미지의 SHAP 의존도 플롯과 '재생 마우스'로 분류된 이미지의 플롯이 매우 유사하게 겹쳐졌습니다.
• 결론: 모델은 생물학적 상태 (재생/흉터) 를 구분하는 것이 아니라, 마우스 개체를 식별하는 과정에서 우연히 레이블과 일치하는 패턴을 찾아낸 것입니다.

D. 오류 분석을 통한 새로운 통찰 도출

• 마우스 분류 모델의 혼동 행렬 (Confusion Matrix) 을 분석한 결과, 오분류가 무작위가 아니라 생물학적 하위 그룹 (D3/D10, 재생/흉터) 간에 특정 패턴을 보였습니다.
  • 예: D10 시점의 이미지가 D3 시점의 이미지로 잘못 분류되는 경향이 강함.
• 이를 바탕으로 D3 vs D10 (시간에 따른 분류) 작업을 수행한 결과, 제한된 데이터셋에서도 성공적으로 일반화되는 것을 확인했습니다.
• 이는 조직 재생 과정에서 '시간 (3 일 vs 10 일)'에 따른 차이가 '재생 vs 흉터' 결과에 따른 차이보다 모델이 학습하기 더 명확한 생물학적 신호임을 시사합니다.

4. 핵심 기여 (Key Contributions)

1. 제한된 데이터에서의 편향 탐지 방법론 제시: 모델이 실패했을 때, 단순히 성능을 낮게 평가하는 것을 넘어 개체 식별 (Individual Recognition) 과 SHAP 기반 설명을 결합하여 모델이 학습한 것이 '위조된 상관관계'임을 규명하는 체계적인 접근법을 제시했습니다.
2. 데이터에서 의미 있는 정보 추출: 모델이 원래 목표 (재생/흉터 구분) 를 실패했음에도, 개체 식별 과정에서 포착된 생물학적 신호 (시간에 따른 변화) 를 발견하고 이를 새로운 성공적인 작업 (D3 vs D10 분류) 으로 전환했습니다.
3. 생물의학 ML 연구의 모범 사례: 소규모 데이터셋을 다룰 때 데이터 누출 방지와 모델 해석의 중요성을 강조하며, 잘못된 결론을 방지하고 데이터에서 숨겨진 통찰을 얻을 수 있는 방법을 보여줍니다.

5. 의의 및 결론 (Significance)

• 과학적 의의: 재생 의학 연구에서 제한된 샘플 수로 인해 발생할 수 있는 ML 모델의 편향을 성공적으로 식별하고, 이를 통해 모델이 실제로 학습한 생물학적 인사이트 (시간에 따른 조직 변화) 를 재발견했습니다.
• 실용적 의의:
  • ML 모델의 설명 가능성 (Explainability) 도구를 단순히 성능 향상을 위한 것이 아니라, 데이터의 편향을 진단하고 모델의 실패 원인을 파악하는 핵심 도구로 활용할 것을 제안합니다.
  • 소규모 데이터셋을 가진 연구자들이 모델이 '무엇을' 학습했는지, '무엇을' 놓쳤는지를 파악하여, 데이터가 실제로 지지할 수 있는 작업 (Time-based classification) 으로 연구 방향을 수정할 수 있는 가이드라인을 제공합니다.
• 결론: 신중한 모델 설명 분석은 편향을 드러내는 것을 넘어, 불완전하고 제한된 데이터셋에서도 유용한 생물학적 정보를 추출할 수 있는 강력한 전략임을 입증했습니다.