Knowledge-Guided Machine Learning: Illustrating the use of Explainable Boosting Machines to Identify Overshooting Tops in Satellite Imagery

이 논문은 기상학 분야에서 인간의 지식을 반영한 해석 가능한 머신러닝 알고리즘인 설명 가능 부스팅 머신 (EBM) 을 활용하여 위성 영상에서 오버슈팅 탑을 식별하는 방법을 제시하고, 복잡한 모델의 정확도는 다소 낮지만 인간과 기계의 협업을 통해 투명하고 신뢰할 수 있는 예보 모델 개발의 가능성을 보여줍니다.

핵심

이 논문은 **"날씨 예보에 인공지능 (AI) 을 쓸 때, 그 AI 가 왜 그런 결론을 내렸는지 우리가 정확히 알 수 있어야 한다"**는 중요한 메시지를 전달합니다.

구체적으로, 위성 사진 속의 **'돌출된 구름 꼭대기 (Overshooting Tops)'**를 찾아내는 작업을 예로 들며, 새로운 종류의 AI 인 **EBM(설명 가능한 부스팅 머신)**을 소개하고 있습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "흑백 상자" 같은 AI 의 위험성

기상 예보에 AI 를 도입하면 속도가 엄청나게 빨라지고 정확도도 높아집니다. 하지만 문제는 AI 가 어떻게 판단하는지 알 수 없다는 점입니다.

• 비유: 마치 **"마법의 점술구"**를 생각해보세요. 점술구가 "비 올 것이다"라고 말하면 우리는 그 이유를 모릅니다. 만약 이 점술구가 "구름이 아니라, 사진 구석에 있는 '출처 태그'를 보고 비가 온다고 착각했다면?" 어떨까요?
• 현실: AI 는 훈련 데이터에 있는 우연한 패턴 (예: 사진 태그, 특정 배경) 을 학습해서, 실제 상황과 다른 엉뚱한 결론을 내릴 수 있습니다. 이를 **'Clever Hans(교활한 한스) 전략'**이라고 부릅니다. 태풍이나 폭우 같은 재해 상황에서는 이런 실수가 치명적일 수 있습니다.

2. 해결책: "설명 가능한 AI (EBM)"

이 논문은 **EBM(Explainable Boosting Machines)**이라는 새로운 AI 를 소개합니다.

• 비유: 기존의 복잡한 AI 가 **"복잡한 레시피를 가진 미스터리한 요리사"**라면, EBM 은 **"조리 과정을 하나하나 설명해 주는 요리사"**입니다.
  • "이 구름이 왜 위험한가요?"라고 물으면, EBM 은 "첫째, 구름이 너무 밝아서요. 둘째, 구름 표면이 거칠어서요. 셋째, 온도가 너무 낮아서요."라고 구체적인 이유를 알려줍니다.
  • 게다가 이 요리사는 수정 가능합니다. "아, 그거 아니야. 그건 구름이 아니라 그림자야. 그 부분은 무시해!"라고 전문가가 말하면, AI 는 다시 학습하지 않고도 그 부분만 바로 수정할 수 있습니다.

3. 실전: 위성 사진 속 '돌출된 구름' 찾기

이 연구에서는 태풍이나 폭풍우의 전조 현상인 **'돌출된 구름 꼭대기 (OT)'**를 위성 사진에서 찾아내는 작업을 했습니다.

• 전문가의 지혜를 섞기 (Knowledge-Guided ML):

  • AI 가 처음부터 모든 것을 배우게 하지 않고, 인간 전문가의 지식을 먼저 넣었습니다.
  • 1 단계 (밝기): 구름이 얼마나 밝은지 확인 (낮에 찍은 사진).
  • 2 단계 (질감): 구름 표면이 매끄러운지, 거칠고 '뽀글뽀글'한지 확인 (OT 는 거칠기 때문).
  • 3 단계 (온도): 구름 꼭대기가 얼마나 차가운지 확인 (높을수록 차갑기 때문).
  • 이 세 가지 정보를 AI 에게 주입했습니다.

• 수정 과정 (Editing):

  • AI 가 처음에는 "어두운 구름은 위험하지 않다"고 잘못 배웠습니다 (그림자를 구름으로 오인한 것).
  • 연구자들은 AI 의 "두뇌"를 직접 열어보고, "어두운데도 온도가 매우 낮으면 위험해"라는 규칙을 직접 수정했습니다. AI 를 다시 훈련시킬 필요 없이, 규칙만 고쳐서 완벽하게 만들었습니다.

4. 결과: 완벽하지는 않지만, 신뢰할 수 있다

• 정확도: 최신의 복잡한 AI(딥러닝) 에 비해 정확도는 약간 떨어질 수 있습니다. 하지만 왜 그런 판단을 내렸는지 100% 투명하게 보여줍니다.
• 장점: 기상 예보관들은 AI 가 "왜" 위험하다고 판단했는지 알 수 있으므로, 그 결과를 더 신뢰하고 실제 재난 대응에 활용할 수 있습니다.

5. 결론: "검은 상자"에서 "유리 상자"로

이 논문은 기상 예보에 AI 를 쓸 때, 단순히 "정확한 답"만 주는 것이 아니라 "신뢰할 수 있는 이유"를 함께 주는 것이 중요하다고 강조합니다.

• 핵심 메시지: "우리는 AI 가 마법처럼 작동하는 것을 원하지 않습니다. 우리는 AI 가 어떻게 생각했는지 설명할 수 있는 친구가 되기를 원합니다."

이 연구는 복잡한 AI 기술을 사람이 이해하고, 전문가의 지혜와 함께 수정하며, 더 안전하게 사용할 수 있는 방법을 보여주는 훌륭한 사례입니다.

기술 요약

논문 요약: 지식 기반 머신러닝을 활용한 위성 영상에서의 오버슈팅 탑 (Overshooting Tops) 식별

1. 문제 제기 (Problem)

• 기존 ML 의 한계: 기상 예보와 같은 고위험 분야에서 머신러닝 (ML) 알고리즘은 물리 기반 모델보다 빠르고 정확할 수 있지만, 훈련 데이터 범위를 벗어난 상황 (예: 극단적인 기상 현상) 에서 예측 불가능한 실패 (catastrophic failures) 를 일으킬 수 있습니다.
• 블랙박스 문제: 복잡한 딥러닝 모델 (예: CNN) 은 의사 결정 과정이 불투명하여 (Black-box), 모델이 왜 특정 오류를 범하는지 파악하기 어렵습니다. 이는 신뢰성 부족으로 이어져 운영 환경 도입의 주요 장애물이 됩니다.
• 과적합 및 잘못된 전략: 데이터 내의 우연한 상관관계 (Spurious correlations) 를 학습하여 'Clever Hans'와 같은 잘못된 전략을 채택할 수 있으며, 이를 사후적으로 설명하는 XAI(Explainable AI) 방법론은 한계가 있습니다.

2. 방법론 (Methodology)

이 연구는 지식 기반 머신러닝 (Knowledge-Guided Machine Learning, KGML) 접근법을 사용하여 **설명 가능한 부스팅 머신 (Explainable Boosting Machines, EBM)**을 위성 영상 분석에 적용합니다.

• 핵심 알고리즘: EBM (Explainable Boosting Machines)

  • 일반화 가법 모델 (GAM) 을 확장한 모델로, 주 효과 (1 차 함수) 와 상호작용 효과 (2 차 함수) 를 더한 형태로 구성됩니다.
  • 설명 가능성: 각 특징 (Feature) 이 결과에 미치는 영향을 시각화 가능한 함수 (Feature Function) 로 표현합니다.
  • 편집 가능성 (Editable AI): 훈련된 모델을 재학습 없이도 인간 전문가의 지식을 반영하여 전략을 직접 수정 (수정) 할 수 있습니다.

• 지식 기반 특징 공학 (Feature Engineering)

  • EBM 은 스칼라 입력을 요구하므로, 위성 영상에서 의미 있는 스칼라 특징 3 가지를 추출했습니다.
    1. 밝기 (Brightness): 가시광선 (VIS) 영상의 반사율을 9x9 커널로 평활화하여 구름 전체의 밝기 정보를 추출.
    2. 쿨 컨트라스트 타일 (Cool Contrast Tiles): GLCM(Gray-Level Co-occurrence Matrices) 을 사용하여 가시광선 영상의 질감 (Texture) 을 정량화하고, 적외선 (IR) 온도 (250K 이하) 와 결합하여 고층 구름의 거친 질감 (OT 의 특징) 만을 추출.
    3. 적외선 (Infrared): ABI 채널 13 의 적외선 영상으로 구름 꼭대기 온도 (높은 구름일수록 낮은 온도) 를 직접 사용.

• 학습 데이터 및 라벨링

  • 데이터: GOES-16 위성 영상 (가시광선 및 적외선) 사용.
  • 라벨: MRMS(다중 레이더 다중 센서) 시스템의 대류 (Convection) 플래그를 사용.
  • 전략적 전환: OT(Over-shooting Top) 를 직접 라벨링하는 것은 매우 어렵기 때문에, 먼저 '대류'를 탐지하는 모델을 훈련한 후, EBM 의 편집 기능을 활용하여 대류 탐지 전략을 OT 탐지 전략으로 수정 (Transfer Learning 유사 접근) 했습니다.

• 모델 개발 프로세스 (3 단계)

  1. 전문가 지식 통합: OT 식별에 필요한 물리적 특징 (밝기, 질감, 온도) 을 추출.
  2. 설명 가능한 AI 훈련: EBM 을 사용하여 모델 학습.
  3. 전략 수정 (Editing): 학습된 특징 함수 (Feature Functions) 를 시각화하고, 도메인 전문가의 지식에 따라 잘못된 전략 (예: 그림자 영역을 OT 로 오인하는 등) 을 수동으로 수정.

3. 주요 기여 (Key Contributions)

• 기상학 분야에 EBM 도입: 기존에 의료/금융 분야에서 주로 사용되던 EBM 을 기상 위성 영상 분석에 처음 적용하고 그 가능성을 입증했습니다.
• 인간 - 기계 협업 (Human-in-the-loop) 모델 개발: 모델의 '블랙박스' 문제를 해결하기 위해, 모델이 학습한 전략을 시각화하고 인간 전문가가 직접 개입하여 수정하는 워크플로우를 제시했습니다.
• 오류 모드 식별 및 수정:
  • 초기 모델은 낮은 밝기 (그림자) 를 OT 로 잘못 인식하는 경향이 있었습니다. 이를 특징 함수를 평탄화하여 수정했습니다.
  • 질감 특징의 경우, 미세한 질감까지 긍정적으로 반응하던 것을 수정하여 OT 의 거친 질감에만 높은 점수를 부여하도록 조정했습니다.
• 상호작용 (Interaction) 분석: 밝기와 적외선 온도의 상호작용을 통해 그림자 영역에서도 OT 를 탐지할 수 있는 물리적 메커니즘을 모델이 학습했음을 확인하고 이를 시각화했습니다.

4. 결과 (Results)

• 성능 지표:
  • MRMS 라벨 (대류) 과의 비교에서 재현율 (Recall) 은 0.144, 정밀도 (Precision) 는 0.487 로 나타났습니다.
  • 주의: 이 수치는 모델이 OT 가 아닌 '대류' 전체를 탐지하는 것으로 평가되었기 때문에, 실제 OT 탐지 성능을 직접적으로 반영하지는 않습니다. (OT 는 대류의 일부일 뿐이므로 Miss 가 많을 수밖에 없음).
  • 수정된 모델은 수정 전 모델보다 Heidke Skill Score(0.119 → 0.216) 가 크게 향상되었습니다.
• 케이스 스터디:
  • 성공 사례: 강한 신호를 가진 OT 는 정확하게 탐지되었으며, 그림자 영역에서도 상호작용 특징을 통해 성공적으로 탐지되었습니다.
  • 실패 사례: OT 와 구별하기 어려운 다른 특징 (예: 차가운 U/V 모양, AACP) 을 OT 로 오인하는 경우가 발생했습니다. 이는 모델의 단순한 특징 공학 (질감과 온도만 사용) 의 한계로, 더 복잡한 특징 (예: 대류권 계면 높이) 이 필요함을 시사합니다.
• 해석 가능성: 모델이 어떤 특징 (밝기, 온도, 질감) 을 기반으로 결정을 내리는지, 그리고 인간이 수정한 부분이 어떻게 모델의 판단을 물리적으로 타당한 방향으로 이끌었는지 명확하게 보여줄 수 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 AI: 고위험 기상 예보 분야에서 모델의 투명성과 신뢰성을 확보하는 것이 필수적이며, EBM 은 이를 실현할 수 있는 강력한 도구입니다.
• 트레이드오프 수용: 복잡한 딥러닝 모델보다 평균 정확도가 낮을 수는 있지만, 치명적인 오류 (Catastrophic errors) 를 줄이고 인간이 개입하여 모델을 보정할 수 있다는 점이 더 큰 가치입니다.
• 미래 전망:
  • 이 연구는 EBM 이 기상학 분야에서 활용될 수 있는 가능성을 열었으며, 향후 더 정교한 특징 공학과 대규모 수동 라벨링 데이터셋 구축을 통해 성능을 극대화할 수 있음을 제안합니다.
  • 단순한 자동화 모델을 넘어, 도메인 전문가의 지식을 직접 반영하여 모델을 '수정'하고 '개선'하는 새로운 ML 패러다임을 제시했습니다.

요약하자면, 이 논문은 위성 영상 기반의 오버슈팅 탑 탐지라는 구체적인 과제를 통해, 설명 가능하고 편집 가능한 머신러닝 (EBM) 과 지식 기반 특징 공학을 결합하여, 투명하고 신뢰할 수 있는 기상 예보 모델을 구축하는 방법론을 성공적으로 시연했습니다.