A Visualization for Comparative Analysis of Regression Models

이 논문은 단일 수치 지표의 한계를 극복하고 두 회귀 모델의 오차 분포와 상관관계를 2 차원 공간에서 마할라노비스 거리와 컬러맵을 활용해 시각화함으로써 모델 성능 비교를 더 심층적으로 수행할 수 있는 새로운 방법을 제안합니다.

핵심

1. 문제: "숫자 점수"는 속임수일 수 있어요 📉

지금까지 우리는 AI 모델의 성능을 볼 때 **MAE(평균 오차)**나 RMSE(평균 제곱근 오차) 같은 숫자 점수만 봤습니다. 마치 학생의 성적을 볼 때 '평균 점수'만 보고 "A 학생이 B 학생보다 낫다"고 판단하는 것과 비슷합니다.

하지만 이 논문은 **"평균 점수만 보면 중요한 비밀이 숨겨져 있다"**고 말합니다.

• 비유: 두 명의 요리사 (모델 A 와 모델 B) 가 있다고 칩시다.
  • 모델 A: 대부분의 요리는 완벽하지만, 가끔은 불에 타버린 요리를 내옵니다. (평균 점수는 낮지만, 치명적인 실수가 있음)
  • 모델 B: 모든 요리에 약간의 소금 실수가 있지만, 절대로 타버린 요리는 없습니다. (평균 점수는 비슷하지만, 안정적임)
  • 기존 방식: 두 모델의 '평균 맛 점수'만 보면 둘 다 비슷해 보입니다. 하지만 응급실 (의료 진단) 이나 자율주행처럼 실수가 치명적인 상황에서는 '타버린 요리'를 만드는 모델 A 는 절대 쓰면 안 됩니다.

논문은 이런 **치명적인 실수 (Outlier)**나 **예측 방향 (너무 높게 잡았는지, 너무 낮게 잡았는지)**을 숫자만으로는 알 수 없다고 지적합니다.

---

2. 해결책: "2 차원 오차 지도"를 그려보세요 🗺️

저자들은 두 단계로 나누어 모델을 비교하는 새로운 시각화 방법을 제안합니다.

1 단계: 1 차원 필터링 (박스 플롯) 📦

먼저 모든 모델을 나열해서 '누가 가장 나쁜지'를 가려냅니다.

• 비유: 12 명의 선수를 한 줄로 세우고, 각자의 실력 분포를 **상자 (Box)**로 표현합니다.
  • 상자가 작고 중앙에 모여 있으면: 일관된 실력 (좋은 모델).
  • 상자가 길거나 바깥에 점 (Outlier) 이 튀어 있으면: 가끔 큰 실수를 하는 모델.
  • 이 단계에서 성적이 너무 나쁜 선수들은 탈락시키고, 상위 2~3 명만 남깁니다.

2 단계: 2 차원 오차 공간 (핵심 아이디어) 🌌

남은 두 명의 좋은 모델을 서로 비교할 때, 단순히 점수만 비교하지 않고 **"두 모델이 같은 실수를 했는지, 서로 다른 실수를 했는지"**를 지도 위에 그려봅니다.

• 지도의 구조:
  • 가로축 (X): 모델 A 의 오차 (얼마나 틀렸나?)
  • 세로축 (Y): 모델 B 의 오차 (얼마나 틀렸나?)
  • 대각선: 두 모델이 똑같은 오차를 낸 경우.

이 지도를 보면 다음과 같은 비밀이 보입니다:

1. 누가 더 나을까? 한 모델이 다른 모델보다 오차가 훨씬 큰 영역에 점들이 모여 있으면, 그 모델이 더 나쁜 것입니다.
2. 어떤 실수를 할까?
   • 점들이 위쪽에 모여 있다면: 모델 B 가 모델 A 보다 더 크게 과대평가 (너무 높게 예측) 했습니다.
   • 점들이 아래쪽에 모여 있다면: 모델 B 가 모델 A 보다 더 크게 과소평가 (너무 낮게 예측) 했습니다.

---

3. 더 똑똑한 지도: "색깔"과 "마할라노비스 거리" 🎨📐

단순히 점만 찍으면 너무 많아서 구분이 안 됩니다. 그래서 두 가지 기술을 추가했습니다.

A. 색깔로 밀도를 표현 (Heatmap) 🔥❄️

• 비유: 지도 위의 점들이 불타는 붉은색으로 모여 있는 곳은 "대부분의 데이터가 여기 모여 있다"는 뜻입니다. 차가운 파란색은 "드문드문한 이상치"입니다.
• 효과: 어디에 가장 많은 실수가 몰려 있는지 한눈에 볼 수 있습니다.

B. 마할라노비스 거리 (Mahalanobis Distance) 📏

• 문제: 일반적인 거리 (유클리드 거리) 는 "원형"으로 거리를 재서, 데이터가 길쭉하게 늘어져 있을 때 (예: 오차가 서로 상관관계가 있을 때) 정확한 거리를 재지 못합니다.
• 해결: 마할라노비스 거리는 데이터가 타원형으로 늘어져 있을 때 그 모양을 따라 거리를 재줍니다.
• 비유:
  • 일반적인 거리: "우산"을 펴고 빗방울을 재는 것 (원형).
  • 마할라노비스 거리: "타원형의 방수포"를 펴서 빗방울을 재는 것 (데이터의 흐름에 맞춰 재는 것).
  • 이 방법을 쓰면, 겉보기엔 멀어 보이지만 실제로는 데이터 흐름상 가까운 점과, 멀어 보이지만 흐름상 이상한 점 (치명적인 오류) 을 정확히 찾아냅니다.

---

4. 실제 사례: 기계 고장 예측 🏭

논문의 마지막 부분에서는 실제 산업용 기계의 수명 (RUL) 을 예측하는 사례를 들었습니다.

• 상황: 기계가 언제 고장 날지 예측할 때, **실제로 고장 나기 전에 미리 알리는 것 (과소평가)**은 안전하지만, **고장 나기 전에 "아직 멀었다"고 속이는 것 (과대평가)**은 재앙입니다.
• 결과: 숫자 점수만 보면 두 모델이 비슷해 보였습니다. 하지만 이 2 차원 지도를 보니, 한 모델은 위험한 과대평가를 자주 했고, 다른 모델은 안전한 과소평가를 자주 했습니다.
• 결론: 지도를 본 덕분에, 안전이 최우선인 상황에서는 점수가 조금 더 낮아도 안전한 모델을 선택할 수 있었습니다.

---

💡 한 줄 요약

"숫자 점수 (평균) 만 믿으면 치명적인 실수를 놓칠 수 있습니다. 두 모델의 오차를 지도 위에 그려서, 어디에 실수가 몰려 있고 어떤 방향으로 틀리는지 '눈'으로 확인해야 진짜 좋은 모델을 고를 수 있습니다."

기술 요약

1. 문제 정의 (Problem Statement)

회귀 (Regression) 모델의 성능 평가는 일반적으로 MAE(평균 절대 오차), RMSE(평균 제곱근 오차), $R^2$와 같은 단일 스칼라 지표를 통해 이루어집니다. 그러나 이러한 전통적인 지표들은 다음과 같은 한계를 가집니다.

• 정보의 과도한 집약 (Over-aggregation): 모델의 예측 오차 분포에 대한 세부 정보를 평균화하여, 서로 다른 오차 패턴을 가진 모델들을 구별하기 어렵게 만듭니다.
• 방향성 및 극단값의 은폐:
  • 과대/과소 추정 구분 불가: 절대값이나 제곱을 사용하므로, 일관된 과대 추정과 일관된 과소 추정을 구별할 수 없습니다.
  • 극단값 (Outlier) 의 중요성 간과: 의료나 자율주행과 같이 극단적인 오차가 치명적인 분야에서는 RMSE가 민감할 수 있으나, MAE 는 이를 완화할 수 있어 모델 선택 기준이 모호해질 수 있습니다.
  • 개별 사례별 차이 무시: 전체적인 평균 오차는 비슷하더라도, 특정 데이터 포인트에서 모델들이 어떻게 다른 오차를 내는지 (예: 한 모델은 일관되게 낮게 예측하고 다른 모델은 흩어져 예측함) 를 파악하기 어렵습니다.

기존의 시각화 방법 (산점도, 잔차 플롯, 히스토그램 등) 또한 데이터가 많을 때 점의 중첩 (overplotting) 문제로 인해 밀도 파악이 어렵거나, 두 모델 간의 직접적인 비교에 한계가 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 회귀 모델의 성능을 종합적으로 평가하기 위해 2 단계 시각화 방법론을 제안합니다.

1 단계: 1 차원 시각화를 통한 모델 선별 (1D Comparison)

• 목적: 다수의 모델 중 성능이 낮은 모델을 빠르게 걸러내고, 유망한 모델들의 오차 분포 특성을 파악합니다.
• 기법:
  • 박스플롯 (Boxplots): 각 모델의 오차 범위, 중앙값, 이상치를 시각화하여 예측의 일관성을 비교합니다.
  • 산점도 (Scatter Plots): 예측값 vs 실제값을 색상 (예: 따뜻한 색은 정확, 차가운 색은 큰 오차) 으로 표현하여 모델이 어떤 구간 (저값/고값) 에서 잘 작동하는지 확인합니다.

2 단계: 2 차원 오차 공간 (2D Error Space) 을 통한 모델 비교

두 개의 유망한 모델을 직접 비교하기 위해 제안된 핵심 방법론입니다.

• 구조:
  • 축 (Axes): X 축은 모델 A 의 오차, Y 축은 모델 B 의 오차입니다.
  • 대각선 (Diagonals):
    • $y = x$: 두 모델의 오차가 동일한 영역.
    • $y = -x$: 한 모델이 과대 추정하고 다른 모델이 과소 추정하는 영역.
    • 이를 기준으로 "모델 A 가 더 나은 영역"과 "모델 B 가 더 나은 영역"으로 구분됩니다.
• 밀도 및 근접성 시각화 (Density & Proximity):
  • 단순 산점도 대신 컬ormap을 사용하여 데이터 포인트의 밀도를 표현합니다.
  • 중위수 (Median) 기준 거리: 각 점이 분포의 중심 (중위수) 에서 얼마나 떨어져 있는지를 색으로 표현합니다. (중심에 가까울수록 따뜻한 색, 멀수록 차가운 색).
  • 백분위수 (Percentile): 데이터의 밀집 정도를 백분위수로 표시하여 이상치를 쉽게 식별합니다.
• 거리 측정 지표 (Distance Metric):
  • 유클리드 거리 (Euclidean Distance): 단순한 거리 계산으로, 변수 간 상관관계나 스케일 차이를 반영하지 못합니다.
  • 마할라노비스 거리 (Mahalanobis Distance): 핵심 기여 요소 중 하나. 변수 간 상관관계와 스케일 차이를 고려하여 데이터 분포의 실제 구조 (타원형 등) 를 반영합니다. 이를 통해 이상치를 더 정확하게 식별하고 데이터의 실제 분포 패턴을 파악할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 시각화 프레임워크: 단순한 수치 지표를 넘어, 모델 간 오차 분포의 구조적 차이를 시각적으로 드러내는 2 단계 방법론을 제시했습니다.
2. 2D 오차 공간 (2D Error Space): 두 모델의 오차를 직접 비교할 수 있는 공간적 프레임을 정의하고, 대각선을 통한 비교 영역 (Comparison Zones) 을 명확히 했습니다.
3. 마할라노비스 거리와 중위수 기반 밀도 시각화: 기존 KDE(커널 밀도 추정) 나 Hexbin 의 한계를 극복하기 위해, 분포의 중심 (중위수) 으로의 거리와 변수 간 상관관계를 고려한 마할라노비스 거리를 적용하여 이상치와 분포 구조를 더 정밀하게 분석할 수 있게 했습니다.
4. 실제 데이터 검증: AI4I 2020 예측 유지보수 (Predictive Maintenance) 데이터셋을 활용하여 비대칭적 오차 비용 (과대 추정의 위험성) 이 중요한 상황에서 제안된 방법이 어떻게 더 나은 의사결정을 지원하는지 입증했습니다.

4. 결과 및 사례 연구 (Results & Case Study)

• 실험 설정: AI4I 2020 데이터셋을 사용하여 잔여 수명 (RUL) 을 예측하는 두 개의 신경망 모델 (E1, E2) 을 비교했습니다. 두 모델은 아키텍처는 동일하지만, 과대 추정을 더 강하게 패널티 주는 손실 함수 (Loss Function) 설정만 달랐습니다.
• 전통적 지표의 한계: MAE 와 RMSE 는 모델 E1 이 E2 보다 약간 더 성능이 좋다고 나타냈으나, 그 차이는 미미했습니다.
• 제안 방법의 통찰:
  • 2D 오차 공간에서 두 모델의 오차는 강한 상관관계를 보였으나, 대부분의 점이 $y=x$ 선보다 약간 위에 위치했습니다.
  • 이는 모델 E2 의 오차가 모델 E1 보다 체계적으로 더 큼을 의미하며, E1 이 위험을 피하기 위해 보수적으로 (과소 추정) 예측하는 경향이 있음을 시각적으로 증명했습니다.
  • 마할라노비스 거리를 적용한 시각화는 데이터의 타원형 분포를 명확히 보여주어, 단순한 평균 오차로는 알 수 없었던 모델의 행동 패턴 (E1 이 더 안전함) 을 명확히 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의사결정 지원: 단순한 "어떤 모델이 더 좋은가"를 넘어, "어떤 상황에서 어떤 모델이 더 적합한가"를 파악할 수 있게 합니다. 특히 의료, 금융, 안전 관련 분야에서 오차의 방향성 (과대/과소) 과 극단값의 영향을 고려한 모델 선택이 필수적인 경우에 큰 가치가 있습니다.
• 해석 가능성 (Interpretability): 블랙박스 모델의 예측 오차 분포를 직관적으로 이해할 수 있게 하여, 데이터 과학자와 도메인 전문가 간의 소통을 원활하게 합니다.
• 향후 방향: 이 시각화 툴킷을 확장하여 도메인 조건이나 운영 환경 변화에 따른 모델 오차의 진화를 시각화하는 방향으로 연구가 진행될 예정입니다.

요약하자면, 이 논문은 통계적 지표의 한계를 보완하고, 상관관계와 오차의 방향성을 고려한 정교한 시각적 분석 방법론을 제시함으로써 회귀 모델의 비교 및 선택 과정을 혁신적으로 개선했습니다.