An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

간단한 언어와 일상적인 비유를 사용하여 이 논문을 설명합니다.

큰 그림: "여러 개의 정답" 문제

체스 게임의 승자를 예측하려고 한다고 상상해 보세요. 과거 게임 데이터셋이 있지만, 문제가 하나 있습니다. 게임의 90% 는 백 (White) 이 이겼고, 10% 만 흑 (Black) 이 이겼습니다. 이를 불균형 데이터셋이라고 합니다.

이 데이터를 수정하지 않고 컴퓨터 모델에 학습시키면 컴퓨터가 게을러집니다. 컴퓨터는 "백이 항상 이긴다"고 학습하므로, 새로운 게임 하나하나에 대해 모두 "백"이라고 예측합니다. 정확도는 90% 가 되지만, 흑의 승리를 예측하는 데는 완전히 실패합니다.

이를 해결하기 위해 데이터 과학자들은 균형 조정 방법을 사용합니다. 이는 수프에 재료를 추가하는 요리사와 같은 역할을 합니다.

• 과대표집 (Oversampling): 드문 "흑의 승리" 게임을 복사하여 더 많이 만듭니다 (소금을 더 추가하는 것과 같습니다).
• 과소표집 (Undersampling): 흔한 "백의 승리" 게임 중 일부를 버려 냄비를 작게 만듭니다 (과도한 물을 제거하는 것과 같습니다).

목표는 컴퓨터가 소수 클래스에 주의를 기울이게 하는 것입니다. 하지만 이 논문은 무서운 질문을 던집니다: 데이터를 수정하는 것이 새로운 종류의 혼란을 만들어 내지는 않을까요?

라쇼몽 효과: "여러 가지 진실" 현상

이 논문은 라쇼몽 효과라는 개념을 사용합니다. 범죄 현장에서 다섯 명의 목격자가 서로 다른 다섯 가지 이야기를 한다고 상상해 보세요. 다섯 가지 이야기 모두 신빙성이 있고 사실을 모두 잘 설명하지만, 서로 모순됩니다.

머신러닝에서 라쇼몽 세트는 거의 정확히 동일한 성능을 보이는 (모두 "신빙성"이 있는) 서로 다른 컴퓨터 모델들의 그룹을 의미하지만, 동일한 사람이나 상황에 대해 서로 다른 예측을 합니다.

• 모델 A는 말합니다: "이 대출 신청자는 안전합니다."
• 모델 B는 말합니다: "이 대출 신청자는 위험합니다."
• 두 모델 모두 전체 정확도 점수는 동일합니다.

만약 무작위로 하나의 모델을 선택한다면 (맹목적인 선택), 동등하게 정확한 다른 모델이 승인했을 텐데도 불구하고, 실수로 좋은 사람을 거절하는 모델을 선택할 수 있습니다. 이를 **예측 다중성 (Predictive Multiplicity)**이라고 합니다.

실험: 데이터를 균형 있게 조정하면 어떤 일이 일어날까요?

저자들은 궁금해했습니다: 균형 조정 방법 (과대표집/과소표집) 을 사용하면 이 "여러 가지 진실" 문제가 더 악화될까요?

그들은 스팸 탐지, 신용카드 사기, 와인 품질과 같은 21 개의 서로 다른 실제 데이터셋을 가져와 "모델 공장 (Forester 라는 도구)"을 통해 각 데이터셋에 대해 수백 개의 약간씩 다른 모델을 생성했습니다. 이를 두 번 수행했습니다.

1. 원본, 불균형 데이터를 사용했을 때.
2. 균형 조정 방법을 적용한 후의 균형 잡힌 데이터를 사용했을 때.

그런 다음 모델들이 서로 얼마나 불일치하는지 확인하기 위해 세 가지 항목을 측정했습니다.

1. 모호성 (Ambiguity): 얼마나 많은 사람들이 상충되는 답변을 받나요? (예: "100 명 중 5 명이 서로 다른 예측을 받는다.")
2. 불일치 (Discrepancy): 최악의 시나리오는 무엇인가요? (예: "특정 모델 하나가 20 명에 대해 다른 모델들과 불일치한다.")
3. 불명확성 (Obscurity, 새로운 지표): 이것이 논문의 새로운 아이디어입니다. 이는 평균적인 혼란의 정도를 측정합니다. 단순히 "갈등이 있는가?"를 묻는 대신, "갈등이 평균적으로 얼마나 혼란스러운가?"를 묻습니다. 이는 데이터 위의 "안개"를 측정하는 것과 같습니다.

발견: "수정"이 안개를 더 두껍게 만들었습니다

그들이 발견한 바는 다음과 같습니다.

• 균형 조정 방법은 혼란을 증가시킵니다: SMOTE 나 무작위 과대표집과 같은 균형 조정 방법을 사용했을 때, 불명확성과 불일치가 증가했습니다.
  • 비유: 공원에서 잃어버린 개를 찾으려 한다고 상상해 보세요. 원래 공원 (불균형 데이터) 에서는 모든 수색견이 개의 위치를 일치시킵니다. 하지만 "균형 조정" (더 많은 수색견을 추가하거나 지형을 변경하는 것) 을 추가하면 수색견들이 서로 다른 방향으로 짖기 시작합니다. 그들은 여전히 "훌륭한" 개들이지만, 위치를 합의할 수 없습니다.
• "부분적" 수정은 효과가 없었습니다: 일부 전문가들은 이 혼란을 피하기 위해 "부분적 재표집" (데이터를 100% 가 아닌 조금만 균형 있게 조정하는 것) 을 사용할 것을 제안했습니다. 저자들은 이를 테스트했지만, 효과가 없었다는 것을 발견했습니다. 데이터를 얼마나 균형 있게 조정했든 상관없이 혼란은 여전히 높았습니다.
• 변수 중요도가 변경되었습니다: 또한 모델들이 서로 다른 단서를 보고 있는지 확인했습니다. 예를 들어, 한 모델은 "소득"이 가장 중요한 요소라고 생각할 수 있는 반면, 다른 모델은 "나이"라고 생각할 수 있습니다. 통계적으로 중요도의 순서가 극적으로 변하지는 않았지만, 균형 조정 방법들이 전반적으로 모델들의 행동을 다르게 만들었다는 것을 발견했습니다.

해결책: 새로운 대시보드

혼란이 발생하는 것을 막을 수 없으므로, 저자들은 이를 모니터링할 방법을 제안했습니다.

그들은 **확장된 성능 향상 플롯 (Extended Performance-Gain Plot)**을 사용할 것을 제안했습니다.

• 두 개의 다이얼이 있는 대시보드를 상상해 보세요.
• 다이얼 1 (수평): 모델이 올바르게 예측하는 능력이 얼마나 향상되었는지 보여줍니다 (성능 향상).
• 다이얼 2 (수직): 모델들이 서로 얼마나 불일치하는지 보여줍니다 (다중성/불명확성).

교훈: 당신은 다이얼 1 만 보면 안 됩니다. 정확도를 약간 향상시키는 방법 (다이얼 1 이 상승) 을 찾을 수 있지만, 불일치가 폭발적으로 증가 (다이얼 2 가 크게 상승) 할 수 있습니다. 저자들은 책임 있는 결정을 내리기 위해 두 다이얼을 모두 살펴봐야 한다고 말합니다.

논문의 주장 요약

1. 불균형 문제에는 데이터 균형 조정이 필수적이지만, 숨겨진 비용이 있습니다.
2. 균형 조정 방법은 "예측 다중성"을 증가시킵니다. 이는 동일한 사람들에 대해 상충되는 답변을 제공하지만 정확도는 동등한 많은 모델들이 존재하는 상황을 만듭니다.
3. 새로운 지표: 그들은 모델 예측이 평균적으로 얼마나 "안개 낀" 상태이거나 충돌하는지 측정하기 위해 "불명확성 (Obscurity)"을 도입했습니다.
4. 부분적 재표집은 만병통치약이 아닙니다. 이는 증가된 혼란 문제를 해결하지 못합니다.
5. 책임 있는 AI: 모델을 선택할 때 정확성만 확인하는 것이 아니라 안정성도 확인해야 합니다. 균형 조정 방법으로 생성된 "라쇼몽 세트"에서 맹목적으로 모델을 선택하면 개인에게 해를 끼치는 임의의 결정을 내릴 위험이 있습니다.

이 논문은 균형 조정 방법이 불균형 데이터를 해결하는 "피난처"이지만, 연구자들은 예측이 상충되는 안개 속으로 맹목적으로 걸어 들어가지 않도록 주의해야 한다고 결론지었습니다. 그들은 정확성과 안정성 사이의 트레이드오프를 보기 위해 새로운 "대시보드 (확장된 플롯)"를 사용해야 합니다.