On the Impact of the Utility in Semivalue-based Data Valuation

이 논문은 시미밸류 기반 데이터 가치 평가의 유틸리티 선택에 따른 민감도 문제를 해결하기 위해 데이터 포인트를 저차원 공간에 매핑하는 '공간 서명' 개념을 도입하고, 이를 통해 유틸리티 변경에 따른 평가 결과의 강건성을 정량적으로 측정하는 실용적인 방법론을 제시합니다.

핵심

이 논문은 **"데이터 평가 (Data Valuation)"**라는 다소 어렵게 들리는 주제를 다루고 있습니다. 쉽게 말해, **"어떤 데이터가 머신러닝 모델을 만드는 데 정말 중요한가?"**를 계산하는 방법입니다.

이 연구의 핵심은 **"우리가 중요하다고 생각하는 기준 (Utility) 이 조금만 바뀌어도, 데이터의 중요도 순위가 뒤죽박죽이 되는가?"**를 확인하는 것입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 배경: "요리사"와 "재료"의 이야기

머신러닝 모델을 만든다는 것은 **요리사 (모델)**가 **재료 (데이터)**를 섞어 맛있는 요리를 만드는 것과 같습니다.
하지만 재료가 1,000 개나 된다면, 어떤 재료가 요리의 맛을 결정하는지 알기 어렵습니다. 그래서 연구자들은 Shapley Value나 Banzhaf 같은 수학적 공리 (게임 이론) 를 이용해 각 재료의 '가치 점수'를 매깁니다.

• 문제 상황: 우리는 요리의 맛을 평가할 때 '달콤함', '짠맛', '신맛' 등 여러 기준을 쓸 수 있습니다.
  • "이 요리는 달콤함이 중요해!"라고 하면, 설탕이 많은 재료가 1 등입니다.
  • "아니야, 짠맛이 중요해!"라고 하면, 소금이 많은 재료가 1 등입니다.
  • 핵심 질문: "내가 '달콤함'과 '짠맛'의 비율을 조금만 바꿔도, 재료들의 순위가 완전히 뒤바뀌나요?"

2. 이 논문이 발견한 놀라운 사실: "나침반"과 "지형도"

연구자들은 데이터 점수들이 어떻게 변하는지 보기 위해 기하학적 (공간적) 비유를 사용했습니다.

• 우주적 비유 (Spatial Signature):
  각 데이터 포인트를 2 차원 지도에 점으로 찍어봤습니다.

  • X 축: 달콤함 점수
  • Y 축: 짠맛 점수
  • 우리의 기준 (Utility): 지도 위에 있는 나침반입니다. 나침반이 가리키는 방향이 중요하다고 생각하는 기준입니다.

• 순서가 바뀌는 순간:
  나침반 (기준) 을 살짝 돌리면, 지도 위의 점들이 나열되는 순서가 바뀔 수 있습니다.

  • 만약 점들이 뻥튀기처럼 퍼져서 무작위로 흩어져 있다면, 나침반을 아주 조금만 돌려도 순서가 뒤죽박죽이 됩니다. (매우 불안정함)
  • 반면, 점들이 하나의 곧은 선 위에 쭉 늘어서 있다면, 나침반을 어느 방향으로 돌려도 순서가 거의 변하지 않습니다. (매우 안정적임)

3. 세 가지 평가 방법 (세 명의 요리사)

이 논문은 데이터 가치를 계산하는 세 가지 유명한 방법 (Shapley, Beta Shapley, Banzhaf) 을 비교했습니다.

1. Shapley (공평한 요리사): 모든 조합을 고르게 고려합니다.
2. Beta Shapley (조절 가능한 요리사): 작은 조합이나 큰 조합에 가중치를 둘 수 있습니다.
3. Banzhaf (강력한 요리사): 특정 방식으로 조합을 평가합니다.

결과:
실험을 해보니, Banzhaf 방법이 만든 지도 위의 점들은 거의 완벽한 일직선에 놓여 있었습니다.

• Shapley나 Beta Shapley는 점들이 퍼져 있어서, 기준 (나침반) 을 살짝만 바꿔도 순위가 뒤바뀌었습니다.
• 하지만 Banzhaf는 기준이 조금 변해도 순위가 그대로 유지되었습니다. 즉, Banzhaf가 가장 **견고 (Robust)**했습니다.

4. 실용적인 제안: "안정성 지수"

연구자들은 이제 이 사실을 이용해 실용적인 도구를 만들었습니다.

• 안정성 지수 (Robustness Metric):
  "내가 사용하는 평가 기준을 바꿀 때, 데이터 순위가 얼마나 흔들릴까?"를 숫자로 알려주는 지표입니다.
  • 이 지수가 높으면 (1 에 가까움): "걱정하지 마세요. 기준을 바꿔도 중요한 데이터는 여전히 중요합니다."
  • 이 지수가 낮으면 (0 에 가까움): "주의하세요! 기준을 조금만 바꿔도 중요한 데이터가 쓸모없는 데이터로 변할 수 있습니다. 이 방법은 신뢰하기 어렵습니다."

5. 결론: 왜 이것이 중요한가요?

이 논문은 우리에게 중요한 교훈을 줍니다.

"데이터의 가치를 매길 때, 단순히 점수만 믿지 마세요. 내가 선택한 평가 기준 (맛의 기준) 이 조금만 바뀌어도 결과가 뒤바뀌진 않는지 먼저 확인해야 합니다."

만약 당신이 Banzhaf 방법을 쓰거나, 안정성 지수가 높은 상황을 선택한다면, 당신의 데이터 평가는 어떤 기준을 쓰든 일관된 신뢰를 받을 수 있습니다. 하지만 그렇지 않다면, 당신의 데이터 평가는 마치 "오늘 날씨에 따라 요리 레시피를 완전히 바꾸는" 것처럼 불안정할 수 있습니다.

한 줄 요약:

"데이터의 중요도를 매길 때, 기준이 조금만 바뀌어도 결과가 뒤바뀌지 않는지 확인하는 **'안정성 지수'**를 도입했고, 그중 Banzhaf라는 방법이 가장 흔들리지 않는다는 것을 증명했습니다."

기술 요약

1. 문제 정의 (Problem Statement)

데이터 가치 평가는 협력 게임 이론을 기반으로 각 데이터 포인트가 하류 작업 (Downstream Task) 에 기여하는 정도를 수치화합니다. 이때 데이터의 '가치'를 계산하기 위해서는 유틸리티 함수 (Utility Function) 가 필수적입니다. 그러나 실제 응용 환경에서는 다음과 같은 두 가지 시나리오에서 유틸리티 선택이 모호하거나 유연할 수 있습니다.

1. 유틸리티 트레이드오프 시나리오: 여러 기준 (예: LLM 의 유용성 vs 해로움) 을 가중치 $\nu$로 조절하여 하나의 유틸리티를 구성하는 경우. 가중치가 변하면 데이터 가치 순위도 급격히 바뀔 수 있어, 재학습 비용이 발생할 위험이 있습니다.
2. 다중 유효 유틸리티 시나리오: 하나의 작업에 대해 여러 가지 타당한 성능 지표 (예: 정확도, 정밀도, F1, AUROC 등) 가 존재하는 경우. 어떤 지표를 선택하든 모두 유효하지만, 선택한 지표에 따라 데이터 포인트의 중요도 순위가 완전히 달라질 수 있습니다.

핵심 질문: "선택한 유틸리티가 조금만 변해도 데이터 가치 평가 결과가 얼마나 민감하게 반응하는가?" 즉, 평가 결과의 강건성 (Robustness) 을 어떻게 측정할 것인가?

2. 방법론 (Methodology)

저자들은 유틸리티 변화에 따른 데이터 가치 평가의 강건성을 분석하기 위해 기하학적 모델링과 강건성 지표를 제안합니다.

2.1 공간 서명 (Spatial Signature) 및 기하학적 모델링

• 선형성 활용: 반가치 (Semivalue) 는 유틸리티 함수에 대해 선형 (Linearity) 성질을 가집니다. 이를 통해 두 개의 기본 유틸리티 $u_1, u_2$의 선형 결합 $u_\alpha = \alpha_1 u_1 + \alpha_2 u_2$로 표현되는 모든 유틸리티를 다룰 수 있습니다.
• 임베딩: 각 데이터 포인트 $z_i$를 저차원 공간 (2 차원 또는 $K$차원) 에 매핑합니다. 이를 공간 서명 (Spatial Signature) $S_{\omega, D}$라고 부릅니다.
  • $\psi_{\omega, D}(z_i) = (\phi(z_i; \omega, u_1), \dots, \phi(z_i; \omega, u_K))$
• 기하학적 해석: 임의의 유틸리티 $u_\alpha$에 대한 데이터 가치 $\phi(z_i; \omega, u_\alpha)$는 공간 서명 벡터와 유틸리티 계수 벡터 $\alpha$의 내적 (Inner Product) 으로 표현됩니다.
  • 데이터 포인트의 순위는 공간 서명 점들을 $\alpha$ 방향으로 투영했을 때의 순서와 동일합니다.
• 순위 안정성: 유틸리티 방향 $\alpha$가 단위 구 (Unit Sphere) 위에서 회전할 때, 데이터 포인트 간의 순위가 바뀌지 않는 영역 (Ranking Regions) 을 분석합니다.

2.2 강건성 지표 (Robustness Metric $R_p$)

• 정의: 주어진 유틸리티 방향에서 시작하여, 순위에서 $p$개의 쌍 (Pairwise Swap) 이 바뀌기까지 단위 구 위에서 이동해야 하는 최소 측지선 거리 (Geodesic Distance) 의 평균을 계산합니다.
• 계산:
  • 유틸리티 방향이 변할 때 순위가 바뀌는 임계점 (Cut points) 들을 구합니다.
  • 이 점들로 인해 단위 구가 나누어지는 '순위 영역 (Ranking Regions)'의 크기를 분석합니다.
  • $R_p$는 이 거리를 정규화한 값으로, 1 에 가까울수록 순위가 안정적 (강건) 하고, 0 에 가까울수록 유틸리티 변화에 매우 민감함을 의미합니다.
• 계산 복잡도: $O(n^2 \log n)$으로, 반가치 근사 계산 비용에 비해 추가 비용이 거의 없습니다.

2.3 이론적 통찰 (Proposition 3.3)

• 반가치 가중치 $\omega$가 어떻게 공간 서명의 정렬 (Collinearity) 에 영향을 미치는지 분석했습니다.
• Banzhaf 가중치는 특정 크기 (Coalition size) 의 기여도에 집중하는 경향이 있어, 공간 서명이 한 직선 위에 거의 놓이게 (Collinear) 만듭니다. 이는 순위 영역의 수를 최소화하고 강건성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 두 시나리오의 통합된 기하학적 모델링: 유틸리티 트레이드오프와 다중 유틸리티 선택 문제를 모두 '공간 서명'과 '단위 구 상의 투영'이라는 동일한 기하학적 프레임워크로 통합하여 설명했습니다.
2. 실용적인 강건성 지표 ($R_p$) 제안: 유틸리티 변화에 따른 순위 불안정성을 정량화하는 새로운 지표를 개발하고, 이를 효율적으로 계산하는 폐쇄형 (Closed-form) 수식을 유도했습니다.
3. Banzhaf 반가치의 우월성 입증: 다양한 데이터셋과 실험을 통해 Banzhaf 기반 데이터 가치 평가가 Shapley 나 Beta Shapley 에 비해 유틸리티 변화에 대해 훨씬 더 강건함을 실증했습니다. 이는 Banzhaf 가중치가 공간 서명을 선형에 가깝게 정렬시키기 때문입니다.

4. 실험 결과 (Results)

• 데이터셋: BREAST, TITANIC, CREDIT, HEART 등 다양한 공개 이진 분류 및 회귀 데이터셋 사용.
• 반가치 비교: Shapley, (4, 1)-Beta Shapley, Banzhaf 세 가지 방법 비교.
• 순위 상관관계와의 일치: 기존 연구 (Kendall/Spearman 순위 상관관계) 에서 관찰된 결과와 $R_p$ 지표가 높은 일치도를 보였습니다. 즉, 순위 상관관계가 낮은 경우 $R_p$도 낮게 측정되었습니다.
• Banzhaf 의 강건성:
  • 거의 모든 데이터셋과 $p$ 값에서 Banzhaf가 가장 높은 $R_p$ 값을 기록했습니다.
  • TITANIC 데이터셋의 경우 Shapley 와 Beta Shapley 는 $R_p \approx 0.05 \sim 0.28$로 매우 낮았으나, Banzhaf 는 $0.44 \sim 0.89$로 압도적으로 높았습니다. 이는 Banzhaf 가 유틸리티가 바뀌더라도 데이터 포인트의 중요도 순위를 유지함을 의미합니다.
  • BREAST 데이터셋에서는 세 방법 모두 강건성이 높았으나, 여전히 Banzhaf 가 우세했습니다.
• 다차원 확장 ($K > 2$): 3 개 이상의 유틸리티 (예: 정확도, F1, Recall) 를 조합하는 경우에도 Monte Carlo 샘플링을 통해 $R_p$를 계산할 수 있으며, Banzhaf 가 여전히 가장 안정적인 결과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 가이드: 데이터 가치 평가를 수행하는 실무자에게 "어떤 유틸리티를 선택해야 하는가?"에 대한 답을 주는 것이 아니라, "선택한 유틸리티에 따라 결과가 얼마나 신뢰할 수 있는가?"를 판단할 수 있는 도구를 제공합니다.
• 비용 절감 및 리스크 관리: 유틸리티 변경 시 데이터 선정 (Top-k) 이 자주 바뀌어 재학습 비용이 발생하는 위험을 사전에 경고할 수 있습니다.
• 방법론적 제안: Banzhaf 반가치가 유틸리티 불확실성이 높은 환경에서 더 신뢰할 수 있는 지표임을 보여주어, 데이터 가치 평가 방법 선택에 대한 새로운 기준을 제시합니다.
• 한계 및 향후 연구: 현재는 주로 선형 분수형 (Linear-fractional) 유틸리티 (이진 분류) 에 초점을 맞추었으나, 향후 더 복잡한 비선형 유틸리티 및 회귀 작업으로 확장할 필요가 있습니다.

요약하자면, 이 논문은 데이터 가치 평가가 단순히 점수를 매기는 것을 넘어, 어떤 관점 (유틸리티) 에서 보느냐에 따라 결론이 달라질 수 있는 위험을 인식하고, 이를 기하학적으로 분석하여 강건한 방법 (Banzhaf) 을 선택할 수 있도록 돕는 중요한 연구입니다.