기술 요약: 라쇼몽 정렬 (Rashomon Alignment)

문제 정의

머신러닝 모델 간의 기능적 유사성을 평가하는 기존 방법들은 **분포적 척도(distributional measures)**에 의존한다. 이러한 지표들은 가용한 실제 데이터(테스트 세트) 상에서 모델 출력값을 비교하여 일치도를 정량화한다. 그러나 저자들은 이러한 척도가 두 가지 결정적인 한계를 가진다고 주장한다:

1. 생태적 타당성 (Ecological Validity): 이들은 가용 데이터가 존재하는 입력 공간의 영역만을 반영한다. 만약 데이터 샘플이 실제 기저 분포를 대표하지 못한다면, 유사성 추정치는 부정확해진다.
2. 개념 드리프트 민감도 (Concept Drift Sensitivity): 현재 데이터에 대해서는 정확할지라도, 데이터 분포가 변할 경우(공변량 변화, covariate shift) 이러한 척도는 무용지물이 된다. 이는 전체 인스턴스 공간에 걸친 결정 경계의 구조적 정렬을 고려하지 않기 때문이다.

기존의 기능적 유사성 측정 방식은 특정 데이터 포인트에서는 일치하지만 다른 곳에서는 구조적으로 다른 결정 경계를 정의하는 모델들을 구분하지 못한다. 결과적으로, 예측 정확도나 분포적 일치도에만 의존하는 것은 기만적일 수 있으며, 모델 간의 중대한 구조적 격차를 은폐할 수 있다.

방법론: 라쇼몬 정렬 (Rashomon Alignment, RA)

본 논문은 기하학적 관점을 통합하여 기능적 유사성을 평가하는 새로운 프레임워크인 **라쇼몬 정렬 (RA)**을 제안한다. RA는 두 모델 $M_A$와 $M_B$가 참조 분포 $Q$에서 무작위로 선택된 인스턴스 $x$에 대해 동일한 예측을 생성할 확률으로 정의된다. 저자들은 $Q$의 선택에 따라 두 가지 변형을 구분한다.

1. 분포적 라쇼몬 정렬 (dRA)

• 참조 분포 ($Q$): 데이터 생성 분포 $P(X)$.
• 추정: 관측된 데이터(예: 홀드아웃 테스트 세트)의 샘플을 사용하여 계산된다.
• 특징: 실제 데이터가 존재하는 영역에서의 일치도를 반영한다. 샘플의 대표성과 데이터 분포의 변화에 민민하다. 이는 $P(X)$ 하에서의 모집단 수준 일치도에 대한 편향되지 않은 추정치이다.

2. 기하학적 라쇼몬 정렬 (gRA)

• 참조 분포 ($Q$): 변수의 도메인에 의해 정의되는 인스턴스 공간 $F$에 대한 균등 분포 $U(F)$.
• 추정: 인스턴스 공간에서 균등하게 추출된 합성 샘플 $X_{syn}$을 사용하여 계산된다.
• 특징: 특정 데이터 분포와 독립적으로 전체 인스턴스 공간에 걸친 유사성을 추정한다. 이는 결정 함수가 일치하는 인스턴스 공간의 비율을 측정한다.
• 불변성: $X_{syn}$은 훈련 또는 테스트 데이터와 독립적으로 생성되므로, 결정 함수가 고정되어 있는 한 gRA는 $P(X)$의 변화에 불변한다.

이론적 관계

논문은 dRA와 gRA가 측도 변화(change of measure)를 통해 연결되어 있음을 입증한다. 둘 사이의 격차($|dRA^* - gRA^*|$)는 관측된 데이터가 전체 인스턴스 공간을 얼마나 제대로 대표하지 못하는지를 정량화한다. 높은 dRA와 낮은 gRA는 모델들이 데이터가 존재하는 곳에서는 일치하지만 다른 곳에서는 불일치함을 나타내며, 이는 취약한 형태의 일치성을 의미한다.

실험 설정

방법론을 검증하기 위해 저자들은 광범위한 실증 연구를 수행하였다:

• 데이터셋: 다양한 도메인, 크기(32 ~ 4,600개 이상의 인스턴스), 차원(4 ~ 649개의 특징), 특징 유형을 아우르는 UCI 머신러닝 저장소의 92개 다양한 데이터셋.
• 모델: 가지치기(pruned) 된 의사결정 나무와 가지치기 되지 않은(unpruned) 의사결정 나무의 비교. 이 시나리오는 두 모델이 동일한 가설 언어를 공유하면서도(직접 비교 가능), 과적합에 대한 경향성이 달라 정렬된 쌍과 정렬되지 않은 쌍이 혼재하도록 설계되었다.
• 프로토콜: 5-겹 교차 검증(5-fold cross-validation). 각 폴드마다 모델을 훈련시키고 세 가지 지표를 기록하였다: 정확도 차이, dRA (테스트 파티션 기준), gRA (1,000개의 합성 균등 인스턴스 기준).

주요 결과

실험을 통해 네 가지 주요 통찰을 얻었다:

1. gRA와 정확도의 상보성:

   • gRA와 정확도 차이 사이에는 완만한 양의 상관관계($r = 0.514$)가 존재한다.
   • 그러나 두 척도는 중복되지 않는다. 연구에서는 낮은 gRA를 가졌으나 낮은 정확도 차이를 보이는 경우(테스트 세트에서는 우연히 균형을 이루지만 구조적으로는 다른 경계를 가진 경우)와 높은 gRA를 가졌으나 높은 정확도 차이를 보이는 경우(경계는 유사하나 불일치가 특정 테스트 영역에 집중된 경우)를 식별하였다.
   • 이는 예측 성능에만 집중하는 것이 기만적일 수 있음을 보여준다. gRA는 정확도만으로는 알 수 없는 구조적 유사성이나 차이점을 드러낸다.

2. gRA와 dRA의 상보성:

   • dRA 값은 일반적으로 gRA 값보다 높고 집중되어 있었으며, 이는 모델들이 전체 인스턴스 공간보다 관측된 데이터 상에서 더 많이 일치함을 나타낸다.
   • gRA와 dRA 사이에는 강한 상관관계($r = 0.745$)가 존재하지만, 유의미한 편차도 관찰되었다.
   • 핵심 발견: 여러 데이터셋에서 높은 dRA와 낮은 gRA가 나타났다. 이 경우 모델들은 테스트 파티션에서는 일치했으나 대부분의 인스턴스 공간에서는 달랐다. 이러한 시나리오에서 dRA에만 의존하는 것은 구조적 모델 유사성을 과대평가하는 결과를 초래한다.
   • 반대로, 높은 gRA와 낮은 dRA를 보이는 데이터셋은 없었으며, 이는 균등한 일치가 임의의 하위 샘플에서도 일치를 의미한다는 이론적 관계와 일치한다.

3. 사분면 분석:

   • 분석은 gRA와 절대 정확도 차이의 중앙값을 기준으로 데이터셋을 네 개의 사분면으로 나누었다.
   • 가장 많은 데이터가 속한 사분면은 높은 정확도 차이 / 낮은 gRA였으며, 이는 복잡한 문제에서 가지치기가 경계를 크게 변화시킨다는 점을 확인시켜 준다.
   • 높은 정확도 차이 / 높은 g가 사분면은 전역적 정렬이 존재함에도 불구하고 테스트 세트의 특정 영역에서 불일치가 발생한 사례를 강조하며, 테스트 정확도와 별개로 구조적 일치가 존재함을 보여주었다.

의의 및 주장

본 논문은 라쇼몬 정렬이 특정 데이터 분포와 독립적인 결정 경계 정렬에 대한 포괄적인 관점을 제공한다고 주장한다. 이 연구의 의의는 다음과 같다:

• 기하학적 관점 도입: 분포적 유사성을 넘어 전체 인스턴스 공간에 걸친 기능적 유사성을 평가한다.
• 숨겨진 격차의 폭로: 분포적 척도(및 정확도)가 공변량 변화나 데이터가 비대표적일 때 모델의 구조적 차이를 은폐할 수 있음을 입증한다.
• 실용적 유용성: 저자들은 RA가 모델 선택(다양한 모델 선택), 앙상블 구축(다양한 모델 구성), 그리고 머신러닝 알고리즘의 해석력 향상에 사용될 수 있다고 제안한다.

저자들은 RA가 정확도를 대체하는 것이 아니라 보완하는 것이라는 겸허한 입장을 유지한다. 향-후 연구로는 RA를 다른 알고리즘에 적용하고 인스턴스 공간으로부터 샘플링하는 방법을 정교화하는 것을 제안한다.