기술 요약: 모델 다중성을 통한 모델 탈취(Model Stealing)의 관점

문제 정의

공격자가 타겟 모델을 쿼리하여 고충실도(high-fidelity) 대리 모델을 학습시키는 모델 탈취 공격은 전통적으로 참조 데이터셋에 대한 대리 모델과 타겟 간의 레이블 일치 정도인 **충실도(fidelity)**를 기준으로 평가된다. 높은 충실도는 지적 재산권 탈취가 성공했음을 시사하며, 대리 모델이 타겟의 기능적 복제본임을 의미하는 것으로 해석되곤 한다.

본 논문은 이러한 가설에 이의를 제기하며 **모델 다중성(model multiplicity)**이라는 개념을 도입한다. 저자들은 쿼리 기반 추출이 부분적인 감독(partial supervision)만을 제공하므로, 대리 모델이 미결정 상태(underdetermined)로 남는다고 주장한다. 결과적으로 추출 과정은 유일한 모델을 산출하는 것이 아니라, 타겟과 유사한 충실도를 달로하면서도 개별 예측, 공정성 및 강건성 측면에서는 크게 달라질 수 있는 추출 유도 라쇼몬 세트(extraction-induced Rashomon Set), 즉 근사 최적 대리 모델들의 집합을 생성한다. 핵심 질문은 높은 충실도의 추출이 배포 시나리오에서 행동적 동등성(behavioral equivalence)을 진정으로 보장하느냐 하는 것이다.

방법론

저자들은 모델 탈취를 단일 모델의 충실도 문제가 아닌 다중성 문제로 평가하기 위한 프레임워크를 제안한다. 방법론은 다음과 같다:

1. 추출 유도(Extraction Induction): 세 가지 도메인(정형 데이터, 의료 영상, NLP)에 걸쳐 두 가지 블랙박스 추출 공격을 적용한다:
   • Knockoff Nets: 적응형 쿼리 샘플링을 사용하여 블랙박스 상호작용을 통해 기능을 탈취한다.
   • Prediction-API Stealing: 타겟으로부터 얻은 쿼리-응답 쌍(사후 출력값)을 사용하여 대리 모델을 학습시킨다.
2. 라쇼몬 세트 근사(Rashomon Set Approximation): 복잡한 클래스에 대해 전체 근사 동등 모델 집합을 나열하는 것은 계산적으로 불가능하므로, 저자들은 **추론 시 드롭아웃(Dropout at inference time)**을 추출된 대리 모델에 적용한다. 드롭아웃 비율(0.01 ~ 0.10)을 변화시키고 수천 개의 확률적 모델을 샘포링함으로써, 탈취된 모델 주변의 국소적 라쇼몬 세트를 근사한다.
3. 평가 지표: 추출된 라쇼몬 세트의 다양성은 다음을 사용하여 정량화된다:
   • 다중성 지표(Multiplicity Metrics):
     • 모호성(Ambiguity): 참조 모델과 세트 간의 평균 점별 불일치(pointwise disagreement).
     • 불일치(Discrepancy): 세트 내에서의 최악의 경우 불일치율.
     • 라쇼몬 용량(Rashomon Capacity): 세트 전반에 걸친 예측 확률(점수)의 분산.
   • 공정성 지표(Fairness Metrics): 민감한 속성에 의해 정의된 인구 통계 그룹에 대해 평가된 통계적 패리티(statistical parity), 예측 평등(predictive equality), 기회 균등(equal opportunity), 그리고 균등 기회(equalized odds).

주요 기여

• 방법론적 전환: 모델 탈취를 단일 모델의 충실도 문제가 아닌 다중성 문제로 재정의하며, 드롭아웃 기반의 라쇼몬 세트를 생성하는 방법을 도입했다.
• 교차 도메인 평가: 정형 데이터, 의료 영상(ResNet-50), NLP(BERT)에 걸쳐 추출 유도된 다중성을 체계적으로 평가하여 이 현상의 일반성을 입증했다.
• 다양성 특성화: 모호성, 불일치, 라쇼몬 용량 및 그룹 공정성 지표를 사용하여 추출된 세트의 다양성을 규명했다.
• 실증적 증거: 추출된 대리 모델이 높은 충실도를 유지하면서도 샘플 수준의 예측, 공격 의존적 다중성 및 공정성 값에서 상당한 편차를 보일 수 있음을 입증했다.

실험 결과

실험은 Folktables(정형), MedMNIST(의료 영상), FST(NLP 감성 분석)를 포함한 실제 데이터셋을 대상으로 수행되었다.

• 높은 충실도 vs 높은 다중성: 모든 도메인에서 추출된 대리 모델은 다양한 드롭아웃 비율에 대해 높은 충실도(종종 >0.90)를 유지했다. 그러나 주변의 라쇼몬 세트는 상당한 다중성을 나타냈다.
  • 정형 데이터: 모호성은 데이터셋에 따라 20%에서 100% 사이였다. 예를 들어, 저드롭아웃 영역(고충실도)에서 ACSEmploy의 모호성은 0.28에서 0.65 사이였다. 불일치 값은 고충실도 대리 모델들 사이에서도 경쟁 모델들이 최대 10%의 개인에게 상충하는 예측을 할 수 있음을 나타냈다.
  • 의료 영상: PneumoniaMNIST 작업에서 충실도는 0.96 근처를 유지했으나, 모호성은 0.72 이상으로 상승했다. OCTMNIST의 경우, 높은 충실도가 높은 모호성(0.72–0.78) 및 상당한 라쇼몬 용량과 공존함을 보였으며, 이는 예측 점수의 상당한 변동을 의미한다.
  • NLP: 추출된 BERT 모델은 일관된 높은 충실도(0.93–0.94)를 보였다. 그러나 모호성은 약간의 충실도 변화에도 빠르게 증가하여, 높은 드롭아웃 영역에서는 최대 0.86에 달했다.
• 공정성 함의: 예측 다중성은 공정성 변동성으로 이어졌다. 유사한 총체적 충실도를 가진 대리 모델들이 서로 다른 그룹 수준의 결과(예: ACSIncome과 같은 정형 작업에서의 기회 균등 및 통계적 패리티 변화)를 유도했다.
• 공격 의존성: 서로 다른 추출 파이프라인(Knockoff Nets vs. Prediction-API)은 동일한 타겟에 대해서도 서로 다른 다중성 프로필을 갖는 독특한 국소적 이웃(neighborhood)을 유도했다.

의의 및 주장

본 논문은 **충실도가 기능적 동등성의 불완전한 대리 지표(incomplete proxy)**라고 주장한다. 이 연구의 주요 의의는 충실도만으로 판단되는 "성공적인" 모델 탈취가 하위 단계의 행동을 복제하지 못하거나, 인구 집단 간에 오류를 재분배하거나, 개인의 구제(recourse)를 변경할 수 있음을 보여준 데 있다.

• IP 손실의 재평가: 충실도에 근거한 지적 재산권 손실 주장은 불완전할 수 있다. 탈취된 모델은 타겟의 총체적 성능은 일치시킬 수 있지만, 특정 사례나 인구 통계 그룹에 대해서는 다르게 행동할 수 있다.
• 평가 표준: 모델 탈취 공격을 평가할 때는 정확도와 충실도를 넘어 모호성, 불일치, 라쇼몬 용량 및 공정성 지표를 포함하는 지표가 필요하다고 저자들은 단언한다.
• 배포 위험: 고위험 도메인에서 상당한 크기의 라쇼몬 세트가 존재한다는 것은, 공격자가 타겟의 충실도와 일치하는 모델을 회복할 수는 있지만, 개인이나 하위 집단에 대해 실질적으로 다른 결과를 생성할 수 있음을 의미한다.
• 보수적 추정: 저자들은 드롭아웃 기반 근사가 국소적 이웃을 포착하고 대리 모델의 아키텍처가 피해자와 일치한다고 가정하므로, 본 연구의 결과가 추출 유도된 다중성에 대한 보수적인 추정치라고 언급했다. 이러한 가정을 완화하면 관찰된 다중성은 더 증가할 것이다.

결론적으로, 본 논문은 모델 탈취를 다중성 하에서의 식별 문제로 보아야 한다고 주장한다. 이러한 공격의 실질적인 결과는 단순히 평균적인 일치도가 아니라, 추출 유도된 라쇼몬 세트의 구조에 달려 있으며, 이는 MLaaS 보안을 위한 더 포괄적인 평가 프레임워크를 필요로 한다.