기술 요약: 이론적으로는 인증되었으나, 실제로는 깨진 (Certified in Theory, Broken in Practice)

문제 정의

본 논문은 프라이버시 보존형 머신러닝 감사를 위해 사용되는 암호학적 모델 인증(Cryptographic Model Certification, CMC) 프로토콜의 치명적인 취약점을 다룹다. 기존의 CMC 프레임워크는 제로 지식 증명(ZKP)과 암호학적 커밋먼트(commitment)를 활용하여 모델의 내부 구조나 학습 데이터를 공개하지 않고도 모델의 속성(예: 정확도, 공정성, 차분 프라이버시)을 검증하지만, 근본적인 가정의 간극(assumption gap) 문제를 안고 있다.

현재의 보안 정의는 일반적으로 고정된 감사 데이터셋 $S_{audit}$에 대해 모델이 속성 $f$를 만족함을 인증한다. 그러나 저자들은 이러한 방식이 $S_{audit}$로부터 추출된 기저 데이터 분포 $D$에 대해 해당 속성이 일반화될 것임을 보장하지 못한다고 주장한다. 만약 모델 제공자(증명자)가 모델을 확정하기 전에 감사 데이터셋을 미리 알 수 있다면, 이들은 **데이터 위조 공격(data forging attacks)**을 수행할 수 있다. 악의적인 제공자는 학습 데이터를 정교하게 설계함으로써, 암호학적 감사(감사 데이터 $S_{audit}$ 상에서는 "양호한" 동작을 보임)는 통과하면서도, 동일한 분포 $D$에서 추출된 새로운 샘플에 대해서는 "병리적(pathological)"인 동작을 보이는 모델을 만들어낼 수 있다. 이는 실제 환경에서 의도된 보증을 충족하지 못하는 모델이 배포되게 함으로써 가짜 보안 신뢰를 형성한다.

방법론

1. 위협 모델 및 공격 게임

저자들은 악의적인 모델 제공자(증명자)와 정직하지만 호기심 많은 감사자(검증자)를 포함하는 위협 모델을 정형화한다. 이들은 취약성을 입증하기 위해 감사 데이터가 알려진 적응적 학습(Adaptive Training with Known Auditing Data) 게임(정의 3)을 도입한다:

• 설정: 공격자는 감사 데이터셋 $S_{audit} \sim D^\ell$을 받는다.
• 목표: 공격자는 가설 $h$와 학습 데이터 $S_{train}$을 출력하되, 다음을 만족해야 한다:
  1. 모델이 감사를 통과함: $f(h, S_{train}, S_{audit}) = 1$.
  2. 모델이 실제 보안 속성 $F$에 대해 실패함: $F(h, S_{train}) = 0$.
  3. 모델이 유틸리티 서술어 $L$(예: 보험사의 청구 거절 극대화)을 만족함.

2. 데이터 위조 공격

본 논문은 학습 과정 자체를 변경하지 않고 오직 입력 데이터를 조작함으로써 표준적인 암호학적 방어(ZKP 및 커밋먼트)를 우회하는 세 가지 구체적인 데이터 위조 전략을 제시한다:

• 정확도 공격: 공격자는 올바른 레이블을 가진 감사 지점들과, 반대 클래스로 레이블링된 $\epsilon$-섭동 이웃($\epsilon$-perturbed neighbors)을 포함하는 학습 세트 $S'_{train}$을 구성한다(알고리즘 1 사용). 이를 통해 학습된 모델(예: 리프 노드의 균질성을 위해 의사결정 나무 사용)은 $S_{audit}$에 대해서는 완벽한 정확도를 달로는 하지만, 감사 데이터의 $\epsilon$-이웃 외부의 지점에 대해서는 반대 레이벨을 예측하게 되어 분포 전체에 대해 거의 0에 가까운 정확도를 보이게 된다.
• 공정성 공격: 공격자는 민감한 속성과 레이블을 조작한다(알고리즘 2 사용). 감사 세트에서는 인구통계학적 패리티(demographic parity)를 보장하도록 레이블을 무작위화하여 공정해 보이게 만든다. 그러나 나머지 분포에 대해서는 모델이 민감한 속성에 기반하여 예측하도록 학습되어, 실제 배포 시에는 극도로 불공정한 결과를 초래한다.
• 차분 프라이버시(DP) 공격: 공격자는 학습 세트 내의 특정 데이터 포인트를 중복 생성한다(알고리즘 3 사용). DP 민동성(sensitivity)은 단일 레코드가 수정될 때 출력의 변화에 의존하는데, 레코드 중복은 이러한 민동성 가정을 깨뜨린다. 이를 통해 공격자는 "올바른 DP 학습 절차"에 대한 ZKP를 통과하면서도, 실제로는 주장된 것보다 훨씬 낮은 프라이버시 보증을 가진 모델을 학습시킬 수 있다.

3. 통계적 회피

저자들은 이러한 위조된 데이터셋이 표준 통계 테스트 하에서도 정상 데이터와 구별되지 않음을 입증한다. 감사 데이터를 학습 세트에 충분히 복제함으로써, 공격자는 학습 데이터와 감사 데이터가 높은 확률로 Welch's t-test와 Levene's test(평균 및 분산의 동일성 확인)를 통과하도록 하여 통계적 탐지를 무력화한다.

4. 안전한 CMC 템플릿

이러한 공격을 완화하기 위해, 본 논문은 커밋-샘플-증명(Commit-Sample-Prove) 프로토콜 템플릿($\Pi_{csp}$)을 제안한다:

1. 커밋(Commit): 모델 제공자는 먼저 암호학적 커밋먼트 스킴을 사용하여 자신의 모델 $h$(및 선택적으로 학습 데이터)를 커밋한다.
2. 샘플(Sample): 커밋이 접수된 직후에만, 감사자는 분포 $D$로부터 감사 데이터셋 $S_{audit}$을 샘플링한다.
3. 증명(Prove): 제공자와 감사자는 새로 샘플링된 $S_{audit}$에 대해 커밋된 모델이 경험적 서술 $f$를 만족하는지 검증하기 위해 ZKP를 실행한다.

이 순서는 $S_{audit}$이 모델 $h$ 및 학습 데이터와 독립적임을 보장하여, 제공자가 데이터를 감사 세트에 맞춤화하는 것을 방지한다. 저자들은 **$\tilde{F}$-완화된 지식 건전성($\tilde{F}$-relaxed knowledge soundness)**에 대한 공식 정의를 제공하며, 이를 통해 모델이 감사를 통과하면 (집중 부등식으로부터 도출된 작고 정량화 가능한 오차 범위를 제외하고) 원하는 속성 $F$를 분포상에서 만족함을 보장한다.

주요 기여

1. 데이터 의존적 취약성 식별: 기존 CMC 체계가 감사 데이터셋이 모델 커밋 이전에 제공자에게 알려질 경우 데이터 위조에 취약하다는 점을 밝혀냈다. 이 간극은 이론적 감사는 통과하지만 실제로는 "깨진" 모델을 인증하게 만든다.
2. 공격의 실증적 입증: 의사결정 나무, XGBoost, 신경망을 사용하여 여섯 가지 벤치마크 데이터셋(예: Adult, COMPAS, German Credit)에 대해 실험한 결과, 다음과 같은 사실을 보여주었다:
   • 모델이 감사 데이터에서 99% 이상의 정확도를 달성하면서도, 테스트 데이터에서는 30% 미만으로 떨어질 수 있음.
   • 모델이 감사 데이터에서는 완벽하게 공정해 보이지만, 실제 배포 시에는 최대치의 불공정성을 보일 수 있음.
   • 이러한 공격은 표준 통계 테스트(Welch's t-test)를 회피함.
3. 체계적 사례 연구: 저자들은 zkCNN, Confidential-DPproof, OATH를 포함한 최근 9개의 보안 및 머신러닝 관련 연구를 분석하였다. 그 결과, 6개의 연구가 공용 데이터셋을 감사에 활용하거나 커밋 전 데이터 공개를 강제하지 않음으로써 최소한 부분적으로 취약하다는 것을 발견했다.
4. 정형 보안 프레임워크: CMC에 특화된 엄격한 보안 정의를 도입하여, 데이터셋 특정적 보증과 분포적 보증을 구분하였다. 또한 일반적인 프로토콜 템플릿($\Pi_{csp}$)을 제공하고, 이를 표준 암호학적 가정 하에서 보안성을 증명함으로써 인증된 속성이 기저 분포로 일반화됨을 보장한다.

결과

• 취약성: 공격 게임에서 공격자들은 테스트 데이터에서 약 30%의 정확도를 기록하면서도 99%의 정확도를 요구하는 감사를 성공적으로 통과했다. 마찬가지로, 모델은 감사 시 거의 제로에 가까운 격차를 보이며 공정성을 통과했으나, 테스트 시에는 최대치의 격차를 나타냈다.
• 탐지 불가능성: 위조된 학습 데이터셋은 유의 수준 $\alpha=0.05$에서 Welch's t-test와 Levene's test를 통과하였으며, 이는 통계적 검사가 악의적인 학습 데이터를 정상 데이터와 신뢰성 있게 구별할 수 없음을 보여준다.
• 보안 복구: 제안된 $\Pi_{csp}$ 템플릿은 기존 ZKP 구성(예: 의사결정 나무 및 CNN용)과 호환됨이 입증되었다. "커밋 후 샘플링" 순서를 적용함으로써 데이터 위조 공격을 방지하고 보안성을 회복할 수 있었다.

의의 및 주장

본 논문은 자신의 발견이 기존의 암호학적 연구들이 기술적으로 '깨졌다'고 선언하는 것이 아니라, 경고의 증거로서 기능한다고 주장한다. 핵심 주장은 기존 CMC 프레임워크가 제공하는 보안 보증이 감사의 실제적 요구사항(특정 감사 세트가 아닌, 동일한 분포에서 추출된 새로운 데이터에 대해 속성이 유지되어야 함)과 일치하지 않는다는 것이다.

저자들은 다음을 강조한다:

• 알려진 공용 데이터셋을 활용하거나 테스트 데이터셋을 재사용하는(제공자가 데이터를 알게 되는) 보안 감사 솔루션은 견고한 보증을 제공하기 어렵다.
• 성공적인 감사 인프라를 위해서는 신선한 데이터의 지속적인 샘플링 또는 모델이 커밋되기 전까지 감사 데이터를 숨기는 암호학적 메커니즘이 필수적이다.
• 미래의 암호학적으로 안전한 ML 감사는 데이터셋 특정적 인증과 분포적 일반화 사이의 간극을 명시적으로 다루어야 하며, 이는 암호학, 보안, 머신러닝 커뮤니티 간의 긴밀한 소통을 필요로 한다.

이 연구는 모든 프라이버시 보존형 감사 과제(예: 신뢰할 수 있는 학습 데이터 생성이 필요하여 효율적인 DP 인증이 여전히 어려운 점 등)를 해결한다고 주장하는 것이 아니라, 식별된 데이터 위조 취약성을 완화하기 위한 기초적인 프레임워크와 구체적인 프로토콜 템플릿을 제공하는 데 목적이 있다.