1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 및 기타 신경망 모델의 미세 조정은 새로운 작업이나 도메인에 모델을 적응시키는 표준적인 방법이 되었습니다. 그러나 이 과정은 다음과 같은 새로운 무결성 위협을 초래합니다.

• 위험 요소: 신뢰할 수 없는 제 3 자가 모델에 백도어를 주입하거나, 안전 장치 (Safety Guardrails) 를 제거하거나, 모델의 상당 부분을 덮어쓰면서도 "소규모 업데이트"라고 거짓말할 수 있습니다.
• 기존 기술의 한계: 기존 검증 도구들은 추론의 정확성 (Inference Correctness) 이나 전체 모델의 출처 (Provenance) 에만 초점을 맞추고 있어, "모델이 허용된 범위 내에서만 변경되었는가"를 검증하는 데는 적합하지 않습니다.
• 핵심 질문: 신뢰할 수 있는 베이스 모델 ($W_0$) 과 미세 조정된 모델 ($W^*$) 이 주어졌을 때, 증명자 (Prover) 는 모델의 변경 사항이 정책에서 정의한 '드리프트 (Drift)' 클래스 내에 있음을 간결하고 제로-지식 (Zero-Knowledge) 방식으로 증명할 수 있는가?

2. 제안된 방법론 (Methodology)

저자들은 **미세 조정 무결성 (Fine-Tuning Integrity, FTI)**을 새로운 보안 목표로 정의하고, 이를 달성하기 위해 **간결한 모델 차이 증명 (Succinct Model Difference Proofs, SMDPs)**이라는 새로운 암호학적 원시 (Primitive) 를 개발했습니다.

A. 핵심 개념: 구조적 드리프트 (Structured Drift)

모델의 전체 파라미터를 검증하는 대신, 미세 조정의 실제 패턴을 반영하는 세 가지 구조적 드리프트 클래스를 정의하고 이를 검증합니다.

1. 노름 제한 (Norm-bounded): 파라미터 변경의 전체 크기 (Frobenius norm 등) 가 임계값 $\epsilon$을 넘지 않음.
2. 랭크 제한 (Rank-bounded): LoRA 와 같은 어댑터 방식처럼 변경 행렬의 랭크가 $r$ 이하임.
3. 희소성 (Sparse): 변경된 파라미터의 개수가 $k$개 이하임.

B. 세 가지 SMDP 구성 (Constructions)

각 드리프트 클래스에 맞춰 최적화된 세 가지 증명 프로토콜을 제안합니다.

1. NBDP (Norm-Bounded Drift Proofs via Random Projections):

   • 원리: Johnson-Lindenstrauss 보조정리와 확률적 집중 (Concentration of Measure) 을 활용합니다.
   • 방식: 검증자가 무작위 투영 벡터 (Random Projections) 를 생성하고, 증명자가 드리프트 벡터의 투영 값에 대한 제로-지식 범위를 증명합니다.
   • 특징: 검증 비용은 모델 크기가 아닌 노름 제한과 통계적 정확도에만 의존합니다.

2. MRDP (Matrix Rank-bounded Drift Proofs via Polynomial Commitments):

   • 원리: 행렬을 이변수 다항식 (Bivariate Polynomials) 으로 인코딩합니다. 행렬의 랭크 제한은 다항식의 분리 가능한 (Separable) 항의 합으로 표현됩니다.
   • 방식: Schwartz-Zippel 보조정리를 활용하여, 무작위 평가점에서 다항식 등식이 성립하는지 확인합니다.
   • 특징: 검증 비용은 행렬의 차원이 아닌 랭크 제한 ($r$) 에 비례합니다.

3. SDIP (Sparse Drift Proofs via Streaming-style Linear Proofs):

   • 원리: 스트리밍 방식의 선형 스케치 (Linear Sketching) 와 제로-지식 합 검사를 결합합니다.
   • 방식: 증명자가 변경된 파라미터의 지지 집합 (Support set) 과 값을 숨긴 채, 무작위 선형 조합이 일치함을 증명합니다.
   • 특징: 검증 비용은 변경된 파라미터 수 ($k$) 에 비례하며 전체 모델 크기에는 무관합니다.

C. 하한선 증명 (Lower Bound)

저자들은 구조적 제약 (Norm, Rank, Sparsity) 이 없다면, 통계적 무결성을 보장하는 간결한 (Succinct) 비상호적 증명은 불가능함을 증명했습니다. 즉, 모델 파라미터 수 $n$에 대해 증명 크기는 적어도 $\Omega(n)$이어야 하므로, 구조적 드리프트 클래스의 사용이 필수적임을 이론적으로 입증했습니다.

3. 주요 기여 (Key Contributions)

1. FTI 프레임워크 제안: 미세 조정된 모델이 정책 정의된 범위 내에서만 변경되었음을 검증하는 새로운 보안 목표와 증명 시스템을 정립했습니다.
2. SMDP 프로토콜 개발: 노름, 랭크, 희소성이라는 세 가지 실용적인 드리프트 클래스에 대해 간결하고 제로-지식인 증명 시스템을 구체적으로 구성했습니다.
3. 이론적 기반 확립: 구조적 제약이 간결한 증명을 위해 필수적임을 정보 이론적 하한선으로 증명했습니다.
4. 실제 아키텍처 적용: Transformer, CNN, MLP 등 다양한 현대 신경망 아키텍처에 SMDP 를 적용하는 방법을 제시하고, 블록 단위 증명을 글로벌 인증서로 통합하는 엔드 - 투 - 엔드 시스템을 구현했습니다.

4. 실험 결과 (Results)

저자들은 70 억 (7B) 파라미터 규모의 Transformer, ResNet-50, MLP 등을 대상으로 프로토타입을 구현하고 평가했습니다.

• 증명 크기 (Proof Size):
  • 구조화된 SMDP 를 사용할 경우, 전체 7B 모델에 대한 통합 증명 크기는 약 3.8MB였습니다.
  • 반면, 구조를 고려하지 않고 전체 모델 차이를 회로 (Circuit) 로 인코딩한 기존 zk-SNARK 방식은 1GB 이상의 크기를 가집니다.
  • 블록별 증명 크기: NBDP(2040KB), MRDP(410KB), SDIP(3~5KB).
• 검증 시간 (Verification Time):
  • 전체 7B 모델에 대한 검증 시간은 약 310ms로, 모델 크기와 무관하게 드리프트 구조에 비례하여 매우 빠릅니다.
  • 블록별 검증: NBDP(14ms), MRDP(5ms), SDIP(9ms).
• 증명자 시간 (Prover Time):
  • 7B 모델의 경우 단일 A100 GPU 에서 약 8.2 분 소요되었습니다.
• 위반 탐지:
  • 허용된 랭크, 노름, 희소성 범위를 초과하는 악의적인 드리프트 (백도어 주입 등) 를 99.999% 이상의 확률로 탐지했습니다.

5. 의의 및 결론 (Significance)

• 실용적 보안: 대규모 모델의 미세 조정 과정에서 발생할 수 있는 악의적인 변경 (백도어, 안전 장치 제거 등) 을 암호학적으로 검증할 수 있는 첫 번째 체계적인 프레임워크를 제시했습니다.
• 효율성: 모델의 전체 크기가 아닌 '변경의 구조'에 의존하여 검증 비용을 획기적으로 줄였습니다. 이는 클라우드 기반 모델 배포, 규제 준수 감사, 신뢰할 수 있는 모델 공급망 관리에 필수적입니다.
• 보완적 역할: FTI 는 모델의 '행동적 안전성 (Semantic Safety)'을 직접 보장하지는 않지만, 허용된 파라미터 변경 범위를 제한함으로써 공격 표면 (Attack Surface) 을 크게 축소합니다. 이는 행동 테스트 및 레드팀링과 함께 사용될 때 강력한 보안 계층을 형성합니다.

이 논문은 현대 신경망의 진화를 암호학적으로 감시하고 책임 있는 모델 배포를 가능하게 하는 중요한 기반 기술로 평가됩니다.