기술 요약: 미파인튜닝 가능(Non-Fine-Tunable) 파운데이션 모델 구축을 향하여

1. 문제 정의

파운데이션 모델(FM), 특히 대규모 언어 모델(LLM)의 오픈 소스화는 광범위한 재사용과 과학적 혁신을 촉진하지만, 모델 학습자에게 상당한 경제적 및 안전 관련 리스크를 노출시킨다. 가중치가 공개되면, 사용자들은 저비용으로 다운스트림 태스크에 대한 무단 파인튜닝을 수행할 수 있다. 이는 두 가지 주요 문제를 야기한다:

• 경제적 리스크: 사용자는 원래 학습자의 소유가 되었어야 할 다운스트림 적응으로부터 가치를 탈취할 수 있다.
• 안전 리스크: 학습자는 모델의 라이프사이클에 대한 통제력을 상실한다. 유해한 데이터(예: 폭력, 극단주의, 차별)에 대한 무단 파인튜닝은 원래의 사전 학습된 모델의 명성을 유지하면서도 유해한 출력을 생성할 수 있으며, 이는 잠재적으로 법적 및 규제적 책임을 초래할 수 있다.

모델 면역화(model immunization)나 태스크 특화형 언러닝(task-specific unlearning)과 같은 기존의 방어 기제는 제한하고자 하는 특정 다운스트림 태스크나 데이터 분포를 알고 있다는 전제에 의존한다. 이러한 접근 방식은 학습자가 모델이 어떻게 용도 변경될지 알 수 없는 일반적인 오픈 웨이트(open-weight) 공개 상황에서는 실용적이지 않다. 본 논문은 오픈 소스 공개를 허용하면서도, 태스크와 무관하게 무단 파인튜닝의 효과를 본질적으로 제한할 수 있는 메커니즘의 필요성을 다룬다.

2. 방법론: 프라이빗 마스크 사전 학습 (Private Mask Pre-Training, PMP)

저자들은 비파인튜닝 가능성을 모델의 기하학적(geometry) 고유 속성으로 만들기 위해 설계된 사전 학습 패러다임인 **프라이빗 마스크 사전 학습(PMP)**을 제안한다. 핵심 아이디어는 학습 초기 단계에서 식별된 희소 서브 네트워크(sparse subnetwork)에 표현 학습을 집중시키되, 정의되는 이진 마스크(binary mask)를 비공개로 유지하는 것이다.

PMP 절차

PMP는 세 단계로 작동한다:

1. 프라이빗 얼리 버드 마스크 발견 (Private Early-Bird Mask Discovery):

   • 모델은 소량의 데이터셋을 사용하여 짧은 "웜업(warm-up)" 사전 학습 단계를 거친다.
   • "얼리 버드 로터리 티켓(early-bird lottery ticket)" 기준을 사용하여, 이 단계 동안의 그래디언트 크기를 기반으로 안정적인 희소 이진 마스크($M$)를 식별한다.
   • 마스크는 IoU(Intersection over Union)로 측정했을 때 연속적인 마스크들이 안정화될 때 선택된다.
   • 이 마스크 $M$은 비공개로 유지되며 이후 모든 학습 과정에서 고정된다.

2. 프라이빗 마스크 사전 학습 (Private Mask Pre-Training):

   • 모델은 전체 사전 학습 데이터셋으로 학습되지만, 최적화는 엄격하게 마스크에 의해 정의된 파라미터($\theta_M$)로만 제한된다.
   • 보완 파라미터($\theta_{\bar{M}}$)는 전체 사전 학습 과정 동안 동결(frozen) 상태를 유지한다.
   • 순전파(forward pass)에는 전체 밀집(dense) 파라미터 벡터를 사용하지만, 모든 그래디언트 업데이트는 희소 서브 네트워크 내로 국한된다.

3. 마스크 없이 공개 (Release Without Mask):

   • 수렴 시, 학습자는 최종 밀집 가중치만을 공개한다.
   • 프라이빗 마스크 $M$은 공개하지 않는다.

방어 메커니즘

무단 사용자가 마스크 없이 공개된 모델을 파인튜닝하려고 시도할 때, 사용자는 전체 파라미터 벡터를 업데이트해야 한다. 이는 **본질적인 최적화 불일치(intrinsic optimization mismatch)**를 생성한다:

• 사전 학습: 업데이트가 $\theta_M$에만 제한된 조건부 목적 함수를 최적화한 반면, $\theta_{\bar{M}}$은 고정되어 있었다.
• 무단 파인튜닝: $\theta_M$과 $\theta_{\bar{M}}$을 모두 업데이트하는 결합 목적 함수를 최적화한다.
• 결과: 파인튜닝 과정은 사전 학습 중에 적응되지 않은 고정된 보완 파라미터($\theta_{\bar{M}}$)에 대한 업데이트를 강제한다. 이론적 분석에 따르면, 이 고정된 방향을 따르는 손실 지형(loss landscape)은 양의 곡률(positive curvature, sharpness)을 보인다. 이러한 방향을 업데이트하는 것은 사전 학습된 솔루션을 불안정하게 만들어, 적응 이득을 제한하거나 성능 저하를 유발한다.

3. 이론적 분석

본 논문은 PMP가 왜 비파인튜닝 가능성을 유도하는지에 대한 이론적 근거를 제공한다:

• 비대칭적 국소 기하학 (Asymmetric Local Geometry): 사전 학습된 모델은 학습된 서브스페이스($\theta_M$)를 따라서는 손실 지형이 평탄하지만, 고정된 방향($\theta_{\bar{M}}$)을 따라서는 양의 곡률을 보이는 조건부 최적점에 도달한다.
• 불안정성 (Instability): 마스크 없이 파인튜닝할 때, 확률적 경사 하강법(SGD)은 두 서브스페이스를 모두 업데이트한다. 이론적 분석(Proposition 1)은 고정된 방향에 대한 업데이트가 불안정화하는 섭동(perturbation)을 도입함을 보여준다. 구체적으로, 적응되지 않은 방향에서의 양의 곡률 때문에 기대 사전 학습 손실이 증가하거나 감소하지 않으며, 이는 태스크 특화 그래디언트로 인한 이득을 상쇄한다.
• 결론: 무단 파인튜닝은 수학적으로 불안정화되기 쉬우며, 이를 통해 달성 가능한 파인튜닝 이득을 제한한다.

4. 실험 결과

저자들은 GPT-2 및 TinyLlama (1.1B) 아키텍처를 대상으로 SlimPajama-6B에서 사전 학습하고 GLUE 벤치마크에서 파인튜닝하여 PMP를 평가했다.

• 베이스 모델 성능: PMP는 베이스 모델의 핵심 능력을 보존한다. 많은 경우(예: CoLA 및 MRPC에서의 TinyLlama), PMP 모델은 파인튜닝 전 비PMP 베이스라인과 비슷하거나 약간 더 나은 성능을 보였다.
• 무단 파인튜닝: 마스크 없이 파인튜닝했을 때, PMP 모델은 다양한 다운스트림 태스크(예: SST-2, MRPR, QQP, MNLI)에서 상당한 성능 저하를 보였다. 성능 하락은 다양한 아키텍처와 태스크 전반에서 일관되게 나타났으며, 이는 이것이 태스크 특화된 취약성이 아니라 일반적인 적응 실패임을 나타낸다.
• 승인된 파인튜닝: 신뢰할 수 있는 사용자에게 프라이빗 마스크가 제공되면, 사용자는 마스크된 서브스페이스만을 업데이트하여 파인튜닝할 수 있다. 이 시나리오에서 PMP 모델은 무단 파인튜닝의 성능을 능가하거나 대등한 성능을 보여, 이 방법이 본질적으로 적응을 막는 것이 아니라 권한이 있는 당사자에게만 제한한다는 것을 입증했다.
• 절제 연구 (Ablation Studies):
  • 얼리 버드 vs. 랜덤 마스크: 얼리 버드 로터리 티켓 마스크를 사용하는 것이 매우 중요했다. 동일한 희소성을 가진 랜덤 마스크는 동일한 수준의 비파인튜닝 가능성을 유도하지 못했으며, 이는 얼리 버드 서브 네트워크의 안정성이 핵심임을 확인시켜 준다.
  • 마스크 비율: 마스크 비율 0.7 (70% 희소성)이 베이스 성능과 무단 파인튜닝 억제 사이의 최적의 균형을 제공했다.
  • 하이퍼파라미터: 학습률과 파인튜닝 에폭을 변화시켜도 무단 사용자의 성능이 회복되지 않았는데, 이는 이 제한이 하이퍼파라미터 튜닝 문제가 아닌 근본적인 최적화 불일치 문제임을 시사한다.
  • 손실 지형 시각화: 시각화를 통해 승인된 방향(마스크된 서브스페이스)에서는 손실 지형이 평탄하지만, 무단 방향(전체 파라미터 공간)에서는 가파르다는 것을 확인하여 이론적인 "가파른 벽(steep wall)" 가설을 검증했다.
  • 강건성: 논문은 분포적 중첩(distributional overlap) 때문에 그래디언트 크기만으로는 마스크 위치를 드러내지 않으므로, 적대자가 마스크를 추론하기 어렵다고 주장한다.

5. 주요 기여

1. 문제 식별: 본 논문은 비파인튜닝 가능성을 태스크 특화된 언러닝 문제가 아닌, 근본적인 사전 학습 단계의 문제로 재정의하며, 오픈 웨이트 공개 시 학습자가 무단 적응을 제어할 수 있는 메커니즘이 부족함을 강조한다.
2. PMP 프레임워크: 베이스 유틸리티를 유지하면서도 태스크와 무관한 블랙박스 설정에서 무단 파인튜닝을 제한하는 일반적인 패러다임인 프라이빗 마스크 사전 학습을 제안한다.
3. 이론적 통찰: PMP가 사전 학습과 파인튜닝 목표 사이의 본질적인 불일치를 유도하여, 무단 업데이트 시 불안정화하는 섭동을 주입한다는 분석을 제공한다.
4. 경험적 검증: PMP가 다양한 벤치마크와 아키텍처에서 적응 이득을 일관되게 억제하는 동시에 경쟁력 있는 사전 학습 성능을 유지함을 입증한다.

6. 의의 및 주장

본 논문은 비파인튜닝 가능성을 태스크 특화된 언러닝 문제가 아니라, 사전 학습 중에 유도되는 속성으로 재구성한다고 주장한다. 프라이빗 희소 서브 네트워크에 학습을 집중시킴으로써, PMP는 모델 학습자가 오픈 소스로 파운데이션 모델을 공개하면서도 다운스트림 적응에 대한 의미 있는 통제력을 유지할 수 있게 한다.

저자들은 이 접근 방식이 다음과 같음을 강조한다:

• 다운스트림 데이터나 태스크에 대한 사전 지식을 요구하지 않는다.
• 학습자를 위한 모델의 경제적 및 안전 가치를 보존한다.
• 프라이빗 마스크를 보유한 신뢰할 수 있는 사용자에게 "승인된" 적응을 허용한다.
• 모델이 어떻게 용도 변경될지에 대한 가정에 의존하지 않고, AI 생태계의 개방성과 안전 및 경제적 통제의 필요성을 조화시킬 수 있는 실질적인 메커니즘을 제공한다.