1. 문제 정의 (Problem Statement)

현재 대형 언어 모델 (LLM) 서비스 제공자 (예: OpenAI) 는 계층형 구독 모델을 통해 수익을 창출합니다. 무료 사용자는 기본 모델에 접근하고, 유료 구독자는 고급 모델에 접근할 수 있습니다. 그러나 이 방식은 수익성이 낮고 유연성이 부족하다는 문제가 있습니다.

대안으로 고급 기능 (수학, 코딩 등) 에 대해 개별적으로 결제하여 잠금을 해제하는 'Pay-to-Unlock' 방식이 제안되고 있습니다. 이를 구현하기 위해서는 다음과 같은 4 가지 핵심 요구사항을 충족하는 **기능 잠금 기술 (Feature-Locking Technique, FLoTE)**이 필요합니다.

1. 효과성 (Effectiveness): 잠긴 기능에 대해서는 모델이 반드시 거절 (Refusal) 해야 함.
2. 유용성 보존 (Utility-Preserving): 잠금되지 않은 기능의 성능은 기존과 동일하게 유지되어야 함.
3. 강건성 (Robustness): 적대적 프롬프트 (Jailbreak) 나 무단 자격증명 공유를 통한 우회가 불가능해야 함.
4. 확장성 (Scalability): 여러 기능과 여러 클라이언트를 효율적으로 지원해야 함.

기존의 비밀번호 잠금 (Password-locking) 방식이나 백도어 기법은 위 요구사항 중 일부 (특히 유용성 보존과 확장성, 자격증명 공유 방지) 를 충족하지 못해 한계가 있었습니다.

2. 제안 방법론: LOCKET

저자들은 LOCKET이라는 새로운 FLoTE 를 제안합니다. 이는 비밀 자격증명 (비밀번호 등) 을 사용하지 않고, 어댑터 (Adapter) 기반의 모델 병합 (Merging) 기술을 활용하여 특정 기능을 동적으로 잠그는 방식입니다.

핵심 구성 요소 및 작동 원리

1. 어댑터 기반 잠금 (Adapter-based Locking):

   • 전체 모델을 파인튜닝하는 대신, 특정 기능 (예: 수학) 을 거부하도록 학습된 LoRA 어댑터를 생성합니다.
   • 클라이언트가 특정 기능에 대한 권한이 없을 경우, 해당 기능을 거부하는 어댑터가 기본 모델 (Frozen Base Model) 에 동적으로 부착됩니다.
   • 권한이 있는 기능은 어댑터가 부착되지 않아 정상적으로 작동합니다.

2. 적대적 훈련 (Adversarial Training):

   • 잠금 목적 (R1): 어댑터는 권한 없는 기능에 대한 요청을 강하게 거부하도록 훈련됩니다.
   • 강건성 확보 (R3): **잠재적 적대적 훈련 (Latent Adversarial Training, LAT)**을 적용합니다. 모델의 잠재 공간 (Latent space) 에 교란 (Perturbation) 을 가하여, 모델이 거부 응답을 하도록 유도하면서도 정답을 생성하려는 시도를 최소화하도록 훈련합니다. 이를 통해 적대적 프롬프트 (Jailbreak) 에 대한 저항력을 높입니다.

3. 유용성 보존을 위한 어댑터 병합 (Merging with Utility Preservation):

   • 여러 개의 어댑터를 병합할 때 발생하는 과도한 거부 (Over-refusal) 문제를 해결하기 위해 새로운 병합 기법을 개발했습니다.
   • 스펙트럼 노름 (Spectral Norm) 기반 리스케일링: 병합된 어댑터 가중치 행렬의 최대 특이값 (Spectral Norm) 이 개별 어댑터 중 가장 큰 값보다 커지지 않도록 클리핑 (Clipping) 및 리스케일링을 수행합니다.
   • 이 과정을 통해 권한이 없는 기능은 강력하게 거부되지만, 권한이 있는 기능의 성능 저하를 최소화합니다.

4. 시스템 아키텍처:

   • 권한 제어 모듈: 클라이언의 프로필을 확인하여 허용된 기능 집합을 식별합니다.
   • 동적 어댑터 선택 및 병합: 허용되지 않은 기능에 해당하는 어댑터만 선택하여 병합하고, 이를 기본 모델에 부착한 후 추론을 수행합니다.

3. 주요 기여 (Key Contributions)

1. FLoTE 요구사항 정의: 기존 연구가 충족하지 못했던 4 가지 요구사항 (효과성, 유용성, 강건성, 확장성) 을 명확히 정의하고 분석했습니다.
2. LOCKET 프레임워크 개발: 비밀 자격증명 없이 작동하며, 어댑터 병합 시 유용성을 보존하는 새로운 병합 알고리즘을 포함한 최초의 강건하고 확장 가능한 FLoTE 를 제안했습니다.
3. 포괄적인 평가: 다양한 모델 (DeepSeek, Llama-3) 과 기능 (수학, SQL, 요약, 일반 지식) 에 대한 실험을 통해 기존 방법 (비밀번호 잠금 등) 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Evaluation Results)

실험은 DeepSeek-7B-Math, DeepSeek-7B-Coder, Llama-3-8B-Instruct 모델을 사용하여 수행되었습니다.

• 효과성 (R1): 잠긴 기능에 대한 거부율이 **100%**에 달했습니다 (유용성 0.00).
• 유용성 보존 (R2): 잠금되지 않은 기능의 성능 저하는 최대 7% 이내로 유지되었습니다. 기존 비밀번호 방식은 유용성 저하가 12% 이상 발생하거나, 다른 기능에 악영향을 미쳤으나 LOCKET 은 이를 효과적으로 방지했습니다.
• 강건성 (R3):
  • Naïve Jailbreak, Non-Adaptive Jailbreak, Adaptive Jailbreak 등 다양한 적대적 공격에 대해 공격 성공률 (ASR) 이 5% 이하로 낮았습니다.
  • 기존 비밀번호 방식은 공격 성공률이 매우 높았으나 (최대 97%), LOCKET 은 거의 모든 공격을 차단했습니다.
  • 비밀번호가 없으므로 자격증명 공유 (Credential Sharing) 공격에도 면역이 있습니다.
• 확장성 (R4): 여러 기능을 동시에 잠금 (예: 수학 + SQL + 요약) 하더라도 효과성과 유용성이 유지되었습니다. 8 개의 기능까지 확장 가능함을 확인했습니다.
• 오버헤드:
  • 어댑터 부착/분리 시간은 매우 짧아 (부착 약 1 초, 분리 0.02 초) 실시간 서비스 지연이 거의 없습니다.
  • 어댑터 크기는 기본 모델의 약 1.6~1.7% 로 저장 공간 부담이 적습니다.

5. 의의 및 결론

LOCKET 은 LLM 기반 서비스의 비즈니스 모델을 단순한 모델 tier(계층) 구분에서 기능 단위 (Feature-level) 의 Pay-to-Unlock으로 전환할 수 있는 기술적 토대를 제공합니다.

• 경제적 타당성: 서비스 제공자는 하나의 기본 모델로 다양한 고객 세그먼트에 맞춤형 기능을 제공할 수 있어 운영 비용을 절감하고 수익성을 높일 수 있습니다.
• 기술적 혁신: 기존 파인튜닝 방식의 한계 (과적합, 유용성 손실, 확장성 부족) 를 어댑터 병합과 적대적 훈련을 통해 해결했습니다.
• 안전성: 위험한 기능 (예: 해킹, 불법 활동) 을 특정 사용자에게만 잠금으로써, 모델의 안전성을 세분화하여 관리할 수 있는 새로운 접근법을 제시합니다.

결론적으로 LOCKET 은 LLM 서비스의 상업적 지속 가능성과 기술적 안전성을 동시에 확보할 수 있는 획기적인 솔루션입니다.