CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 광범위한 배포로 인해 변화하는 안전 요구사항에 유연하게 적응할 수 있는 사후 (Post-hoc) 수정 방법의 필요성이 대두되었습니다.

• 기존 방법의 한계:
  • 파인튜닝 (Fine-tuning): 새로운 안전 기능을 학습시키기 위해 고비용의 데이터 수집과 재학습이 필요함.
  • 지식 편집 (Knowledge Editing): 기존 내부 지식을 수정하는 데는 효과적이지만, 외부 모델에서 새로운 기능을 추가하는 데는 한계가 있음.
  • 모델 퓨전 (Model Fusion): 특정 작업에 맞춰 훈련된 모델을 병합하는 방식은 오픈소스 생태계에서 구하기 어렵고, 개별 기능의 선택적 재사용이 어려움.
• 핵심 문제: 비용 효율적으로, 그리고 전체 모델 성능을 저하시키지 않으면서 외부 오픈소스 모델에 이미 존재하는 안전 관련 기능 (예: 안전 정렬, 편향 제거) 을 대상 모델에 **재사용 (Reuse)**하거나, 반대로 원치 않는 기능 (예: 안전 정렬 우회) 을 삭제하는 방법의 부재.

2. 제안 방법: CNT (Cross-Model Neuron Transfer)

저자들은 **"Cross-Model Neuron Transfer (CNT)"**라는 새로운 사후 수정 프레임워크를 제안합니다. 이는 외부 오픈소스 모델 (Donor) 에서 최소한의 뉴런 (가중치) 서브셋을 대상 모델 (Recipient) 로 전이하여 기능을 재사용하는 방식입니다.

주요 구성 요소 및 기술적 접근

1. Donor 모델 선택 및 호환성 평가 (NTRR):

   • Donor 와 Recipient 모델은 아키텍처가 동일해야 합니다.
   • **Neural Transfer Rejection Rate (NTRR)**를 도입하여 두 모델 간의 호환성을 정량화합니다. NTRR 이 낮을수록 두 모델의 특징 공간이 유사하여 가중치 전이가 효과적입니다.

2. 저잡음 탐지 요청 쌍 구성 (Low-noise Probing Request Construction):

   • 목표 기능 $g$와 관련된 뉴런을 정확히 위치시키기 위해 **차분 분석 (Differential Analysis)**을 사용합니다.
   • F-req (With-function): 목표 기능을 강력하게 활성화하는 요청.
   • Fl-req (Function-less): 구조, 맥락, 주제는 F-req 와 동일하게 유지하되, 목표 기능 $g$만 제거된 요청.
   • 이 두 요청의 활성화 차이 (Activation Gap) 를 분석하여 노이즈를 줄이고 정확한 가중치를 식별합니다.

3. 경로 기반 기능 간격 귀속 (Path-wise Function Gap Attribution):

   • 두 독립적으로 훈련된 모델 간의 가중치 차이 ($\Delta\theta$) 가 기능 격차에 기여하는 정도를 측정하기 위해 경로 적분 (Path Integration) 기법을 사용합니다.
   • Recipient 모델 가중치 ($\theta_r$) 와 Donor 모델 가중치 ($\theta_d$) 사이에 선형 보간 경로 ($\theta^{(k)}$) 를 설정하고, 이 경로를 따라 손실 함수의 기울기를 적분하여 각 가중치의 **귀속 점수 (Attribution Score, $A_i$)**를 계산합니다.
   • 손실 함수 ($L$): 목표 기능에 대한 거리 ($L_g$) 와 원본 모델의 성능 보존 ($L_{\neg g}$) 을 동시에 고려합니다.

4. 기능 전이 (Function Transfer):

   • 기능 추가 (Function Addition): Donor 모델의 안전 기능을 Recipient 모델에 주입 (예: 안전 정렬 강화).
   • 기능 삭제 (Function Deletion): Donor 모델 (안전 기능이 없는 모델) 의 가중치를 이용해 Recipient 모델의 원치 않는 기능을 억제 (예: 안전 정렬 우회/제거).
   • 귀속 점수가 높은 상위 $p\%$의 가중치만 선택적으로 전이하여 전체 모델 무결성을 유지합니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임: 감독 학습 데이터 수집이나 재학습 없이, 외부 오픈소스 모델의 뉴런을 전이하여 LLM 간 안전 지향적 기능을 재사용하는 CNT 프레임워크 제안.
• 이중 기능 지원: 기존 방법들이 주로 기능 삭제나 지식 수정에 국한된 것과 달리, 기능 추가와 삭제 모두를 지원합니다.
• 광범위한 실험 검증: 7 개의 다양한 아키텍처 (Dense, MoE 포함) 와 3 개의 주요 응용 시나리오 (안전 정렬 해제, 안전 정렬 강화, 편향 제거) 에서 CNT 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

CNT 는 7 개의 인기 있는 LLM (Llama3, Mistral, Yi, DeepSeek 등) 에서 5 개의 베이스라인 (LoRA, Model Surgery, ED, RD 등) 과 비교 평가되었습니다.

• 기능 삭제 (Disalignment Attack):

  • 안전 정렬 기능을 효과적으로 제거하여 거부율 (Refusal Rate) 을 평균 81.6% 감소시키고, 유해 응답 생성률을 높였습니다.
  • 성능 저하 최소화: MMLU 점수는 평균 1.37 포인트만 감소하여 (기존 방법 대비 훨씬 낮음), 모델의 일반적 유용성을 거의 유지했습니다.
  • 베이스라인 대비 우위: 기존 편집 기반 방법 (RD, ActSVD-OP) 보다 안전 기능 제거 효율이 높았으며, Pruning(가지치기) 방식보다 기능 제거와 성능 보존 면에서 모두 우수했습니다.

• 기능 추가 (Alignment Enhancement):

  • 안전 기능이 부족한 모델에 Donor 모델의 기능을 주입하여 거부 정확도 (Refusal Accuracy) 를 평균 40.84% 향상시켰습니다.
  • MMLU 점수는 오히려 0.26 포인트 증가하는 등 성능 저하가 없었습니다.

• 편향 제거 (Bias Removal):

  • 편향된 모델에서 편향을 제거하는 데 성공하여 Stereotype Score 를 77.47 에서 64.73 으로 낮췄으며, ICAT 점수는 크게 향상되었습니다.

• 효율성:

  • 전체 가중치의 **0.012% ~ 0.24%**만 전이하여 매우 효율적입니다.
  • 학습 데이터가 필요 없으며, 32 개의 탐지 요청 쌍으로도 높은 성능을 달성합니다.

5. 의의 및 중요성 (Significance)

• 비용 효율성: 고비용의 데이터 수집과 재학습 없이, 기존 오픈소스 모델의 "기능"을 마치 장기 이식처럼 재사용할 수 있어 LLM 배포 및 유지보수 비용을 획기적으로 절감합니다.
• 모듈형 적응성: 모델 전체를 다시 훈련할 필요 없이, 특정 기능 (안전, 편향 등) 만을 모듈 단위로 추가하거나 제거할 수 있어 LLM 의 유연한 적응을 가능하게 합니다.
• 모델 이해도 증진: 뉴런 전이를 통해 모델의 기능적 특성이 특정 층 (Layer) 에 어떻게 분포되어 있는지 (중간 층이 안전 기능에 더 중요함) 에 대한 통찰을 제공하며, 가지치기 (Pruning) 와 전이 (Transfer) 의 메커니즘적 차이를 규명했습니다. (가지치기는 잔여 활성화를 남기지만, 전이는 활성화 패턴을 대체하여 더 효과적임)
• 실용적 방어 및 공격: 이 기술은 안전 정렬을 우회하는 공격 도구로 사용될 수 있는 위험이 있지만, 동시에 안전 기능이 부족한 모델을 빠르게 보강하거나 편향을 제거하는 방어 수단으로도 활용 가능합니다.

요약하자면, 이 논문은 LLM 의 안전 기능을 "재학습"이 아닌 "재사용"의 관점에서 접근하여, 최소한의 가중치 전이로 최대의 효과를 얻는 혁신적인 방법을 제시했습니다.