기술 요약: 미세 조정된 LLM의 안전성 측정은 성능(Capability)에 기반해야 한다

문제 정의

기초 대규모 언어 모델(LLM)을 지도 미세 조정(SFT) 또는 도메인 적응을 통해 특정 사용자 작업이나 스타일에 맞게 조정하는 과정은 종종 원본 모델의 안전 기능을 저해한다. 최근 연구에 따르면, 무해한 데이터셋으로 미세 조정을 수행하더라도 의도치 않게 안전 가드레일이 약화될 수 있다. SafeLoRA, SaLoRA와 같은 다양한 완화 방법들이 미세 조정 중 안전성을 보존하기 위해 제안되었으나, 이러한 방법들에 대한 기존의 평가는 다음과 같은 심각한 한계를 지닌다:

1. 임의적인 실험 설정: 이전 연구들은 특정 성능 목표에 고정되지 않은 채 경험적 설정(하이퍼파라미터, 대상 레이어 등)을 정의함으로써 일관성 없는 비교를 초래한다.
2. 평가의 취약성: 자동화된 안전 판단은 모델이 비논리적인 출력을 생성할 때 특히 신뢰할 수 없다는 점이 점점 더 드러나고 있다.
3. 일관성 없는 결론: 미세 조정이 안전성을 개선하는지 혹은 저하시키는지에 대한 평가는 선택한 안전 벤치마크와 사용된 특정 안전 평가 모델에 따라 극명하게 달라진다.

저자들은 미세 조정 실험을 검증 가능한 성능 목표에 기반하지 않는다면, 안전성에 미치는 영향에 대해 의미 있는 결론을 내리거나 완화 전략을 공정하게 비교하는 것이 불가능하다고 주장한다.

방법론

저자들은 성능(작업 수행 능력 및 생성 일관성)과 안전성 사이의 상호작용에 초점을 맞춘 다차원적 평가를 수행한다.

실험 설정

• 모델: 네 가지 오픈 소스 인스트럭션 튜닝 LLM이 사용되었다: Llama-3.2-1B, Llama-3.1-8B, Qwen-3-4B, Qwen-3-8B.
• 미세 조정 작업: 검증 가능한 성능 측정을 보장하기 위해, 저자들은 객관적인 정답 지표가 있는 네 가지 데이터셋을 선정하였다:
  • GSM8k: 초등 수학 문장제 문제.
  • ARC: 초등 과학 객관식 문제.
  • Science10k: 추론이 포함된 과학 QA 쌍.
  • BoolQ: 불리언(yes/no) 답변을 포함한 독해 문제.
  • 참고: 일반적인 인스트럭션 팔로잉 비교를 위해 Stanford Alpaca 데이터셋의 일부도 사용되었다.
• 미세 조정 방법: 저차원 적응(LoRA)이 다양한 하이퍼파라미터(rank $\{16, 64\}$, target layers $\{[qv], [all-linear]\}$)와 함께 적용되었다.
• 완화 방법: 본 연구는 특히 SafeLoRA를 분석한다. SafeLoRA는 유사도 점수가 임계값 미만으로 떨어질 경우, LoRA 가중치 업데이트를 "안전 서브스페이스"(정렬된 모델과 정렬되지 않은 모델 간의 가중치 차이로 정의됨)로 투영하는 훈련 불필요(training-free) 방식이다.

평가 차원

1. 성능(Capability): 미세 조정 데이터셋의 테스트 분할에 대한 정확도로 측정된다.
2. 일관성(Coherence): GPT-2 모델을 사용하여 생성된 출력의 퍼플렉시티(perplexity)로 측정된다. 높은 퍼플렉시티는 비논리적인 생성을 나타낸다.
3. 안전성(Safety): 네 가지 벤치마크(SORRY-Bench, BeaverTails-Eval, BeaverTails-Intent, XSTest)에서 유도된 1,840개의 포괄적인 안전 프롬프트를 사용하여 평가된다.
   • 판단 모델(Judges): 견고성을 테스트하기 위해 두 가지 별도의 평가자가 사용되었다:
     • LlamaGuard-8B: 유해성 비율을 출력하는 콘텐츠 안전 분류기.
     • SORRY-Bench Evaluator (Mistral-7b): 거부(refusal)와 준수(compliance)를 판단하는 미세 조정된 모델.

주요 결과

1. 일관성 및 자동 판단의 실패

제한된 출력 형식(예: 객관식 또는 yes/no)을 가진 작업에 대해 미세 조정을 수행하면 모델이 과적합되어, 안전 프롬프트가 제시되었을 때 **비논리적인 생성(incoherent generations)**을 일으킨다.

• ARC 및 BoolQ로 미세 조정된 모델들은 안전 질문에 대해 단일 문자 또는 무의미한 응답을 생성하는 경우가 많았다.
• 핵심 발견: 자동화된 안전 판단 모델(특히 LlamaGuard)은 이러한 비논리적인 출력을 "안전하지 않음" 또는 "유해함"으로 오인하는 경우가 빈번하다. 논문의 실험은 성능의 결여(비논리성)가 자동 평가 모델에 의해 안전성의 결여로 오분류될 수 있음을 보여준다.

2. 안전 벤치마크의 불안정성

안전성 저하 또는 개선에 대한 결론은 선택한 벤치마크와 평가 모델에 매우 민로 민감하다.

• 벤치마크 변동성: 동일한 모델 체크포인트(예: GSM8k로 미세 조정된 Llama-8B)에 대해, 한 벤치마크(SORRY-Bench)는 베이스 모델보다 상당한 안전성 개선을 나타내는 반면, 다른 벤치마크(BeaverTails-Intent)는 저하를 나타낸다.
• 평가자 괴리: "유해성"(LlamaGuard)과 "준수성"(SORRY-Bench) 사이에는 종종 약하거나 상반된 상관관계가 존재한다. 작은 규모의 모델들은 이 두 지표 사이에서 특히 상이한 경향을 보였다.

3. 안전-성능 트레이드오프 (SafeLoRA 분석)

본 연구는 표준 LoRA와 SafeLoRA를 비교하였다:

• Llama 모델: SafeLoRA는 일반적으로 안전성을 개선(유해성 감소)했으나, 일관되게 모델 성능(정확도)을 감소시켰다. Science10k 데이터셋의 경우, 가장 안전한 SafeLoRA 체크포인트는 최적의 표준 LoRA 체크포인트에 비해 정확도가 거의 10% 낮아졌다.
• Qwen 모델: 결과는 혼재되어 있었다. GSM8k에서는 SafeLoRA가 안전성과 정확도를 모두 개선했다. 그러나 Science10k에서는 SafeLoRA가 안전성과 정확도 모두에서 뚜렷한 저하를 일으켰다.
• 일관성 완화: ARC 및 BoolQ에서 SafeLoRA는 표준 LoRA 미세 조정에서 관찰되는 일관성 저하를 완화하는 것으로 나타났는데, 이는 자유로운 형식의 생성을 지원하는 정렬 가중치를 보존했기 때문으로 보인다.

의의 및 주장

본 논문은 LLM 안전 분야가 임의적인 경험적 설정에서 **성능에 기반한 평가(capability-grounded evaluations)**로 패러다임 전환이 필요하다고 주장한다.

• 기반 설정(Grounding)의 필수성: 미세 조정을 검증 가능한 특정 성능 목표에 고정하는 것은 임의적인 선택을 피하고 완화 전략을 일관되게 비교하기 위해 필수적이다.
• 측정의 타당성: 안전 지표는 취약하다. 논문은 퍼플렉시티(예: perplexity)를 통해 일관성을 측정하고 여러 평가자를 사용하지 않는다면 안전성 평가가 신뢰할 수 없다고 주장한다. 비논리적인 출력은 안전 점수를 인위적으로 높이거나, 반대로 잘못된 유해성 판정을 유발할 수 있다.
• 맥락적 해석: 저자들은 SafeLoRA와 같은 안전 보존 방법의 효과가 절대적이지 않으며, 모델 아키텍처, 특정 미세 조정 작업, 그리고 사용된 측정 도구에 따라 크게 달라진다고 결론짓는다. 따라서 연구자와 실무자는 미세 조정된 모델의 안전성을 정확하게 평가하기 위해 잘 정의되고, 기반이 확실하며, 타당한 측정 방법론을 채택해야 한다.

저자들은 자신들의 연구 결과가 향후 훈련 에포크에서의 안전 회복 메커니즘에 대한 추가 연구와, 외부 벤치마킹에만 의존하기보다는 (기계적 해석 가능성을 통한) 보다 내재적인 안전 행동 측정법의 개발이 필요함을 강조한다고 명시하였다.