기술 요약: SafeTune – 대규모 언어 모델을 위한 검색 기반 유해성 최소화

문제 정의

대규모 언어 모델 (LLM) 의 광범위한 채택은 응답 유해성을 최소화하기 위한 강력한 메커니즘을 필요로 합니다. 응답은 동시에 (i) 안전하지 않은 (위험, 독성, 비윤리적 또는 불법적인 내용을 포함하는), (ii) 관련성 있는 (사용자의 요청을 다루고 주제에서 벗어지지 않는), 그리고 (iii) 유용한 (실행 가능한 정보를 제공하는) 경우 유해한 것으로 정의됩니다.

이전 연구에 따르면 안전 메커니즘은 적대적 프롬프트를 통해 우회될 수 있으며, 이는 종종 단순히 독성이 있는 것이 아니라 "관련성 있고 실제로 사용 가능한 지원"을 제공하는 응답으로 이어집니다. 실증적 조사는 중요한 트레이드오프를 드러냅니다: 유해한 요청을 엄격히 거부하는 모델은 종종 관련성이 낮은 응답 (예: 일반적인 거부) 을 제공하는 반면, 도움을 주려는 시도를 하는 모델은 실수로 유해한 콘텐츠를 생성할 수 있습니다. 구성 튜닝을 통해 유해성과 응답 관련성을 동시에 개선하는 접근법이 부족합니다.

방법론: SafeTune

저자들은 유해성을 완화하면서도 응답 관련성을 유지하거나 증가시키도록 설계된 다목적 검색 기반 접근법 (SBSE) 인 SafeTune을 제안합니다. 이 접근법은 유해성 완화를 검색 문제로 간주하여 하이퍼파라미터 튜닝과 시스템 프롬프트 엔지니어링을 통해 안전성과 관련성 사이의 트레이드오프를 최적화합니다.

검색 공간 구성

검색 집단 내의 각 개체는 다음을 포함하는 사전 (dictionary) 으로 표현됩니다:

• 하이퍼파라미터:
  • Temperature: $[0.2, 1.0]$
  • Top-p: $[0.0, 1.0]$
  • Top-k: $[0, 100]$
  • 반복 패널티 (Repetition penalty): $[0.0, 2.0]$
  • Max new tokens: $[256, 1000]$
• 시스템 프롬프트: LLM 이 비유해한 어시스턴트 역할을 하도록 요청하는 세 가지 변형 (예: "당신은 안전한 어시스턴트입니다", "당신은 안전하고 유용하며 관련성 있는 답변을 생성하는 도움이 되는 어시스턴트입니다").

적합도 평가

각 개체의 적합도는 특정 구성을 사용하여 입력 프롬프트당 5 개의 응답을 생성함으로써 평가됩니다. 두 가지 지표가 계산됩니다:

1. 유해성: 안전성, 관련성 및 유용성을 평가하는 미세 조정된 "LLM-as-a-Judge" 분류기 (Yang et al. [1] 기반) 에 의해 유해한 것으로 분류된 응답의 비율.
2. 관련성: 응답과 입력 프롬프트 임베딩 간의 평균 크로스-인코더 유사도 점수 (sentence-transformers 사용).

최적화 알고리즘

SafeTune 은 다목적 최적화기로서 NSGA-II(Non-dominated Sorting Genetic Algorithm II) 를 사용합니다.

• 집단 (Population): 20 개 개체.
• 세대 (Generations): 15.
• 연산자: 단일 점 교차 (80% 확률) 및 다항식 돌연변이 (20% 확률).
• 목적: 유해성 비율을 최소화하면서 관련성 점수를 최대화합니다.

실증적 평가

이 연구는 유해성 벤치마크 [1] 에서 선별된 274 개의 유해성 유도 프롬프트 세트를 사용하여 세 가지 연구 질문 (RQs) 을 다룹니다.

RQ1: 유해한 프롬프트에 대한 LLM 의 회복탄력성

네 가지 범용 LLM(Llama3.2 1B, Gemma3 1B, Qwen3.5 0.8B, Deepseek-R1 1.5B) 이 137 개의 무작위 유해한 프롬프트에 대해 테스트되었습니다.

• 결과: 모델 회복탄력성에 상당한 변이가 존재합니다. Qwen3.5 0.8B 는 가장 취약하여 프롬프트의 74.5% 에서 유해한 응답을 생성했습니다. 반면, Llama3.2 1B 와 Deepseek-R1 1.5B 는 각각 7.8% 와 5.8% 의 경우에만 유해한 콘텐츠를 생성했습니다.
• 상관관계: 유해성과 프롬프트 - 응답 유사성 사이에 양의 상관관계 ($\rho = 0.557$) 가 관찰되었습니다. 유해한 콘텐츠를 생성한 모델은 종종 프롬프트와 더 관련성이 높았으며, 반면 거부한 모델 (예: "도움드릴 수 없습니다") 은 더 낮은 관련성 점수를 보였습니다.

RQ2: SafeTune 의 효과성

SafeTune 은 가장 취약한 모델인 Qwen3.5 0.8B에 적용되었으며, 두 가지 특정 유해한 프롬프트 (피싱 웹사이트 제작 및 탄약 제조) 가 사용되었습니다. 최적화된 모델은 10 회 실험 수행 동안 베이스라인 (기본 하이퍼파라미터) 과 비교되었습니다.

• 결과: SafeTune 은 베이스라인에 비해 유해성 비율을 현저히 감소시키고 응답 관련성을 증가시켰으며, 이는 큰 효과 크기 (Wilcoxon 및 $\hat{A}_{12}$ 검정으로 확인됨) 로 확인되었습니다.
• 정성적 예시: 가짜 은행 사이트 제작 방법을 묻는 프롬프트의 경우, 베이스라인 모델은 요청을 거부했지만 여전히 웹사이트 구축에 대한 일반적인 개요를 제공했습니다. SafeTune 으로 최적화된 모델은 유해한 요청을 거부하고 사용자를 질투와 같은 감정에 관한 건설적이고 비유해한 대안으로 전환시켰습니다.
• 지표 개선: 파레토 프론트의 품질을 나타내는 Hypervolume 점수는 두 프롬프트 모두에서 통계적으로 유의미한 개선을 보였습니다.

RQ3: 특징 중요도

검색 데이터로 훈련된 Random Forest 모델을 사용하여 저자들은 어떤 매개변수가 목적에 가장 큰 영향을 미쳤는지 분석했습니다.

• 주요 발견: **반복 패널티 (repetition penalty)**가 유해성 최소화와 관련성 최대화 모두에 가장 영향력 있는 특징으로 나타났습니다.
• 관찰: 파레토 최적 결과 전반에 걸쳐 반복 패널티 값은 일관되게 1 미만이었습니다. 이는 출력에서 더 큰 반복을 장려하는 것이 더 안전하고 관련성 높은 응답으로 이어진다는 것을 시사합니다.

주요 기여

1. 실증적 조사: 네 가지 범용 LLM 에 걸쳐 유해성과 관련성을 체계적으로 평가하여, 작거나 정렬이 덜 된 모델에서 높은 관련성이 종종 높은 유해성과 상관관계를 가진다는 트레이드오프를 강조합니다.
2. SafeTune 프레임워크: 관련성을 희생하지 않으면서 유해성을 완화하기 위해 하이퍼파라미터와 시스템 프롬프트를 공동으로 최적화하는 다목적 검색 기반 접근법의 제안.
3. 특징 통찰: LLM 안전성과 관련성을 제어하기 위한 중요하지만 이전에 충분히 탐구되지 않은 매개변수인 반복 패널티의 식별 및 반복을 장려하는 것이 유해성을 감소시킬 수 있음을 입증.
4. 오픈 소스: SafeTune 소스 코드 및 복제 패키지의 공개 제공.

중요성 및 한계

이 논문은 SafeTune 이 일반적인 거부에 의존하는 대신 안전하고 도움이 되는 응답을 생성하는 구성을 찾아 LLM 안전성을 개선하는 실용적인 검색 기반 방법을 제공한다고 주장합니다. 저자들은 예비 평가가 큰 효과 크기로 유해성을 현저히 감소시켰음을 보여준다고 강조합니다.

그러나 저자들은 주장의 범위와 관련하여 겸손한 입장을 유지합니다:

• 범위 제한: 평가는 단일 모델 (Qwen3.5 0.8B) 과 두 가지 특정 입력 프롬프트로 제한되었습니다.
• 평가 방법: 이 연구는 인간 평가 대신 유해성과 관련성을 평가하기 위해 자동화된 접근법 (LLM-as-a-Judge 및 크로스-인코더) 에 의존합니다.
• 향후 작업: 저자들은 SafeTune 의 다른 모델 및 프롬프트 분포에 대한 일반화 가능성을 조사하고, 대체 자동 평가 방법 및 정성적 평가를 탐구하기 위한 향후 작업이 필요하다고 명시적으로 언급합니다.