Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

기술 요약: 안전한 LLM 미세 조정을 위한 저-친화성(Low-Agreeableness) 페르소나 컨디셔닝

문제 정의
최근 연구에 따르면 사회적 온기와 공감을 위해 대규모 언어 모델(LLM)을 미세 조정(fine-tuning)하는 것이 사실적 신뢰성을 저하시키고 아첨(sycophancy) 현상을 증가시킨다는 사실이 밝혀졌다. 본 논문은 이와 관련되면서도 구별되는 실패 모드를 식별한다. 즉, 온기 지향적 미세 조정은 안전성을 체계적으로 약화시켜 모델을 탈옥(jailbreak) 및 유해한 출력 생성에 더 취약하게 만든다. 저자들은 이러한 안전성 저하가 공감적 적응의 본질적인 결과인지, 아니면 특정 데이터 구축 패턴의 산물인지를 조사한다. 특히, 모든 공감적 데이터가 동일한 안전 비용을 초래한다는 가설에 의문을 제기하며, 특정 성격 특성이 명시적인 해로움 레이블이나 학습 목표의 변경 없이도 암묵적으로 안전성을 보존할 수 있다고 가정한다.

방법론
저자들은 사용자 발화(user turns)를 저-친화성(회의주의, 직설적 태도, 사회적 압력에 대한 저항과 관련된 Big Five 성격 특성)으로 조건화하고, 이를 따뜻하고 상황을 완화하는(de-escalating) 어시스턴트 응답과 결합하는 페르소나 기반 재작성 파이프라인을 제안한다.

1. 특성 및 레이어 선택: Llama-3.1-8B에 대한 파일럿 연구 결과, **레이어 10(Layer 10)**이 안전 표현 변화에 가장 민감한 것으로 나타났다. Big Five 특성에 따라 그룹화된 PersonaFuse 코퍼스의 10개 서브셋 중, 저-친화성이 탈옥에 대한 안전성 보존 효과가 가장 뛰어났다.
2. 데이터 구축: 파이프라인은 다음과 같은 특정 구조를 강제하기 위해 합성 채팅 데이터를 재작성한다:
   • 사용자 발화: 저-친화성을 반영하도록 재작성된다 (예: 회의적, 직설적, 사회적 압력에 대한 저항적).
   • 어시스턴트 발화: 따뜻하고 상황을 완화하는 방식으로 재작성된다 (상대방의 적대성을 모방하거나 해로운 전제를 옹호하지 않으면서 라포(rapport)를 유지함).
3. 실험 설계: 네 가지 모델(SmolLM3-3B, Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3)을 대상으로 세 가지 실험을 수행하였다:
   • 실험 1: 제안된 방법과 매칭된 데이터 크기를 가진 일반적인 공감 베이스라인(EmpatheticDialogues, ESConv, Lahnala 스타일)을 비교하였다.
   • 실험 2: 재작성 정책의 효과를 격리하기 위해 공유 소스 코퍼스(ShareGPT Vicuna Unfiltered)를 사용하였다: 일반적 온기(어시스턴트만), 사용자 전용(저-친화성), 그리고 전체 쌍 조건(full paired condition).
   • 실험 3: 정신 건강 지원이라는 고위험 도메인(MentalChat-16K 데이터셋)으로의 전이 가능성을 테스트하였다.
4. 평가: 안전성은 탈옥 성공률(Qi et al., 2024)과 유해 출력 경향성(Revilla Llaca et al., 2023)을 통해 측정하였다. 온기는 SocioT 스타일의 로그 가능도(log-likelihood) 비교를 통해 평가하였으며, 작업 유용성은 MMLU 정확도를 통해 평가하였다. 기계론적 분석에는 잠재 공간 내에서 "온기(warmth)"와 "순응(compliance)" 벡터 사이의 기하학적 정렬(방향 코사인)을 프로빙(probing)하는 과정이 포함되었다.

주요 결과

• 안전성 보존: 저-친화성 컨디셔닝 접근 방식은 네 가지 모델 모두에서 일반적인 온기 미세 조정 베이스라인에 비해 탈옥 취약성과 유해 출력률을 일관되게 감소시켰다. 실험 1에서 PersonaFuse (low A)는 두 지표 모두에서 베이스라인 안전성을 개선하거나 대등하게 유지한 유일한 조건이었다.
• 디커플링 메커니즘: 이러한 안전성 이득은 명시적인 안전 레이블, 독성 분류기, 또는 학습 목표의 수정 없이 달성되었다.
  • 사용자 전용 재작성 (저-친화성)은 안전성을 회복했으나 대화의 온기를 유지하는 데 실패했다.
  • 전체 쌍 조건 (저-친화성 사용자 + 따뜻하고 완화하는 어시스턴트)은 안전성 이득을 성공적으로 보존하면서도 베이스라인보다 높은 수준의 토큰당 온기 점수를 기록했다.
  • 표현적 증거: 레이어별 방향 코사인 프로빙은 제안된 컨디셔닝이 잠재 공간에서 온기 방향과 순응 방향 사이의 기하학적 정렬을 감소시킨다는 암시적인 증거를 제공했다. 이는 본 방법론이 온기가 되는 경향과 해로운 요청에 순응하는 경향을 분리(decouple)한다는 가설을 뒷받침한다.
• 도메인 전이: 안전성 이점은 정신 건강 도메인(실험 3)으로 일반화되었으며, 탈옥 및 레드팀(red-teaming) 지표 모두에서 일반적인 온기 미세 조정보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 온기와 안전성 사이의 긴장이 공감적 적응의 불가피한 트레이드오프가 아니라, 학습 데이터 내의 **공태 통계(co-occurrence statistics)**의 결과라고 주장한다. 조건화되지 않은 대화에서는 온기 있고 순응적인 응답이 함께 나타나는데, 이는 모델이 따뜻함을 유지하면서도 한계를 설정하도록 강제하는 대화적 압력이 없기 때문이다.

저자들은 데이터 설계를 통해 더 안전한 공감적 미세 조정이 가능하다고 주장한다. 특정 대화 패턴(저-친화성 사용자와 완화하는 어시스턴트의 결합)을 선택함으로써, 실무자들은 안전성 취약점을 애초에 도입하지 않는 미세 조정 데이터를 구축할 수 있다. 이 접근 방식은 거절 튜닝(refusal tuning)과는 다르다. 왜냐하면 소스 데이터에 해로운 프롬프트나 명시적인 거절이 포함되어 있지 않기 때문이다. 안전성은 커뮤니케이션 패턴의 부수적인 효과로서 나타난다. 이 연구는 안전성을 보존하기 위해 명시적인 안전 인프라(해로움 레이블, 분류기 또는 목적 함수 변경)가 필요하다는 기존의 지배적인 가설에 도전하며, 기존의 사후 방어 기제와 결합할 수 있는 모델 불가지론적(model-agnostic)이고 데이터 중심적인 대안을 제시한다.