Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

기술 요약: 글로벌 규범을 넘어: 재학습 없이 언어 모델의 독성 민감도를 개인화하기

문제 정의

현재 대규모 언어 모델(LLM)의 독성 완화는 주로 단일하고 통합된 수용 가능한 언어 개념에 대해 모델을 최적화하는 글로벌 정렬(global alignment) 문제로 프레임화되어 있습니다. 그러나 유해한 언어에 대한 인식은 본질적으로 주관적이고 맥락 의존적이며, 정체성, 경험, 사회적 규범에 따라 개인과 공동체 전반에 걸쳐 체계적으로 다르게 나타납니다. RLHF(Reinforcement Learning from Human Feedback) 및 DPO(Direct Preference Optimization)와 같은 글로벌 정렬 방식은 이질적인 판단들을 하나의 훈련 신호로 통합합니다. 이러한 방식은 일반적인 안전성에는 효과적이지만, 소수자의 관점을 흡수해 버릴 수 있으며, 특정 맥락에서 무엇이 해롭고, 수용 가능하며, 혹은 필요한지에 대해 서로 다른 기준을 가진 사용자들을 수용하지 못한다는 한계가 있습니다.

본 논문은 개인화된 독성 정렬(personalized toxicity alignment) 문제를 다룹니다. 즉, 각 사용자를 위한 별도의 모델을 학습시키는 데 드는 계산 비용과 경직성을 피하면서, 모델의 생성을 개별 사용자의 특정 민감도 프로필에 맞게 유도하는 것을 목표로 합니다. 추론 단계에서의 개입을 통해 이를 달성하고자 합니다.

방법론

저자들은 세 가지 서로 다른 추론 시점 개입 단계에 걸친 **훈련이 필요 없는 정렬 방법(training-free alignment methods)**에 대한 최초의 비교 평가를 수행합니다. 평가는 참가자, 프롬프트, 수용도 등급을 연결하는 PRISM 데이터셋(Kirk et al., 2024)을 활용합니다.

1. 개인화 타겟 구축:
각 사용자에 대해 Perspective API를 사용하여 독성 민감도 프로필을 구축합니다. 프로별은 *독성(Toxicity), 심각한 독성(Severe Toxicity), 정체성 공격(Identity Attack), 모욕(Insftult), 비속어(Profanity), 위협(Threat)*의 6개 카테고리에 대한 민감도 점수($s_{u,c}$) 벡터입니다. 이 점수들은 사용자가 평가한 응답의 '불만족(dislike)' 가중 평균 독성으로 계산되며, 여기서 '불만족'은 사용자의 수용도 등급의 역수로 도출됩니다.

2. 평가된 방법론 (총 7가지):
연구는 개입 단계에 따라 세 그룹으로 나뉜 7가지 방법을 비교합니다.

• 디코딩 전 단계 (입력 수정 - Pre-Decoding):

  • URIAL (프롬프트 컨디셔닝): 사용자의 주요 민감도 카테고리로 모델을 유도하기 위해 사용자의 특정 안전 지침과 인컨텍스트 예시를 프롬프트에 추가하며, 원래의 과업을 변경하지 않습니다.
  • PBPO (프롬프트 재작성): 대상 모델에 전달하기 전, 별도의 모델을 사용하여 사용자의 6차원 독성 프로필을 기반으로 사용자의 프롬프트를 "중립화된" 버전으로 재작성합니다.

• 디코딩 중 단계 (생성 제어 - In-Decoding):

  • PCAA (활성화 스티어링): 대비적 활성화 추가(contrastive activation addition)의 신뢰도 게이트형 하이브리드 방식입니다. 인구 통계적 수준의 독성 방향과 Bradley-Terry 선호 모델에 기반한 사용자 특정 잔차(residual)를 계산합니다. 이 둘을 결와하여 순전파 과정 중 은닉 상태(hidden states)를 조절합니다.
  • CGD (분류기 가이드 토큰 선택): 각 디코딩 단계에서 독성 분류기(Detoxify)가 상위-$k$개의 토큰 후보를 점수화합니다. 사용자의 민감도 벡터가 이 점수들에 가중치를 부여하여 로짓(logits)을 조정함으로써, 사용자의 특정 민감도를 위반하는 토큰에 페널티를 줍니다.
  • EADS (전문가-안티 전문가 스티어링): 세 개의 동기화된 디코딩 브랜치(기본 모델, 원하는 스타일의 전문가, 독성 스타일의 안티 전문가)를 실행합니다. 로짓을 결합하여 사용자가 가장 민감하게 반응하는 독성 차원에서 분포를 멀어지게 합니다.

• 디코딩 후 단계 (출력 선택 - Post-Decoding):

  • CRR (후보 재순위화): 기본 모델로부터 $N$개의 후보를 생성하고 분류기를 사용하여 재순위화합니다. 두 가지 거리 메트릭이 테스트됩니다: 사용자 가중 맨해튼 거리(CRR-L1)와 카테고리 간 상관관계를 고려한 마할라노비스 거리(CRR-M)입니다.

3. 평가 지표:

• 정렬(Alignment): 생성된 응답과 사용자의 선호 응답(PRISM 데이터 기준) 사이의 6개 독성 차원에 대한 평균 절대 오차(MAE) 감소량.
• 트레이드오프(Trade-offs): 지식 유지 능력(MMLU 정확도로 측정) 및 생성 유창성(Perplexity로 측정).
• 개인화 타당성(Personalization Validity): 단순한 일반적 독성 감소가 아닌, 사용자가 민감하게 느끼는 특정 카테고리에서 감소가 일어나는지 확인하기 위한 중앙값 중심 코사인 유사도 테스트.

주요 결과

• 효과성: 7가지 방법 모두 언스테어드(unsteered) 베이스라인과 비교했을 때 정렬 오차(사용자 특정 타겟과의 거리)를 28%에서 47%까지 성공적으로 감소시켰습니다. 가장 큰 개선은 심각한 독성과 위협 카테고리에서 관찰되었습니다.
• 단계별 성능:
  • URIAL (디코딩 전 단계)은 가장 높은 전체 MAE 감소율(47.4%)을 기록했으나, 이는 정밀한 개인화보다는 광범위하게 안전한 텍스트로 이동한 데 따른 결과였습니다.
  • PCAA (디코딩 중 단계)는 다양한 랜덤 시드에 대해 가장 안정적인 방법이었습니다.
  • CRR (디코딩 후 단계)와 PCAA/CGD (디코딩 중 단계)는 더 타겟팅된 개인화를 보여주었으며, 사용자의 민감한 카테고리에 맞춰 감소를 유도했습니다.
• 개인화와 정렬의 트레이드오프: 핵심적인 발견은 높은 총체적 정렬이 반드시 높은 개인화를 의미하지는 않는다는 점입니다. URIAL, PBPO, EADS와 같은 방법들은 특정 사용자 민감도를 타겟팅하는 데 있어 거의 무작위 수준의 성능을 보였는데, 이는 이들의 성공이 일반적인 독성 감소에 기인함을 시사합니다. 반면, CGD와 CRR은 개별 프로필과의 정렬은 더 강력했으나 총체적인 MAE 감소량은 더 작았습니다.
• 품질 트레이드오프:
  • 지식 유지: 디코딩 전 단계 방법들(URIAL, PBPO)은 MMLU 정확도에서 가장 큰 하락을 보였으며, 이는 지식 유지 능력의 손실을 나타냅니다. 디코딩 중 단계 방법들은 지식을 더 잘 보존했습니다.
  • 유창성: 디코딩 전 단계 방법들은 낮은 Perplexity(높은 유창성)를 유지한 반면, 디코딩 중 단계 방법들은 중간 정도의 Perplexity를 보였습니다. EADS는 낮은 Perplexity와 중간 정도의 정렬을 제공하며 보수적인 트레이드오프를 보여주었습니다.
• 인구 통계적 변이: 개선 효과가 인종 및 연령 그룹별로 균등하게 나타나지 않았습니다. 예를 들어, URIAL은 백인 및 혼혈 사용자에게 잘 작동한 반면, CGD는 아시아인 및 히스패닉/라틴계 사용자에게 더 우수했습니다. 특히, PBPO는 혼혈 사용자의 정렬도를 저하시켰는데, 이는 집계된 지표가 하위 그룹 간의 격차를 은폐할 수 있음을 보여줍니다.

의의 및 주장

본 논문은 개인화된 독성 정렬을 위한 훈련이 필요 없는 방법론에 대한 최초의 비교 평가를 제시한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 추론 시점의 스티어링이 실현 가능하다: 별도의 재학습 없이도 기존 모델을 개별 사용자의 민감도 선호도에 맞게 적응시킬 수 있습니다.
2. 개인화는 다목적 최적화 문제입니다: 정렬의 효과성, 개인화의 특이성, 그리고 일반적인 언어 품질(유창성 및 지식 유지) 사이에는 내재적인 트레이드오프가 존재합니다. 모든 지표를 압도하는 단일 단계의 개입은 존재하지 않습니다.
3. 집계 지표는 불충분합니다: 개인화를 단순히 평균 오차 감소로만 평가하는 것은 오해의 소지가 있습니다. 이는 일반적인 안전성 향상과 진정한 사용자 특화 적응을 혼동할 수 있기 때문입니다.
4. 하위 그룹 효과가 중요합니다: 평균적으로 효과적으로 보이는 방법이라도 특정 인구 통계 그룹에 대해 의도치 않게 격차를 증폭시키거나 성능을 저하시킬 수 있습니다.

저자들은 독성 민감도 정렬을 위해서는 단일한 글로벌 규범을 최적화하는 것이 아니라, 사용자의 선호도, 언어 품질, 그리고 다양한 하위 그룹 간의 공정성을 공동으로 고려하는 방법론과 평가 방식이 필요하다고 결론짓습니다.