기술 요약: 대규모 언어 모델 대화 응답 생성을 위한 유해 서브워드 가지치기

문제 제기

대규모 언어 모델 (LLM) 의 급속한 발전은 유해하거나 독성 콘텐츠 생성과 관련된 심각한 위험을 초래했습니다. 기존 안전 연구는 주로 '안전한' 모델을 재장전 (jailbreak) 공격이나 독성 프롬프트로부터 방어하는 데 중점을 두지만, 이미 독성을 띤 모델을 대상으로 한 연구는 중요한 공백이 남아 있습니다. 이러한 시나리오는 개별 개발자가 실수로 독성 모델을 생성하거나, 공격자가 모델 가중치에 접근하여 유해 콘텐츠로 모델을 미세 조정할 때 발생합니다.

현재의 완화 전략은 몇 가지 한계에 직면해 있습니다:

• 안전 정렬 (Safety Alignment): 사전 훈련된 모델을 안전을 위해 미세 조정하는 것은 계산 비용이 많이 들며, 개별 개발자들이 접근하기 어려운 경우가 많습니다.
• 외부 분류기: 외부 독성 분류기를 사용하여 독성 출력을 탐지하고 차단하는 것은 불완전합니다. 공격자는 악성 주입 프롬프트를 통해 이러한 장벽을 우회할 수 있으며, 지속적인 차단은 모든 출력을 막아 모델을 무용지물로 만들 수 있습니다.
• 복잡한 탈독성화: 기존 독성 LLM 을 탈독성화하는 방법들은 종종 신속한 배포에 너무 복잡합니다.
• 프롬프트 주입 취약점: 잘 정렬된 모델조차 프롬프트 주입을 통해 독성 생성을 유발될 수 있습니다.

본 논문은 비용이 많이 드는 재훈련이나 가중치 업데이트 없이 모델의 디코딩 과정에서 직접 독성 능력을 제거할 수 있는 경량화된 추론 시점 (inference-time) 솔루션이 필요하다고 주장합니다.

방법론: 유해 서브워드 가지치기 (ToxPrune)

저자들은 훈련된 LLM 의 디코딩 과정에서 독성 단어와 관련된 서브워드 (서브토큰) 를 어휘에서 제거하는 새로운 알고리즘인 ToxPrune을 제안합니다.

핵심 메커니즘

1. 맞춤형 독성 목록: 이 방법은 사용자가 정의한 독성 단어 목록을 수용합니다.
2. 서브워드 토큰화: 이러한 단어는 모델의 토크나이저 (예: BPE) 를 사용하여 서브워드로 토큰화됩니다. 저자들은 독성 단어와 비독성 단어가 서브워드를 공유할 수 있다고 지적하며, ToxPrune 은 독성 목록에서 파생된 특정 서브워드를 가지치기함으로써 이를 처리합니다.
3. 분포 수정: 추론 중 다음 토큰의 확률 분포가 수정됩니다. 전체 어휘 $V$에서 샘플링하는 대신, 모델은 제한된 집합 $V \setminus V_{toxic}$에서 샘플링하며, 여기서 $V_{toxic}$는 가지치기된 독성 서브워드를 나타냅니다.
   • 공식적으로, top-$k$샘플링의 경우 분포가 $P(\bar{x}_i | \dots) \in V^{(k)}$에서 $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$로 변경됩니다.
   • Beam Search 의 경우, 가지치기된 단어를 포함하는 시퀀스의 확률은 0 으로 설정되어 후보 목록에서 효과적으로 제거됩니다.
4. 확장 및 잘라내기:
   • 개사 블랙리스트: 커버리지를 높이기 위해 초기 독성 단어 목록은 개사 생성기를 사용하여 독성 용어의 변형을 포함하도록 확장될 수 있습니다.
   • 잘라낸 화이트리스트: 사전 정의된 화이트리스트를 사용하여 안전 단어와 겹치는 독성 서브워드를 제거함으로써 특정 키워드를 보존할 수 있으며, 이를 통해 중요한 비독성 용어가 계속 사용 가능하도록 보장합니다.

구현

ToxPrune 은 완전히 추론 단계에서 작동합니다. 모델 가중치 업데이트, 재훈련, 또는 외부 분류기가 필요하지 않습니다. 선택 전에 후보 어휘를 단순히 필터링함으로써 Top-$k$, Top-$p$, Beam Search 와 같은 표준 샘플링 전략과 통합됩니다.

주요 기여

1. 새로운 알고리즘: 대화 생성의 디코딩 과정에 직접적인 영향을 미치기 위해 독성 서브워드를 삭제하는 ToxPrune 방법의 도입.
2. 이중 검증: 알려진 독성 LLM(NSFW-3B) 과 공식적으로 정렬된 비독성 LLM(Llama-3.1-6B Base) 모두에서 방법이 검증되었습니다.
3. 실증적 증거: 광범위한 사례 연구와 자동 평가를 통해 ToxPrune 이 독성 생성을 효과적으로 완화하면서도 대화 품질을 유지하거나 향상시킨다는 것이 입증되었습니다.

실험 결과

데이터셋 및 모델

• 데이터셋: 실험은 페르소나에 기반한 다중 턴 대화 데이터셋인 PERSONACHAT-ORI와 PERSONACHAT-REV(수동으로 수정된 더 어려운 버전) 에서 수행되었습니다.
• 모델:
  • NSFW-3B: 더러운 단어를 생성하도록 훈련된 오픈 소스 독성 LLM.
  • Llama-3.1-6B: 안전 정렬이 적용된 Llama-3.1 의 공식 베이스 버전.
• 기준선: 개사 기반 접근법과 GPT-4 를 사용한 재생성을 위한 독성 분류기 (TC) 를 포함한 비교가 수행되었습니다.

독성 LLM(NSFW-3B) 에 대한 성능

• 독성 감소: ToxPrune 은 GPT-4 가 판단한 독성 점수를 기준선인 0.89에서 (100% 가지치기 시) 0.13으로 극적으로 감소시켰습니다.
• 품질 향상: 가지치기가 성능을 저하시킬 것이라는 예상과 달리, 대부분의 지표가 향상되었습니다:
  • BLEU: BLEU-1 은 약간 감소했으나, BLEU-2 에서 BLEU-4 까지 및 가중 BLEU 는 증가했습니다.
  • ROUGE: 모든 ROUGE 지표 (R-1, R-2, R-L) 가 향상되었습니다.
  • 다양성: Distinct-1 및 Distinct-2 점수가 크게 증가했습니다 (예: Distinct-2 는 0.712 에서 0.800 으로 증가).
• 비교: 개사나 독성 분류기를 사용하는 기준선들은 근본적인 NSFW-3B 모델이 지속적으로 독성 콘텐츠를 재생성했기 때문에 독성을 효과적으로 완화하지 못했습니다.

비독성 LLM(Llama-3.1-6B) 에 대한 성능

• 안전성: 독성은 0.00 으로 유지되었습니다.
• 다양성: ToxPrune 은 놀랍게도 깨끗한 모델에서 다양성 지표 (Distinct-1 및 Distinct-2) 를 향상시켰는데, 이는 독성 및 비독성 컨텍스트 사이에 공유되는 빈번한 서브워드를 마스킹함으로써 단어 분포를 평탄하게 하여 더 다양한 출력을 유도함을 시사합니다.
• 품질: BLEU 및 ROUGE 지표는 약간의 변동을 보였으며, 일부 ROUGE 개선이 있어 가지치기가 모델의 핵심 생성 능력을 해치지 않았음을 나타냅니다.

인간 평가

• 독성 LLM: 인간 주석자들은 적절성, 정보성, 매력성, 인간성 전반에 걸쳐 기준선 NSFW-3B 보다 ToxPrune 을 현저히 선호했습니다. 기준선의 독성은 대부분 제거되었습니다.
• 비독성 LLM: ToxPrune 은 Llama-3.1-6B 의 성능을 저하시키지 않았으며, 정보성(다양성) 에서 통계적으로 유의미한 개선을 보였습니다.

중요성 및 주장

본 논문은 ToxPrune 이 간단하고 효과적이며 독창적인 AI 안전 접근법을 제공하며 다음과 같은 고유한 장점을 가진다고 주장합니다:

1. 독성 모델의 구제: 손상되었거나 고의적으로 독성으로 훈련된 모델을 구조하여 재훈련 없이 의미 있고 비독성인 대화를 생성할 수 있는 능력을 회복시킵니다.
2. 안전 모델의 강화: 이미 안전한 모델에서 대화의 다양성을 향상시켜, 어휘 가지치기가 본질적으로 생성 작업에 해롭다는 관념에 도전합니다.
3. 공격에 대한 견고성: 샘플링 목록에서 독성 토큰을 완전히 제거함으로써, 모델이 가지치기된 토큰을 물리적으로 출력할 수 없기 때문에 프롬프트 주입 공격 하에서도 독성 생성을 방지합니다.
4. 효율성: 안전 정렬이나 모델 편집과 달리 ToxPrune 은 모델 업데이트가 필요 없으며, 계산 비용이 저렴하고 독성 단어 목록의 동적 맞춤화를 허용합니다.

저자들은 이전 연구가 BPE 토큰 가지치기가 기계 번역과 같은 작업을 해친다고 제안했지만, 본 연구는 AI 안전 및 대화 생성 분야에서 그 놀라운 유용성을 입증했다고 결론지었습니다.