기술 요약: 대규모 언어 모델의 독성 측정 및 완화

문제 제기

웹 규모의 말뭉치로 훈련된 대규모 언어 모델 (LLM) 은 훈련 데이터에 존재하는 독성 패턴, 편향, 혐오 표현을 본질적으로 흡수하고 재생산합니다. 이러한 현상을 '독성 퇴행 (toxic degeneration)'이라고 하며, 이는 중립적이거나 무해한 프롬프트에서도 모델이 유해한 콘텐츠를 생성할 수 있게 합니다. 명시적 독성 (비속어, 위협) 은 상대적으로 탐지가 쉽지만, 실제 세계의 혐오 표현은 종종 암묵적 독성으로 나타납니다. 이는 단순한 키워드 기반 필터를 회피하는 미묘한 고정관념, 암호화된 언어, 미소공격 등을 포함합니다.

현재 완화 전략은 상당한 트레이드오프에 직면해 있습니다:

• 콘텐츠 조정: 키워드 필터링은 문맥을 고려하지 않으며 우회하기 쉽습니다.
• 재조정/재훈련: 인간 피드백을 통한 강화 학습 (RLHF) 이나 파인튜닝과 같은 접근 방식은 적대적 입력에 대한 안전성을 보장하지 못한 채 prohibitive 한 계산 비용과 환경적 영향을 초래합니다.
• 추론 시간 제어: 재훈련 없이 생성을 유도하는 방법들은 잠재적인 중간 지점을 제공하지만, 명시적 및 암묵적 독성 모두에 대해 엄격한 평가가 필요합니다.

방법론

본 연구는 추론 시간 완화 기법인 DExperts(Decoding-time Experts) 에 대한 포괄적인 복제 및 스트레스 테스트를 수행합니다. 연구는 세 가지 체계적인 단계로 구성됩니다:

1 단계: 기준 독성 측정

• 모델: GPT-2 Small (1.17 억 개 파라미터).
• 데이터셋: RealToxicityPrompts (99,442 개의 자연 발생 문장 조각).
• 절차: $p=0.9$, $T=1.0$인 네시스 샘플링을 사용하여 20 토큰에 대한 생성 연속체를 생성했습니다.
• 평가: Google 의 Perspective API 를 사용하여 점수를 부여했습니다. '위험 구역 (Danger Zone)'은 독성 점수가 $\ge 0.5$인 모든 출력으로 정의되었습니다.

2 단계: 완화 효과 (명시적 독성)

• 기법: DExperts 는 각 디코딩 단계에서 세 가지 모델의 예측을 결합하여 생성을 유도합니다:
  • $P_{base}$: 기본 GPT-2 모델.
  • $P_{expert}$: 비독성 텍스트로 파인튜닝된 모델.
  • $P_{anti}$: 독성 텍스트로 파인튜닝된 모델.
• 메커니즘: 확률 분포는 다음과 같이 수정됩니다:
  $$P(x_t|x_{<t}) \propto P_{base}(x_t|x_{<t}) \cdot \left(\frac{P_{expert}(x_t|x_{<t})}{P_{anti}(x_t|x_{<t})}\right)^\alpha$$
  여기서 $\alpha=1.5$는 유도 강도를 조절합니다.
• 평가: 동일한 RealToxicityPrompts 하위 집합을 테스트하여 안전률과 추론 지연 시간을 측정했습니다.

3 단계: 적대적 견고성 (암묵적 독성)

• 데이터셋: 13 개 소수 집단을 대상으로 하는 274,000 개의 문장을 포함하는 기계 생성 데이터셋인 ToxiGen. 이 프롬프트는 명시적 비속어를 피하면서도 유해한 고정관념을 고착시키도록 설계되었습니다.
• 절차: 미묘한 표현을 위한 공간을 확보하기 위해 20 에서 30 토큰으로 늘린 연속체를 DExperts 를 사용하여 생성했습니다.
• 평가: 명시적 및 암묵적 독성 완화 간의 '견고성 격차 (robustness gap)'를 정량화하기 위해 2 단계의 안전률 및 지연 시간과 비교했습니다.

주요 결과

1. 기준 위험 (RQ1)

완화되지 않은 GPT-2 는 독성 출력에 대한 지속적인 경향을 보입니다.

• 안전률: 생성물의 95.8% 가 안전했습니다 (독성 < 0.5).
• 실패율: 생성물의 4.2% 가 '위험 구역' (독성 $\ge 0.5$) 에 속하여, 프로덕션 배포에 있어 무시할 수 없는 위험을 입증했습니다.

2. 명시적 독성에 대한 완화 성공 (RQ2)

표준 벤치마크 (RealToxicityPrompts) 에서 DExperts 는 거의 완벽한 효과를 보여주었습니다.

• 안전률: **100%**의 안전률을 달성하여 4.2% 의 기준 실패율을 완전히 제거했습니다.
• 분포 이동: 독성 분포는 긴 꼬리 모양에서 0 근처의 날카로운 집중으로 이동했습니다.
• 계산 비용: 세 가지 모델을 실행하고 로그 (logits) 를 결합하는 오버헤드로 인해 추론 지연 시간이 약 10 배 증가하여 생성당 평균 0.2 초 (기준) 에서 2.0 초로 상승했습니다.

3. 견고성 격차 (RQ3)

적대적 암묵적 혐오 표현 (ToxiGen) 에 대한 스트레스 테스트 시 DExperts 는 취약성을 드러냈습니다.

• 안전률: 100% 에서 **98.5%**로 하락했습니다. 절대적인 수치로 볼 때 높지만, 이 1.5% 의 실패율은 명시적 독성 성능에 비해 상당한 저하를 나타냅니다.
• 실패 모드: 모델은 '사실적' 고정관념, 암호화된 언어, 미소공격을 포함하는 출력을 방지하지 못했습니다. 주로 명시적 Jigsaw 코멘트로 훈련된 안티-전문가 모델은 이러한 암묵적 패턴에 노출되지 않았습니다.
• 이중 페널티: 적대적 프롬프트는 '이중 페널티'를 부과했습니다:
  1. 높은 지연 시간: 모델이 안전한 연속체를 찾는 데 어려움을 겪으면서 평균 지연 시간이 3.2 초로 증가하여 표준 DExperts 지연 시간 대비 60% 상승했습니다.
  2. 높은 독성: 증가된 계산 노력에도 불구하고 독성 누출이 발생했습니다.

중요성과 주장

본 연구는 명시적 및 암묵적 독성 완화 간의 중요한 견고성 격차를 강조함으로써 AI 안전 분야에 기여합니다.

• 벤치마크의 한계: 이 논문은 표준 벤치마크 (RealToxicityPrompts 등) 에서의 완벽한 성능이 암묵적 혐오 표현이 만연한 실제 세계 배포 시나리오에서의 견고성을 보장하지 않는다고 주장합니다.
• 트레이드오프 정량화: 안전성과 지연 시간 간의 트레이드오프에 대한 경험적 증거를 제시하며, 10 배의 지연 시간 페널티는 실시간 애플리케이션 (예: 챗봇, 자동 완성) 에 prohibitive 할 수 있음을 지적합니다.
• 일반화 실패: 연구는 명시적 독성 훈련 데이터에 의존하는 추론 시간 유도 방법이 미묘한 적대적 혐오 표현으로 일반화되지 않을 수 있음을 확인했으며, prohibitive 한 계산 비용 없이 다양한 혐오 표현 패턴을 처리할 수 있는 더 정교한 접근 방식이 필요함을 시사합니다.

저자들은 DExperts 가 명시적 독성에는 효과적이지만, 암묵적 혐오 표현에 대한 취약성이 계산적으로 실용적이고 적대적이며 암호화된 언어에 견고한 완화 전략을 개발하기 위한 향후 작업의 필요성을 강조한다고 강조합니다.