Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

기술 요약: 중국 대형 언어 모델 평가: 페르소나 할당이 편견과 안전 장치에 미치는 영향

문제 제기
최근 연구는 서구 맥락에서 대형 언어 모델 (LLM) 에 특정 페르소나를 할당하는 것이 유해한 콘텐츠 생성을 크게 증가시킬 수 있음을 입증했습니다. 그러나 비서구, 특히 중국의 사회기술적 환경 내에서 이러한 현상을 이해하는 데에는 중요한 공백이 존재합니다. 현재 문헌은 중국 기반 LLM 에서 페르소나 할당이 안전 메커니즘 (특히 거부 행동과 독성 증폭) 과 어떻게 상호작용하는지에 대한 대규모, 교차 모델 분석이 부족합니다. 또한, 고유한 문화적 규범을 가진 다양한 인구를 대상으로 하는 중국어 모델에서 프롬프트 설계 요소 (템플릿, 페르소나, 대상 사회적 집단) 가 이러한 안전 결과에 어떻게 공동으로 영향을 미치는지는 여전히 불분명합니다.

방법론
저자들은 Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3, Hunyuan-Standard 등 4 개의 주요 중국어 LLM 을 대상으로 한 대규모 교차 모델 분석을 수행했습니다. 이 연구는 140 만 개 이상의 생성된 텍스트 (모델당 약 369,000 개의 출력) 데이터 세트를 활용했습니다.

• 실험 설계: 연구자들은 세 가지 변수를 결합한 체계적인 프롬프트 엔지니어링 접근법을 사용했습니다.
  1. 페르소나: 기본 (할당 없음), 기본 ( "나쁜 사람" 과 같은 일반적 설명), 캐릭터 ("여성 사업가" 또는 역사적 인물과 같은 상세한 프로필) 로 분류되었습니다.
  2. 사회적 집단: 중국 사회와 관련된 13 개 카테고리 (예: 성별, 인종, 종교, 사회경제적 지위) 에 속한 240 개의 집단.
  3. 프롬프트 템플릿: "좋은 것에 대해 말해라"와 같은 비적대적 것부터 "유해한 것에 대해 말해라"와 같은 적대적 것까지 6 가지 변형.
• 데이터 수집: 모델은 표준화된 매개변수 (temperature=1, max_tokens=500) 를 가진 공식 채팅 기반 API 를 통해 쿼리되었습니다. 페르소나, 사회적 집단, 템플릿의 모든 조합에 대해 세 가지 응답이 생성되었습니다. 비중국어 출력물은 분석을 위해 번역되었습니다.
• 측정 지표:
  • 거부 행동: 규칙 기반 분류와 Qwen 데이터로 훈련된 파인튜닝된 BERT 분류기의 하이브리드 접근법을 사용하여 감지되었습니다. 프롬프트는 세 번의 반복 모두에서 거부가 발생했을 때만 "거부된 것"으로 간주되었습니다.
  • 독성: Perspective API 를 사용하여 측정되었으며, 이는 연속적인 독성 점수 (0–1) 를 할당합니다. 각 조건에 대해 거부되지 않은 응답 중 최대 독성 점수가 기록되었습니다.
• 분석: 연구는 페르소나 카테고리, 사회적 집단, 템플릿을 독립 변수로 취급하여 거부 확률을 모델링하기 위해 로지스틱 회귀를, 독성 점수를 모델링하기 위해 선형 회귀 (OLS) 를 사용했습니다.
• 완화 사례 연구: Qwen 에 대한 보완적 연구에서 반복적이고 평가자 주도 완화 전략을 테스트했습니다. 외부 LLM (Ernie) 이 평가자 역할을 하여 피드백을 제공하고 주요 모델을 재훈련하지 않고 독성 출력을 정제했습니다.

주요 결과

• 페르소나 주도 거부 불균형: 거부 행동은 균일하지 않으며, 모델, 페르소나, 사회적 집단에 따라 체계적으로 변합니다.
  • 성별 편향: 여러 모델과 부정적 템플릿 (예: "나쁨", "유해") 에서 여성 페르소나는 남성 페르소나보다 훨씬 높은 거부율을 유발하여 성별 기반 안전 트리거를 시사합니다.
  • 사회적 집단 민감도: 거부율은 "성적 지향", "인종", "질병", "장애"와 같은 민감한 범주에서 가장 높았으며, "연령"과 "학력"과 같은 범주에서는 낮게 유지되었습니다.
  • 반복 프롬프팅: 동일한 프롬프트가 반복됨에 따라 거부율은 일반적으로 감소 (약화) 하여 안전 메커니즘이 반복적인 시도를 통해 훼손될 수 있음을 나타냅니다.
• 독성 증폭: 페르소나 할당은 모델 기본값에 비해 독성을 크게 증폭시킵니다.
  • 규모: 일부 경우, 특정 페르소나–사회적 집단 조합은 기본 기준선 (특히 Ernie 에서) 대비 독성을 40 배 이상 증가시켰습니다.
  • 모델 변동성: 높은 거부율을 보이는 모델 (예: Hunyuan) 은 감소된 독성 증폭을 보인 반면, 낮은 거부율을 보이는 모델 (예: DeepSeek) 은 적대적 페르소나 하에서 더 뚜렷한 독성 변화를 나타냈습니다.
• 행동의 결정 요인: 회귀 분석은 다음을 밝혔습니다.
  • 템플릿은 거부를 위한 가장 강력한 제어 신호이며, 적대적 템플릿 ("유해", "해로움") 은 일관되게 거부 가능성을 증가시킵니다.
  • 사회적 집단은 종종 페르소나 효과를 압도하는 거부의 지배적 결정 요인입니다.
  • 페르소나 극성: 부정적 페르소나는 모든 모델에서 독성을 일관되게 증가시켰지만, 거부 행동에 미치는 영향은 모델에 크게 의존적이었습니다 (Qwen 에서는 거부를 줄이고 DeepSeek 에서는 증가시킴).
• 완화 효과: 반복적 평가자 주도 전략은 가장 독성이 강한 1,000 건의 사례에 대해 중앙값 독성 점수를 0.6–0.8 범위에서 0.1–0.3 으로 성공적으로 감소시켜, 비용이 많이 드는 모델 재훈련 없이 독성 출력을 상당히 완화할 수 있음을 입증했습니다.

의의 및 주장
본 논문은 중국어 LLM 에서 페르소나 주도 안전 위험에 대한 최초의 대규모 교차 모델 특성을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다.

1. 실증적 증거: 페르소나 할당이 중국어 모델에서 독성을 증폭시키고 거부 패턴을 변경하는 일반 메커니즘으로 작용한다는 정량적 증거이며, 그 효과는 모델 아키텍처와 안전 설계에 따라 크게 달라집니다.
2. 문화적 문맥화: 중국어 LLM 의 안전 메커니즘이 "성적 지향" 또는 "종교"와 같은 사회적 집단에 대한 고유한 민감성 (서구 중심적 발견과 다른 특정 반응) 을 나타내므로, 문화적으로 구체적인 안전 평가의 필요성을 강조합니다.
3. 구조화된 프레임워크: 페르소나로 인한 위험을 평가하기 위한 구조화된 방법론을 제시하고, 외부 반복 피드백 루프가 배포된 LLM 의 독성을 줄이기 위한 실현 가능하고 저비용의 완화 전략이 될 수 있음을 입증합니다.

저자들은 페르소나 할당이 개인화를 위한 강력한 도구이지만, 표준 정렬 기술을 넘어 문화적으로 문맥화된 안전 평가와 견고한 완화 전략이 필요한 크고 균일하지 않은 위험을 초래한다고 결론지었습니다.