Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

기술 요약: LLM 생성 텍스트의 설득적 언어 차이 분석

문제 정의
대규모 언어 모델(LLM)은 설득을 목적으로 하는 메시지 초안 작성을 포함하여 대인 커뮤니케이션 작업에 점점 더 많이 배치되고 있습니다. 선행 연구를 통해 LLM이 인간을 성공적으로 설득하고 설득적 언어를 증폭할 수 있음이 입증되었으나, 특정 사용자 지침—특히 수신자의 속성과 관련된 지침—이 생성된 설득적 언어의 '스타일'에 어떻게 영향을 미치는지에 대한 이해에는 결정적인 공백이 존재합니다. 특히, 사용자가 제공한 속성(예: 수신자의 성별)이 LLM의 설득 전략을 체계적으로 변화시키는지, 그리고 이것이 사회적 성별 고정관념을 반영하거나 증폭하는지는 여전히 불분명합니다. 본 논문은 수신자의 성별, 사용자의 의도 프레이밍, 출력 언어와 같은 사용자 제공 속성이 LLM이 생성하는 설득적 언어의 차원에 측정 가능한 변화를 유도하는지 조사합니다.

방법론
저자들은 통제된 쌍체 프롬프트 조건 하에서 LLM 생성 설득 언어의 차이를 평가하기 위한 체계적인 프레임워크를 제안합니다. 방법론은 다음 구성 요소를 포함합니다:

1. 프롬프트 구축: 대인 관계 메시지(예: 동료에게 교대 근무 변경 요청하기)와 정치적 논쟁(예: 투표 연령 하향)을 다루는 두 세트의 지침 프롬프트가 생성되었습니다. 각 프롬프트에 대해 처리 속성(예: "여성 동료"를 "남성 동료"로, 또는 "고결한 의도"를 "비열한 의도"로 변경)만을 수정하여 쌍을 이룬 버전을 만들었습니다.
2. 모델 평가: 본 연구는 크기, 안전 정렬(safety alignment), 기원이 다양한 5개 모델 제품군(GPT-5, Llama 3, DeepSeek, Qwen, Claude 포함)에 속하는 13개의 LLM을 평가했습니다.
3. 평가 차원: 응답은 다섯 가지 이론적 차원에서 파생된 19개 카테고리에 따라 분석되었습니다:
   • 수사적 호소 (Rhetorical Appeals): 로고스(Logos), 파토스(Pathos), 에토스(Ethos).
   • 치알디니의 원칙 (Cialdini's Principles): 상호성, 일관성, 호감, 권위, 희소성, 사회적 증거.
   • 사회 심리학적 특성 (Social Psychology Traits): 에이전틱(Agentic, 유능함/단호함) 대 커뮤널(Communal, 따뜻함/협조성).
   • 상호작용 목표 (Interaction Goals): 도구적, 관계적, 정체성.
   • 어조 (Tones): 직접적, 정중함, 격식 있음, 장난스러움, 애정 어린.
4. LLM-as-Judge: 응답 간의 쌍체 차이를 점수화하기 위해 GPT-4o를 판사로 사용하는 자동화된 평가 설정이 채택되었습니다. 판사는 각 카테고리에 대해 서열 척도(−3 ~ +3)로 상대적 점수를 부여했습니다. 견고성을 보장하기 위해 입력 순서를 바꾸어 두 번의 평가를 수행함으로써 위치 편향(positional bias)을 완화했습니다.
5. 검증: 프레임워크에는 다음을 포함한 광범한 검증 조치가 포함되었습니다:
   • 수렴 타당도 (Convergent Validity): 인간의 인식이 LLM 판사의 결과와 일치하는지 확인하기 위해 응답의 일부를 인간이 주석을 달아 검증했습니다.
   • 강건성 체크 (Robustness Checks): 대체 판사 모델(Qwen2.5) 테스트, 입력값의 성별 용어 중립화, 그리고 교차 언어 일관성을 평가하기 위한 영어 번역 테스트를 실시했습니다.
   • 통계 분석: 유의성을 결정하기 위해 Wilcoxon 부호 순위 검정을 사용하였고, 서로 다른 모델 간의 "성별 격차($G_T$)"를 비교하기 위해 부트스트랩 리샘플링을 사용했습니다.

주요 결과
본 연구는 테스트된 모든 LLM에서 설득적 언어 생성의 유의미하고 일관된 성별 기반 차이를 밝혀냈습니다:

• 스타일에서의 성별 고정관념:
  • 여성 대상 응답은 일관되게 커뮤널(Communal) 특성, 파토스(Pathos)(감정적 호소), 관계적(Relational) 목표, 정중함(Politeness), 그리고 애정 어린(Affectionate) 어조에서 높은 점수를 보였습니다.
  • 남성 대상 응답은 일관되게 에이전틱(Agentic) 특성, 로고스(Logos)(논리적 호소), 도구적(Instrumental) 목표, 그리고 직접적인(Direct) 어조에서 높은 점수를 보였습니다.
• 교차 모델 일관성: 격차의 크기는 달랐지만(예: GPT-5는 GPT-4.1보다 큰 격차를 보임), 고정관념의 방향성 패턴은 13개 모델 모두에서 나타났습니다.
• 교차 언어 지속성: 단일 모델(GPT-5-MINI)을 16개 언어로 테스트했을 때, 성별화된 스타일 차이가 지속되었습니다. 연구 결과, 성별 격차의 크기와 관련 국가의 성불평등 지수(GII) 사이에는 유의미한 상관관계가 없었으며, 이는 해당 편향이 외부 사회 데이터보다는 모델 내부의 패턴에 의해 구동됨을 시사합니다.
• 의도 프레이밍: 사용자의 의도가 "고결한(noble)" 것과 "비열한(ignoble)" 것으로 프레이밍될 때 모델은 스타일을 조정했습니다. "비열한" 의도는 파토스와 장난스러움에서 더 높게 평가된 반면, "고결한" 의도는 격식 있음에서 더 높게 평가되었습니다.
• 검증 성공: 인간 주석가들은 LLM 판사의 결과를 확인하였으며, 여성 대상 텍스트가 더 커뮤널하고 남성 대상 텍스트가 더 에이전틱하다는 것을 확인했습니다. 대체 판사 모델과 중립화된 입력값은 매우 높은 상관관계가 있는 결과를 생성하여 연구의 강건성을 확인해 주었습니다.

의의 및 주장
본 논문은 LLM이 수신자의 성별 및 기타 속성에 따라 설득적 언어 스타일을 어떻게 적응시키는지에 대한 최초의 체계적이고 다차원적인 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 평가 프레임워크: 단순한 콘텐츠 거부나 명시적인 유해성을 넘어, LLM 생성의 미묘한 스타일 기반 편향을 탐지하는 엄격한 방법론을 제공합니다.
2. 만연한 편향의 증거: 연구 결과는 광범한 안전 정렬을 갖춘 모델이라 할지라도, 그들의 설득적 출력물에는 깊게 뿌리박힌 성별 고정관념이 존재함을 보여줍니다. 이러한 편향은 "에이전틱"(남성) 및 "커뮤널"(여성) 언어적 경향에 관한 기존의 사회언어학 및 사회심리학 문헌과 일치합니다.
3. 일반화 가능성: 본 프레임워크는 성별을 넘어 사용자 의도 및 언어에 따른 차이를 성공적으로 탐지하며, 다양한 언어와 모델 제품군에 적용 가능함을 보여주었습니다.

저자들은 본 분석이 서구적 이론 전통(아리스토텔레스 수사학, 치알디니 원칙)과 이분법적 성별 처리에 의존하고 있음을 겸허히 언급합니다. 저자들은 이러한 편향의 근본 원인을 밝히거나, 설득 효율성을 측정하거나, 완화 전략을 제안하는 것이 아니라, 이러한 스타일적 편향의 존재와 만연성을 확립함으로써 실세계 AI 배포 시의 중요한 연구 및 보호 영역으로서의 가치를 제시하고자 합니다.