기술 요약: 인간 및 AI 생성 텍스트 간의 정서적 차이

문제 제기

인공지능(AI)은 전통적으로 정보 검색 및 재구성에 집중된 인지적 도구로 개념화되어 왔으며, 그 정서적 내용은 체계적인 조사 대상으로서의 속성이라기보다 통계적 패턴 매칭의 부수적인 부산물로 취급되어 왔다. 기존 연구들이 AI와 인간의 텍스트를 비교해 왔음에도 불구하고, 다음과 같은 중요한 공백이 존재한다:

1. 방법론적 한계: 대부분의 연구는 단일 지표(예: 감성 극성)에 의존하며, 이는 차분한 긍정성과 정서적 중립성을 구분하지 못하거나, Valence-Arousal-Dominance(VAD) 및 범주형 감정 분석과 같은 보완적 프레임워크가 결여되어 있다.
2. 범위적 제약: 선행 연구들은 종종 단일 데이터셋, 도메인 또는 언어에 집중되어 있어 학술적, 일상적, 비즈니스 및 교육적 맥락 전반에 걸친 결과의 일반화 가능성을 제한한다.
3. 언어적 편향: LLM이 전 세계적으로 사용되고 불균등하게 표현된 언어들로 학습됨에도 불구하고, 증거는 주로 영어 기반이다.

결과적으로, AI 생성 언어가 여러 언어와 정서적 차원에 걸쳐 인간의 글과 구별되는 체계적인 정서적 시그니처를 나타내는지 여부는 여전히 불분명하다.

방법론

본 연구는 25개 언어와 여러 도메인에 걸쳐 정서적 특성을 조사하기 위해 삼각 측량 접근법을 사용하는 대규모 체계적 비교를 채택한다.

데이터 수집:

• 출처: 코퍼스는 Multitude, Multisocial, ViDetect, 그리고 M4 Benchmark라는 네 가지 별도의 데이터셋으로부터 구성되었다.
• 규모 및 다양성: 원시 코퍼스는 25개 언어에 걸쳐 874,325개의 텍스트 샘플(인간 저자 181,870개; AI 생성 692,455개)을 포함한다. 여기에는 고자원 언어(예: 영어, 스페인어, 중국어)와 저자원 언어(예: 아일랜드어, 스코틀랜드 게일어, 슬로바키아어, 에스토니아어)가 모두 포함되어 과소 표현 문제를 해결하였다.
• 균형화: 데이터셋 크기의 불균형으로 인한 편향을 방지하기 위해, 언어별-저자별 조합당 최대 1,000개의 샘플로 관찰치를 제한하는 균형화 절차를 적용하였다.

분석 프레임워크:
본 연구는 수렴적 증거를 확보하기 위해 다섯 가지 보완적인 정서 측정치를 활용한다:

1. 감성 극성(Sentiment Polarity): tabularisai/multilingual-sentiment-analysis(Transformer 기반, 5개 클래스) 및 vaderSentiment(규칙 기반, 3개 클래스)를 통해 측정된다.
2. Valence-Arousal-Dominance (VAD): 문서당 평균화된 단어 수준 점수를 예측하는 Transformer 기반 회귀 모델인 hplisiecki/word2affect_english를 사용하여 측정된다.
3. 기본 감정 분류: Ekman의 6개 클래스 분류 체계를 기반으로 하는 bhadresh-savani/bert-base-uncased-emotion을 사용한다.
4. 세밀한 감정 분류: GoEmotions 분류 체계(28개 카테고리)를 기반으로 하는 fyaronskiy/ModernBERT-large-english-go-emotions를 사용한다.

주요 결과

피험자 간 효과에 대한 단변량 검정 결과, 모든 7개 종속 변수가 인간 및 AI 생성 텍스트 간에 유의미한 차이를 보였다 ($p < .001$ (대부분), $p = .001$ (각성)).

1. 감성 및 밸런스(Valence):

• 방향성 차이: 인간 저자의 텍스트는 약간 부정적인 평균 복합 감성 점수($\approx -0.022$)를 보인 반면, AI 생성 텍스트는 약간 긍정적($\approx 0.006$)이었다.
• 밸런스(Valence): AI 텍스트는 인간 텍스트($0.500$)에 비해 더 높은 평균 밸런스($0.515$)를 보였다. 규모는 미미하지만, 이 차이는 감성 결과와 방향성이 일치한다.

2. VAD 차원:

• 지배성(Dominance): 이 차원은 가장 큰 효과 크기($F(1) = 545.20$)를 나타냈다. AI 생성 텍스트는 인간 텍스트($\approx 0.535$)보다 높은 평균 지배성($\approx 0.550$)을 보였으며, 이는 더 높은 인지된 강도나 확신을 나타낸다.
• 각성(Arousal): 두 집단 간의 거의 겹침(Human $\approx 0.428$; AI $\approx 0.430$)과 함께 가장 작은 효과($F(1) = 10.67$)를 보였으며, 이는 정서적 활성화 강도가 두 출처 간에 유사함을 시사한다.

3. 범주형 감정:

• 인간 저자 텍스트: 즐거움(57%), 분노(54%), 불만(51%), 짜증(50%), 혐오(50%)를 포함한 반응적, 평가적 또는 대립적 감정에서 상대적으로 높은 표현력을 보였다.
• AI 생성 텍스트: 배려(64%), 후회(63%), 낙관(62%), 감탄(62%), 기쁨(62%)을 포함한 지지적이고 격려하는 감정에서 높은 상대적 표현력을 보였으며, 호기심, 사랑, 욕구 또한 AI 쪽으로 치우쳤다(57–58%).
• 뉘앙스: 이 구분은 단순히 AI의 부정성 회피를 의미하는 것이 아니다. 슬픔, 실망, 두려움, 슬픔을 포함한 취약하거나 내면 지향적인 부정적 감정은 좁은 범위(인간 점유율 43–48%) 내에 머물러 있어 최소한의 격차를 보였다. 주요 차이는 "반응적" 부정적 감정과 "지지적" 긍정적 감정 사이에 존재한다.

전반적으로, 범주형 감정 결과는 집계된 감성이나 VAD 점수 단독보다 저자 효과에 대해 더 미묘한 해석을 제공한다. 인간 저자의 텍스트는 분노, 혐오, 짜증, 불만, 놀라움, 즐거움과 같은 반응적, 비판적, 평가적 감정과 상대적으로 더 연관되어 있는 반면, AI 생성 텍스트는 배려, 감탄, 낙관, 기쁨, 호기심, 사랑과 같은 지지적이고 격려하는 레지스터와 더 강하게 연관되어 있다. 이 패턴은 두 출처 사이의 정서적 구분이 단순히 일반적인 긍정성의 차이가 아니라, 표현되는 정서적 반응의 유형 차이를 반영한다는 것을 나타낸다.

주요 기여

• 체계적 정서적 시그니처: 본 연구는 AI 생성 텍스트가 단순한 정보 전달 도구가 아니라, 더 높은 긍정성, 중립성 및 인지된 지배성을 특징으로 하는 인간의 글과 구별되는 견고하고 체계적인 정서적 프로필을 보유하고 있음을 입증한다.
• 다차원적 검증: 감성, VAD 및 범주형 프레임워크를 통한 증거 수렴을 통해, 본 연구는 단일 지표의 한계를 넘어 정서적 차이에 대한 포괄적인 관점을 제공한다.
• 교차 언어적 일반화: 연구 결과는 25개 언어와 다양한 도메인에서 유효하며, 저자원 언어 및 다양한 맥락에 대한 증거 부족 문제를 해결한다.
• 정렬(Alignment)과의 이론적 연결: 본 논문은 이러한 정서적 패턴을 인간 피드백 기반 강화 학습(RLHF) 및 정렬 메커니즘과 연결하며, "AI 긍정성" 효과가 순응적인 응답을 생성하도록 설계된 훈련 과정의 부산물임을 시사한다.

의의 및 주장

본 논문은 생성형 AI 출력이 우연이 아닌 체계적인 정서적 시그니처를 지닌다는 점을 주장한다. 이는 다음과 같은 구체적인 함의를 갖는다:

• 탐지: 정서적 특징은 인간의 텍스트와 AI의 텍스트를 구별하는 효과적인 분류기로 기능할 수 있다.
• 응용 위험: 고객 서비스, 교육, 정신 건강과 같은 민감한 영역에서 AI의 정서적 톤이 모든 언어에서 일관될 것이라고 가정하는 것은 위험하다. 영어에서 검증된 톤이 다른 언어(예: 우르두어 또는 베트남어)로 번역될 때 불일치를 일으킬 수 있으며, 이는 의도된 시스템 동작과 실제 동작 사이의 괴절을 초래할 수 있다.
• 향 \후 연구: 본 연구는 정렬이 정서적 표현에 미치는 영향을 격리하기 위해 기본 모델과 지시어 튜닝(instruction-tuned) 버전을 비교하는 것과 같은 향후 연구를 위한 테스트 가능한 경로를 제공한다.

저자는 정서적 격차가 광범위한 현상이지만, 그 규모와 방향은 특정 생성 모델과 맥락적 도메인에 따라 달라질 수 있음을 언급하며 신중한 입장을 유지한다.