기술 요약: 양방향 적응: 인간과 언어 모델 간의 언어적 수렴 연구

문제 제기

대규모 언어 모델 (LLM) 이 일상생활에 점점 더 통합됨에 따라, 중요한 열린 질문이 남아 있습니다: 그들의 존재는 인간의 언어적 행동을 어떻게 형성하는가? LLM 은 인간 언어와 구별할 수 없는 텍스트를 생성할 수 있지만, 인간 대화 상대가 인간 간 상호작용과 비교하여 LLM 과 대화할 때 어떻게 말을 적응시키는지는 명확하지 않습니다. 구체적으로, 이 논문은 화자가 상대방의 언어 (음운, 구문, 어휘 선택) 를 맞추기 위해 자신의 언어를 적응시키는 경향인 언어적 적응 (linguistic accommodation) 현상을 조사합니다. 본 연구는 다음 세 가지 주요 연구 질문에 답하고자 합니다:

1. LLM 은 다중 턴 대화를 통해 사용자의 스타일에 수렴하는가?
2. 인간 사용자는 LLM 대화 상대의 스타일에 수렴하는가?
3. 인간이 LLM 에게 적응하는 정도는 인간 대화 상대에게 적응하는 정도와 다른가?

이전 연구는 모델 간 수렴이나 합성 턴 교체 작업을 조사했으나, 여러 언어에 걸친 현실적인 다중 턴 챗봇 환경에서 인간과 LLM 의 턴별 조정에 대한 경험적 데이터는 부족합니다.

방법론

저자들은 인간과 LLM 의 적응 행동을 분리하기 위해 비대칭 수렴 지표를 사용합니다. 본 연구는 인간 사용자와 ChatGPT(GPT-3.5-Turbo 및 GPT-4) 간의 약 100 만 건의 실제 대화를 담은 WildChat 코퍼스를 활용하며, 이를 2~10 턴 쌍으로 구성된 대화로 필터링했습니다.

데이터

• 주요 데이터셋: WildChat으로, 영어, 프랑스어, 스페인어, 포르투갈어, 이탈리아어, 러시아어, 터키어, 중국어 등 여덟 개 언어에 걸쳐 샘플링되었으며, 언어당 최대 5,000 개의 대화가 포함되었습니다.
• 기준선: 비교를 위해 두 가지 인간 - 인간 대화 데이터셋이 사용되었습니다:
  • DailyDialog: 일상적인 대화.
  • Ubuntu Dialogue Corpus: 기술 지원 대화 (일반적인 LLM 사용 사례와 유사한 작업 지향적 기준선).

지표

수렴은 Danescu-Niculescu-Mizil 과 Lee(2011) 가 정의한 지표를 사용하여 측정하며, 이는 상대방이 특정 특징을 사용한 경우 화자가 그 특징을 사용할 확률에서 화자의 기준율을 뺀 값을 계산합니다. 두 가지 특징 유형이 분석되었습니다:

1. LIWC 기능어: 무의식적 적응의 표지 역할을 하는 언어적 조사 및 단어 수 (LIWC) 어휘의 범주 (예: 대명사, 관사, 전치사, 부정사).
2. NOUN 원형: 오픈 클래스 단어에 대한 어휘적 동조 (lexical entrainment) 를 측정하기 위해 코퍼스당 가장 빈번한 명사 원형 100 개 (가능한 경우 WordNet 동의어로 필터링).

비대칭적 적응을 포착하기 위해 각 대화에서 LLM 과 인간 사용자를 별도로 분석했습니다.

주요 결과

1. 비대칭 수렴

연구는 적응에 있어 상당한 비대칭성을 드러냈습니다:

• LLM 의 과수렴: LLM 은 기능어와 오픈 클래스 (명사) 특징 모두에서 사용자에게 현저히 과수렴합니다.
  • 기능어: LLM 의 평균 LIWC 수렴은 사용자의 약 두 배입니다 (영어 기준 0.068 대 0.035). 상대적 증가는 전치사의 22% 에서 부정사의 164% 까지 다양합니다.
  • 명사: LLM 의 명사 수렴은 더욱 두드러지며, ChatGPT 는 평균 점수 0.442 를 기록한 반면 사용자는 0.141 입니다. 이는 LLM 이 기능어 이상의 사용자의 어휘 선택에 매우 민감함을 나타냅니다.
• 인간의 안정성: 인간 사용자는 인간 - 인간 기준선과 광범위하게 일치하는 비율로 LLM 에게 적응합니다.
  • WildChat 내 인간의 평균 LIWC 수렴 (0.035) 은 DailyDialog(0.036) 와 Ubuntu(0.022~0.024) 에서 관찰된 범위 내에 있습니다.
  • WildChat 내 인간의 명사 수렴 (0.141) 은 DailyDialog(0.132) 와 Ubuntu(0.104) 와 비교 가능합니다.
  • 예외: 인간은 LLM 과 대화할 때 부정사에 대해 더 높은 수렴 (0.081) 을 보였는데, 이는 아마도 LLM 이 해당 특정 특징에 대해 극단적으로 수렴하기 때문일 것입니다.

2. 교차 언어적 견고성

이 비대칭성은 조사된 여덟 개 언어 전반에 걸쳐 일관되게 유지됩니다. 유형론적 차이와 훈련 데이터 커버리지의 변동에도 불구하고:

• LLM 수렴 점수는 LIWC 특징의 경우 사용자 비율보다 95% 에서 213% 까지 일관되게 높습니다.
• LLM 명사 수렴은 모든 언어에서 사용자 비율보다 214% 에서 330% 까지 높습니다.
• 종종 가장 풍부한 자원을 가진 언어인 영어는 이 범위의 중간에 위치하여, 이 비대칭성이 특정 언어에 대한 모델 품질의 함수에 불과하지 않음을 시사합니다.

3. 시간적 역동성

턴별 분석은 수렴율이 대화 과정에서 일관된 선형 추세를 따르지 않음을 보여줍니다.

• 대부분의 변동은 노이즈로 나타납니다.
• 유의미한 선형 추세 (양수 또는 음수) 는 드물고 언어에 따라 다릅니다 (예: 러시아어 화자와 모델은 수렴이 증가하는 반면, 포르투갈어 화자는 이격됨). 이는 시간이 지남에 따라 어느 한 쪽이 더 많거나 적게 적응하려는 체계적 경향과는 대조적입니다.
• 이는 점진적 수렴에 대한 일부 이전 연구 결과와 대조되며, 국소적인 턴별 조정은 상대적으로 안정적으로 유지됨을 시사합니다.

중요성과 주장

이 논문은 인간 - LLM 대화에서의 적응이 근본적으로 비대칭적이라고 주장합니다. LLM 이 사용자의 언어 스타일에 극적으로 과적합하는 반면, 인간은 LLM 에게 다른 사람과 다름없이 언어적으로 적응합니다.

저자들은 인간 행동의 이러한 안정성은 현대 LLM 의 유창성 때문이라고 가설을 세웁니다. 언어적 적응이 대부분 무의식적인 과정이라는 합의 (Giles et al., 1991; Pickering and Garrod, 2004) 를 인용하여, 이 논문은 AI 가 충분히 일관된 언어를 생성하면 상대방의 본질과 관계없이 인간 - 인간 대화에서와 마찬가지로 적응의 무의식적 메커니즘이 발동된다고 제안합니다. 이 발견은 인간이 봇을 다르게 적응시켰던 이전 연구 (예: Bhatt and Rios, 2021) 와 대조되며, 저자들은 이 불일치를 초기 봇 시스템의 불일관된 응답과 현대 LLM 의 일관성 차이로 돌립니다.

본 연구는 LLM 이 일상적인 의사소통에 더 통합됨에 따라, 이러한 무의식적 인간 반응을 이해하는 것이 LLM 이 자연어에 미치는 장기적 영향을 예측하는 데 중요하다고 결론지으며, 모델의 "과적응" 행동이 반드시 인간으로부터의 상호 과적응을 유발하지는 않는다고 지적합니다.