Do language models accommodate their users? A study of linguistic convergence

논문 요약: 언어 모델은 사용자를 수용하는가? (언어적 수렴 연구)

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 인간과 구별하기 어려울 정도로 유창한 언어 생성 능력을 갖추고 있습니다. 그러나 LLM 이 인간의 대화 맥락에서 언어적 수용 (Linguistic Accommodation), 즉 대화 상대의 언어 패턴에 맞춰 자신의 어조나 스타일을 조정하는지 여부는 충분히 연구되지 않았습니다.

• 핵심 질문: LLM 기반 챗봇은 사용자의 언어 패턴을 반영하도록 적응 (수렴) 하는가? 그리고 이 행동이 인간의 수용 현상과 유사한가, 아니면 다른 패턴을 따르는가?
• 연구 목적: LLM 이 대화 맥락에 따라 얼마나 언어적 스타일을 변화시키는지 (수렴하는지) 를 정량적으로 분석하고, 인간과 모델의 수용 메커니즘 차이를 규명하는 것.

2. 방법론 (Methodology)

저자는 인간 - 모델 상호작용을 시뮬레이션하기 위해 기존 대화 코퍼스를 기반으로 한 새로운 실험 패러다임을 도입했습니다.

• 데이터 생성 (Data Generation):

  • 데이터셋: DailyDialog, NPR (라디오 인터뷰), Movie Corpus(영화 대본) 등 3 개의 영어 대화 코퍼스를 사용.
  • 프로세스: 기존 대화의 특정 턴 (turn) 에서 화자 역할을 모델이 대신하도록 프롬프트를 설계. 모델은 최소 5 턴 이상의 이전 대화 맥락을 입력받고, 그 다음 턴을 생성하여 기존 인간 화자의 발화를 대체함.
  • 비교 대상: 생성된 모델 응답을 인간 기준 (Human Baseline, 원래 텍스트) 및 무작위 기준 (Random Baseline, 동일 데이터셋의 무작위 발화) 과 비교.

• 수렴 측정 지표 (Linguistic Indicators):
  인간의 수용 연구에서 널리 쓰이는 4 가지 스타일 측정 지표를 사용:

  1. 발화 길이 (Utterance Length): 이전 턴과의 길이 유사성 (LSM 지수).
  2. LIWC 일치도 (LIWC Agreement): 기능어 (대명사, 접속사, 전치사 등) 의 빈도 분포 일치도.
  3. 고유명사 중첩 (PROPN Overlap): 고유명사 (인명, 지명 등) 의 겹치는 비율.
  4. 토큰 신규성 (Token Novelty): 이전 발화와 겹치지 않는 새로운 토큰의 비율 (낮을수록 수렴이 강함).

• 실험 설정:

  • 모델: Gemma 3 (1B27B), Llama 3 (1B70B) 등 16 개의 오픈소스 모델.
  • 변수: 사전 훈련 (Pretrained, PT) vs. 지시 미세조정 (Instruction-tuned, IT) 모델, 모델 크기 (파라미터 수).

3. 주요 기여 (Key Contributions)

1. 새로운 실험 패러다임: 인간 통제군 (Gold Text) 과 직접 비교 가능한 합성 대화 생성 방식을 제안하여 LLM 의 언어적 수용 행동을 체계적으로 테스트.
2. 정량적 분석: 다양한 모델 아키텍처와 훈련 방식이 언어 수렴에 미치는 영향을 다각도로 분석.
3. 인간 - 모델 행동 차이 규명: 모델이 인간의 수용 패턴을 모방하는 것처럼 보이지만, 그 내부 메커니즘과 세부 패턴은 본질적으로 다름을 입증.

4. 주요 결과 (Results)

• 강력한 수렴 현상:

  • LLM 은 무작위 기준에 비해 모든 지표에서 통계적으로 유의미하게 높은 수렴을 보임.
  • 특히 발화 길이와 토큰 신규성 지표에서 모델이 인간 기준보다도 더 강하게 수렴하는 (Overconverge) 경우가 많음 (각각 62.5%, 79.2% 의 경우).

• 모델 크기와 훈련 방식의 영향:

  • 지시 미세조정 (IT) 모델: 사전 훈련 (PT) 모델에 비해 수렴 정도가 낮음. 이는 IT 모델이 더 인간적인 행동을 보일 가능성을 시사.
  • 모델 크기: 모델이 커질수록 인간 기준에 더 가깝게 수렴하는 경향이 있으나, 통계적으로 유의미하지는 않음.
  • 예외 (PROPN): PT 모델은 인간과 유사하게 고유명사를 처리하지만, IT 모델은 이전 발화의 고유명사를 과도하게 반복하여 수렴이 과다하게 나타남.

• 세부 지표별 차이 (Fine-grained Analysis):

  • LIWC 카테고리: 모델의 수렴은 기능어 종류에 따라 다름. PT 모델은 특정 품사 (양화사, 접속사 등) 에서 인간보다 과도하게 수렴하는 반면, IT 모델은 일부 카테고리에서 인간보다 수렴이 부족함 (Underconverge).
  • 원인: PT 모델은 입력 분포에 맞춰 생성되므로 과적합 (Overfitting) 경향이 강하고, IT 모델은 미세조정 과정에서 새로운 정보를 생성하도록 유도받아 특정 기능어 사용이 과도해지거나 부족해질 수 있음.

• 시간적 분석 (Stepwise Analysis):

  • 모델은 대화의 초기 턴뿐만 아니라 직전 턴뿐만 아니라 전체 맥락에도 민감하게 반응함.
  • 인간은 대화 상대보다 자신의 이전 발화와 더 유사한 패턴을 보이지만, 모델은 최근성 편향 (Recency Bias) 을 보이며 직전 턴의 고유명사 등을 과도하게 복사하는 경향이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 메커니즘의 차이: LLM 의 언어적 수렴은 인간의 사회적·심리적 동기 (대인 관계 형성, 의사소통 목표) 에 기반한 것이 아니라, 사전 훈련 목적 (입력 분포에 일관된 텍스트 생성) 에 기인한 통계적 현상일 가능성이 높음.
• 사용자 신뢰의 함정: 모델이 인간처럼 대화 상대의 스타일을 수용하는 것처럼 보이면, 사용자는 모델을 더 신뢰하게 될 수 있음. 특히 지시 미세조정 (IT) 모델이 인간과 유사한 행동을 보일 때, 모델이 실제 작업에 부적합하더라도 사용자가 이를 과신할 위험이 있음 (Sycophancy 문제).
• 향후 연구 방향: 단순한 스타일 모방을 넘어, LLM 의 수용 행동이 인간과 어떻게 다른지 그 근본 원인을 규명하고, 실제 사용자 상호작용 연구 (User Study) 를 통해 실험 결과의 타당성을 검증할 필요가 있음.

요약하자면, 이 논문은 LLM 이 대화 맥락에 따라 언어적 스타일을 강력하게 수용 (Converge) 하지만, 그 강도와 패턴이 인간과는 질적으로 다르며, 특히 '과도한 수용 (Overconvergence)' 현상이 발생할 수 있음을 규명했습니다.