Evaluating LLM-Simulated Conversations in Modeling Inconsistent and Uncollaborative Behaviors in Human Social Interaction

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 활용한 인간 대화 시뮬레이션은 소셜 미디어 프로토타이핑, 사회과학 가설 검증, 정책 반응 예측 등 다양한 분야에서 확장 가능한 방법론으로 부상하고 있습니다. 그러나 기존 연구들은 주로 대화의 일관성 (Consistency) 과 협력성 (Collaborativeness) 을 높이는 데 초점을 맞추었습니다.

하지만 실제 인간 대화는 본질적으로 불일치 (Inconsistent) 와 비협력적 (Uncollaborative) 인 행동을 포함합니다. 예를 들어, 오해 (misunderstanding), 반복 (repetition), 중도 방해 (interruptions), 논리적 모순, 불완전한 답변 등이 빈번하게 발생합니다.

• 핵심 문제: LLM 이 생성한 대화가 인간 대화의 복잡성을 제대로 반영하기 위해서는 이러한 '부정적'으로 간주될 수 있는 행동들도 인간과 유사한 빈도와 분포로 재현되어야 합니다.
• 연구 질문: 현재 LLM 기반 시뮬레이션이 인간 대화에서 관찰되는 불일치 및 비협력적 행동을 얼마나 정확하게 모방하고 있는가? 프롬프트 엔지니어링이나 파인튜닝을 통해 이를 제어할 수 있는가?

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 COCOEVAL이라는 새로운 평가 프레임워크와 COCOEVALBENCH 벤치마크를 제안했습니다.

A. COCOEVAL 평가 프레임워크

기존의 대화 전체 수준 (Conversation-level) 점수 부여 방식에 더해, 턴 수준 (Turn-level) 에서 10 가지 구체적인 불일치 및 비협력적 행동을 탐지하는 정밀 평가 방식을 도입했습니다.

• 10 가지 행동 유형 (Table 1):
  • 불일치 행동 (Inconsistent): 논리적 모순, 사실적 오류, 오해, 불필요한 정보, 반복.
  • 비협력적 행동 (Uncollaborative): 지속적인 반박, 중도 방해, 주제 이탈, 회피적 답변, 모호한 의도.
• 평가자 (LLM-as-a-Judge): OpenAI o4-mini 모델을 사용하여 각 턴에서 위 행동들이 발생하는지 탐지하고 빈도를 계수합니다. 인간 평가자와의 일치도 (Agreement) 를 검증하여 신뢰성을 확보했습니다.

B. COCOEVALBENCH 벤치마크

• 데이터 소스: QMSum (비즈니스/학술/정부 회의), NCPC, SIM, IQ2 등 실제 인간이 참여한 6 개의 공개 대화 데이터셋에서 추출.
• 작업: 대화 메타데이터와 최근 30 턴의 이력을 입력으로 받아, 다음 30 턴을 생성하는 대화 이어가기 (Conversation Continuation) 작업.
• 범위: 비즈니스, 학술, 정부 회의 및 토론 등 다양한 시나리오 포함 (총 300 개 대화).

C. 실험 설정

• 모델: GPT-4.1, GPT-5.1, Claude Opus 4 평가.
• 변수:
  1. 프롬프트: 기본 프롬프트 (Vanilla) vs. 행동 유형을 명시한 프롬프트 (Taxonomy-guided).
  2. 생성 전략: 한 번의 호출당 1 턴, 5 턴, 30 턴 생성.
  3. 학습: 인간 대화 데이터에 대한 감독 학습 (SFT) 적용 여부.

3. 주요 결과 (Key Results)

RQ1: 기본 프롬프트 (Vanilla Prompting)

• 결과: 기본 프롬프트로 생성된 LLM 대화는 인간 대화에 비해 불일치 및 비협력적 행동이 극도로 적게 발생했습니다.
• 의미: LLM 은 본질적으로 '원활하고 협력적인' 대화를 생성하도록 훈련되어 있어, 인간 대화의 혼란스러운 특성을 자연스럽게 재현하지 못합니다. 특히 한 번에 30 턴을 생성할 경우 이러한 경향이 더욱 강해졌습니다.

RQ2: 프롬프트 엔지니어링

• 결과: 불일치 행동을 명시적으로 지시하는 프롬프트를 사용하더라도, 이를 인간 대화와 유사한 빈도로 조절하는 것은 불가능했습니다.
• 현상:
  • 턴당 1 개 생성 시: 행동이 과도하게 발생 (Overproduction) 하여 인간 대화와 다른 분포를 보임.
  • 턴당 30 개 생성 시: 프롬프트의 지시가 무시되어 행동 발생률이 다시 급감.
• 결론: 프롬프트 엔지니어링만으로는 LLM 의 행동 빈도를 정밀하게 제어할 수 없음.

RQ3: 감독 학습 (SFT)

• 결과: 인간 대화 데이터로 SFT 를 수행한 모델은 전체적인 일관성/협력성 점수는 인간과 비슷해졌으나, 행동의 다양성은 확보하지 못함.
• 현상: SFT 모델은 특정 행동 (주로 '반복'과 '불필요한 정보') 을 과도하게 생성하는 경향이 있었습니다. 이는 인간 대화의 다양한 불일치 패턴을 학습하지 못하고, 단순히 표면적인 패턴 (반복 등) 만 모방했음을 시사합니다.

RQ4: 생성 전략 (한 번에 여러 턴 생성)

• 결과: 한 번의 호출로 여러 턴을 생성하는 방식은 불일치 행동을 억제하는 강력한 편향을 가집니다.
• 이유: LLM 이 전체적인 흐름을 한 번에 계획할 때, 인간 대화에서 발생하는 즉흥적인 오해나 중도 방해와 같은 '국소적'인 비일관성을 제거하려는 경향이 강해집니다.

4. 주요 기여 (Contributions)

1. COCOEVAL 프레임워크 도입: LLM 시뮬레이션의 질을 평가할 때, 단순한 일관성뿐만 아니라 인간 고유의 불일치 및 비협력적 행동을 정밀하게 분석하는 새로운 평가 기준을 제시했습니다.
2. 세밀한 행동 탐지: 10 가지 구체적인 행동 유형을 턴 수준에서 탐지하는 정량적 평가 체계를 구축했습니다.
3. 시뮬레이션의 한계 규명: 현재 LLM 은 기본 프롬프트, 프롬프트 엔지니어링, SFT 등 어떤 방식을 사용하더라도 인간 대화의 불일치/비협력적 행동 분포를 정확하게 재현하지 못함을 실증했습니다.
4. 생성 전략의 영향 분석: 한 번에 여러 턴을 생성하는 방식이 대화의 자연스러움 (특히 불일치 요소) 을 해친다는 점을 발견했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 을 인간 사회 상호작용의 대리자 (Proxy) 로 사용할 때의 심각한 한계를 지적합니다.

• 사회과학 연구의 위험성: LLM 이 생성한 '완벽하고 협력적인' 대화 데이터를 바탕으로 한 사회과학 연구나 정책 시뮬레이션은 실제 인간의 복잡하고 때로는 비합리적인 상호작용을 과소평가할 수 있습니다.
• 향후 방향: 인간과 유사한 시뮬레이션을 위해서는 단순히 대화의 흐름을 매끄럽게 만드는 것이 아니라, 인간 특유의 불완전성, 오해, 비협력적 요소를 어떻게 의도적으로 주입하고 제어할지에 대한 새로운 접근법이 필요합니다.

요약하자면, 이 논문은 "LLM 이 인간처럼 대화하려면, 인간처럼 잘못하고, 오해하고, 방해하는 법도 배워야 한다"는 점을 강조하며, 현재의 LLM 시뮬레이션 기술이 이 부분에서 크게 부족함을 보여줍니다.