Do LLM-Driven Agents Exhibit Engagement Mechanisms? Controlled Tests of Information Load, Descriptive Norms, and Popularity Cues

이 논문은 대형 언어 모델 (LLM) 기반 에이전트 시뮬레이션이 사회과학 연구, 특히 소셜 미디어 참여 메커니즘을 연구하는 데 있어 이론적으로 타당한 도구로 사용될 수 있는지 검증하는 것을 목적으로 합니다. 저자들은 LLM 이 인간과 유사한 행동을 생성할 수 있다는 사실 자체만으로는 이론적 추론의 근거가 될 수 없으며, 통제된 실험 하에서 이론적으로 예측된 메커니즘이 재현되는지 확인해야 한다고 주장합니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 문제 (Problem)

• 배경: LLM 은 에이전트 기반 시뮬레이션의 행동적 표현력을 높였으나, "유창한 인간 같은 출력"이 반드시 "이론적 메커니즘의 구현"을 의미하는지는 불분명합니다.
• 핵심 문제: LLM 기반 시뮬레이션이 단순히 그럴듯한 (plausible) 결과를 생성하는 것인지, 아니면 정보 과부하, 기술적 규범, 인기도 신호와 같은 통제된 변수 변화에 대해 이론적으로 해석 가능한 방식으로 반응하는지 검증할 필요가 있습니다.
• 연구 목표: 소셜 미디어 정보 참여 (Engagement) 를 테스트 사례로 삼아, LLM 에이전트가 정보 부하 (Information Load), 기술적 규범 (Descriptive Norms), 인기도 신호 (Popularity Cues) 에 반응하여 참여 임계값과 참여 배분 (Allocation) 을 어떻게 변화시키는지 규명합니다.

2. 방법론 (Methodology)

• 시뮬레이션 환경: 위보 (Weibo) 와 유사한 마이크로블로깅 환경을 구축했습니다. 558 개의 에이전트 (실제 위보 사용자 프로필 기반), 50 개의 시드 포스트 (DeepSeek 관련 주제), 그리고 팔로우/팔로잉 네트워크를 포함합니다.
• 에이전트 모델: Qwen-8B 언어 모델을 사용하며, 각 에이전트는 표시된 포스트, 인기도 신호, 프로필 정보, 최근 상호작용 이력을 기반으로 행동 (읽기, 좋아요, 리트윗/공유, 인용/댓글) 을 결정합니다.
• 실험 설계 (2x3 요인 설계):
  1. 정보 부하 (Information Load): 에이전트가 한 번에 보는 포스트 수를 조작 (최소 4 개 ~ 최대 30 개). 알고리즘 추천 포스트 수를 변화시켜 선택 집합 (Choice Set) 의 크기를 조절했습니다.
  2. 기술적 규범 (Descriptive Norms): 시스템 프롬프트를 통해 특정 참여 형태 (좋아요 우세, 공유 우세, 규범 없음) 의 일반적 prevalence(빈도) 를 제시했습니다.
  3. 인기도 신호 (Popularity Cues): 실험적으로 조작하지 않고, 이전 상호작용에 따라 동적으로 누적된 '좋아요'와 '공유' 수를 에이전트가 관찰하도록 하여 내생적 (Endogenous) 으로 발생시켰습니다.
• 분석 모델: 참여를 2 단계 과정으로 분석했습니다.
  1. 참여 임계값 (Threshold): 읽기 vs. 참여 (좋아요/공유/인용) 여부 (이항 로지스틱 회귀).
  2. 참여 배분 (Allocation): 참여를 선택한 경우, 어떤 형태를 선택하는지 (다항 로지스틱 회귀).

3. 주요 결과 (Key Results)

• 정보 부하의 효과 (RQ1): 정보 부하가 증가할수록 에이전트의 참여 확률 (읽기에서 참여로 전환) 은 감소했습니다. 이는 제한된 인지 자원 이론 (Capacity-based theory) 과 일치하며, 선택 집합이 커질수록 참여 문턱이 높아짐을 보여줍니다.
• 인기도 신호와 밴드와건 효과 (RQ2): 인기도 신호 (누적 좋아요/공유) 가 강할수록 참여 확률이 크게 증가했습니다. 이는 밴드와건 효과 (타인의 행동을 따라하는 경향) 를 지지합니다.
• 기술적 규범의 효과 (RQ3): 프롬프트로 제시된 규범 (예: "좋아요가 일반적입니다") 은 에이전트의 참여 형태 배분을 체계적으로 재편성했습니다. 에이전트는 단순히 프롬프트를 기계적으로 따르는 것이 아니라, 맥락적 정보로 활용하여 참여 형태를 조정했습니다.
• 상호작용 효과 (RQ4): 세 가지 요인은 독립적으로 작용하지 않고 상호작용했습니다.
  • 특히 공유 우세 (Repost-dominant) 규범 조건에서는 흥미로운 교차 패턴이 나타났습니다. 인기도 신호가 약할 때는 정보 부하가 높으면 참여가 감소했으나, 인기도 신호가 강해지면 정보 부하가 높은 조건에서 오히려 인기도 신호에 대한 반응이 증폭되는 현상이 관찰되었습니다.
  • 이는 참여 메커니즘이 환경 조건 (부하, 규범) 에 따라 조건부 (Conditional) 로 작동함을 시사합니다.

4. 주요 기여 (Key Contributions)

• 이론적 검증 도구로서의 LLM 시뮬레이션: LLM 시뮬레이션이 표면적 사실성 (Surface Realism) 을 넘어, 통제된 변인 조작 하에서 이론적으로 예측된 메커니즘 (주의 제약, 사회적 영향, 규범적 행동) 을 재현할 수 있음을 입증했습니다.
• 프롬프트를 실험적 조작으로 재정의: 프롬프트를 단순한 지시가 아닌 '기술적 규범 정보'로 조작하여, 에이전트가 이를 맥락적 정보로 활용하는지 검증할 수 있는 방법론을 제시했습니다.
• 내생적 피드백 루프의 통합: 인기도 신호를 실험적으로 고정하지 않고, 에이전트 상호작용을 통해 내생적으로 진화하도록 하여, 실제 소셜 미디어의 밴드와건 역학을 더 잘 모사했습니다.
• 다중 조건 스트레스 테스트: 단일 조건이 아닌 다양한 정보 부하와 규범 조건을 결합하여 시뮬레이션함으로써, 메커니즘의 일반성과 경계 조건을 규명했습니다.

5. 의의 및 시사점 (Significance)

• 방법론적 함의: LLM 기반 시뮬레이션은 관찰 데이터에서 포착하기 어려운 통제된 변인 (정보 부하, 규범 등) 을 조작하여 가설을 검증하는 강력한 도구로 활용될 수 있습니다. 이는 실제 사용자를 대상으로 한 실험 (Field Experiment) 전의 예비 검증이나, 윤리적/실용적 제약이 있는 시나리오를 탐구하는 데 유용합니다.
• 이론적 함의: 소셜 미디어 참여는 단순한 콘텐츠 선호가 아니라, 정보 과부하, 사회적 규범, 인기도 신호가 복합적으로 작용하는 역동적인 과정임을 재확인했습니다. 특히 정보 부하가 높을 때 인기도 신호의 영향력이 어떻게 변하는지 (조건부 의존성) 에 대한 새로운 통찰을 제공했습니다.
• 한계 및 향후 연구: 댓글 (Commenting) 행동이 포함되지 않았으며, 단일 주제 (DeepSeek) 에 국한되었고, 에이전트의 활동 주기가 고정되어 있다는 점 등이 한계로 지적되었습니다. 향후 다양한 주제, 동적 활동 주기, 그리고 다른 LLM 모델군을 통한 검증이 필요합니다.

결론적으로, 이 연구는 LLM 기반 에이전트가 단순한 텍스트 생성기를 넘어, 통제된 실험 환경에서 인간 사회의 복잡한 의사결정 메커니즘을 탐구하는 유효한 방법론적 도구로 사용될 수 있음을 실증적으로 보여줍니다.