Learning dynamics from online-offline systems of LLM agents

논문 요약: LLM 에이전트 네트워크에서의 온라인 - 오프라인 시스템 동역학 학습

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 정보의 확산은 실제 세계의 불안정성과 밀접하게 연결되어 있으며, 자동화된 계정과 대규모 언어 모델 (LLM) 기반 에이전트가 뉴스의 확산과 증폭에 중요한 역할을 하고 있습니다.
• 문제: 기존 연구는 주로 인간의 행동이나 단순한 봇 활동에 초점을 맞추었으나, LLM 이 정의한 복잡한 에이전트 행동이 대규모 온라인 네트워크에서 어떻게 패턴을 형성하는지에 대한 수학적 모델링 연구는 부족합니다.
• 목표: 다양한 "성격 (Personality)"을 부여받은 LLM 에이전트들이 오프라인 사건 (시위, 폭력 등) 정보를 어떻게 공유하고 확산시키는지, 그리고 이 과정이 어떤 수학적 동역학으로 설명될 수 있는지를 규명하는 것입니다.

2. 방법론 (Methodology)

2.1 시뮬레이션 설계 (LLM Simulation)

• 데이터 소스: 필리핀에서 발생한 2021~2024 년간의 무력 분쟁 위치 및 사건 데이터 (ACLED) 를 활용했습니다. 사건은 텍스트 임베딩을 통해 두 가지 클러스터 (격렬한 폭력 사건 vs 평화로운 시위) 로 분류되었습니다.
• 에이전트 설정:
  • 네트워크: 128 개의 에이전트로 구성된 $k$-정규 랜덤 네트워크 ($k=5$).
  • 성격 프로파일: '빅 5' 성격 이론 (개방성, 성실성, 외향성, 친화성, 신경증) 의 5 가지 차원을 이진 변수 (높음/낮음) 로 조합하여 32 가지 성격 프로파일을 생성했습니다.
  • 프로세스: 초기 시드 (Seed) 에이전트가 사건 정보를 받고, 이웃 에이전트에게 공유할지 여부를 성격 프롬프트에 기반하여 결정합니다. 이 과정이 반복되며 정보가 네트워크 전체로 확산됩니다.
• 모델: OpenAI 의 gpt-3.5-turbo-1106 모델을 사용하며, 인간의 창의성과 노이즈를 반영하기 위해 온도 (Temperature) 파라미터를 0.7~1.3 사이로 설정했습니다.

2.2 수학적 모델링 (Mathematical Models)
연구진은 시뮬레이션 데이터를 설명하기 위해 두 가지 모델을 제안했습니다.

1. 확률적 에이전트 기반 네트워크 모델 (Stochastic Agent-Based Network Model):

   • 로지스틱 회귀 모델을 사용하여, 에이전트가 정보를 공유할 확률 ($p_i$) 을 성격 특성 벡터와 사건 심각도 (Peaceful vs Severe) 의 함수로 모델링했습니다.
   • 32 가지 성격 프로파일 각각에 대한 가중치와 사건 심각도 계수를 추정합니다.

2. 평균장 근사 모델 (Mean-Field Approximation Model):

   • 전염병 모델의 감수성 - 감염 (Susceptible-Infected, SI) 모델을 차용했습니다.
   • 에이전트를 성격에 따라 두 개의 그룹 (전파율이 높은 그룹과 낮은 그룹) 으로 군집화하여 미분 방정식 시스템을 구성했습니다.
   • 시스템은 다음과 같이 정의됩니다:
     $$\frac{dU_i}{dt} = -k\tau_i U_i E, \quad \frac{dE}{dt} = \sum k\tau_i U_i E$$
     (여기서 $U_i$는 그룹 $i$의 비참여 상태 비율, $E$는 참여 상태 비율, $\tau_i$는 그룹별 전파율, $k$는 네트워크 차수)

3. 주요 결과 (Results)

3.1 에이전트 기반 모델 결과

• 성격의 영향: '개방성 (Openness)'과 '외향성 (Extraversion)'이 정보 공유 확률에 가장 큰 영향을 미치는 요인임을 확인했습니다. 특히 개방성이 높을 때 공유 확률이 급격히 증가하는 비선형적 경향을 보였습니다.
• 사건 유형: 평화로운 사건이 폭력적인 사건보다 공유될 확률이 더 높았습니다.
• 적합도: 로지스틱 모델은 전체적인 동역학을 잘 설명하지만 (RMSE: 0.0414), 초기 단계에서는 참여율을 과소평가하고 후기에는 과대평가하는 경향이 있었습니다.

3.2 평균장 모델 결과

• 높은 정확도: 두 개의 전파율 파라미터 ($\tau_1, \tau_2$) 만으로 구성된 평균장 모델이 33 개의 파라미터를 가진 로지스틱 모델보다 더 높은 정확도 (RMSE: 0.0223) 를 보였습니다.
• 군집화 효과:
  • 그룹 1 (저전파율): 참여율이 매우 낮고 느리게 증가합니다.
  • 그룹 2 (고전파율): 초기에 빠르게 참여하여 전체 곡선의 급격한 상승을 주도합니다.
• 동역학 패턴: 전체 참여 곡선은 초기에 그룹 2 에 의해 급격히 상승하다가, 그룹 1 의 느린 참여로 인해 0.8~0.9 사이에서 점근적으로 수렴하는 S 자형 (시그모이드) 곡선을 따릅니다.

4. 핵심 기여 (Key Contributions)

1. LLM 에이전트 네트워크의 수학적 모델링: LLM 기반 에이전트들의 정보 확산 과정을 설명하는 최초의 체계적인 수학적 모델 (확률적 모델 및 평균장 미분방정식) 을 제시했습니다.
2. 성격과 사건 특성의 상호작용 규명: LLM 의 프롬프트 기반 성격 설정이 정보 확산 속도와 규모에 결정적인 영향을 미치며, 이를 Big 5 성격 이론과 연결하여 정량화했습니다.
3. 저차원 모델의 유효성 입증: 복잡한 에이전트 기반 시뮬레이션의 전역적 동역학이 매우 간단한 2 매개변수 SI 모델로 잘 설명될 수 있음을 보였습니다. 이는 복잡한 LLM 상호작용을 예측하는 데 저차원 수학적 도구가 유효함을 의미합니다.

5. 의의 및 결론 (Significance)

• 예측 가능성: 대규모 LLM 에이전트 군집은 인간과 유사한 복잡한 행동을 보이지만, 그 확산 패턴은 안정적이고 예측 가능한 수학적 법칙을 따릅니다.
• 실제 적용 가능성: 온라인 네트워크에서의 정보 전파, 가짜 뉴스 확산, 사회적 불안정성 등을 이해하고 예측하는 데 이 모델이 활용될 수 있습니다.
• 미래 연구 방향: 인간과 LLM 이 공존하는 하이브리드 네트워크에서의 상호작용 연구, 그리고 실제 인간 참가자를 포함한 실험을 통한 검증이 필요함을 제시했습니다.

이 연구는 인공지능 에이전트들이 형성하는 사회적 동역학을 이해하기 위해 컴퓨터 과학, 수학, 심리학, 사회학이 융합된 접근 방식을 제시했다는 점에서 의의가 큽니다.