The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

기술 요약: Epi-LLM 프레임워크

문제 제в (Problem Statement)
인간의 행동은 감염병 역학의 결정적인 요인이지만, 격리, 사회적 거리두기, 백신 접종 참여와 같은 자발적 행동 변화의 영향을 정량화하는 것은 역학 모델링에서 여전히 큰 과제로 남아 있습니다. 전통적인 구획 모델(예: SIR, SEIR)은 공중 행동과 병원체 전파 사이의 복잡하고 적응적인 상호작용을 포착하지 못하는 단순화된 가정에 의존합니다. 에이전트 기반 모델(ABM)은 개별 수준의 이질성을 시뮬레이션함으로써 이를 개선했지만, 실제 행동 데이터가 부족하여 의사결정을 나타내기 위해 추론된 매개변수에 의존하는 등 제약이 따르는 경우가 많습니다. 나아가, 대규모 언어 모델(LLM)을 ABM 내의 행동 엔진으로 통합하여 발병 기간 동안 에이전트가 추론하고 동적으로 적응하게 하는 연구는 아직 미개척 분야로 남아 있습니다. 기존의 생성적 에이전트 기반 모델(GABM)은 잠재력을 보여주었으나, 단일 모델 아키텍처, 작은 에이전트 인구 규모, 그리고 실제 행동 데이터에 기반한 근거 부족 등의 한계를 보이고 있습니다.

방법론 (Methodology)
저자들은 에이전트 기반 모델링, 실제 에피게임(epigames), 그리고 LLM을 결합한 새로운 통합 프레임워크인 Epi-LLM 프레임워크를 소개합니다. 이 프레임워크는 감염병 역학을 위한 오픈 소스 플랫폼인 Starsim을 기반으로 구축되었으며, 수정된 SEIR(Susceptible-Exposed-Infected-Recovered) 전파 모델을 활용합니다.

• 시뮬레이션 환경: 시뮬레이션은 아메리칸 대학교 이라크-바그다드(AUIB)에서 수행된 특정 에피게임 연구의 기간을 반영하여 15일 동안 실행됩니다. 접촉 네트워크는 AUIB 연구의 경험적 접촉 데이터와 일치하도록 로그 정규 차수 분포를 가진 동적 RandomNet 모듈을 사용하여 생성됩니다.
• 에이전트 아키텍처: 에이전트는 OpenRouter API를 통해 접속되는 네 가지 뚜렷한 LLM 아키텍처(DeepSeek V3, Llama 3 70B, Nemotron 120B, GPT-OSS 120B)를 사용하여 인스턴스화됩니다. 이 모델들은 다양한 파라미터 규모를 가진 밀집 트랜스포머(dense transformer)와 혼합 전문가(Mixture-of-Experts, MoE) 계열을 모두 대표합니다.
• 행동 매개변수화: 시뮬레이션을 현실에 근거시키기 위해, 에이전트들은 AUIB 참가자들의 실제 설문 응답에서 도출된 건강 신념 모델(Health Belief Model, HBM) 점수를 사용하여 매개변수화됩니다. 이 점수는 인지된 민감성, 심각성, 이득 및 장벽을 포착합니다.
• 의사결정 메커니즘: 매일 에이전트는 자신의 건강 상태, 국소적 증상 유병률, 그리고 포인트 잔액을 관찰합니다. 그 후, LLM 프롬프트를 통해 이진 결정(격리 또는 활동 유지)을 내립니다. 이 결정 프레임워크에는 트레이드오프가 포함됩니다: 격리는 감염으로부터 보호를 보장하지만 낮은 보상(5점)을 제공하는 반면, 활동을 유지하는 것은 높은 보상(10~15점)을 제공하지만 전파 위험에 노출됩니다.
• 실험적 변형:
  • 아키텍처 비교: 네 가지 LLM 모델 간의 역학적 결과를 평가합니다.
  • 지리적 프레이밍: 문화적으로 차별화된 행동을 유도하는지 테스트하기 위해 에이전트에게 지리적 라벨(중국, 이라크, 케냐, 영국)을 할당합니다.
  • 인센티브 구조: 상호작용의 사회적 이익을 시뮬레이션하기 위해 접촉당 포인트를 획득하는 대안적 점수 시스템을 테스트합니다.
  • 통계 분석: 격리 행동을 분석하고 인간 참가자 데이터와 비교하기 위해 이항 및 포아송 일반화 선형 모델(GLM)을 적합시켰습니다.

주요 기여 (Key Contributions)

1. 통합 프레임워크: 본 연구는 LLM, 에이전트 기반 역학 모델링, 그리고 실제 행동 에피게임을 하나의 시뮬레이션 프레임워크로 통합한 최초의 작업입니다.
2. 경험적 근거: 기존의 GABM 연구와 달리, 본 연구는 AUIB 에피게임의 실제 심리사회적 설문 데이터를 사용하여 에이전트의 신념 프로필을 매개변수화함으로써, 정적인 행동 데이터를 동적인 시뮬레이션 입력값으로 변환했습니다.
3. 아키텍처 분석: 동일한 조건 하에서 네 가지 LLM 아키텍처를 체계적으로 비교하여, 모델 아키텍처가 창발적인 인구 수준 행동의 무시할 수 없는 결정 요인임을 입증했습니다.
4. 확률성 특성화: 저자들은 에이전트의 확률성을 특성화하기 위해 자기 일치성(self-agreement) 분석을 도입하여, 관찰된 역학 궤적이 진정한 행동적 사전 정보(priors)를 반영하는지 아니면 시드 수준의 노이즈를 반영하는지를 평가하는 도구를 제공합니다.

결과 (Results)

• 역학 역학: 모든 LLM 아키텍처는 개입이 없는 SEIR 베이스라인에 비해 활성 감염의 정점을 감소시켰습니다. 그러나 효과는 아키텍처마다 달랐습니다. Llama 3 70B는 가장 지연되고 완만해진 감염 정점을 생성하며 가장 낮은 누적 감염 부담을 보인 반면, Nemotron 120B는 더 높은 정점 감염을 나타냈습니다. 동일한 아키텍처 계열(예: 둘 다 MoE인 DeepSeek V3와 GPT-OSS 120B) 내의 모델들은 수렴된 행동을 보였습니다.
• 지리적 프레이밍: 지리적 라벨(중국, 이라크, 케냐, 영국)을 할당하는 것은 격리 행동이나 역학 결과에 통계적으로 유의미한 차이를 유도하지 않았습니다. 네 가지 조건 모두의 궤적은 구조적으로 동일했으며, 누적 감염자 수는 단 11명 차이였습니다. 이는 지리적 라벨만으로는 LLM 에이전트로부터 문화적으로 차별화된 행동을 이끌어내기에 불충분하며, 명시적인 태도 매개변수화가 필요함을 시사합니다.
• 행동 동인: 이항 GLM 분석 결과, 인지된 건강 심각성이 격리 행동의 가장 강력한 예측 변수(β = 0.33, p = 0.002)로 식별되었으며, pseudo-R²는 0.055였습니다. 이는 인간 실험에서 관찰된 0.072와 유사한 수준으로, LLM 에이전트가 광범위한 위협 기반 순응 패턴을 성공적으로 재현하고 있음을 나타냅니다.
• 인센티브 구조: 보상 구조를 변경(고정 보상에서 접촉 기반 보상으로 전환)했을 때 역학 궤적이 실질적으로 변화하여, 정점 유병률이 약 0.5에서 약 0.3으로 감소하고 순응 기간이 연장되었습니다.
• 일관성: Llama 3 70B는 가장 높은 자기 일치성(일관성)을 보였고, Nemotron 120B는 가장 높은 확률성을 보였습니다. 이는 저분산 아키텍처가 특정 규칙 테스트를 위한 높은 내부 타당성을 제공하는 반면, 고분산 모델은 현실 세계의 의사결정의 확률적 성격을 더 잘 나타낼 수 있음을 의미합니다.

의의 및 주장 (Significance and Claims)
본 논문은 Epi-LLM 프레임워크를 팬데믹 대비 연구를 위한 확장 가능하고 위험 없는 시뮬레이션 환경으로 배치하기 위한 방법론적 토대를 마련한다고 주장합니다. 저자들은 이 프레임워크가 기술적으로 실현 가능하고 경험적으로 근거가 있으며, 행동 역학에 대한 실질적인 통찰을 생성할 수 있다고 단언합니다.

본 연구는 LLM 아키텍처가 합성 사회를 위한 핵심 설계 선택 사항임을 강조합니다. 즉, 연구자들은 통제된 가설 검증을 위해 저분산 모델을 선택할지, 아니면 현실적인 이질성을 위해 고분산 모델을 선택할지 결정해야 합니다. 또한, 지리적 프레이밍에 대한 귀무 결과는 GABM에서의 의미 있는 문화적 변이가 단순한 인구통계학적 라벨링이 아닌, 태도 및 규범적 요인의 명시적 매개변수화를 필요로 한다는 중요한 발견임을 시사합니다. 마지막으로, 이 프레임워크는 실제 배포 전 에피게임 메커니즘과 공중 보건 개입 전략을 테스트할 수 있는 전망 있는 샌드박스로 제시됩니다.