기술 요약: 설문 조사 페르소나에서 LLM 에이전트로

문제 정의

내연기관(ICE) 차량의 신규 판매를 단계적으로 폐지하려는 유럽 연합의 약속은 중대한 정책적 변화를 의미하지만, 이러한 변화에 대한 대중의 반응은 상호작용, 피드로백, 그리고 진화하는 사회 정치적 맥락에 따라 역동적으로 변화한다. 전통적인 설문 조사 방식은 특정 시점의 태도를 측정하는 데는 효과적이지만, 외생적 충격과 전개되는 사건들에 따라 태도가 어떻게 진화하는지를 모델링하기에는 부적합하다. 최근 문헌들은 대규모 언어 모델(LLM)을 생성형 에이전트로 사용하여 인간의 행동을 시뮬레이션하는 방안을 탐구하고 있으나, 기존 연구들은 주로 수기로 작성된 정형화된 페르소나에 의존하고 있다. 이러한 접근 방식은 페르소나 설계가 에이전트가 맥락을 해석하고 의사결정을 내리는 방식에 큰 영향을 미치기 때문에 시뮬레이션의 경험적 근거를 제한한다. 결과적으로 두 가지 핵심적인 격차가 존재한다: (1) 수동적인 페르소나가 아닌 경험적 근거를 가진 응답자 집단으로부터 LLM 에이전트를 구축하는 방법론의 부재, (2) 이러한 근거 있는 에이전트를 활용하여 변화하는 사회적 맥락 속에서 동적인 정책 선호도 형성을 연구할 프레임워크의 부재이다.

방법론

저자들은 설문 기반 생성형 에이전트 기반 모델링(GABM) 시뮬레이션 프레임워크를 제안한다. 이 접근 방식은 실제 설문 응답자를 생성형 LLM 에이전트로 변환함으로써, 정적인 경험적 데이터와 동적인 행동 시뮬레이션 사이의 간극을 메운다.

데이터 및 에이전트 구축

본 프레임워크는 IPAC(Integrative Public-Policy-Acceptance) 프레임워크를 기반으로 설계된, 독일에서 실시된 514명의 응답자를 대상으로 한 온라인 설문 조사 데이터를 활용한다.

• 페르소나 인코딩: 각 응답자는 자연어 페르소나를 통해 LLM 에이전트로 변환된다. 이 페르소나에는 다음을 포함한 57개의 속성이 인코딩된다:
  • 인구통계학적 특성 (연령, 성별, 교육 수준, 소득, 연방 주).
  • 정치적 성향 및 정당 선호도.
  • 이동성 행동 및 연료 경험.
  • 기후 관련 태도 (우려, 위험 인식, 정부 신뢰도).
• 초기화: 에이전트는 내연기관 단계적 폐지에 대한 관찰된 설문 응답을 바탕으로 초기화되며, 이는 이후 업데이트를 위한 기준점 역할을 한다.

시뮬레이션 프레임워크

시뮬레이션은 에이전트가 반복적인 라운드(2025년 1분기를 나타내는 16개 라운드)를 통해 선호도를 업데이트하는 동적인 세계에서 작동한다.

• 맥락적 입력값: 각 라운드에서 에이전트는 자신의 페르소나, 이전 응답 이력, 현재 국가 및 주 단위의 지지 분포, 그리고 사건 중심 시나리오의 경우 외부 사건에 관한 정보가 포함된 구조화된 프롬프트를 받는다.
• 의사결정 로직: 에이전트는 이러한 입력값을 바탕으로 추론하여 정책 입장을 업데이트하며, "선거에서, 그러한 정책을 지지하는 정당에 어느 정도까지 투표하겠는가?"라는 질문에 답한다 (척도 1–6).
• 피드백 루프: 집계된 에이전트의 응답은 집단 지지 분포를 업데이트하며, 이는 다음 라운드의 사회적 맥락 역할을 한다.
• 실험 조건: 본 연구는 기본 시나리오(외생적 충격 없음)와 사건 중심 시나리오(지지하거나 반대하는 효과를 가진 10개의 맥락 관련 사건 도입)를 비교한다.
• 모델 구성: 연구에는 확률적 변동을 최소화하기 위해 온도가 0인 OpenAI의 GPT-4o mini가 사용된다. 실험은 프롬프트 언어(독일어 vs 영어)와 요약 스타일(환경 중심 vs 중립적)을 변화시킨다.

주요 기여

1. 프레임워크 개발: 수기로 작성된 페르소나를 넘어, 구조화된 설문 데이터를 자연어 LLM 에이전트로 변환하는 설문 기반 GABM 프레임워크를 도입하였다.
2. 경험적 적용: EU의 넷제로 목표와 맞물린 독일의 내연기관 단계적 폐지에 대한 공공 지지라는 시의적절한 정책 이슈에 이 프레임워크를 적용하였다.
3. 동적 분석: 설문 기반 에이전트가 변화하는 사회적 맥락과 외부 사건에 어떻게 반응하는지에 대한 경험적 분석을 제공하여, 시간적 지지 궤적, 선호 전환, 프로필 이질성 검토를 가능하게 하였다.

결과

시뮬레이션 결과는 선호도 형성의 유의미한 역동성을 보여준다:

• 기본 역동성: 외부 충격이 없는 경우, 에이전트들은 일반적으로 지지도가 상승하는 경향을 보이며, 중간 수준의 위치에서 가장 높은 지지 수준(6)으로 이동한다. 이는 시뮬레이션 환경이 단순히 초기 분포를 유지하는 것이 아니라 내재적인 상승 дrift를 생성함을 시사한다.
• 프롬프트 민감도: 프레임워크는 프롬프트 설계에 매우 민감하다:
  • 독일어 프롬프트: 특히 중립적인 요약 하에서, 가장 높은 지지 수준으로의 결정적인 상승 이동과 수렴을 생성한다.
  • 영어 프롬프트: 응답이 최고 지지로 붕괴되기보다는 중간 수준(4–6)에 걸쳐 퍼지는 더 분산된 분포를 생성한다. 이는 앵커링(anchoring)이 약하고 극단적인 결집이 덜함을 나타낸다.
• 사건 중심 역동성: 외부 사건의 도입은 프롬프트 언어와 스타일의 효과를 증폭시킨다.
  • 환경 중심 요약을 포함한 독일어 프롬프트는 높은 지지로의 상당한 이동을 계속해서 유도한다.
  • 영어 및 중립적 프롬프트는 질량을 중간 범주로 분산시켜, 에이전트가 선호도를 업데이트하는 방식에 있어 더 큰 이질성을 창출한다.
  • 지지 수준의 변동성은 사건 기반 시나리오에서 더 뚜렷하게 나타나며, 영어 프롬프트가 더 두드러진 변동을 보인다.
  • 주목할 점은, 독일어 프롬프트가 최고 수준으로의 결정적인 수렴을 유도함에도 불구하고, 최종 지지 수준은 영어 프롬프트 기반 시나리오가 독일어 프롬프트 기반 시나리오보다 약간 더 높게 나타났다.
• 개별 추론: 사례 연구는 에이전트가 개인적 가치, 정부 신뢰도, 인지된 공정성의 복잡한 상호작용에 따라 추론을 조정함을 보여준다. 예를 들어, 어떤 에이전트는 기후 가치에 기반해 높은 지지를 유지하다가, 저소득 가구에 대한 분배적 정의 문제를 강조하는 사건이 발생하면 지지를 철회할 수 있다.

의의 및 한계

본 논문은 정치적 문제와 사회적 수용성 분석을 동적인 환경에서 연결함으로써 계산 사회 과학을 발전시키는 데 의의가 있다고 주장한다. 정교한 페르소나 설계가 의사결정의 현실적인 시뮬레이션을 가능하게 하여, 정적인 설문 조사가 포착할 수 없는 행동 실험을 용이하게 함을 입증한다.

그러나 저자들은 다음과 같은 한계를 명시하며 신중한 입장을 유지한다:

• 데이터 의존성: 시뮬레이션의 품질은 기초가 되는 설문 데이터에 종속된다. 즉, 측정 오류나 누락이 에이전트 페르소사에 그대로 반영될 수 있다.
• 단순화: 본 프레임워크는 복잡한 인간의 의사결정을 구조화된 프롬프트와 제한된 응답 척도로 단순화한다.
• 프롬프트 민감도: 결과는 프롬프트 언어, 스타일 및 순서에 따라 크게 달라지므로 시뮬레이션 결과 해석 시 주의가 필요하다.
• 사건 설계: 사건들은 수기로 설계되었으며, 실제 정치적 전개의 예측 불가능성을 완전히 포착하지 못할 수 있다.
• 상호작용 제한: 현재 설정은 선호도 업데이트를 모델링하지만, 직접적인 동료 간 의사소통이나 네트워크 구조와 같은 더 풍부한 사회적 상호작용은 포함하지 않는다.
• 모델 특수성: 결과는 온도가 0인 GPT-4o mini에 특화된 것이며, 다른 모델이나 확률적 설정에서는 다른 결과가 나올 수 있다.

저자들은 이러한 출력값이 개별 시민의 미래 정치적 행동에 대한 정확한 반영이라기보다는 선호도 역동성의 시뮬레이션으로 해석되어야 한다고 결론지으며, 개별적인 설명보다는 집계된 행동 패턴을 분석하는 것의 가치를 강조한다.