기술 요약: 아남네시스 (Anamnesis)

문제 정의

전통적인 여론 조사와 사회적 폴링은 비용 상승, 응답률 저하, 특정 인구 통계적 하위 집단에 도달하는 어려움 등 상당한 물류적, 경제적 장벽에 직면해 있습니다. 대규모 언어 모델(LLM)이 "가상 페르소나"로서 잠재적인 대안을 제시하고 있지만, 인간 인구를 시뮬레이션하려는 기존의 시도들은 짧은 인구 통계적 속성 목록(예: "35세 히스패닉 여성")을 사용하는 "페르소나 프롬프팅"에 의존해 왔습니다. 이러한 접근 방식은 흔한 스테레오타입(고정관념) 섞인 응답을 생성하며, 복잡한 의견 도출에 필요한 심리적 깊이가 부족합니다. 또한, 앤솔로지(Anthology) (Moon et al., 2024) 및 알터리티(Alterity) (Kang et al., 2025)와 같은 기존의 고충실도 방법론들은 파이썬 스크립트라는 고립된 환경에 국한되어 있으며, 상업용 시뮬레이션 플랫폼들은 엄격한 사회 과학에 필요한 투명성과 재현성을 결여한 폐쇄형 소스 및 독점 시스템으로 운영되고 있습니다.

방법론

**아남네시스(Anamnesis)**는 앤솔로지 및 알터리티 프레임워크를 비기술적 사용자들도 운용할 수 있도록 설계된 오픈 소스 기반 웹 플랫폼입니다. 이 시스템은 짧은 인구 통계적 속성 리스트 대신, 풍부하고 개방적인 서사적 배경 이야기를 사용하여 LLM의 응답을 조건화합니다.

핵심 구성 요소

1. 서사적 배경 이야기 조건화 (Narrative Backstory Conditioning):

   • 속성 목록 대신, 본 시스템은 사전 학습된 베이스 모델로부터 샘플링된(American Voices Project의 인터뷰 질문 사용) 다중 문단의 생애사(life histories)를 통해 모델을 조건화합니다.
   • 이러한 배경 이야기는 단순한 인구 통계 정보를 넘어 형성기 경험, 가치관, 세계관을 포착합니다.
   • 인구 통계적 속성은 관찰된 레이블이 아니라, 배경 이야기로부터 확률적으로 추론됩니다.

2. 시스템 아키텍처:

   • 디스패처-큐-워커 모델 (Dispatcher–Queue–Worker Model): 설문 실행의 $O(S \times Q \times N)$ 복잡도(여기서 $S$는 표본 크기, $Q$는 질문 수, $N$은 재샘플링 횟수)를 처리하기 위해, 시스템은 비동기 큐를 사용합니다. 워커(Worker)는 각 페르소나당 질문을 순차적으로 실행하며, **순차적 문맥 축적(sequential context accumulation)**을 통해 질문 간의 신념 일관성을 보장합니다.
   • 설문 빌더 (Survey Builder): 그래픽 인터페이스를 통해 사용자는 코딩 없이도 다중 모드 설문(객관식, 주관식, 순위 매기기, 이미지, 오디오 포함)을 구성할 수 있습니다.

3. 인구 통계적 타겟팅 및 선택:

   • 확률적 매칭 (Probabilistic Matching): 인구 통계가 추론된 분포($p_{b,d}(c)$)이므로, 시스템은 두 가지 선택 알고리즘을 사용합니다:
     • Top-K 확률 랭킹: 타겟 필터와 결합 호환성이 가장 높은 페르소나를 선택합니다.
     • 균형 잡힌 인구 통계 매칭: 특정 인구 통계 셀(예: 연령 $\times$ 성별)을 채우면서 전체적인 호환성을 극대화하는 할당 문제(헝가리안 알고리즘 사용)를 해결합니다. 실시간 지연 시간을 보장하기 위해, 할당 전 후보 풀을 셀당 상위 $M$개의 후보로 압축합니다.
   • 인구 통계 추론: 사용자는 새로운 인구 통계 차원(예: 정치적 성향)을 즉석에서 정의할 수 있습니다. 시스템은 자체 호스팅 vLLM 인프라가 없는 사용자도 대응할 수 있도록, Logprobs 모드(단일 제약된 순방향 패스) 또는 N-샘플 모드(반복 샘มีการ 샘플링을 통한 경험적 분포)를 사용하여 이러한 차원에 대한 확률 분포를 추정합니다.

4. 응답 알고리즘:

   • 앤솔로지 (Anthology - 기본값): 첫 번째 질문에 전체 배경 이야기를 접두사로 붙이고, 이후 질문에는 질문-답변 쌍을 문맥에 추가합니다.
   • 제로샷 베이스라인 (Zero-shot Baseline): 짧은 인구 통계적 설명(예: CLAIR 스타일 프롬프트)에만 조건화하여 절제 실험(ablation control)을 위한 대조군 역할을 수행합니다.

주요 기여

• 최초의 오픈 소스 GUI 플랫폼: 아남네시스는 서사적 배경 이야기 조건화, 확률적 인구 통계 매칭, 순차적 문맥 축적, 그리고 다중 모드 설문 지원을 결합한 최초의 배포 가능한 비기술적 인터페이스 시스템입니다.
• 고급 프레임워크의 운용화: 이 시스템은 앤솔로지와 알터리티 방법론을 연구 프로토타입에서 통합 웹 인터페이스로 변환하여, 프로그래밍 전문 지식이 없는 연구자들도 최첨단 페르소나 근사 기술을 사용할 수 있게 합니다.
• 확장 가능한 인프라: 플랫폼은 35,000개의 사전 샘플링된 배경 이야기 풀을 바탕으로 자동화된 인구 통계 균형 및 결과 집계를 수행하며 동시적인 설문 실행을 지원합니다.

결과

시스템은 두 가지 사례 연구를 통해 평가되었습니다:

1. 공공 여론 조사 재현 (Pew Research Center ATP):

   • 플랫폼은 세 가지 웨이브(생물 의학, 정치적 유형, AI)에 걸쳐 미국 트렌드 패널(ATP)의 세그먼트를 재현했습니다.
   • 지표: 응답 상관 행렬 간의 평균 와서스타인 거리(Wasserstein Distance, WD) 및 프로베니우스 노름(Frobenius Norm, Fro.)을 사용했습니다.
   • 결과: 아남네시스(배경 이야기 조건화)는 표준 인구 통계 리스트 베이스라인(BIO 및 QA)보다 실제 세계의 응답 분포를 훨씬 더 잘 일치시켰습니다. 예를 들어, 웨이브 34에서 아남네시스는 BIO 베이스라인의 0.258에 비해 0.147의 WD를 달 기록했습니다. 결과는 실제 인간의 분포와 매우 유사했으나, 실제 인간 데이터와의 격차는 여전히 존재했습니다.

2. 다중 모드 선호도 추정 (New Yorker Caption Contest):

   • 시스템은 49개의 만화 캡션 콘테스트에 대한 인간의 시각-언어 선호도를 시뮬레이션했습니다.
   • 지표: 다수결 정확도 및 인간이 선호하는 캡션의 득표율을 측정했습니다.
   • 결과: 앤솔로지 접근 방식은 59.2%의 다수결 정확도를 달성했습니다(제로샷 베이스라인의 51.0% 대비). 이는 인간이 선호하는 캡션에 대한 평균 득표율을 7.8 퍼센트 포인트 증가시켰으며($p=0.0024$), 이는 서사적 조건화가 다중 모드 작업에서 집단적 인간 판단과의 정렬을 개선함을 입증합니다.

의의

본 논문은 아남네시스를 투명하고 재현 가능하며 오픈 소스인 독점 시뮬레이션 서비스의 대안으로 포지셔닝합니다. 이 플랫폼의 주요 효용은 사회 과학자들이 실제 피험자를 모집하기 전에 다양한 인구 통계적 균형을 갖춘 가상 인구를 대상으로 설문 도구를 프로토타이핑하고 스트레스 테스트할 수 있도록 하는 데 있습니다. 고충실도 페르소나 시뮬레이션을 위한 비기술적 인터페이스를 제공함으로써, 본 플랫폼은 엄격한 사회 과학 방법론에 대한 접근성을 민주화하고, 연구자들이 전통적인 인간 대상 연구의 물류적 부담 없이 하위 집단 간의 의견 분포를 조사할 수 있도록 돕는 것을 목표로 합니다.