기술적 요약: LLM 시뮬레이션 실험에서의 개입 환상

문제 제기

대규모 언어 모델 (LLM) 은 AI 에이전트 평가나 대규모 설문 조사와 같은 합성 실험을 위해 인간 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있습니다. 기존의 통념은 동일한 페르소나 (예: "30 세 남성") 로 초기화된 동일한 LLM 을 서로 다른 개입 (예: 에이전트 A 대 에이전트 B) 에 노출시킴으로써 연구자들이 무작위 대조 시험 (RCT) 을 모방하여 인과 효과를 추정할 수 있다는 것입니다.

그러나 본 논문은 이러한 합성 실험이 **사용자 드리프트 (user drift)**로 인해 무작위 시험보다는 관찰 연구에 더 가깝다고 주장합니다. LLM 은 관찰 데이터를 기반으로 훈련되었으며 귀납적 추론을 통해 작동하기 때문에, 개입 맥락 ($A$) 과의 일관성을 유지하기 위해 명시되지 않은 잠재 속성 ($X \setminus L$) 을 추론합니다. 결과적으로 동일한 관찰 속성 ($L$) 으로 초기화된 두 명의 합성 사용자는 받는 개입에 따라 서로 다른 잠재 집단으로 드리프트할 수 있습니다. 이는 선택 편향 (selection bias) (교란) 을 초래하여, 잠재 사용자 속성의 분포가 치료 조건 간에 달라지고 ($P(X | A=1, L) \neq P(X | A=0, L)$), 추정된 치료 효과 ($\tau_{obs}$) 를 실제 인과 효과 ($\tau_{ATE}$) 에서 왜곡시킵니다.

방법론

편향의 형식화

저자들은 잠재 결과 프레임워크를 사용하여 문제를 형식화했습니다. 이상적인 RCT 에서는 무작위 할당이 배경 요인의 균형을 보장합니다. 반면 LLM 시뮬레이션에서는 생성 과정이 결합 분포를 $P(L, A, X, Y)$로 인수화하며, 인과적 순서인 $P(X, L, A, Y)$와는 다릅니다. 개입 $A$가 도입되면 LLM 은 $A$와 일관된 잠재 속성 $X \setminus L$을 추론하여, 관찰되지 않은 사용자 속성을 통해 $A$에서 $Y$로 가는 열린 백도어 경로를 생성합니다. 이로 인해 $\tau_{ATE} = \tau_{obs} - \delta_{SB}$가 되는 편향 항 $\delta_{SB}$가 발생합니다.

진단: 음성 대조 결과

전체 잠재 페르소나를 관찰하지 않고도 이러한 드리프트를 감지하기 위해, 저자들은 음성 대조 결과 (negative control outcomes)($Z$) 사용을 제안합니다. 이러한 변수는 다음 조건을 만족해야 합니다:

1. 개입 $A$에 의해 인과적으로 영향을 받지 않아야 합니다 (치료 하에서 불변).
2. 주된 결과에서의 드리프트를 주도하는 동일한 관찰되지 않은 잠재 속성 ($X \setminus L$) 에 의존해야 합니다.

예시로는 "긍정적" 또는 "부정적" AI 에이전트와 상호작용하는지에 따라 변하지 않아야 하는 인구통계학적 속성 (인종, 국적) 이나 안정적인 신념 등이 있습니다. 저자들은 서로 다른 개입 조건 ($A=0$ 대 $A=1$) 하에서 $Z$의 분포 간의 **총변동 거리 (Total Variation Distance, TVD)**를 사용하여 드리프트를 정량화합니다. 0 이 아닌 TVD 는 개입이 잠재 사용자 집단을 이동시켜 교란을 signaling 한다는 것을 나타냅니다.

완화: 반복적 교란자 조정

편향을 줄이기 위해 저자들은 관찰되지 않은 잠재 속성을 대리하는 추가 교란자 ($L'$) 를 elicitation 하고 지정하는 반복적 절차를 제안합니다.

1. Elicitation (자극): 시스템은 개입 후 합성 사용자에게 구체적인 속성 (예: 소득, 종교, 또는 개입과 관련된 표적 질문) 을 요청합니다.
2. 샘플링: 조정된 집단이 무작위 시나리오를 반영하도록 새로운 교란자를 치료 균일 혼합 분포에서 샘플링합니다.
3. 반복: 이러한 elicitation 된 속성은 페르소나 사양에 추가됩니다 ($\tilde{L} = L \cup L'$), 그리고 실험이 다시 실행됩니다. 음성 대조 결과의 TVD 가 안정화되거나 임계값 아래로 떨어질 때까지 이 루프가 계속됩니다.

저자들은 컨텍스트 창 저하와 샘플링 편향을 피하기 위해 모든 가능한 속성을 한 번에 지정하는 것이 아니라, 표적화된 반복적 접근 방식을 강조합니다.

주요 기여

1. 사용자 드리프트의 형식화: 본 논문은 LLM 시뮬레이션 실험이 개입 의존적 잠재 사용자 속성 변화로 인해 본질적으로 선택 편향을 겪는다는 인과 추론 프레임워크를 제공합니다.
2. 실증적 진단: 다양한 LLM 계열에서 사용자 드리프트와 선택 편향을 진단하기 위한 실용적 도구로서 음성 대조 결과와 총변동 거리의 사용을 도입합니다.
3. 완화 전략: 페르소나 지정 중 표적화된 반복적 교란자 elicitation 이 선택 편향을 현저히 줄이고 설문 스타일 및 다중 턴 에이전트 평가 설정 모두에서 효과 추정을 안정화할 수 있음을 보여줍니다.

결과

저자들은 여러 모델 (Qwen3, GPT-OSS, Gemma, Gemini) 과 데이터셋 (OpinionQA, Book Opinions, MovieLens) 에 걸쳐 접근 방식을 평가했습니다.

• 드리프트의 존재: 0 회 반복 (기준선) 에서 대부분의 모델과 데이터셋에서 음성 대조 결과에 상당한 TVD 가 관찰되어, 동일한 초기 페르소나가 개입에 따라 서로 다른 잠재 집단으로 드리프트함을 확인했습니다. 특히 추론 능력이 더 강력한 모델 (예: Gemma-4) 은 작고 능력이 낮은 모델보다 더 많은 드리프트를 보였습니다.
• 조정의 효과: 반복적 교란자 조정은 일반적으로 TVD 를 감소시켜 사용자 드리프트 감소를 나타냈습니다.
  • 설문 설정 (OpinionQA) 에서는 TVD 가 반복에 따라 일관되게 감소했습니다.
  • 에이전트 평가 설정에서는 결과가 다양했습니다. 일부 모델 (예: Gemma-4) 은 명확한 감소를 보인 반면, 다른 모델 (예: GPT-OSS-20B) 은 평탄하거나 약하게 변화하는 TVD 를 보여, 프롬프트 기반 조건부 설정이 다중 턴 설정에서 균일하게 효과적이지 않음을 시사했습니다.
• 효과 추정치에 미치는 영향: 관찰된 치료 효과 ($\tau_{obs}$) 는 초기 조정 반복 동안 크게 이동한 후 안정화되었습니다. 이는 단순한 추정치가 사용자 드리프트에 의해 교란되었음을 확인시켜 줍니다.
• 설계 뉘앙스: 연구는 초기에 일반적인 인구통계학적 속성을 추가하는 것이 때로는 표적화된 작업별 교란자가 이를 감소시키기 전에 TVD (선택 편향) 를 증가시킬 수 있음을 발견했습니다. 이는 특정 치료 및 결과와 관련된 교란자를 선택하는 중요성을 강조합니다.

중요성과 주장

본 논문은 합성 사용자를 사용한 평가는 무작위 실험이 아닌 기본적으로 관찰 연구로 취급되어야 한다고 결론지었습니다. "개입의 환상"은 LLM 의 생성적 성격이 개입을 통해 시뮬레이션된 사용자의 잠재 상태를 사후적으로 영향을 미치게 하기 때문에 발생합니다.

저자들은 다음과 같이 주장합니다:

1. 진단과 완화 없이는 합성 사용자 실험이 관찰되지 않은 선택 편향으로 인해 오해의 소지가 있는 인과 추정을 생성할 위험이 있습니다.
2. 음성 대조 결과는 이러한 편향을 감지하기 위한 필수 진단 도구를 제공합니다.
3. 반복적이고 표적화된 교란자 조정은 내부 타당성을 개선할 수 있는 실행 가능한 전략이지만, 상당한 잠재 변이가 측정되지 않은 경우 모든 편향을 제거한다는 보장은 없습니다.

이 연구는 LLM 을 사용하여 인간의 반응을 시뮬레이션하는 연구자들을 위한 경계적 프레임워크 역할을 하며, 인과적 유효성을 가정하는 것에서 사용자 드리프트를 능동적으로 진단하고 수정하는 것으로의 전환을 촉구합니다.