The conditional superiority of fast silicon sampling

당신이 새로운 법률, 기묘한 영화, 또는 매운 음식 트렌드에 대해 군중이 어떻게 반응할지 예측하려고 한다고 상상해 보세요. 과거에는 직접 나가서 수천 명의 실제 인간에게 문을 두드리고 질문해야 했습니다. 하지만 이제 우리에게는 '거대 언어 모델(LLM)'이 있습니다. 이들을 인터넷상의 거의 모든 것을 읽은 초스마트 디지털 두뇌라고 생각하면 됩니다. 이들은 인간의 대화를 흉내 내는 데 매우 뛰어나서 마치 사람이 된 것처럼 연기할 수 있습니다. 이는 연구자들에게 기발한 아이디어를 떠올리게 했습니다. 실제 사람에게 묻는 대신, AI에게 물어보면 어떨까 하는 것이죠. 이것을 '실리콘 샘플링(silicon sampling)'이라고 부릅니다. 마치 방 안에 가득 찬 디지털 복제 인간들에게 설문조사를 작성하게 하는 것과 같습니다. 하지만 여기서 큰 의문이 생깁니다. 만약 이 디지털 복제 인간들에게 빠르게, 한꺼번에 몰아서 답변하라고 요청한다면, 그 답변들이 과연 정확할까요? 아니면 진실을 얻기 위해 한 번에 하나씩, 천천히 주의 깊게 물어봐야 할까요? 이 논문은 바로 이 질문, 즉 AI가 인간의 의견을 시뮬레이션할 때 속도가 정확성을 해치는지 여부를 테스트하며 그 문제에 파고듭니다.

이 연구의 연구자들은 싱가포르 사람들을 대상으로 이 아이디어를 검증하기로 했습니다. 그들은 이민 문제나 윤리적 규칙(예를 들어 세금을 잘못 신고하거나 무례하게 구는 것이 괜찮은지 등)에 대해 2,000명 이상의 실제 싱가포르인들에게 실시했던 실제 설문조사를 가져왔습니다. 그런 다음, 매우 발전된 AI 모델(OpenAI의 GPT-5.4)을 사용하여 두 가지 서로 다른 종류의 '디지털 복제본'을 만들었습니다. 한 세트는 '느린' 방식을 사용했습니다. AI에게 질문을 하나씩 던지고, 매 질문마다 새로운 상태에서 시작하도록 하여 마치 사람이 시험을 치르는 것처럼 했습니다. 다른 세트는 '빠른' 방식을 사용했습니다. AI에게 전체 질문 목록을 하나의 거대하고 복잡한 프롬프트로 제공하고, 모든 답변을 한꺼번에 쏟아내도록 했습니다.

결과는 '나쁘지는 않지만, 확실히 완벽하지도 않은' 상태였습니다. 먼저 나쁜 소식은, 디지털 복제본들이 실제 인간의 완벽한 복사본은 아니었다는 점입니다. 그들은 평균적인 의견을 추측하는 데는 꽤 유능했습니다(예를 들어, 대부분의 실제 사람들이 어떤 것에 대해 '괜찮다'고 생각했다면, AI 역시 '괜찮다'고 생각했습니다). 하지만 그들은 의견의 '다양성'을 포착하는 데는 실패했습니다. 실제 인간은 넓은 범위의 감정을 가지고 있습니다. 어떤 사람은 그것을 아주 좋아하고, 어떤 사람은 싫어하며, 또 어떤 사람은 중간 지점에 있습니다. 그러나 AI는 모든 것을 평평하게 만들어, 모두가 똑같은 방식으로 느끼는 것처럼 보이게 만들었습니다. 또한 서로 다른 의견 사이의 관계도 망가뜨렸습니다. 예를 들어, 실제 생활에서는 이민을 반대하는 사람들이 특정 패턴에 따라 다른 무언가도 반대할 수 있습니다. AI의 디지털 복제본들은 그 패턴을 제대로 파악하지 못했습니다. 그들의 의견 '모양'은 실제 사람들과 비교했을 때 왜곡되어 보였습니다.

하지만 이 논문을 흥격하게 만드는 반전이 있습니다. 연구자들은 '빠른' 방식이 '느린' 방식만큼이나 좋거나, 때로는 오히려 약간 더 낫다는 것을 발견했습니다. 이는 모든 사람이 AI에게 방대한 질문 목록을 한꺼번에 주면 혼란을 겪거나 반응성이 떨어질 것이라고 예상했던 것과는 상반되는 놀라운 결과입니다. 데이터에 따르면, 빠른 디지털 복제본들은 느린 것들만큼이나 실제 데이터에 충실했습니다. 사실, 빠른 방식은 엄청난 시간 절약 효과가 있었습니다. 느린 방식이 한 사람의 답변 세트를 생성하는 데 20초가 걸린 반면, 빠른 방식은 단 3초밖에 걸리지 않았습니다. 또한 컴퓨터 자원(토큰)을 약 64% 적게 사용했으며 비용도 절반 수준이었습니다.

그렇다면 결론은 무엇일까요? 이 논문은 실리콘 샘플링이 실제 인간의 복잡하고 다양한 사고를 완벽하게 포착하지 못하기 때문에 여전히 '각별한 주의'를 기울여 사용해야 하는 방법이지만, 최선의 결과를 얻기 위해 반드시 느릴 필요는 없다고 결론짓습니다. 만약 AI를 사용하여 인간의 의견을 시뮬레이션할 계획이라면, 가능한 한 빠르게 하는 것이 낫습니다. 이는 결과의 질을 떨어뜨리지 않으면서 시간과 비용을 아껴주기 때문입니다. 하지만 저자들은 아직 너무 들뜨지 말라고 경고합니다. 이 디지털 복제본들은 여 still 탐색적인 도구일 뿐입니다. 아이디어를 테스트하거나 모델이 어떻게 작동하는지 살펴보는 데는 훌륭하지만, 인구의 생각을 정확히 알아야 하는 실제 인간 대상 설문조사를 대체해서는 안 됩니다, 특히 싱가포르처럼 다양한 곳에서는 더욱 그렇습니다. 디지털 복제본들은 기초적인 부분은 점점 나아지고 있지만, 진정으로 인간이 되는 법은 아직 배우지 못했습니다.