기술 요약: 대규모 언어 모델의 주관적 선택으로부터 지불 용의(Willingness to Pay) 추론

문제 정의

대규모 언어 모델(LLM)이 여행 보조 및 구매 지원과 같은 영역에서 자율적인 에이전트로 점점 더 많이 배치됨에 따라, 이들은 객관적으로 정답이 없는 주관적인 결정을 내려야 하는 상황에 자주 직면하게 된다. 현재 연구의 중요한 공백은 이러한 모델들이 견고하고 해석 가능한 결정 경계(decision boundaries)를 보유하고 있는지, 그리고 이러한 경계가 프롬프트 엔지니어링이나 사용자 맥락에 의해 얼마나 쉽게 조작될 수 있는지에 대한 이해이다. 구체적으로, LLM이 인간의 경제적 벤치마크와 비교 및 정량화할 수 있는 일관된 잠재적 선호도를 나타낼 수 있는지, 그리고 이러한 선호도가 단순한 프롬프트 변형에 의해 체계적으로 변화될 수 있는지 여부는 여전히 불분명하다.

방법론

본 연구는 잠재적 선호를 추론하기 위해 이산 선택 모델(discrete choice modeling)에 기반한 경제학적 프레임워크를 채택한다. 방법론은 다음 단계로 진행된다:

1. 딜레마 생성: 저자들은 호텔 객실 선택에 관한 Masiero 등(2015)의 선행 연구를 바탕으로 240개의 선택 딜레마를 구성하였다. 각 딜레마는 전망(View), 층수(Floor), 호텔 클럽 이용 권한(Access to Hotel Club), 무료 미니바(Free Mini Bar), 고객 스마트폰(Guest Smartphone), 취소 정책(Cancellation Policy), 1박당 가격(Price per night)이라는 7가지 속성으로 정의된 두 가지 대안(A와 B)을 제시한다.
2. 실험 설계: 본 연구는 세 가지 최첨단 LLM인 Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro를 평가한다. 작은 규모의 모델들은 낮은 설명력과 체계적인 편향으로 인해 제외되었다. 실험은 확률적 노이즈를 최소화하기 위해 온도를 0으로 설정하여 수행되었으나, 강건성 검사(robustness checks)는 0.7에서도 수행되었다.
3. 프롬프팅 전략: 저자들은 가설 2(맥락 기반 변화)를 평가하기 위해 네 가지 뚜렷한 프롬프트 구성을 테스트하였다:
   • 베이스라인(Baseline): 사용자 정보가 제공되지 않음.
   • 인컨텍스트 학습(In-Context Learning, ICL): 과거 사용자의 선택 사례(예: 지속적으로 저렴하거나 비싼 옵션을 선택하는 경우)를 제공함.
   • 페르소나 프롬프팅(Persona Prompting): 특정 사용자 프로필을 할당함(예: 예산에 민감한 학생 vs. 회사 비용을 지불하는 비즈니스 여행객).
   • 결합형(Combined): 페르소나와 ICL 사례를 결합함.
4. 데이터 모델링: 시뮬레이션된 선택은 다항 로짓 모델(multinomial logit models)을 사용하여 분석되었다. 효용 함수는 $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$로 정의되었다. 추정된 계수($\beta$)로부터 저자들은 다음 공식을 사용하여 각 속성에 대한 지불 용의(WTP) 값을 도출하였다: $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$.
5. 강건성 분석: 본 연구에는 순서 편향(대안 A와 B를 교체), 프롬프트 패러프레이징, 통화 변환(HKD vs. USD), 온도 변화에 대한 광범위한 검사가 포함되었다.

주요 기여

본 논문은 AI 선호도 도출에 관한 문헌에 네 가지 주요 기여를 한다:

• LLM 선호도의 정량화: 본 연구는 더 큰 규모의 LLM에 대해 의미 있고 경제적으로 해석 가능한 WTP 추정치를 도출할 수 있음을 입증하며, 이는 표준 정확도 지표를 넘어 모델의 결정 경향에 대한 구조화된 관점을 제공한다.
• 맥락적 민감성: LLM의 결정 행동이 매우 가변적임을 실증적으로 보여준다. 사용자 특정 맥락(과거 선택 또는 페르소나)의 포함은 WTP 값을 체계적이고 방향성 있게 변화시키며, 종종 이를 크게 증폭시킨다.
• 프롬프트 취약성: WTP 값은 프롬프트 길이, 속성 프레이밍(긍정적 vs. 중립적), 제시 순서, 통화와 같은 표현 방식의 변화에 민감하다는 점을 강조한다.
• 붕괴 사례 식별: 저자들은 WTP 추정이 실패하는 특정 시나리오를 식별하였다. 여기에는 모델이 극단적인 순서 편향을 보이거나, 엄격한 규칙 기반 결정 경계를 따르거나(트레이드오프를 무시함), 양(+)의 가격 계수로 인해 음(-)의 WTP를 생성하는 경우가 포함된다.

주요 결과

구조적 선호의 출현 (가설 1)

더 큰 모델들(Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro)은 일반적으로 높은 pseudo-$R^2$ 값을 가진 해석 가능한 WTP 추정치를 나타내며, 이는 그들의 선택이 표준 이산 선택 모델에 의해 합리화될 수 있음을 의미한다. 그러나 인간의 벤치마크(Masiero et al., 2015)와 비교했을 때 체계적인 편차가 관찰되었다:

• 저평가: 모델들은 일반적으로 "전망(View)" 및 "층수(Floor)" 속성에 대해 인간 참가자보다 낮은 WTP를 할당했다.
• 고평가: 모델들은 "호텔 클럽 이용 권한(Access to Hotel Club)"을 일관되게 고평가하였으며, 그 추정치는 인간의 벤치마크보다 2배에서 4배 높았다.
• 모델 간 차이: GPT-4o와 Gemini-3.1-Pro는 Llama 3.3 70B보다 일반적으로 더 높은 설명력($R^2$)을 보였으나, 모든 모델에서 어느 정도의 순서 편향이 나타났다.

맥락 기반 가치 변화 (가설 2)

사용자 맥락을 제공하는 것은 WTP 추정치를 유의미하게 변화시켰다:

• 상향 이동: "비싼" 선호도(고비용 선택의 ICL 사례 또는 "비즈니스" 페르소나)를 조건으로 할 경우 WTP가 급격히 증가했다. 예를 들어, 세 개의 비싼 사례를 추가하면 "클럽 이용 권한"에 대한 WTP는 베이스라인 대비 Llama는 6.4배, GPT-4o는 8.5배, Gemini는 10.07배 증가했다.
• 하향 이동: "저렴한" 선호도(학생 페르소나 또는 저렴한 사례)를 조건으로 하면 일반적으로 WTP가 낮아졌다. 극단적인 경우, Gemini-3.1-Pro는 학생 페르소나를 적용했을 때 다른 기능에 관계없이 가장 낮은 가격의 객실을 선택하는 단일 속성 결정 규칙으로 붕괴되어 WTP 추정이 불가능해졌다.
• 상호작용 효과: 페르소나와 ICL 사례를 결합하면 이러한 효과가 증폭되어, 비즈니스 페르소나에 대해서는 더 극단적인 가치 평가를, Llama 3.3 70B의 학생 페르소나에 대해서는 (이동은 있었지만) 더 현실적인 가치 평가를 유도했다.

프롬프트 의존적 변화 (가설 3)

본 연구는 WTP 값이 프롬프트 변형에 따라 안정적이지 않음을 확인하였다:

• 프레이밍 민감도: "클럽 이용 권한"의 설명을 단축하면 WTP가 약 50% 감소한 반면, "전망"에 대한 설명을 확장하면 모델에 따라 WTP가 2배에서 4배까지 증가했다.
• 순서 편향: 작은 모델에 비해 큰 모델에서는 감소했으나, 대안 특이 상수(alternative-specific constants)가 통계적으로 유의미하게 남아 있어 순서 편향이 지속됨을 보였다.
• 통화 및 온도: 모델들은 통화 변경(USD vs. HKD)과 온도 변화(0 vs. 0.7)에 대해서는 상대적으로 강건한 모습을 보였으나, Llama 3.3 70B는 Gemini-3.1-Pro보다 더 큰 변동성을 보였다.

의의 및 실무적 시사점

본 논문은 더 큰 LLM이 주관적 의사결정을 위한 해석 가능한 WTP 값을 생성할 수는 있지만, 안전장치 없이는 신뢰할 수 있는 자율적 선호 최적화 도구가 될 수 없다고 결론짓는다. 연구 결과의 의의는 다음과 같은 실무적 시사점에 있다:

1. 투명성 및 감사: 제안된 방법론은 LLM의 결정 행동을 감사하여, 추천이 속성 선호도에 의한 것인지 아니면 순서 편향과 같은 휴리스틱에 의한 것인지를 밝혀내는 도구를 제공한다.
2. 모델 선택: 실무자들은 순서 편향과 낮은 설명력에 취약한 작은 모델을 주관적 의사 결정 지원에 사용하는 것을 피해야 한다. 더 큰 모델이라 할지라도 세심한 모니터링이 필요하다.
3. 맥락 관리: 사용자 정보(페르소나 또는 이력)의 추가는 극단적인 가치 평가 행동을 유발하여 인간의 규범에서 크게 벗어나게 만들 수 있으므로 매우 주의 깊게 다뤄져야 한다.
4. 프레이밍 취약성: 긍정적 프레이밍에 대한 민감도는 LLM 기반 어시스턴트가 특정 기능을 과대평가하도록 공급자에 의해 조작될 수 있음을 시사한다. 시스템은 이러한 프레이밍에 대해 "헤지(hedge)"되어야 한다.
5. 인간 참여(Human-in-the-Loop): 식별된 붕괴 사례(예: 음의 WTP, 엄격한 규칙 준수)를 고려할 때, 저자들은 LLM 여행 에이전트의 완전한 자율성에 반대한다. 대신, 구현 시 가드레일, 순서 무작위화, 그리고 일관성 없는 트레이드오프를 탐지하기 위한 인간의 감독이 포함되어야 한다.

본 연구는 LLM 유래 선호도가 모델 의존적이며 프롬프트 설계에 매우 민감하다는 점을 강조하며, 향후 에이전트 환경에서의 배치는 무제한적인 위임보다 강건성 검사와 인간 참여 메커니즘을 우선시해야 함을 시사한다.