1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대형 언어 모델 (LLM) 기반의 소프트웨어 에이전트가 인간의 구매, 여행, 의료 결정 등 다양한 경제 활동에서 인간을 대신하여 결정을 내리는 시대가 도래했습니다.
• 현재의 한계: 기존 에이전트 평가는 주로 '작업 수행 능력 (Task Competence)' (예: 올바른 버튼 클릭, 정보 찾기) 에 초점을 맞추고 있습니다.
• 핵심 문제: 사용자는 에이전트에게 단순히 작업을 위임할 뿐만 아니라, 환경의 구조와 맥락에 따라 합리적이고 일관된 판단을 내릴 것을 기대합니다. 그러나 최근 연구들은 LLM 에이전트가 인간의 인지적 제약 (Cognitive Constraints) 을 겪지 않음에도 불구하고, 인간의 편향을 모방하거나 오히려 더 민감하게 반응하여 '넛지 (Nudge, 선택 구조를 바꾸어 행동을 유도하는 것)'와 같은 외부 자극에 과도하게 취약함을 보여줍니다.
• 연구 목적: 에이전트가 실제 환경에서 어떻게 선택을 내리는지, 특히 가격, 평점, 심리적 넛지 등 다양한 요인에 어떻게 반응하는지를 체계적으로 분석할 수 있는 프레임워크와 벤치마크를 구축하는 것입니다.

2. 방법론 (Methodology)

2.1 ABXLAB 프레임워크

• 개념: 에이전트 행동 실험 (Agent Behavior eXperiments) 을 위한 오픈소스 'Man-in-the-Middle (MITM)' 프레임워크입니다.
• 작동 원리: 에이전트가 웹 페이지를 접근하기 직전에 실시간으로 콘텐츠를 가로채고 수정합니다. 이를 통해 에이전트가 보는 정보 (관측 공간, Observation Space) 에 가격, 평점, 텍스트 넛지 등을 제어된 방식으로 조작할 수 있습니다.
• 장점: 커스텀 실험 환경을 구축할 필요 없이 기존 웹사이트를 변형하여 통제된 행동 실험을 수행할 수 있습니다.

2.2 실험 설계 (OneStopMarket 환경)

• 환경: 온라인 쇼핑 시뮬레이션 환경인 OneStopMarket 을 사용했습니다.
• 작업: 에이전트는 두 개의 탭에 있는 제품 중 더 나은 제품을 선택하여 장바구니에 담는 2-대안 강제 선택 (2AFC) 태스크를 수행합니다.
• 제품 쌍 (Product Pairs):
  • 카테고리, 가격, 평점이 유사한 제품 쌍을 구성하여 공정한 비교를 가능하게 했습니다.
  • 조건: (1) 원본 (Original), (2) 평점 매칭 (Matched Ratings), (3) 평점 및 가격 매칭 (Matched Ratings & Prices).
• 개입 (Interventions): 다음 5 가지 유형의 넛지를 제품 제목 하단에 삽입했습니다.
  1. 권위 (Authority): "전문가 추천", "Wirecutter 최선" 등.
  2. 사회적 증거 (Social Proof): "베스트셀러", "5 만 명 이상 구매" 등.
  3. 희소성 (Scarcity): "한정판", "1 시간만 가능" 등.
  4. 부정적 프레임 (Negative Framing): "새 버전 출시", "반품 불가" 등.
  5. 인센티브 (Incentives): "무료 배송", "1 개 구매 시 1 개 무료 (BOGO)" 등.

2.3 실험 규모

• 모델: GPT-5, GPT-4o, Claude 3.5/4, Gemini 2.5, Llama 4, DeepSeek-R1 등 17 개의 최신 LLM 모델 평가.
• 데이터: 총 80,000 건 이상의 실험, 약 25 억 토큰, 40 만 건 이상의 요청 수행.
• 비교군: 30 명의 인간 참가자를 대상으로 동일한 조건에서 실험하여 인간 기준선 (Human Baseline) 을 설정했습니다.

3. 주요 기여 (Key Contributions)

1. ABXLAB 프레임워크 공개: 임의의 웹사이트를 통제된 행동 실험실로 변환하는 오픈소스 MITM 프레임워크를 공개했습니다.
2. 대규모 벤치마크: 17 개 모델, 다양한 개입 (넛지), 제품 선택 세트에 걸친 확장 가능한 벤치마크를 구축했습니다.
3. 인과적 분석: 에이전트 결정에 영향을 미치는 요인 (가격, 평점, 넛지) 을 체계적으로 조작하여 인과 관계를 규명했습니다.
4. 새로운 발견: LLM 에이전트가 인간의 인지적 제약이 없음에도 불구하고 인간보다 훨씬 강력하고 체계적인 편향을 보이며, 넛지에 대해 극도로 민감하게 반응한다는 증거를 제시했습니다.

4. 주요 결과 (Results)

4.1 인간 vs 에이전트 민감도 비교

• 인간: 가격, 평점, 순서, 넛지에 대해 modest(소박한) 인 반응을 보였습니다 (예: 넛지 효과 약 9.9pp, 평점 효과 5pp).
• 에이전트: 동일한 자극에 대해 인간보다 3 배에서 10 배 이상 큰 반응을 보였습니다.
  • 일부 모델은 특정 넛지나 조건에 대해 90pp 이상의 선택 확률 변화를 보였으며, 이는 거의 결정론적 (deterministic) 인 선택에 가깝습니다.

4.2 구체적 편향 패턴

• 평점 (Ratings): 17 개 모델 중 14 개가 높은 평점에 대해 30~80pp 의 선택 확률 증가를 보였습니다. 특히 o4 Mini는 81.2pp 의 편향을 보였습니다. 에이전트는 객관적 품질과 상관관계가 낮은 고객 평점을 결정적 요소로 간주하는 경향이 있습니다.
• 가격 (Prices): 평점이 매칭되지 않은 상태에서는 저렴한 제품을 선호했으나, 평점이 매칭되면 가격 민감도가 극도로 증가했습니다 (예: Llama 4 Maverick은 93.2pp). 이는 에이전트가 위계적 의사결정 규칙 (Hierarchical Decision Rules) 을 따르며, 우세한 신호 (평점) 가 사라지면 가격이 유일한 기준이 됨을 시사합니다.
• 순서 효과 (Order Effects): 제품 나열 순서에 따라 선택이 크게 달라졌습니다. 일부 모델은 첫 번째 제품을 극도로 선호하고 (+90pp), 다른 모델은 두 번째를 선호 (-35pp) 하는 등 모델 간 일관성이 부족하고 순서에 매우 취약합니다.
• 넛지 (Nudges): "베스트셀러", "Wirecutter 추천" 등의 텍스트만으로도 선택 확률이 10~60pp 변화했습니다. 특히 "Wirecutter 추천"과 "1+1 무료" 인센티브가 가장 강력한 효과를 발휘했습니다.

4.3 사용자 프로필 (User Profiles) 의 영향

• 사용자의 선호도 (예: "가격에 민감함", "평점을 중요시함") 를 명시적으로 지시하면, 에이전트는 해당 지시를 **이진 스위치 (Binary Switch)**처럼 작동하여 다른 모든 요인 (가격, 평점, 넛지) 을 무시하고 지시된 기준에 따라 결정했습니다. 이는 에이전트가 복잡한 트레이드오프보다는 단순한 규칙 기반의 의사결정을 수행함을 보여줍니다.

5. 의의 및 시사점 (Significance)

1. AI 행동 과학의 필요성: 에이전트는 인간의 '제한된 합리성 (Bounded Rationality)'과 같은 인지적 제약이 없음에도 불구하고 인간과 유사한 편향을 보입니다. 이는 편향이 인지적 한계 때문이 아니라, 학습 데이터, 보상 신호, 모델 아키텍처에 기인함을 시사합니다.
2. 리스크와 기회:
   • 리스크: 에이전트 소비자는 인간의 편향을 계승하고 증폭시킬 수 있으며, 마케팅 넛지나 조작된 정보에 의해 쉽게 조작될 수 있습니다.
   • 기회: 소비자 선택 실험은 AI 에이전트의 행동 과학을 연구할 수 있는 강력한 테스트베드가 될 수 있습니다.
3. 규제 및 설계의 함의: 인간을 대상으로 한 기존 넛지 연구의 결과 (소폭의 효과) 는 에이전트에게 적용할 때 과소평가될 수 있습니다. 에이전트 기반 시스템을 설계하고 규제할 때는 이러한 극단적이고 예측 가능한 취약성을 고려해야 합니다.
4. 지속 가능한 연구: ABXLAB 은 에이전트 의사결정을 엄격하고 확장 가능하게 평가할 수 있는 기반을 제공하며, 인간과 에이전트 행동을 비교 연구하기 위한 표준으로 자리 잡을 것으로 기대됩니다.

이 논문은 AI 에이전트가 단순히 작업을 수행하는 도구를 넘어, 복잡한 환경에서 어떻게 '선택'하는지에 대한 심층적인 이해가 필요함을 강조하며, 이를 위한 체계적인 연구 방법론을 제시했습니다.