기술 요약: 전문가 이상의 사용자 – 에이전트는 단순히 선호도를 이끌어내는 것이 아니라 사용자가 선호도를 구축하도록 도와야 한다

1. 문제 정의

현재의 에이전트 기반 추천 시스템(예: ChatGPT Shopping Research, Amazon Rufus)과 이를 평가하는 벤치마크는 비현실적이고 결정적인 가정을 바탕으로 작동한다. 즉, 사용자가 명확한 질문을 통해 완전히 명시할 수 있는 잘 정립된 정적 선호도를 가진 전문가라는 가정이다. 실제로 비전문가 사용자는 모든 관련 속성에 대한 도메인 지식이 부족하여 선호도를 정의하는 데 어려움을 겪을 수 있다. 예를 들어, 등산화의 "러그 깊이(lug depth)"나 직물의 "비스코스 vs 리오셀(viscose vs lyocell)"과 같은 특정 속성에 대해 답변하지 못할 수 있는데, 이는 사용자가 해당 특징이 무엇을 의미하는지, 혹은 사용자 경험에 어떤 영향을 미치는지 아직 이해하지 못하기 때문이다.

본 논문은 에이전트가 명확한 질문(clarifying questions)에만 의존할 경우, 사용자가 추천 항목을 평가하는 데 필요한 선호도를 **구축(construct)**하도록 돕는 데 실패한다고 주장한다. 결과적으로, 에이전트가 이상적인 아이템을 성공적으로 찾아내더라도, 사용자의 선호 상태(preference state)가 미발달되어 있다면 사용자는 그것이 최선의 선택임을 식별하지 못할 수 있다. 이는 단순한 에이전트의 검색 능력 문제가 아니라, 인간-에이전트 시스템의 "팀(team)" 성과 측면에서의 실패로 이어진다.

2. 방법론

2.1 COPREF 모델

저자들은 선호도가 검색되는 것이 아니라 대화를 통해 구축되는 사용자-에이전트 상호작용의 공식 모델인 COPREF(Co-constructed Preferences)를 소개한다.

• 선호 상태 ($S_t$): 턴 $t$에서 사용자가 선호도를 형성한 특징 $F$의 부분 집합. 이 상태는 에이전트의 행동에 따라 불완전한 초기 상태($S_1$)로부터 진화한다.
• SEC 프레임워크: 정보 경제학(Search-Experience-Credence)에서 차용하여, 모델은 특징을 세 가지 유형으로 구분하며, 각 유형은 이를 해제하기 위해 서로 다른 에이전트 대화 액션을 요구한다.
  1. 탐색 특징 ($F_s$, Search Features): 사용자가 자신의 선호를 알고 있음 (예: 가격, 사이즈). **명확한 질문(clarifying questions)**을 통해 해제됨.
  2. 경험 특징 ($F_e$, Experience Features): 사용자가 결정을 내리기 위해 구체적인 예시를 볼 필요가 있음 (예: "이 패턴이 너무 복잡한가?"). **예시 옵션(example options)**을 통해 해제됨.
  3. 신뢰 특징 ($F_c$, Credence Features): 사용자가 특징을 이해하기 위해 도메인 지식이 필요함 (예: "요크 패널(yoke panel)이 무엇인가?"). **기술적 설명(technical explanations)**을 통해 해제됨.
• 메커니なる(Mechanism): 특징의 SEC 유형에 해당하는 특정 대화 액션을 에이전트가 수행했을 때만 해당 특징이 사용자의 선호 상태에 추가된다.

2.2 COSHOP 벤치마크

이 모델을 바탕으로 에이전트를 평가하기 위해, 저자들은 세 가지 도메인에 걸친 에이전트 기반 추천 시스템을 위한 대화형 벤치마크인 COSHOP을 도입한다.

• 데이터셋: H&M (패션), MovieLens (영화), Goodreads (도서).
• 사용자 시뮬레이션: 페르소나를 한 번만 프롬프트하는 일반적인 시뮬레이터와 달리, COSHOP은 현재의 선호 상태 $S_t$에 명시적으로 고정된 시뮬레이터(gpt-oss-120b 기반)를 사용한다. 시뮬레이터의 SEC 분할(어떤 특징이 search/experience/credence인지)은 사용자의 과거 구매/평점 데이터에 따라 개인화된다.
• 상호작용 프로토콜:
  1. 대화: 에이전트와 사용자가 최대 5턴 동안 대화한다 (예산: 질문 20개, 고유 아이템 10개 제시).
  2. 연구: 에이전트가 카탈로그를 검색한다 (예산: 250회 검색).
  3. 보고: 에이전트가 $k=5$개의 추천 목록을 생성한다.
  4. 선택: 사용자는 최종 선호 상태 $S_{T+1}$를 바탕으로 하나의 아이템을 선택한다.
• 지표:
  • 상태 완결성 (State Completeness): 회복된 사용자의 전체 선호 집합의 비율.
  • 에이전트 재현율 (Agent Recall): 타겟 아이템 $x^*$가 상위 $k$개 추천 목록에 포함되었는지 여부.
  • 팀 정확도 (Team Accuracy): 사용자가 보고서에서 $x^*$를 성공적으로 선택했는지 여부. 이는 재현율과 사용자의 선호 상태의 풍부함에 의해 제한되는 주요 지표이다.

2.3 인간 연구 검증

$n=25$명의 참가자를 대상으로 한 연구는 COPREF의 핵심 주장을 검증했다.

• 비전문가 사용자는 search, experience, credence 특징이 혼합되어 있다 (search 특징만 가진 사용자는 없었다).
• 적절한 대화 액션(경험을 위한 예시, 신뢰를 위한 설명)은 이전에 형성되지 않았던 선호도를 성공적으로 "해제(unlock)"한다.
• SEC 분류는 개인마다 다르다. 즉, 어떤 특징이 credence인지 experience인지는 보편적인 것이 아니라 사용자의 특정 도메인 지식에 달려 있다.

3. 주요 기여

1. COPREF 모델: 질문, 예시, 또는 설명을 통해 정의되어야 하는 특징들을 구분함으로써 "전문가 사용자" 가설에 도전하는 선호 구축의 공식화.
2. COSHOP 벤치마크: 단순한 검색이 아닌, 비전문가 사용자와 함께 선호도를 공동 구축하는 능력을 평가하는 오픈 소스 대화형 벤치마크. "팀 정확도"를 측정한다.
3. 경험적 분석: 다섯 가지 프런티어 언어 모델(GPT 및 Claude 제품군)을 평가하여, 현재의 에이전트들이 사용자의 지식을 효과적으로 확장하는 데 실패함을 입증.

4. 결과

다섯 가지 프런티어 모델(gpt-5.2, claude-sonnet-4.6, gpt-oss-120b 포함)을 COSHOP에서 평가한 결과 다음과 같은 사실이 밝혀졌다.

• 성능 저하: 모델들은 선호도가 사전에 완전히 지정된 경우 높은 점수(예: claude-sonne-4.6의 경우 94.3%)를 기록하지만, COSHOP에서의 **팀 정확도(Team Accuracy)**는 현저히 떨어진다 (모든 모델과 도메인 통틀어 최대 56%).
• 실패 모드:
  1. 미발달된 선호 상태: 에이전트가 경험(experience) 및 신뢰(credence) 특징을 해제하기 위한 필요한 대화 액션(예시 제공, 설명 제공)을 수행하지 못한다. 결과적으로, 타겟 아이템이 보고서에 포함되어 있더라도 사용자는 다른 방해 요소들로부터 타겟을 구별해내지 못한다.
  2. 낮은 보고 품질: 에이전트는 종종 최종 보고에서 아이템의 특징을 누락하거나 잘못 표현하여, 사용자가 옵션을 올바르게 평가하는 것을 방해한다.
• 상호작용 전략:
  • 모델들은 (종종 중복되거나 확인 위주의) 명확한 질문에 과도하게 의존하는 경 것이 특징이며, 예시나 설명을 제공하는 데는 미흡하다.
  • 어떤 모델도 신뢰(credence) 특징을 위해 선제적으로 기술적 설명을 제공하지 않았다.
  • 더 큰 모델들(예: gpt-5.2)은 연구 단계로 넘어가기 위해 대화를 조기에 종료하는 "실행 편향(execution bias)"을 보였으며, 이로 인해 과업이 미완성된 상태로 남게 되었다.
  • 작은 모델들은 대화 예산을 모두 소진하면서도 새로운 특징을 도입하지 못하고, 기존 속성을 반복하는 경향을 보였다.
• 중재(Intervention): 에이전트에게 사용자 이력을 제공하는 것은 성능 향상에 큰 도움이 되지 않았다. 그러나 에이전트의 아이템 설명을 완전한 카탈로그 데이터로 대체하는 것(완벽한 보고 품질을 시뮬레이션)은 팀 정확도를 실질적으로 향м 향상시켰다. 이는 보고 품질과 선호 상태의 개발이 주요 병목 구간임을 확인시켜 준다.

5. 의의 및 주장

본 논문은 현재의 에이전트 기반 추천 시스템의 주요 한계가 아이템을 검색하거나 추출하는 능력이 아니라, 사용자가 결정을 내리는 데 필요한 지식을 가르치는 능력에 있다고 주장한다.

• 패러다임의 전환: 저자들은 분야가 에이전트를 "선호도 추출기(preference elicitors, 정적 선호도를 찾는 도구)"에서 "선호도 구축기(preference constructors, 사용자의 지식을 능동적으로 쌓아가는 도구)"로 바라보는 관점으로 이동해야 한다고 주장한다.
• 팀 정확도: 성공 여부는 인간-에이전트 팀의 공동 역량으로 측정되어야 한다. 완벽한 아이템을 찾아냈더라도, 사용자가 그것이 왜 완벽한지를 이해하도록 돕지 못했다면 그 에이전트는 과업 수행에 실패한 것이다.
• 향후 방향: 저자들은 미래의 연구가 사용자가 도메인 지식이 부족함을 인식하고, 단순히 명확한 질문에 의존하기보다 예시와 설명을 선제적으로 배치하도록 에이전트를 훈련하는 데 집중해야 한다고 제안한다. 또한, COPREF 모델을 추천 설정을 넘어 다른 작업 지향적 도메인으로 확장할 것을 촉구한다.

저자들은 자신의 모델이 선호 구축을 단순화하고 있으며(단일 단계 해제 및 단조로운 상태 성장을 가정), 이러한 유리한 조건에서도 현재의 프런티어 모델들이 적응에 어려움을 겪고 있다는 점을 언급하며 겸허한 태도를 유지한다.