🤖 machine learning

Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation

이 논문은 사용 가능한 정답 데이터에 의존하지 않고도 추천 정확도와 상호작용 효율성을 향상시키기 위해, 엔트로피 감소를 보상 신호로 사용하여 대규모 언어 모델이 전략적으로 질문을 던지도록 미세 조정하는 새로운 대화형 추천 시스템 학습 방법을 제안한다.

원저자: Cedar Site Bai, Duanshun Li, Zhenyu Liao, Sheikh Sarwar, Huiyuan Chen, Yuan Chen, Changhe Yuan, Haiyang Zhang, Qilin Qi

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cedar Site Bai, Duanshun Li, Zhenyu Liao, Sheikh Sarwar, Huiyuan Chen, Yuan Chen, Changhe Yuan, Haiyang Zhang, Qilin Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

영화에 대해 모든 것을 알지만 당신을 한 번도 만난 적 없는 친구와 마주 앉아 있다고 상상해 보십시오. 그들은 자신의 취향을 먼저 나열하거나, 당신이 내뱉은 단 한 마디를 바탕으로 당신의 취향을 추측할 수도 있습니다. 만약 그들의 추측이 틀린다면, 대화는 중단될 것입니다. 이것이 현대 인공지능이 개인 맞춤형 가이드 역할을 수행할 때 직면하는 핵심적인 과제입니다. 대화형 추천(conversational recommendation) 분야의 목표는 사용자가 원하는 것을 정확히 말할 때까지 기다리는 것이 아니라, 숨겨진 선호도를 찾아내기 위해 주고받는 대화를 나누는 시스템을 구축하는 것입니다. 시스템은 수백만 개의 가능성을 몇 개의 완벽한 선택지로 좁히기 위해 적절한 시점에 적절한 질문을 던져야 합니다. 어려움은 어떤 질문이 단순히 공손하지만 쓸모없는 잡담으로 대화를 채우는 것이 아니라, 실제로 컴퓨터에게 새로운 것을 가르쳐 줄 것인지를 아는 데 있습니다.

아마존의 연구진은 인공지능에게 자신의 혼란(confusion)을 측정하는 법을 가르침으로써 이 문제를 해결하고자 했습니다. 그들의 연구에서, 연구진은 컴퓨터가 무엇을 추천해야 할지 확신하지 못할 때 그 제안들이 흩어져 있고 일관성이 없다는 점을 관찰했습니다. 만약 당신이 대화 초기에 특정 사용자에게 가장 좋은 영화 목록을 뽑아달라고 요청한다면, 컴퓨터는 터무리한 추측을 할 수도 있습니다. 하지만 사용자가 "SF는 좋아하지만 호러는 싫어한다"거나 "특정 배우의 연기가 좋았다"는 등의 세부 사항을 공유함에 따라, 컴퓨터의 추측은 더욱 집중되고 일관되게 변합니다. 연구진은 이러한 흩어진 추측에서 집중된 추측으로의 변화가 측정 가능한 학습의 신호라는 점을 깨달았습니다. 그들은 이러한 혼란의 감소를 하나의 '보상'으로 취급하기로 했으며, 이는 인공지능이 유용한 정보를 성공적으로 수집했음을 알려주는 방법이 됩니다.

이 아이디어를 테스트하기 위해, 연구진은 인공지능이 발견의 게임을 수행하는 시스템을 만들었습니다. 그들은 사용자의 선호도를 알 수 없는 상태에서 대화를 시작했습니다. 컴퓨터는 그 순간 자신이 알고 있는 정보를 바탕으로 영화 추천 목록을 생성합니다. 그다음, 컴퓨터에게 동일한 목록을 여러 번 생성하게 하여 제안들이 얼마나 다양하게 나타나는지 확인했습니다. 만약 제안들이 사방에 널려 있다면, 컴퓨터는 매우 불확실한 상태였습니다. 다음으로, 연구진은 사용자가 컴퓨터의 질문에 답하며 선호도를 드러내는 상황을 시뮬레이션했습니다. 컴퓨터는 이 새로운 정보를 바탕으로 새로운 추천 목록을 생성했습니다. 연구진은 제안의 다양성이 얼마나 감소했는지를 측정했습니다. 다양성의 큰 폭의 감소는 컴퓨터가 가치 있는 것을 배웠음을 의미했고, 작은 감소는 질문이 도움이 되지 않았음을 의미했습니다. 그들은 이 혼란의 감소 측정치를 점수로 사용하여 인공지 intelligence를 훈련시켰으며, 더 명확하고 자신감 있는 추천으로 이어지는 질문을 던질 때 보상을 주었습니다.

연구진은 이 접근 방식을 영화에 관한 인간이 작성한 두 개의 대규모 대화 모음집을 통해 테스트했습니다. 그들은 이 새로운 방법이 인간 심판이 대화가 얼마나 '상호작용적인지'를 결정하거나 정답을 직접 맞히려고 시도하는 다른 방식들과 어떻게 다른지 비교했습니다. 시뮬레이션 결과, 혼란 감소 점수로 훈련된 인공지능은 훨씬 더 효율적이라는 것이 밝혀졌습니다. 이 시스템은 시뮬레이션된 사용자가 수용할 만한 추천에 도달하기 위해 더 적은 대화 턴(turn)을 필요로 했습니다. 예를 들어, 한 테스트 세트에서 이 새로운 방법을 사용한 시스템은 약 3번의 턴 만에 성공적인 추천에 도달한 반면, 다른 방법들은 종종 더 오래 걸리거나 좋은 매칭을 찾는 데 실패했습니다. 이 시스템은 단순히 더 많은 질문을 던진 것이 아니라, 해결책을 향해 대화를 이끄는 더 나은 질문을 던졌습니다.

이 연구의 가장 중요한 측면 중 하나는 연구진이 사전에 '정답'을 알 필요가 없다는 점입니다. 현실 세계의 많은 상황에서는 사용자가 비밀리에 기다리고 있는 완벽한 영화라는 것이 존재하지 않습니다. 선호도는 유동적이고 주관적이기 때문입니다. 전통적인 방식은 컴퓨터의 추측을 알려진 정답(ground truth)과 비교하는 데 의존하기 때문에 여기서 어려움을 겪는 경우가 많습니다. 그러나 이 새로운 접근 방식은 컴퓨터 자체의 내부 상태를 측정함으로써 작동합니다. 만약 사용자의 응답 후에 컴퓨터가 더 확신을 갖게 된다면, 최종 추천이 완벽한지 여부와 상관없이 컴퓨터는 자신이 진전을 이루었다는 것을 알게 됩니다. 이는 이상적인 답이 종종 알려지지 않은 실제 응 applications에 이 방법이 실용적임을 보여줍니다.

또한 이 연구는 현재 이러한 시스템을 평가하는 방식의 한계를 강조합니다. 기존의 많은 방식은 대화가 얼마나 '매력적'으로 들리는지, 혹은 예/아니오 질문과 같은 엄격한 형식을 따르는지 여부로 대화를 판단합니다. 연구진은 대화가 매우 상호작용적이고 친근하게 들릴 수는 있지만, 사용자가 실제로 무엇을 원하는지에 대해서는 거의 아무것도 드러내지 않을 수 있다는 점을 발견했습니다. 연구진의 방법은 정보 획득(information gain)의 감소에 초점을 맞춤으로써, 인간이나 다른 컴퓨터가 대화의 품질을 판단해야 할 필요성을 우회합니다. 대신, 시스템은 정보 획득을 직접적으로 가치 있게 여기도록 학습합니다. 결과에 따르면, 인공지능이 이 정보 획득을 우선시하도록 훈련되었을 때, 시스템은 더 전략적인 파트너가 되어 낭비되는 말 없이 대화를 유용한 결론으로 이끌었습니다.

결국, 이 연구는 기계가 우리와 대화하는 법을 배우는 방식에 대한 새로운 시각을 제공합니다. 이는 최고의 대화가 반드시 가장 길거나 가장 재미있는 대화가 아니라, 기계가 알고 있는 것과 사용자가 원하는 것 사이의 간극을 가장 효과적으로 좁히는 대화라는 점을 시사합니다. 인공지능에게 새로운 것을 배웠을 때를 인식하도록 가르침으로써, 연구진은 단순히 반응하는 것을 넘어 진정으로 통찰력 있는 시스템으로 나아가는 길을 열었습니다. 이 작업은 적절한 피드백 루프가 있다면, 기계가 중요한 질문을 던지는 법을 배울 수 있으며, 단순한 언어 교환을 강력한 발견의 도구로 바꿀 수 있음을 입증합니다.

기술 요약: 확실히 하기 위해 질문하기 (Ask to Be Sure)

문제 정의

대화형 추천 시스템(Conversational Recommender Systems, CRS)은 추천을 일회성 예측 작업에서 상호작용적인 선호도 발견 과정으로 전환하는 것을 목표로 한다. 거대 언어 모델(LLM)은 자연스러운 대화와 추천 정확도 측면에서 강력한 능력을 입증했지만, 핵심적인 과제는 여전히 남아 있다: 어떻게 다회차 상호작용을 유도하여 효과적으로 사용자의 선호도를 이끌어낼 것인가?

기존 방식들은 다음과 같은 구체적인 한계에 직면해 있다:

분리된 RL 에이전트: 많은 방법론이 언제 질문하거나 추천할지를 결정하기 위해 별도의 강화 학습(RL) 에이전트를 훈련시키며, 이는 상호작용을 경직된 형식(예: 객관식, 예/아니오)으로 제한하고 대화 생성과 추천 로직을 분리시킨다.
LLM-Judge 보상: CollabLLM과 같은 다른 접근 방식은 LLM-판사(LLM-judge)를 사용하여 상호작용성을 최적화한다. 그러나 이러한 방법들은 사용자 선호도에 관해 실제로 유용한 정보가 얼마나 획득되었는지를 측정하지 못한다. 상호작용이 외견상으로는 주도적으로 보일지라도, 사용자가 실제로 무엇을 원하는지에 대해서는 거의 드러내지 못할 수 있다.
정답 의존성: 많은 최적화 전략은 정답 추천(예: 특정 영화를 클릭했는지 여부)에 의존하는데, 이는 실제 배포 시나리오에서는 흔히 불가능한 데이터이다.

본 논문은 정답 레이블에 의존하지 않고, 어시스턴트의 불확실성을 줄이기 위해 전략적으로 사용자의 선호도를 요청하는 상호작용을 설계하는 데 집중한다.

방법론

저자들은 고정된 프롬프트를 반복적으로 샘플링하여 얻은 추천 리스트를 기반으로, 어시스턴트의 상호작용 효율성을 추천 불확실성 감소를 통해 정량화하는 프레임워크를 제안한다.

1. 불확실성 측정

시스템은 대화 이력 $C$ 가 주어진 상태에서 샘플링된 추천 리스트들 사이의 엔트로피를 통해 불확실성을 정의한다.

샘플링: 주어진 대화 상태에 대해, 어시스턴트는 $n$ 개의 상위- $m$ 추천 리스트를 생성한다.
분포 추정: 이 리스트들 사이에서 각 아이템의 경험적 빈도를 계산하여 추천 분포 $p(r)$ 을 형성한다.
엔트로피 계산: 엔트로피 $H(C)$ 를 계산한다. 순위 위치를 고려하기 위해, 리스트 내 순위에 따라 로그 감소 가중치( $w_j = 1/\log_2(j+1)$ )를 적용하는 가중 엔트로피 $H_w(C)$ 를 사용한다.

2. 정보 획득으로서의 보상

핵심 혁신은 엔트로피 감소를 보상 신호로 사용하는 것이다.

턴 단위 감소 ( $I_T$ ): 단일 어시스턴트 턴( $A_1$ )과 그에 따른 사용자 응답( $U_2$ ) 이후의 엔트로피 감소를 측정한다.
$I_T(A_1) = H_w(C_1) - H_w(C_2)$
대화 단위 감소 ( $I_C$ ): 초기 턴에 기인한, 대화 시작부터 최종 상태까지의 총 엔트로피 감소를 측정한다.
$I_C(A_1) = H_w(C_1) - H_w(C)$

이 엔트로피 감소는 LLM 미세 조정을 위한 보상 역할을 한다. 결정적으로, 이 지표는 정답 추천을 필요로 하지 않으므로, 정답 레이블이 없는 실제 환경에서도 적용 가능하다.

3. 미세 조정 전략

제안된 엔트로피 감소 점수는 두 가지 표준 최적화 패러다임에 통합된다:

지도 미세 조정 (SFT): 생성된 데이터 중 높은 엔트로피 감소 점수를 가진 예시를 선택하여 훈련한다.
직접 선호도 최적화 (DPO): 더 높은 엔트로피 감소(즉, 더 큰 정보 획득)를 이끌어낸 어시스턴트 응답이 다른 대안보다 선호되도록 선호도 쌍을 구성한다.

주요 기여

불확실성 감소 보상: 일반적인 상호작용성이 아닌 정보 획득(불확실성 감소)을 명시적으로 최적화함으로써 대화 전략과 추천 정확도를 개선하는 보상 메커니즘을 도입했다.
정답 독립성: 정답 추천(예: 클릭 데이터)이 없는 시나리오에서도 대화형 추천기를 훈련할 수 있는 실용적인 솔루션을 제공한다.
데이터셋: DPO 미세 조정을 위해 엔트로피 감소 보상이 레이블링된 INSPIRED 및 ReDial 기반의 두 가지 턴 단위 완성 쌍 데이터셋을 기여했다.

실험 결과

본 방법론은 Llama-3.2-1B-Instruct를 사용하여 INSPIRED 및 ReDial 데이터셋에서 평가되었다. 모델은 다음 대상들과 비교되었다:

Vanilla: 제로샷 사전 학습된 LLM.
SFT (Raw): 원시 데이터셋 대화를 통한 미세 조정 모델.
CollabLLM: 정답 적중, LLM-판사 상호작용성, 토큰 효율성을 결합한 보상을 사용하는 베이스라인.

주요 결과:

추천 품질: 엔트로피 감소 보상으로 미세 조정된 모델들(DPO (Turn Entropy) 및 SFT (Conv Entropy))이 두 데이터셋 모두에서 가장 높은 Hit@1 및 Hit@5 점수를 달성했다. 예를 들어, INSPIRED 데이터셋에서 DPO (Turn Entropy)는 Hit@1 3.32%를 기록하여 Vanilla 베이스라인(1.60%)과 CollabLLM 베이스라인(3.15%)을 모두 앞질렀다.
대화 효율성: 제안된 방법들은 정답 추천에 도달하는 데 필요한 턴 수를 유의미하게 줄였다. ReDial 데이터셋에서 DPO (Conv Entropy) 모델은 정답에 도달하는 데 평균 2.74 턴만을 필요로 했으며, 이는 Vanilla 베이스라인(2.94 턴)과 SFT (Raw)(2.85 턴)보다 적은 수치이다.
시뮬레이션 대화 적중률: 엔트로피 감소 변형 모델들은 보상 계산 단계에서 정답 레이블에 대한 접근 권한이 없음에도 불구하고, 시뮬레이션된 대화 적중률에서 CollabLLM 베이스라인을 지속적으로 능가했다.

의의 및 주장

본 논문은 상호작용 설계를 정보 획득과 정렬함으로써, LLM이 더 전략적이고 주도적이며 효율적인 대화에 참여할 수 있게 한다고 주장한다.

전략적 유도: 주관적인 LLM-판사나 경직된 템플릿에 의존하는 방식과 달리, 엔트로피 감소 보상은 모델이 어떤 유형의 질문(개방형 질문인지 혹은 구체적인 질문인지)이 데이터 기반으로 불확실성을 효과적으로 줄이는지를 학습하게 한다.
실용성: 정답 추천 없이도 CRS를 미세 조정할 수 있는 능력은 실제 환경에서 대화형 에이전트를 배포할 때 발생하는 주요 병목 현상을 해결한다.
효율성: 불확실성을 줄이는 것이 만족스러운 추천에 도달하는 턴 수를 줄인다는 결과는, "확실히 하기 위해 질문하는 것(asking to be sure)"이 자신감 있는 다회차 추천을 위한 유효한 전략임을 입증한다.

저자들은 자동화된 지표에 대한 의존, 인간 평가 대신 LLM 기반 사용자 시뮬레이터를 사용하는 점, 그리고 기본 LLM이 외부 검색 없이 후보 아이템을 명명할 수 있다는 가정 등의 한계점을 언급했다 (단, 이는 검색 기반 설정으로 확장 가능함을 시사함). 향후 연구로는 더 큰 모델으로의 확장 및 PPO와 같은 온폴리시(on-policy) RLHF 방법론에 보상을 통합하는 것이 포함된다.