RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation

이 논문은 기존 추천 에이전트의 수동적 정보 획득 한계를 극복하고, 정보 부족을 분석하고 도구를 능동적으로 활용하여 추론 경로를 동적으로 계획하는 'RecThinker'라는 자율적 에이전트 프레임워크를 제안하며, 이를 통해 다양한 벤치마크에서 우수한 성능을 입증했습니다.

핵심

추천 시스템의 '탐정'이 되다: RecThinker 소개

이 논문은 인공지능 (AI) 이 사용자에게 물건을 추천할 때, 단순히 "이전에 본 것"만 보고 결정하는 것이 아니라, 스스로 정보를 찾아서 더 똑똑한 결정을 내리는 새로운 방법을 소개합니다. 이 시스템을 **'RecThinker(렉스ін커)'**라고 부릅니다.

이걸 이해하기 쉽게 마음속 탐정과 비밀스러운 도서관에 비유해서 설명해 드릴게요.

---

1. 기존 방식의 문제점: "눈가림한 채 추측하기"

기존의 추천 AI 들은 마치 눈가림을 하고 있는 탐정과 같습니다.

• 상황: 사용자의 과거 구매 내역 (예: "초콜릿을 좋아함") 만 보고 있습니다.
• 문제: 사용자의 현재 기분, 최근 뉴스, 혹은 비슷한 취향을 가진 다른 사람들의 의견 같은 중요한 정보가 빠져있을 때, AI 는 그냥 "아마 초콜릿을 또 원할 거야"라고 추측만 합니다.
• 결과: 정보가 부족해서 엉뚱한 것을 추천하거나, 사용자가 원하지 않는 것을 추천할 때가 많습니다.

2. RecThinker 의 등장: "스스로 정보를 찾는 탐정"

RecThinker 는 눈가림을 벗고 스스로 정보를 찾아다니는 능동적인 탐정입니다. 이 시스템은 세 가지 단계로 작동합니다.

🕵️‍♂️ 단계 1: 분석 (Analyze) - "무엇이 부족할까?"

추천을 시작하기 전에 먼저 생각합니다.

• "사용자가 초콜릿을 좋아한다는 건 알겠는데, 어떤 종류를 원할까? (다크? 우유?)"
• "최근에 다이어트 중이라면 초콜릿은 안 될 수도 있겠네."
• 핵심: 현재 가지고 있는 정보가 충분하지 않다면, 바로 추천을 하지 않고 **"정보 부족"**을 먼저 파악합니다.

🗺️ 단계 2: 계획 (Plan) - "어디서 정보를 구할까?"

정보 부족을 발견하면, AI 는 스스로 계획을 세웁니다.

• "사용자의 과거 기록을 더 자세히 봐야겠다."
• "비슷한 취향을 가진 다른 사람들의 리뷰를 찾아봐야겠다."
• "이 초콜릿의 상세 성분표를 확인해야겠다."

🛠️ 단계 3: 행동 (Act) - "도구를 꺼내서 정보 수집!"

이제 AI 는 **특수 도구 (Tool)**들을 꺼내서 정보를 수집합니다. 이 논문에서는 5 가지 종류의 도구를 만들었습니다.

1. 사용자 프로필 검색: "이 사람은 평소 어떤 걸 좋아할까?" (기본 성향 확인)
2. 사용자 기록 검색: "최근에 뭐를 샀지?" (최근 관심사 확인)
3. 상품 정보 검색: "이 초콜릿의 성분과 평점은 어때?" (상품 상세 확인)
4. 비슷한 사용자 검색: "이 사람과 취향이 비슷한 다른 사람들은 뭐를 샀지?" (주변 정보 활용)
5. 지식 그래프 검색: "초콜릿과 관련된 다른 정보 (예: 커피와의 궁합) 는 뭐가 있지?" (연관 지식 확장)

정보를 모은 뒤, 다시 분석하고 계획을 수정하며 최종적으로 가장 완벽한 추천을 해줍니다.

---

3. 어떻게 이렇게 똑똑해졌을까? (학습 과정)

이 탐정이 초보에서 베테랑이 되기 위해 두 단계의 훈련을 거쳤습니다.

1. 첫 번째 훈련 (SFT - 모범 답안 암기):

   • 좋은 추천을 한 '명탐정'들의 사례 (데이터) 를 보여주고, "이렇게 정보를 찾고 이렇게 결론 내리는 게 정답이야"라고 가르쳤습니다.
   • 이 단계에서 AI 는 올바른 사고방식과 도구 사용법을 배웁니다.

2. 두 번째 훈련 (RL - 실전 연습 및 보상):

   • 이제 AI 가 직접 문제를 풀게 합니다.
   • 정답을 맞추면 점수 (보상) 를 주고, 불필요한 질문을 많이 하면 감점을 줍니다.
   • 예를 들어, "정보를 너무 적게 찾아서 틀리면 안 되고, 너무 많이 찾아서 시간만 낭비해도 안 돼. 딱 필요한 만큼만 찾아서 정답을 맞춰야 최고 점수야!"라고 훈련시켰습니다.

---

4. 왜 이 방식이 더 좋은가요?

• 정확도 UP: 정보가 부족할 때 무작정 추천하지 않고, 필요한 정보를 먼저 찾아서 사용자의 진짜 니즈를 파악합니다.
• 유연함: 사용자의 정보가 적어도 (데이터가 희소해도), 비슷한 사람의 정보를 찾아서 추천의 정확도를 높입니다.
• 효율성: 불필요한 정보 수집을 줄여서 빠르고 정확하게 결론을 내립니다.

🎯 요약하자면

기존의 추천 AI 가 **"과거 데이터만 보고 '아마 이거겠지'라고 추측하는 수동적인 비서"**였다면, RecThinker는 **"정보 부족을 스스로 파악하고, 필요한 자료를 직접 찾아서 '이게 맞습니다'라고 확신 있게 말하는 능동적인 탐정"**입니다.

이 기술은 우리가 원하는 물건을 더 잘 찾아주고, 불필요한 광고를 줄여주어 더 만족스러운 쇼핑 경험을 만들어줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 추천 시스템 (Recommendation Systems, RS) 과 대형 언어 모델 (LLM) 기반 에이전트들은 다음과 같은 한계를 가지고 있었습니다:

• 수동적 정보 획득 패러다임: 기존 에이전트들은 미리 정의된 워크플로우에 의존하거나 제한된 정보만을 가지고 추론을 수행합니다. 이는 사용자 프로필이 파편화되거나 아이템 메타데이터가 희소할 때 정보의 충분성을 판단하지 못하게 하여, 최적이지 않은 추천으로 이어집니다.
• 정보 격차 (Information Gap) 분석 부재: 에이전트가 외부 도구와 상호작용하더라도, 필요한 정보가 부족한지 여부를 체계적으로 평가하지 않고 우발적 (opportunistic) 으로 도구를 호출하는 경우가 많습니다.
• 제한된 도구 설계: 많은 프레임워크가 단순히 후보군을 줄이는 검색/랭킹 도구에 집중하여, 심층적인 추론을 지원할 수 있는 외부 지식 (사용자 선호도, 아이템 속성, 협업 신호 등) 을 충분히 활용하지 못합니다.
• 정책 진화 부재: 대부분의 에이전트는 고정된 프롬프트나 정적 정책에 의존하여, 작업의 복잡도나 사용자 환경 변화에 따라 추론 전략을 진화시키지 못합니다.

이러한 문제점을 해결하기 위해, 정보 격차를 능동적으로 식별하고 전문화된 도구를 통해 다차원적인 증거를 수집하며, 추론 정책을 지속적으로 최적화하는 자율적 에이전트가 필요합니다.

2. 방법론 (Methodology)

저자들은 RecThinker라는 새로운 에이전트 프레임워크를 제안했습니다. 이는 추천 작업을 수동 처리가 아닌 자율적 조사 (Autonomous Investigation) 로 전환합니다.

2.1 핵심 아키텍처: Analyze-Plan-Act 워크플로우

RecThinker 는 다음과 같은 3 단계 반복 과정을 통해 작동합니다:

1. Analyze (분석): 현재 사용자 및 아이템 정보의 충분성을 평가합니다. 필요한 증거가 부족한지 (Information Gap) 를 식별합니다.
2. Plan (계획): 식별된 정보 격차를 메우기 위해 어떤 도구들을 어떤 순서로 호출할지 전략적으로 계획합니다.
3. Act (행동): 계획된 도구 호출 시퀀스를 실행하여 추가 정보를 획득하고, 이를 추론 상태에 통합하여 다음 단계로 진행합니다. 최종적으로 충분한 정보가 모이면 랭킹 작업을 수행합니다.

2.2 전문화된 도구 세트 (Specialized Toolset)

추론의 정확성을 높이기 위해 3 가지 범주의 도구를 개발했습니다:

• 사용자 측 정보 수집 (User-Side):
  • User Profile Search: 인구통계학적 정보, 장기적 선호도 등 정적 속성 검색.
  • User History Search: 최근 상호작용 기록 및 상세 메타데이터, 피드백 신호를 점진적으로 검색.
• 아이템 측 정보 수집 (Item-Side):
  • Item Info Search: 아이템의 상세 속성 및 '아이템 관계 그래프'를 통한 관련 아이템 및 카테고리 유사성 확장.
• 협업 정보 수집 (Collaborative):
  • Similar User Search: 행동 패턴이 유사한 다른 사용자들의 정보를 검색하여 희소한 데이터 환경에서의 선호도 해독 지원.
  • Knowledge Graph Search: 지식 그래프를 활용하여 2~3 홉 (hop) 경로로 연결된 고차원 협업 증거 추출.

2.3 두 단계 훈련 전략 (Two-Stage Training Strategy)

에이전트의 추론 정확도와 도구 사용 효율성을 극대화하기 위해 다음 두 단계 훈련을 적용합니다:

1. 자기 증강 감독 학습 (Self-Augmented SFT):
   • 고품질의 추론 궤적 (Trajectory) 을 생성하고 필터링 (정확도 및 포맷 준수 확인) 합니다.
   • 필터링된 고품질 궤적을 사용하여 에이전트가 추론 패턴과 도구 호출 정책을 내재화하도록 미세 조정 (SFT) 합니다.
2. 강화 학습 (Reinforcement Learning, RL):
   • GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 복잡한 시나리오에서의 탐험 능력을 향상시킵니다.
   • 보상 함수 설계:
     • 정확도 보상 (Accuracy): NDCG@10 기반.
     • 포맷 보상 (Format): 추론 및 도구 호출 형식 준수 여부.
     • 도구 활용 보상 (Tool Usage): 도구 호출 횟수에 따른 보상 (너무 적거나 너무 많은 호출에 페널티, 적정 범위에서 최대 보상).

3. 주요 기여 (Key Contributions)

1. RecThinker 프레임워크 제안: 추천 작업에서 정보 격차를 자율적으로 분석하고, 유연한 도구 호출을 통해 필요한 증거를 능동적으로 수집하는 에이전트 프레임워크를 처음 제안했습니다.
2. Analyze-Plan-Act 추론 패러다임: 정보 충분성 평가, 도구 사용 계획 수립, 추론 과정의 반복적 정제를 가능하게 하는 새로운 워크플로우를 도입했습니다.
3. 추천 특화 도구 세트 개발: 사용자 선호도 분석, 아이템 정보 보완, 협업 신호 수집을 위한 전문 도구 모음을 설계하여 심층 추론을 지원했습니다.
4. 2 단계 훈련 전략: 고품질 궤적 기반의 자기 증강 SFT 와 RL 을 결합하여 추론 정확도와 도구 사용 효율성을 동시에 최적화하는 전략을 제시했습니다.

4. 실험 결과 (Results)

Amazon CD & Vinyl 및 MovieLens-1M 데이터셋 (희소 및 밀집 버전 포함) 에서 다양한 베이스라인과 비교 실험을 수행했습니다.

• 성능 향상: RecThinker 는 모든 데이터셋에서 기존 전통적 모델, LLM 기반 모델, 에이전트 기반 모델 (AgentCF, PersonaX 등) 보다 일관되게 우수한 성능을 보였습니다. 특히 가장 강력한 베이스라인 대비 NDCG@10 에서 최대 11.79% 의 성능 향상을 기록했습니다.
• 훈련 단계의 효과: SFT 와 RL 단계를 모두 적용한 모델이 각 단계를 생략한 모델보다 성능이 월등히 높았으며, 이는 고품질 추론 패턴 학습과 복잡한 상황에서의 탐험 능력 향상이 모두 필요함을 입증했습니다.
• 보상 함수의 중요성: 정확도, 포맷, 도구 활용에 대한 보상 모두 모델 성능에 기여하며, 특히 정확도 보상이 가장 중요한 최적화 방향을 제시했습니다.
• 도구 활용 분석: 사용자 프로필 도구와 히스토리 도구가 가장 빈번하게 사용되었으며, 이를 제거했을 때 성능 저하가 가장 컸습니다. 협업 도구 (유사 사용자, 지식 그래프) 는 드물게 호출되지만 복잡한 시나리오에서 성능 향상에 기여했습니다.
• 일반화 능력: QWQ-32B(대형 모델) 뿐만 아니라 Qwen2.5-7B(중형 모델) 와 같은 다양한 백본 모델에서도 RecThinker 패러다임이 효과적으로 적용되어 경쟁력 있는 성능을 발휘했습니다.
• 시퀀스 길이 영향: 사용자 히스토리 시퀀스가 길어질수록 (더 많은 정보) RecThinker 의 성능이 향상되었으며, 특히 데이터 밀집도가 높은 환경에서 그 효과가 두드러졌습니다.

5. 의의 및 결론 (Significance)

이 논문은 추천 시스템을 단순한 데이터 매칭을 넘어 능동적인 정보 조사 및 추론 과정으로 재정의했습니다. RecThinker 는 정보의 부족을 스스로 인지하고, 전문 도구를 통해 이를 해결하며, 강화 학습을 통해 지속적으로 전략을 개선하는 자율적 에이전트의 가능성을 입증했습니다.

이는 희소 데이터 환경, 복잡한 사용자 선호도, 동적인 정보 요구가 존재하는 현대 추천 시스템의 핵심 과제를 해결할 수 있는 강력한 프레임워크를 제공하며, LLM 기반 에이전트가 실제 추천 업무에서 어떻게 효과적으로 작동할 수 있는지에 대한 새로운 방향성을 제시합니다.