Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering

이 논문은 **"개인 맞춤형 질문 답변 (Personalized QA)"**을 더 똑똑하게 만드는 새로운 방법, PR2라는 시스템을 소개합니다.

기존의 AI 는 사용자의 질문을 받으면, 사용자의 과거 기록 (프로필) 을 검색해서 답변을 만들었습니다. 하지만 이 방식은 마치 **"사용자가 "다이어트 방법을 알려줘"라고 물으면, AI 가 단순히 "운동하세요"라고만 대답하고, 그 사용자의 직업이나 병력 같은 중요한 맥락은 무시하는 것"**과 같았습니다. 표면적인 맞춤화만 했을 뿐이죠.

PR2 는 이 문제를 해결하기 위해 AI 에게 "생각하는 법 (Reasoning)"과 "검색하는 법 (Retrieval)"을 동시에 가르치는 새로운 훈련 방식을 제안합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 기존 방식 vs PR2: "일회성 비서" vs "철저한 조사관"

• 기존 방식 (일회성 비서):
  사용자의 질문을 받자마자, 과거 기록에서 관련 문서를 하나 찾아와서 답변을 작성합니다. 마치 질문을 받자마자 "아, 다이어트 관련 문서 있네?" 하고 바로 답변을 내는 비서처럼요. 하지만 사용자의 구체적인 상황 (예: "나는 무릎이 아픈데") 을 고려하지 못해 답변이 너무 일반적일 수 있습니다.

• PR2 방식 (철저한 조사관):
  PR2 는 질문을 받으면 바로 답변하지 않습니다. 대신 생각의 과정을 거칩니다.

  1. 생각: "이 사용자의 다이어트 질문을 제대로 답하려면 뭘 더 알아야 하지? 아, 이 사람의 직업이나 나이, 병력이 중요할 것 같아."
  2. 검색: "그럼 과거 기록에서 '직업'과 '나이'에 대해 찾아보자." (검색어 생성)
  3. 재평가: "찾아보니 이 사람은 사무직이고 무릎이 아픈군. 그럼 '달리기'보다는 '수영'을 추천해야겠다."
  4. 답변: 이렇게 검색과 생각을 반복하며 가장 적합한 답변을 만들어냅니다.

2. 훈련 방법 (GRPO): "시험지 채점"과 "비교 학습"

PR2 는 어떻게 이렇게 똑똑해졌을까요? 바로 **보상 (Reward)**을 통해 학습했기 때문입니다. 여기서 흥미로운 점은 **'비교'**입니다.

• 상황: AI 가 같은 질문을 받았을 때, 두 가지 방식으로 답변을 만들어냅니다.

  1. 개인화 버전: 사용자의 과거 기록을 검색해서 답변한 것.
  2. 일반 버전: 아무런 기록도 검색하지 않고 그냥 답변한 것.

• 학습 과정:
  AI 는 이 두 답변을 비교합니다. "어? 개인화 버전이 훨씬 더 사용자에게 도움이 되는 답변이네?"라고 판단되면, "검색을 해서 정보를 찾아낸 행동"에 점수를 높게 줍니다. 반대로, 검색을 했더니 오히려 답변이 엉망이 되었다면, "그냥 검색하지 않는 게 나았구나"라고 배웁니다.

  마치 학생이 문제를 풀 때, 참고서를 찾아서 푼 답안과 참고서 없이 푼 답안을 비교해서, "참고서를 찾아서 푼 게 더 좋은 점수를 받았으니, 앞으로는 언제 참고서를 찾아야 할지"를 스스로 학습하는 것과 같습니다.

3. 핵심 성과: "적절한 때에 적절한 정보"를 찾는 법

이 연구의 가장 큰 성과는 AI 가 **"언제 검색해야 하고, 언제 검색하지 말아야 할지"**를 스스로 배웠다는 점입니다.

• 과거의 문제: AI 는 무조건 검색을 하거나, 반대로 검색을 안 해서 중요한 정보를 놓치는 경우가 많았습니다.
• PR2 의 해결: AI 는 질문의 성격에 따라 판단합니다.
  • "이 질문은 사용자의 과거 기록이 필수적이야?" → 검색 실행!
  • "이 질문은 일반적인 지식으로 충분해?" → 검색 생략!

요약하자면?

이 논문은 **"AI 가 사용자의 질문을 받을 때, 무작정 과거 기록을 뒤지는 게 아니라, '이 질문을 잘 답하려면 뭘 찾아봐야 할지'를 먼저 생각하고, 필요한 때에만 찾아서 답변을 만드는 방법"**을 개발했습니다.

이를 통해 AI 는 사용자의 취향, 건강 상태, 직업 등 개인의 상황에 딱 맞는 진짜 맞춤형 답변을 줄 수 있게 되었습니다. 마치 사용자를 잘 아는 친절한 친구가 되어, "너무 무리한 운동은 안 돼, 너 무릎 아픈 거 알잖아?"라고 말해주는 것처럼 말이죠.