Towards Personalized Deep Research: Benchmarks and Evaluations

이 논문은 개인화된 심층 연구 에이전트의 평가를 위해 250 개의 실제 사용자 - 작업 쿼리로 구성된 PDR-Bench 와 개인화 정렬, 콘텐츠 품질, 사실적 신뢰성을 측정하는 PQR 평가 프레임워크를 제안합니다.

핵심

🕵️‍♂️ 1. 문제: "모두에게 똑같은 답"을 주는 비서들

지금까지 인공지능 (AI) 연구 비서들은 복잡한 질문을 던지면, 인터넷을 뒤져서 훌륭한 보고서를 만들어냈습니다. 하지만 문제는 그 보고서가 '나'에게 맞는지를 전혀 고려하지 않았다는 점입니다.

• 비유: 가상의 '최고의 요리사'가 있다고 칩시다. 이 요리사는 누구에게나 똑같은 '프리미엄 스테이크'를 만들어냅니다.
  • 하지만 A 씨는 채식주의자이고, B 씨는 치아 건강이 안 좋아서 부드러운 음식을 원하며, C 씨는 예산이 부족합니다.
  • 요리사가 이들을 구분하지 않고 모두에게 똑같은 스테이크를 준다면? A 씨는 먹을 수 없고, B 씨는 씹기 힘들고, C 씨는 너무 비싸서 못 먹습니다.
  • 기존 AI 평가들은 "요리사가 스테이크를 잘 만들었나 (맛과 재료)"만 보았지, **"이 요리가 이 손님에게 맞았나?"**는 보지 못했습니다.

🎯 2. 해결책: 'PDR-Bench'라는 새로운 시험장

저자들은 이 문제를 해결하기 위해 **PDR-Bench (개인화된 딥 리서치 벤치마크)**라는 새로운 시험장을 만들었습니다.

• 구성:

  • 50 가지 다양한 미션: 교육, 여행, 건강, 금융 등 일상생활의 중요한 10 가지 분야에 대한 복잡한 연구 과제들.
  • 25 명의 진짜 '손님' (유저 프로필): 단순히 "20 대 남성" 같은 막연한 정보가 아니라, 실제 사람들의 취향, 가족 상황, 과거 대화 기록, 습관까지 포함된 살아있는 프로필 25 명.
  • 결과: 50 개의 미션 × 25 명의 손님 = **250 개의 '나만의 연구 과제'**를 만들어냈습니다.

• 비유: 이제 요리사 (AI) 에게 "스테이크를 만들어줘"라고만 하지 않습니다.

  • "채식주의자인 A 씨를 위해 채식 스테이크를 만들어줘."
  • "치아가 약한 B 씨를 위해 부드러운 스튜를 만들어줘."
  • "예산이 적은 C 씨를 위해 가성비 좋은 메뉴를 만들어줘."
  • 이렇게 각자의 상황에 딱 맞는 요리를 만들어내는지를 테스트하는 것입니다.

📊 3. 평가 기준: PQR 프레임워크

이제 AI 가 만든 보고서가 좋은지 판단할 때, 세 가지 기준 (PQR) 을 동시에 봅니다.

1. P (Personalization Alignment) - 맞춤 적합도:
   • "이 보고서가 나를 위해 만들어졌는가?"
   • 비유: 채식주의자에게 고기 요리가 나왔다면 점수 0 점. 예산을 고려하지 않은 비싼 여행지를 추천했다면 점수 낮음.
2. Q (Content Quality) - 내용 품질:
   • "내용이 논리적이고 깊이 있는가?"
   • 비유: 요리가 맛없거나, 재료가 신선하지 않다면 점수 낮음. (누군가를 위한 것이든, 기본 실력은 갖춰야 합니다.)
3. R (Factual Reliability) - 사실 신뢰도:
   • "정보는 사실인가? 출처는 확실한가?"
   • 비유: 요리사에게 "소고기"라고 했는데 사실은 "인조고기"였다면 점수 0 점. 거짓말을 하지 않았는지 확인합니다.

🔬 4. 실험 결과: 무엇을 발견했나?

저자들은 다양한 AI 비서들을 이 시험장에 투입해 봤습니다.

• 오픈소스 에이전트 (OAgents 등): **맞춤형 능력 (P)**이 가장 뛰어났습니다. 사용자의 성향을 잘 파악해서 맞춤형 요리를 해냅니다. 하지만 **사실 확인 (R)**이 약해, 가끔 잘못된 정보를 섞어 말하기도 했습니다.
• 상용 AI (Gemini, O3 등): **사실 확인 (R)**과 **기본 품질 (Q)**이 매우 안정적입니다. 하지만 **맞춤형 능력 (P)**은 오픈소스 에이전트보다 조금 떨어졌습니다. "누군가에게 맞는 요리"보다는 "누구나 먹을 수 있는 안전한 요리"를 만드는 데 강점이 있습니다.
• 검색 기능만 있는 일반 AI: 전문적인 연구 비서들에 비해 맞춤형 능력이 현저히 떨어졌습니다. 검색만 한다고 해서 내 상황에 맞는 답이 나오지는 않는다는 뜻입니다.

💡 5. 핵심 교훈: "명확한 프로필"이 중요해

실험 중 흥미로운 발견이 하나 있었습니다.

• AI 에게 "이 사람은 채식주의자이고, 예산이 적다"라고 명확히 알려주면 (Explicit Persona): 아주 잘 맞춥니다.
• 하지만 "이 사람의 과거 대화 기록만 보여주고, 직접 말해주지 않으면 (Context)": AI 는 그걸 잘 분석하지 못해, 맞춤형 요리를 못 만듭니다.

비유: 요리사에게 "손님이 채식주의자야"라고 직접 말해주면 바로 채식 요리를 하지만, "손님이 어제 채소 샐러드 사진을 올렸고, 고기 메뉴를 안 봤어"라는 기록만 보여주고는 "아, 채식주의자구나!"라고 바로 알아차리기 어렵다는 뜻입니다.

🚀 결론

이 논문은 **"진짜 똑똑한 AI 비서"**를 만들기 위해서는 단순히 정보를 많이 찾는 것뿐만 아니라, 사용자의 개인적인 상황과 성향을 깊이 이해하고 그에 맞춰 답변을 바꿔야 한다는 것을 증명했습니다.

앞으로 우리가 사용할 AI 비서들은 이제 "누구나 쓸 수 있는 일반 보고서"를 주는 것을 넘어, **"내 인생에 딱 맞는 맞춤형 솔루션"**을 주는 방향으로 발전해야 한다는 신호를 보낸 것입니다.

기술 요약

1. 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 을 기반으로 한 **딥 리서치 에이전트 (Deep Research Agents, DRAs)**는 복잡한 조사를 수행하고 포괄적인 보고서를 생성하는 능력을 보여주며 실용성이 입증되었습니다. 그러나 현재 DRAs 의 성능을 평가하는 기존 벤치마크들은 다음과 같은 한계를 가지고 있습니다.

• 개인화 (Personalization) 의 부재: 대부분의 평가는 폐쇄형 (close-ended) 질문 답변이나 사실적 정확성에만 초점을 맞추고 있으며, 사용자의 고유한 필요, 선호도, 배경 지식, 예산 등을 반영한 개인화된 시나리오를 고려하지 않습니다.
• 기존 벤치마크의 한계:
  • GAIA, BrowseComp 등 기존 딥 리서치 벤치마크는 사실적 정확성과 포괄성만 평가할 뿐, 사용자별 적응 능력을 측정하지 못합니다.
  • LaMP, PersonaGym 등 개인화 벤치마크는 대화나 추천과 같은 좁은 도메인에 국한되어 있으며, 복잡한 딥 리서치 과제를 다루지 못합니다.
• 핵심 문제: 진정한 AI 연구 조수 (Research Assistant) 를 개발하기 위해서는 에이전트가 단순한 정보 수집을 넘어, 특정 사용자의 프로필에 맞춰 검색, 추론, 보고서를 맞춤화할 수 있어야 하지만, 이를 체계적으로 평가할 수 있는 표준이 부재했습니다.

2. 방법론 (Methodology)

이 논문은 개인화된 딥 리서치를 평가하기 위한 새로운 프레임워크인 PDR-Bench와 PQR 평가 체계를 제안합니다.

가. PDR-Bench (Personalized Deep Research Bench) 구축

실제와 유사한 개인화된 딥 리서치 시나리오를 모방하기 위해 다음과 같은 구성 요소를 갖는 벤치마크를 개발했습니다.

• 다양한 연구 과제 (50 개, 10 개 도메인): 교육, 커리어, 건강, 여행, 금융 등 10 개의 주요 생활 도메인에 걸쳐 50 개의 심층 연구 과제를 설계했습니다. 각 과제는 다단계 추론, 검색, 분석이 필요하도록 위원회 (전문가) 를 통해 검증되었습니다.
• 진정한 사용자 프로필 (25 개): 25 명의 자원봉사자를 대상으로 구조화된 명시적 페르소나 (연령, 성별, 직업, 가족 관계 등) 와 동적인 개인화 컨텍스트 (일상 대화 로그, 앱 상호작용 기록 등) 를 결합한 고품질 사용자 프로필을 구축했습니다.
• 개인화된 쿼리 생성 (250 개): 50 개의 과제와 25 개의 사용자 프로필을 매칭하여 총 250 개의 고유한 "사용자 - 과제" 쌍 (User-Task Pairs) 을 생성했습니다. 이는 무작위 매칭이 아닌, 사용자의 실제 필요와 과제의 관련성을 고려한 위원회 가이드 프로토콜을 통해 이루어졌습니다.

나. PQR 평가 프레임워크 (Evaluation Framework)

생성된 보고서의 가치를 종합적으로 평가하기 위해 세 가지 직교하는 차원을 측정하는 PQR 프레임워크를 제안했습니다.

1. P (Personalization Alignment, 개인화 정렬): 보고서가 사용자의 목표, 지식 수준, 선호도, 실행 가능성에 얼마나 부합하는지 평가합니다.
   • 4 가지 하위 차원: 목표 정렬 (Goal Alignment), 콘텐츠 정렬 (Content Alignment), 표현 적합성 (Presentation Fit), 실행 가능성 및 실용성 (Actionability & Practicality).
   • 동적 평가: LLM 메타 평가자가 각 사용자 - 과제 쌍에 따라 차원의 가중치와 세부 기준을 동적으로 생성하여 점수를 매깁니다.
2. Q (Content Quality, 콘텐츠 품질): 사용자 프로필과 무관하게 보고서 자체의 질을 평가합니다.
   • 3 가지 하위 차원: 깊이 및 통찰력 (Depth & Insight), 논리적 일관성 (Logical Coherence), 명확성 및 가독성 (Clarity & Readability).
3. R (Factual Reliability, 사실적 신뢰성): 보고서의 사실적 정확성과 출처 기반을 평가합니다.
   • 자동화된 검증: 주장 (Claim) 추출, Jina Reader API 를 통한 소스 콘텐츠 검색, 지원 여부 (Supported/Unsupported) 판별을 통해 **사실 정확도 (FA)**와 **인용 커버리지 (CC)**를 계산합니다.

3. 주요 기여 (Key Contributions)

1. 개인화된 딥 리서치 태스크의 공식화: 단순 정보 합성을 넘어, 사용자 페르소나에 맞춰 검색, 추론, 보고를 적응시키는 새로운 태스크를 정의했습니다.
2. 최초의 개인화 딥 리서치 벤치마크 (PDR-Bench) 공개: 250 개의 실제적인 사용자 - 과제 쌍을 포함하며, 과제의 복잡성과 페르소나 기반 적응력을 체계적으로 평가할 수 있는 표준을 제시했습니다.
3. PQR 평가 프레임워크 개발: 개인화, 품질, 사실성을 종합적으로 측정하는 새로운 방법론을 제시하여, 에이전트의 실용성을 다차원적으로 평가할 수 있게 했습니다.
4. 광범위한 실험 및 통찰: 오픈소스 에이전트, 상용 딥 리서치 시스템, 검색 도구가 탑재된 LLM 등 다양한 시스템에 대한 실험을 통해 현재 기술의 강점과 한계를 규명했습니다.

4. 실험 결과 (Results)

다양한 시스템 (상용 에이전트, 오픈소스 에이전트, 검색 도구 탑재 LLM) 을 PDR-Bench 에서 평가한 결과는 다음과 같습니다.

• 오픈소스 에이전트의 개인화 우위: OAgents와 MiroFlow 같은 오픈소스 에이전트들이 개인화 (Personalization) 측면에서 가장 높은 점수를 기록했습니다. 특히 OAgents 는 목표 정렬 (GOAL) 과 표현 적합성 (PRES) 에서 탁월한 성능을 보였습니다.
• 상용 에이전트의 균형 잡힌 성능: Gemini-2.5-Pro Deep Research와 O3 Deep Research 같은 상용 시스템은 개인화 점수는 다소 낮았으나, **사실적 신뢰성 (Reliability)**과 콘텐츠 품질에서 일관된 높은 성능을 보였습니다. 특히 인용 커버리지 (CC) 와 사실 정확도 (FA) 가 뛰어났습니다.
• 검색 도구 탑재 LLM 의 한계: 검색 기능을 추가한 일반 LLM 들은 전문 딥 리서치 에이전트보다 개인화 능력과 품질이 현저히 낮았습니다. 특히 인용 커버리지 (CC) 가 매우 낮아 (예: GPT-4.1 w/Search 는 0.10) 사실 기반 보고서 생성에 한계가 있음을 보여주었습니다.
• 정보 가용성의 영향:
  • 명시적 페르소나 (Task w/Persona) 를 제공할 때 에이전트의 개인화 성능이 가장 높았습니다.
  • 대화 컨텍스트 (Task w/Context) 만으로는 명시적 페르소나만큼의 성능을 내지 못했으며, 에이전트가 암시적 데이터에서 사용자 선호도를 완전히 추출하는 데 어려움을 겪는 것으로 나타났습니다.
• 메모리 시스템의 역할: O-Mem과 같은 고급 메모리 시스템이 컨텍스트를 명시적 페르소나로 변환하여 개인화 성능을 향상시킬 수 있음을 보였으나, 여전히 이상적인 명시적 페르소나 제공 수준에는 미치지 못했습니다.

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 의의를 가집니다.

• 평가 패러다임의 전환: 기존 사실성 중심의 평가에서 벗어나, 사용자 중심의 개인화를 딥 리서치 에이전트 평가의 핵심 지표로 도입했습니다.
• 차세대 AI 연구 조수의 기반 마련: PDR-Bench 와 PQR 프레임워크는 개인화된 AI 연구 조수를 개발하고 벤치마킹하기 위한 엄격한 기초를 제공합니다.
• 향후 연구 방향 제시: 현재 에이전트들이 암시적 컨텍스트를 명시적 선호도로 변환하는 능력 (메모리 시스템 등) 이 부족함을 지적하며, 향후 연구가 사실적 검색뿐만 아니라 고수준 추론과 사용자 모델링을 결합한 동적 메모리 시스템 개발에 집중해야 함을 시사합니다.

결론적으로, 이 논문은 AI 에이전트가 단순한 정보 검색기를 넘어 사용자의 맥락과 필요에 깊이 공감하고 맞춤형 솔루션을 제공하는 진정한 개인화된 연구 조수로 발전하기 위한 필수적인 단계인 벤치마크와 평가 체계를 정립했습니다.