1. 문제 정의 (Problem)

• Deep Research (DR) 의 한계: 최근 DR 시스템은 방대한 과학 문헌을 검색, 조직화, 종합하여 연구 질문에 답변하는 데 탁월한 성능을 보이지만, 사용자의 개별적인 배경, 연구 스타일, 선호도를 이해하지 못함으로 인해 개인화된 도움을 제공하지 못합니다.
• 평가 방법론의 부재: NLP 분야의 개인화 연구 대부분은 오프라인 벤치마크 (Synthetic Users) 와 LLM 을 평가자 (LLM Judges) 로 사용하는 방식에 의존합니다. 그러나 이러한 방식은 실제 사용자가 진정으로 가치를 두는 미묘한 오류 (nuanced errors) 를 포착하지 못하며, 시스템이 실제로 유용한지 보장하지 못합니다.

2. 방법론 (Methodology)

A. MyScholarQA (MYSQA) 시스템 개발

저자들은 연구자를 위한 첫 번째 오픈소스 개인화 DR 시스템인 **MyScholarQA (MYSQA)**를 개발했습니다. 이 시스템은 세 가지 주요 단계로 구성됩니다:

1. 프로파일 추론 (Profile Inference): 사용자가 선택한 연구 논문들을 기반으로 LLM 이 사용자의 연구 관심사, 스타일, 신념 등을 추론하여 정적 사용자 모델 (Profile) 을 생성합니다. 사용자는 이 프로파일을 편집하거나 수정할 수 있습니다.
2. 행동 제안 (Action Proposal): 사용자의 질문 (Query) 과 생성된 프로파일을 기반으로, 보고서 생성 시 적용할 수 있는 개인화된 행동 목록 (Actions) 을 제안합니다 (예: "특정 도메인 논문 위주로 검색", "초보자용 설명 생략"). 사용자는 이를 선택하거나 수정하여 커스터마이징합니다.
3. 보고서 생성 (Report Synthesis): 수정된 행동 목록을 실행하여 다중 섹션의 보고서를 생성합니다. 이때 시스템은 개인화된 내용을 강조 (Highlight) 하여 사용자가 어디에서 개인화가 적용되었는지 확인할 수 있게 합니다.

B. 평가 프레임워크

저자들은 MYSQA 의 성능을 평가하기 위해 오프라인 평가와 온라인 사용자 연구를 병행했습니다.

1. 오프라인 평가 (Synthetic Benchmark):

   • 데이터: 연구 질문과 시뮬레이션된 사용자 논문 집합으로 구성된 합성 데이터셋을 구축했습니다.
   • 지표: 인용 정확도, 행동 준수율 (Action Adherence), 개인화 행동의 일관성 등을 LLM Judges 를 통해 측정했습니다.
   • 결과: MYSQA 는 오프라인 지표에서 기존 DR 시스템 (SQA, STORM 등) 보다 우수한 성능을 보였습니다.

2. 온라인 사용자 연구 (Real User Study):

   • 참가자: 21 명의 실제 Deep Research 사용자 (CS 연구자) 를 대상으로 90 분 인터뷰를 진행했습니다.
   • 과정: 참가자들은 MYSQA 를 사용하여 프로파일을 생성하고, 질문을 던지며, 제안된 행동을 선택한 후 보고서를 평가했습니다.
   • LLM 평가자 검증: 인터뷰에서 발견된 오류들을 LLM Judges 가 예측할 수 있는지 실험했습니다.

3. 주요 기여 (Key Contributions)

1. MyScholarQA (MYSQA) 공개: 온라인 데모를 갖춘 최초의 오픈소스 개인화 DR 시스템.
2. 새로운 평가 기준: 개인화된 DR 을 평가하기 위한 합성 데이터셋과 오프라인 지표 (LLM Judges 기반) 를 제시.
3. LLM Judges 의 실패 발견: 오프라인 LLM 평가자가 실제 사용자가 발견한 9 가지 주요 개인화 오류를 전혀 예측하지 못함을 입증했습니다.
4. 설계 통찰 (Lessons): 26 명의 활성 DR 사용자를 대상으로 한 포매티브 연구와 사용성 연구를 통해 향후 개인화 시스템 설계에 필요한 4 가지 교훈을 도출했습니다.

4. 주요 결과 및 발견 (Results & Findings)

A. 오프라인 vs 온라인 평가의 괴리

• 오프라인 평가: MYSQA 는 인용 정확도, 행동 준수율 등 기존 지표에서 경쟁사보다 우월한 성능을 보였습니다.
• 온라인 평가 (실제 사용자): 사용자는 MYSQA 를 유용하게 여겼지만 (73% 만족도), 오프라인 지표로는 발견되지 않는 9 가지 심각한 오류를 발견했습니다.
  • 프로파일 오류: 사용자의 전문 분야를 잘못 파악함 (DOMAIN), 특정 논문의 내용을 전체 사용자에게 적용 가능한 것처럼 과장함 (OVERCLAIM), 일반적인 학문적 관습을 개인의 특징으로 오인함 (CONVENTION).
  • 행동 오류: 질문 의도와 너무 동떨어진 행동 제안 (OFFTOPIC), 정보 범위를 지나치게 좁게 제한함 (NARROW).
  • 보고서 오류: 내용이 너무 추상적임 (UNINFORM), 사용자가 원하는 형식 (예: 불릿 포인트) 으로 제공되지 않음 (PRESENT).
• LLM Judges 의 한계: LLM Judges 는 위와 같은 9 가지 오류에 대한 사용자 만족도를 예측할 때, 단순히 가장 빈번한 클래스 (Majority Class) 를 예측하는 베이스라인보다도 성능이 낮았습니다. 즉, LLM 은 실제 사용자가 무엇을 원하는지 알지 못합니다.

B. 설계에 대한 교훈 (Lessons for Design)

1. 사용자 통제와 노력의 균형: 사용자는 초기에 더 많은 노력 (프로파일 설정, 행동 선택) 을 투자하더라도 일관된 개인화를 원합니다. 하지만 매 질문마다 세부 사항을 다시 설명하는 것보다는, 지속적인 프로파일을 통해 행동을 선택하는 방식이 더 선호되었습니다.
2. 개인화 내용 소화 용이성: 개인화가 어떻게 적용되었는지 명확하게 보여줘야 합니다 (예: 하이라이트). 하지만 하이라이트가 너무 많으면 오히려 혼란을 줄 수 있으므로 적절한 수준이 필요합니다.
3. 논문 이상의 콘텐츠 활용: 사용자는 코드 스니펫, 수식, 표, 시각화 등 텍스트와 인용문 이상의 다양한 모달리티를 원했습니다.
4. 혼합 평가 방식의 필요성: 오프라인 지표는 기본 품질 (인용 정확도 등) 을 확인하는 데 유용하지만, 실제 사용자 경험을 파악하고 시스템을 개선하기 위해서는 반드시 실제 사용자를 통한 평가가 병행되어야 합니다.

5. 의의 및 결론 (Significance)

이 논문은 NLP 및 AI 연구 분야에서 개인화 시스템 개발의 새로운 패러다임을 제시합니다.

• 시뮬레이션의 한계 경고: LLM 이 생성한 합성 데이터나 LLM Judges 만으로는 실제 사용자의 복잡한 니즈와 미묘한 오류를 포착할 수 없음을 강력하게 주장합니다.
• 실제 사용자 중심의 평가: 개인화 기술의 진정한 진보는 "실제 사용자 (Real Users)"를 통한 평가와 피드백 루프를 통해 이루어져야 함을 강조합니다.
• 미래 방향: 오프라인 메트릭과 온라인 사용자 연구를 결합한 혼합 평가 (Mixed Evaluation) 가 향후 개인화 시스템 설계의 표준이 되어야 한다고 결론지었습니다.

요약하자면, 이 연구는 **"LLM 은 사용자가 무엇을 원하는지 모른다"**는 사실을 실증적으로 증명하고, 더 나은 개인화 AI 를 만들기 위해서는 실제 인간 사용자의 참여가 필수적임을 역설하는 중요한 논문입니다.