DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

이 논문은 LLM 기반 심층 연구 에이전트가 생성한 전문가 수준의 보고서를 평가하기 위해 전문가가 개발한 7 차원 25 하위 차원의 세분화된 평가 체계와 주장 검증 아키텍처를 포함한 'DEER'라는 새로운 벤치마크를 제안하고, 현재 시스템이 구조적 완성도는 갖췄지만 전문가 요구 충족과 논리적 완결성 측면에서 개선의 여지가 있음을 밝혔습니다.

핵심

🦌 DEER: AI 연구 보고서의 '엄격한 심사위원'을 소개합니다

안녕하세요! 최근 AI(인공지능) 가 단순히 답변을 주는 것을 넘어, 전문가 수준의 긴 연구 보고서를 작성하는 시대가 왔습니다. 하지만 문제는 **"이 보고서가 정말 잘 쓰였는지, 어떻게 알 수 있을까?"**입니다.

이 논문은 바로 이 문제를 해결하기 위해 **'DEER(디어)'**라는 새로운 평가 기준을 제안합니다. 'DEER'는 'Deep research Expert Report'의 약자로, 한국어로 번역하면 **'깊은 연구를 위한 전문가 보고서 평가 기준'**이라고 할 수 있습니다.

이 복잡한 논문을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 DEER 가 필요한가요? (기존의 문제점)

과거에는 AI 가 쓴 보고서를 평가할 때 다음과 같은 문제가 있었습니다.

• 🎯 목표가 불분명: "이 보고서가 좋은가?"라고 물으면, "글이 잘 쓰였나?", "사실이 맞나?", "논리가 통하나?" 등 평가 기준이 너무 모호했습니다. 마치 **"요리 실력을 평가할 때 '맛있으면 10 점, 맛없으면 0 점'이라고만 하는 것"**과 같습니다.
• 🕵️‍♂️ 전문가의 눈이 부족: AI 가 AI 를 평가하면, 미묘한 전문적인 오류를 놓칠 수 있습니다. 마치 **"요리사에게 요리를 평가하게 했을 때, 소금 간장이 약간 부족해도 모르고 넘어가는 경우"**와 같습니다.
• 📚 출처 확인의 한계: AI 가 인용한 글만 확인하고, 인용하지 않은 사실은 확인하지 않았습니다. 마치 **"책에서 인용표시된 부분만 확인하고, 나머지 내용은 다 믿는 것"**과 같습니다.

2. DEER 는 어떻게 작동할까요? (해결책)

DEER 는 3 가지 핵심 도구를 사용하여 AI 의 보고서를 꼼꼼히 검사합니다.

① 📋 101 가지의 '세밀한 채점표' (Rubric)

DEER 는 전문가들이 모여 **7 가지 큰 영역 (예: 요청 충족, 논리성, 윤리 등)**과 25 가지 세부 항목, 총 101 개의 구체적인 체크리스트를 만들었습니다.

• 비유: 요리 평가에서 "맛있다/없다"가 아니라, **"신선한 재료 사용 (10 점), 적절한 소금 간장 (10 점), 깔끔한 플레이팅 (10 점)"**처럼 아주 구체적으로 점수를 매기는 정밀한 채점표를 만든 것입니다.

② 🧑‍🏫 '전문가 가이드'를 준 AI 심사관

AI 가 채점표를 볼 때, 해당 분야의 전문가가 쓴 **'가이드북'**을 함께 줍니다.

• 비유: 일반인이 요리를 평가할 때, **"이 요리는 '한국식'이어야 하므로 매운맛이 중요해"**라는 전문가의 조언을 듣고 평가하게 하는 것입니다. 이렇게 하면 AI 가 전문적인 오류를 놓치지 않고 정확하게 점수를 매길 수 있습니다.

③ 🔍 '숨은 흔적'까지 찾는 '사실 확인기' (Claim Verification)

AI 가 보고서 전체에서 **사실 주장 (Claim)**을 찾아내고, 인용된 글뿐만 아니라 인용표시가 없는 숨은 사실까지 찾아내어 출처를 확인합니다.

• 비유: 수사관이 사건을 조사할 때, **범인이 직접 남긴 지문 (인용)**뿐만 아니라, **범인이 발자국을 남긴 흔적 (인용 없는 사실)**까지 추적하여 진실을 확인하는 것과 같습니다.

---

3. 실험 결과: AI 는 어디가 잘하고, 어디가 부족할까?

DEER 로 여러 최신 AI 모델 (GPT-5, Claude, Gemini 등) 을 시험해 본 결과, 흥미로운 사실이 드러났습니다.

• ✅ 잘하는 점: 보고서의 형식, 문장 다듬기, 윤리 부분은 거의 완벽에 가깝습니다. 마치 글쓰기 실력은 천재인 상태입니다.
• ❌ 부족한 점: 하지만 사용자의 복잡한 요구를 정확히 이해하는 능력이나 깊은 논리적 분석에서는 아직 전문가 수준에 미치지 못했습니다.
  • 비유: 글씨체는 아주 예쁘게 잘 쓰지만, 내용 깊이는 아직 대학생 수준인 것입니다.
  • 또한, 너무 많은 자료를 찾아오면 오히려 주제가 흐려지는 경우도 있었습니다.

4. 결론: DEER 가 주는 메시지

이 논문은 단순히 "어떤 AI 가 1 등이다"라고 순위만 매기는 것이 아닙니다.
**"어떤 AI 는 글쓰기는 잘하지만, 논리는 약하고, 어떤 AI 는 자료 찾기는 잘하지만, 윤리 의식은 부족하다"**는 것을 구체적으로 진단해 줍니다.

마치 **의사가 환자에게 "당신은 키는 크지만, 뼈가 약하고, 심장은 튼튼합니다"**라고 정확한 진단을 내려주는 것과 같습니다. 이 진단을 통해 AI 개발자들은 자신의 모델이 어디를 고쳐야 할지 정확히 알 수 있게 됩니다.

🌟 한 줄 요약

"DEER 는 AI 가 쓴 긴 연구 보고서가 '겉치레'만 좋은지, '속 내용'도 진짜 전문가 수준인지, 101 가지의 꼼꼼한 체크리스트와 사실 확인기로 낱낱이 파헤치는 최고의 심사위원입니다."

기술 요약

1. 문제 정의 (Problem)

최근 LLM 의 발전으로 다단계 추론과 증거 기반 합성을 통해 전문가 수준의 보고서를 생성하는 '심층 연구 시스템'이 등장했습니다. 그러나 이러한 시스템을 평가하는 데에는 다음과 같은 중대한 한계가 존재했습니다.

• 모호한 평가 기준: 보고서의 품질은 다면적이지만, 기존 벤치마크는 포괄적이고 거시적인 차원만 평가하거나, LLM 이 생성한 기준을 사용하여 일관성과 신뢰성이 떨어졌습니다.
• 도메인 전문성 부족: LLM 기반 심판 (Judge) 은 특정 도메인의 전문 지식이 부족하여 논리적 비약이나 미세한 사실 오류를 놓칠 수 있습니다.
• 불완전한 사실 검증: 기존 방식은 명시적으로 인용된 (Cited) 문장만 검증하는 경향이 있어, 보고서 전체에 숨겨진 사실 오류나 인용되지 않은 주장 (Uncited claims) 에 대한 검증이 부족했습니다.

2. 방법론 (Methodology)

DEER 는 50 개의 심층 연구 생성 태스크 (13 개 도메인) 를 기반으로 하며, 다음과 같은 3 가지 핵심 구성 요소로 이루어진 평가 프레임워크를 제시합니다.

A. 계층적 평가 분류 체계 (Evaluation Taxonomy)

• 전문가들이 합의하여 도출한 7 가지 주요 차원과 25 가지 하위 차원으로 구성된 분류 체계를 개발했습니다.
• 이를 101 개의 세밀한 루브릭 (Rubric) 항목으로 구체화했습니다.
  • 보고서 품질 (5 차원): 요청 충족 (Request Fulfillment), 분석적 타당성 (Analytical Soundness), 구조적 일관성 (Structural Coherence), 형식 및 스타일, 윤리 준수.
  • 외부 정보 (2 차원): 정보 충실도 (Information Integrity), 정보 충분성 (Information Sufficiency).

B. 전문가 유도 평가 가이드 (Expert-Guided Evaluation)

• 세밀한 루브릭: 101 개의 고정된 항목을 사용하여 평가의 일관성을 확보했습니다.
• 작업별 전문가 가이드 (Expert Evaluation Guidance): 각 태스크별로 도메인 전문가가 작성한 구체적인 가이드를 제공합니다. 이는 LLM 심판이 도메인 지식이 부족할 때 발생할 수 있는 오류를 보완하고, 보고서가 특정 태스크의 요구사항을 얼마나 충족했는지 정확히 판단할 수 있도록 돕습니다.

C. 정보 검증 아키텍처 (Information Verification Architecture)

• 명시적 및 암시적 주장 검증: 명시된 인용뿐만 아니라, 보고서 내 이전 문단이나 섹션에서 인용된 정보를 참조하는 암시적 주장 (Implicit Claims) 을 찾아내기 위해 '시맨틱 백트래킹 (Semantic Back-tracking)' 메커니즘을 도입했습니다.
• 증거 기반 검증: 추출된 모든 주장 (Claims) 을 외부 소스 (URL) 와 대조하여 사실 여부 (Factuality), 인용 지원도, 출처 신뢰도 등을 정량적 지표로 측정합니다.

3. 주요 기여 (Key Contributions)

1. DEER 벤치마크 제안: 전문가가 정의한 계층적 분류 체계에 기반한 체계적이고 해석 가능한 심층 연구 보고서 평가 벤치마크를 최초로 제시했습니다.
2. 표준화된 루브릭 및 가이드: 101 개의 고정된 세밀한 루브릭과 작업별 전문가 가이드를 제공하여, LLM 기반 평가의 신뢰성과 일관성을 크게 향상시켰습니다.
3. 보고서 수준의 정보 검증: 인용된 주장뿐만 아니라 암시적 의존성을 추적하여 모든 주장의 신뢰성을 검증하는 아키텍처를 제안했습니다. 이는 보고서 전체의 사실성을 종합적으로 평가할 수 있게 합니다.

4. 실험 결과 (Results)

• 평가 대상: Qwen, Gemini, Claude, GPT 등 다양한 LM 기반 모델과 WebThinker, OpenAI Deep Research 등의 심층 연구 시스템을 비교 평가했습니다.
• 주요 발견:
  • 구조와 스타일: 대부분의 시스템이 보고서의 구조, 형식, 윤리 준수 측면에서는 높은 점수를 받았습니다.
  • 전문성 부족: 하지만 요청 충족 (Request Fulfillment) 과 분석적 타당성 (Analytical Soundness) 측면에서는 전문가 수준의 요구사항을 충족하지 못하거나 논리적 완결성이 부족한 것으로 나타났습니다.
  • 검색의 역설: 단순 검색 (Web Search) 을 추가한다고 해서 보고서 작성의 논리적 품질이 항상 향상되는 것은 아니며, 오히려 다양한 외부 정보 통합이 문제 정의와 논리 구조를 흐리게 할 수도 있음을 발견했습니다.
  • 도메인별 편차: 철학, 심리학, 공학 분야에서는 상대적으로 성능이 좋았으나, 컴퓨터 과학, 역사, 물리학 등 고도로 기술적이거나 복잡한 추론이 필요한 분야에서는 성능이 낮았습니다.
• 평가 방법의 유효성: DEER 의 평가 방식 (특히 전문가 가이드 포함) 은 인간 전문가의 평가와 높은 상관관계 (Pearson r=0.75) 를 보였으며, 평가자 간 신뢰도 (Inter-evaluator reliability) 도 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

• 진단적 가치: 단순한 성능 순위 매기기를 넘어, 시스템의 강점과 약점을 세밀하게 진단 (Diagnosis) 하여 개선 방향을 제시합니다.
• 신뢰성 확보: LLM 심판의 편향을 줄이고 인간 전문가의 판단을 모방할 수 있는 체계적인 평가 프로토콜을 확립했습니다.
• 미래 지향성: 텍스트 기반 보고서에 집중함으로써 정보의 진실성과 논리적 일관성을 심층적으로 분석할 수 있는 기반을 마련했으며, 향후 멀티모달 연구 태스크로 확장 가능한 토대가 됩니다.

결론적으로, DEER 는 심층 연구 에이전트의 발전 방향을 설정하고, 생성된 보고서의 품질을 객관적이고 전문적으로 검증할 수 있는 새로운 표준을 제시한 중요한 연구입니다.