💬 NLP

DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents

이 논문은 복잡하고 다단계적인 정보 탐색 과업을 수행하는 딥 리서치 에이전트를 평가하기 위해 설계된 17개 분야의 900개 프롬프트 벤치마크인 DeepSearchQA를 소개하며, 최첨단 모델들조차 체계적인 정보 수집, 엔티티 해상도, 그리고 중단 기준 측면에서 재현율과 정밀도의 균형을 맞추는 데 어려움을 겪고 있음을 밝혀냈다.

원저자: Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

게시일 2026-01-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 정보를 찾아줄 연구 보조원을 채용하고 있다고 상상해 보십시오. 과거에는 주로 "프랑스의 수도는 어디인가?"와 같은 단순한 질문으로 이 보조원들을 테스트했습니다. 답을 맞히면 통과였고, 틀리면 실패였습니다. 이것은 마치 객관식 퀴즈와 같았습니다. 채점하기는 쉽지만, 보조원이 실제의 복잡한 연구 프로젝트를 처리할 수 있는지는 알려주지 못했습니다.

**"DeepSearchQA"**라는 논문은 AI 에이전트가 단순한 상식 봇이 아니라 진정한 연구자처럼 행동할 수 있는지 확인하기 위해 설계된 훨씬 더 어려운 새로운 테스트를 소개합니다.

다음은 그들이 무엇을 했고 무엇을 발견했는지에 대한 요약입니다. 이해를 돕기 위해 쉬운 비유를 사용했습니다.

1. 문제점: "건초더미 속의 바늘" vs "건초더미 전체"

기존의 테스트는 건초더미에서 특정한 바늘 하나를 찾는 것을 요구했습니다 (예: "프랑스의 수도는 어디인가?").

문제점: 현실 세계는 이와 다릅니다. 때로는 건초더미 속의 모든 바늘을 찾아내거나, 모든 종류의 건초를 나열해야 할 때도 있습니다.
새로운 도전: DeepSearchQA는 다음과 같은 질문을 던집니다. "판매량이 1억 대 이상이고, 휴대용이 아니며, 32비트 CPU를 탑재했고, 모기업의 2010년 자산이 1.7조 달러 이상인 모든 비디오 게임 콘솔을 나열하시오."
목표: AI는 단순히 하나의 답을 추측해서는 안 됩니다. AI는 완벽하고 완전한 목록을 만들어내야 합니다. 항목 하나라도 놓치면 불완전한 것이며, 가짜 항목을 하나라도 추가하면 부정확한 것이 됩니다.

2. 테스트되는 세 가지 핵심 기술

이 새로운 테스트를 통과하려면 AI 에이전트는 기존 테스트가 간과했던 세 가지 어려운 기술을 숙달해야 합니다.

기술 1: 사서 (체계적 수집 - Systematic Collation)
정보가 50개의 서로 다른 웹사이트에 흩어져 있고, 그 어떤 사이트도 전체 이야기를 담고 있지 않은 보고서를 작성해야 한다고 상상해 보십시오. AI는 그 모든 사이트를 방문하고, 읽고, 조각들을 모아 하나의 마스터 리스트로 엮어내야 합니다. 단순히 처음 발견한 웹사이트에만 의존해서는 안 됩니다.
기술 2: 탐정 (개체 해소 - Entity Resolution)
"애플(Apple)"을 찾고 있다고 가정해 봅시다. 한 웹사이트는 "Apple Inc."라고 적고, 다른 곳은 "Apple Computer"라고 하며, 세 번째 곳은 "스티브 잡스가 설립한 회사"라고 적혀 있습니다. 인간은 이들이 모두 동일한 대상임을 압니다. 하지만 AI는 종종 혼란을 느껴 이를 세 개의 서로 다른 회사로 나열하곤 합니다. 이 테스트는 AI가 이들이 동일한 것임을 인지하고 중복을 제거할 수 있는지 확인합니다.
기술 3: 정지 표지판 (중단에 대한 추론 - Reasoning about Stopping)
이것이 가장 어려운 부분입니다. 일반적인 검색에서는 답을 찾으면 멈춥니다. 하지만 "심층 연구" 작업에서는 결승선이 없습니다. AI는 언제 검색을 멈춰야 할지를 알아야 합니다.
- 너무 빨리 멈춤: 모든 답을 찾기 전에 멈추는 경우 (미달 검색 - Under-retrieval)
- 너무 늦게 멈춤: 계속 검색하다가 목록을 채우기 위해 답을 지어내기 시작하는 경우 (과잉 검색/헤징 - Over-retrieval/Hedging). 이는 마치 요리사가 모든 재료를 다 넣으려다 결국 맛없는 수프를 만드는 것과 같습니다.

3. 테스트: 900개의 실전 시나리오

연구진은 17개 분야(건강, 금융, 역사, 게임 등)에 걸친 900개의 어려운 질문으로 구성된 DeepSearchQA라는 벤치마크를 만들었습니다.

규칙: 정답은 변하지 않는 정적 사실(예: 2020년 인구 조사 데이터)에 기반합니다 (테스트 도중 정답이 바뀌지 않도록 하기 위함).
채점 방식: 그들은 AI가 답을 어떻게 찾아냈는지(경로)는 상관하지 않습니다. 오직 최종 목록만을 봅니다. 목록이 100% 정확한가요?
- 완벽(Perfect): 목록이 정확히 일치함.
- 부분적(Partial): 일부는 맞았으나 일부를 놓침.
- 환각(Hallucination): 맞는 항목을 포함했으나, 철저해 보이기 위해 가짜 항목을 추가함.

4. 발견한 내용: "라스트 마일(Last Mile)" 문제

그들은 가장 똑똑한 AI 모델들(Google의 Gemini Deep Research 및 OpenAI의 GPT-5 Pro 등)을 테스트했습니다. 결과는 다음과 같습니다.

좋은 소식: 최고의 AI 에이전트들은 이 작업에 매우 능숙해지고 있습니다. 상위 모델들은 약 **66%**의 목록을 완벽하게 정확하게 작성했습니다. 이는 이전 모델들에 비해 엄청난 도약입니다.
나쁜 소식: 최고의 모델들조차 "라스트 마일"에서 어려움을 겪습니다.
- 격차: AI가 90%의 정답을 찾아낼 수는 있지만(높은 재현율), 멈추지 못하고 5개의 잘못된 답을 추가하여 목록을 망쳐버릴 수 있습니다. 이로 인해 점수가 깎입니다.
- "헤징(Hedging)"의 함정: AI는 자신이 끝냈는지 확신이 서지 않을 때, 확실하지 않은 것까지 포함하여 모든 것을 나열함으로써 안전하게 가려는 경향이 있습니다. 이는 마치 학생이 부분 점수를 받기 위해 시험에서 찍는 것과 같지만, 이 경우에는 오히려 성적을 떨어뜨립니다.
"계단식(Step-Function)" 하락: 만약 더 작고 저렴한 AI 모델을 사용한다면, 성능은 조금씩 떨어지는 것이 아니라 폭락합니다. 이러한 복잡한 작업에는 검색을 계획할 수 있는 일정 수준 이상의 "두뇌 능력"이 필요합니다. 특정 임계값 아래로 내려가면 AI는 즉시 길을 잃고 아무것도 찾아내지 못합니다.

5. 결론

이 논문은 우리가 전환점에 서 있다고 주장합니다. 우리는 AI에게 "답이 무엇인가?"라고 묻는 단계에서 "주제 전체를 마스터할 수 있는가?"라고 묻는 단계로 넘어왔습니다.

현재의 AI 모델들은 바늘을 찾는 데는 똑똑하지만, 길을 잃거나 무언가를 지어내지 않고 건초더미 전체를 지도화하는 법을 여전히 배우고 있습니다. DeepSearchQA는 연구자들이 이 구체적인 문제를 해결하도록 돕기 위한 도구입니다. 즉, AI에게 언제 검색을 멈춰야 하는지, 그리고 어떻게 하면 덤벙대지 않고 완벽하게 철저해질 수 있는지를 가르치는 것입니다.

요약하자면: 우리는 AI가 단순한 상식 챔피언을 넘어, 복잡하고 다단계적인 조사를 수행하면서도 실수하지 않는 전문 연구자가 되도록 교육하고 있습니다.

기술 요약: DeepSearchQA: 심층 연구 에이전트를 위한 포괄성 격차 해소

1. 문제 정의

인공지능 분야는 정적인 대규모 언어 모델(LLM)에서 동적인 환경과 상호작용할 수 있는 자율 웹 에이전트로 전환되고 있습니다. 그러나 현재의 평가 방법론은 "포괄성 격차(Comprehensiveness Gap)"라는 문제를 안고 있습니다. 기존의 벤치마크(예: TruthfulQA, SimpleQA)는 주로 단일 답변 검색(single-answer retrieval) 또는 광범의 사실성에 초점을 맞춥니다. 이러한 패러다임은 내비게이션 및 검색 전략을 분리하는 데는 효과적이지만, 사용자가 단일 데이터 포인트가 아닌 방대한 목록을 요구하는 실제 정보 탐색 여정의 복잡성을 포착하는 데는 실패하며, 재현율(recall)보다 정밀도(precision)를 우선시하도록 유도합니다.

기존 벤치마크는 종종 다음과 같은 능력을 테스트하지 못하는 원자적 답변에 의존합니다:

이질적인 출처로부터 파편화된 정보를 체계적으로 수집하는 능력.
중복을 제거하고 정밀도를 보장하기 위해 엔티티 해상도(entity resolution)를 수행하는 능력.
명시적인 종료 신호가 없는 개방형 검색 공간에서 중단 기준(stopping criteria)을 추론하는 능력.

이러한 격차로 인해 에이전트가 "건초더미 속의 바늘"은 찾을 수 있어도, 종합적인 연구 과제에 필요한 "건초더미 전체"를 검색하는 데는 실패하는 상황이 발생합니다.

2. 방법론: DeepSearchQA 벤치마크

데이터셋 구축

DeepSearchQA는 17개의 다양한 도메인(정치, 금융, 과학, 보건, 역사 포함)에 걸친 900개의 수작업 제작 프롬프트로 구성된 벤치마크입니다.

태스크 구조: 태스크는 인과적 사슬(causal chains)로 설계되었습니다. 즉, 한 단계의 정보를 발견하는 것이 이전 단계의 성공적인 완료에 의존하도록 하여, 장기 계획(long-horizon planning)과 문맥 유지 능력을 시험합니다.
그라운드 트루스(Ground Truth): 모든 태스크는 오픈 웹에 근거하며 객관적으로 검증 가능한 답변 세트를 가집. 프롬프트는 시간 기반(time-anchored)이거나 정적 데이터 소스를 참조하여 그라운드 트루스의 변동(drift)을 최소화합니다.
답변 유형:
- 단일 답변: 희귀성이나 상충하는 증거로 인해 심층 연구가 필요한 고유한 엔티티.
- 집합 답변: 항목의 나열(제약 조건에 부합하는 모든 항목 목록 작성) 및 복합 응답을 포함하는 항목들의 집합.
검증: 엄격한 3단계 프로토콜(독립적 연구, 검증/비교, 갈등 해결)을 통해 그라운드 트루스의 정확성을 보장합니다. 모호한 프롬프트는 필터링됩니다.

태스크 분류학

태스크는 인지적 및 운영적 요구 사항에 따라 다음과 같이 분류됩니다:

구조적 검색 ("The Search"): 희귀하고 틈새적인 정보를 검색하기 위한 다단계 전략.
문맥 관리 ("The Assembly"): 대량의 정보를 수집 및 합성하고, 문맥 창(context window)의 제한을 관리함.
논리적 추론 ("The Thinker"): 추상적 연역, 계획 수립, 그리고 불완전한 데이터로부터 잠재된 정보를 추론함.

평가 지표

DeepSearchQA는 검색 궤적이 아닌, 최종 제출된 세트의 완전성과 정확성만을 판단하는 엄격한 결과 기반 평가 방법론을 채택합니다.

연속형 지표: 표준 정보 검색 지표인 정밀도(Precision), 재현율(Recall), 그리고 F1-스코어(P와 R의 조화 평균)를 사용합니다. 이는 에이전트가 낮은 신뢰도의 추측으로 재현율을 높이기 위해 환각을 일으키거나 "헤징(hedging)"하는 행위를 처벌합니다.
범주형 분류: 응답은 네 가지 서로소(disjoint) 범주로 분류됩니다:
1. 완전 정답 (Fully Correct): 제출된 세트가 그라운드 트루스와 의미론적으로 동일함 ( $S = G$ ).
2. 완전 오답 (Fully Incorrect): 올바른 항목을 하나도 찾지 못함 ( $S \cap G = \emptyset$ ).
3. 부분 정답 (Partially Correct): 일부 올바른 답변은 찾았으나 모두 찾지는 못함.
4. 추가 답변이 포함된 정답 (Correct with Extraneous Answers): 모든 올바른 항목을 찾았으나, 잘못된 항목이 포함됨 (중단 기준 실패/헤징).
자동화 파이프라인: LLM-as-a-Judge (Gemini 2.5 Flash)가 추출된 답변과 그라운드 트루스 사이의 의미론적 동등성을 결정합니다.

3. 주요 결과 및 분석

이 벤치마크는 최첨단 에이전트 및 추론 모델(예: Gemini Deep Research Agent, GPT-5 Pro High Reasoning, o3, o4 Mini)을 대상으로 평가되었습니다.

성능 계층: 디프 리서치 에이전트(Deep Research Agents)가 단독 추론 모델보다 우수한 성능을 보였으며, 이는 포괄성 격차를 메우기 위해 반복적인 에이전트 루프가 필요함을 확인시켜 줍니다.
최고 성능 모델: Gemini Deep Research Agent는 가장 높은 F1-스코어(81.90%)와 가장 낮은 "완전 오답" 비율(9.95%)을 달성하여, GPT-5 Pro High Reasoning(F1: 78.98%, 완전 오답: 14.13%)에 비해 탁월한 효율성과 견고함을 입증했습니다.
추론 임계값: 자율 연구를 위한 명확한 임계값이 존재합니다. 더 작은 모델들(예: Gemini 2.5 Flash)은 성능이 급격히 하락(F1: 42.99%, 완전 오답: 45.27%)하며, 이는 DeepSearchQA 태스크가 단순한 시맨틱 검색만으로는 해결할 수 없으며 구조적 검색과 다단계 추론이 필요함을 나타냅니다.
스케일링 동작: 테스트 시간 컴퓨팅(test-time compute, $n$ 번 샘플링)을 늘리면 성능이 크게 향ye집니다. 최상위 에이전트의 경우, "완전 정답" 비율이 67.18%( $n=1$ )에서 85.71%( $n=8$ )로 증가했습니다.
"라스트 마일(Last Mile)" 문제: F1-스코어와 엄격한 "완전 정답" 비율 사이에 뚜렷한 차이가 존재합니다 (예: 최상위 에이전트의 경우 약 15포인트 차이). 이 격차는 두 가지 실패 모드에 의해 발생합니다:
1. 과소 검색 (Under-retrieval): 희귀한 엔티티의 "롱테일(long tail)"을 놓침.
2. 과잉 검색 (Over-retrieval/Hedging): 완벽한 재현율을 달려 하지만, 멈추지 못하고 환각을 일으키거나 인접한 주제로 벗어남.

관찰된 실패 모드

최상위 모델들의 분석 결과 특정 실패 패턴이 드러났습니다:

정량적 추정 오류: 후보를 올바르게 식별했으나, 순위를 매기거나 수량을 정확하게 추정하는 데 실패함.
도구의 한계: 대체 소스를 찾는 대신 읽을 수 없는 파일 형식(예: Excel)을 만났을 때 프로세스를 중단함.
중단 기준 실패: 초기 목록을 검색한 후 프롬프트의 제약 조건에 따라 데이터 포인트를 필터링하는 데 실패함.

4. 의의 및 주장

저자들은 DeepSearchQA를 차세대 에이전트 개발을 위한 핵심 진단 도구로 제안합니다. 논문의 주장은 다음과 같습니다:

패러다임 전환: 이 벤치마크는 평가의 중심을 정밀도 기반의 검색에서 철저한 답변 세트 생성으로 전환하여, 현재의 에이전트 평가가 가진 중요한 사각지대를 해결합니다.
진단적 유용성: 과소 검색과 헤징을 모두 명시적으로 처벌함으로써, 고급 모델조차 재현율과 정밀도의 균형을 맞추기 어려워하는 "포괄성 격차"를 부각합니다.
향후 방향: 벤치마크는 견고한 에이전트가 갖춰야 할 구체적인 역량을 식별합니다:
- 체계적 탐색: 기회주의적인 키워드 검색을 넘어 방법론적인 트리/그래프 기반 내비게이션으로 이동.
- 고급 합성: 정보 병합 및 엔티티 모호성 해결을 위한 강력한 메커니즘.
- 동적 중단 기준: 검색의 완결성을 추론하고, 명시적인 종료 신호 없이도 언제 검색이 철저히 이루어졌는지 결정하는 능력.

저자들은 이처럼 더 깊은 수준의 포괄성을 최적화하는 것이, 단순히 질문에 답할 수 있는 에이전트를 넘어 주제를 마스터하고 정보 지형을 그려낼 수 있는 진정으로 유능하고 신뢰할 수 있는 자율 웹 에이전트를 구축하기 위한 결정적인 다음 단계라고 결론짓습니다.