Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions

기술 요약: 오도된 지식이 딥 리서치 에이전트의 잘못된 결론을 유도함

문제 정의
딥 리서치(Deep Research) 에이전트는 단순한 단기적 질문 답변을 넘어 반복적인 계획 수립, 증거 검색, 분석, 구조화된 보고서 생성을 포함하는 장기적 워크플로우를 수행하며 정보 탐색의 패러다임 전환을 보여주고 있습니다. 이러한 시스템은 과학적 및 지식 집약적 과업을 위해 점점 더 많이 배치되고 있으나, "겉보기에 신뢰할 수 있으나 사실적으로는 틀린" 정보가 존재할 때의 신뢰성은 아직 정량화되지 않았습니다. 짧은 형태의 RAG(검색 증강 생성)나 공격자가 코퍼스를 명시적으로 오염시키는 적대적 설정과 달리, 딥 리서치 에이전트는 오도된 지식이 자연스럽게 존재할 수 있는 오픈 웹 환경에서 작동합니다. 핵심 문제는 이러한 에이전트가 합성 단계에서 오도된 문서에 의해 뒷받침되는 잘못된 결론을 채택하지 않고 저항할 수 있는지, 그리고 출처의 권위, 제시 스타일, 워크플로우 타이밍과 같은 요소들이 이러한 채택에 어떤 영향을 미치는지 여부입니다.

방법론: MisKnow-Agent
이러한 실패 모드를 조사하기 위해, 저자들은 딥 리서치 과업을 위한 오도된 지식을 구축하고 검증하도록 설계된 통제된 평가 프레임워크인 MisKnow-Agent를 소개합니다. 방법론은 세 단계로 진행됩니다:

1. 청사진 구축(Blueprint Construction): 각 연구 과업에 대해 "오도된 지식 청사진"이 생성됩니다. 이는 정형화된 거짓 결론($cf$)과 권위 수준(높음, 중간, 낮음)에 따라 계층화된 기관 풀($H$)을 정의합니다.
2. 통제된 인스턴스 생성(Controlled Instance Generation): 프레임워크는 거짓 결론을 뒷받침하는 과업별 문서($m$)를 생성합니다. 이 문서들은 기관의 권위 수준과 소스 제시 스타일(논문, 뉴스, 블로그, 포스트)에 따라 다양하게 구성됩니다. 결정적으로, 생성 과정은 문서들이 내부적으로 일관성을 유지하고 할당된 티어에 적절한 스타일을 갖추도록 보장하여, 거부를 유발할 수 있는 명백한 품질 저하를 방지합니다.
3. 검증 및 필터링(Verification and Filtering): 생성된 인스턴스가 사실적으로 오도되었음을 보장하기 위해 검색 가이드형 정제 루프가 사용됩니다. 여러 개의 검색 기반 검증 모델($J$)이 후보군을 독립적으로 평가합니다. 후보는 모든 검증 모델이 "Mis"(사실이 아님)로 분류한 경우에만 유지되며, 그렇지 않으면 정제됩니다. 이 과정을 통해 DeepResearch Bench에서 파생된 5,933개의 품질 관리된 오도된 문서가 확보되었습니다.

평가는 완료된 보고서가 정형화된 거짓 결론을 자신의 최종 답변으로 채택하는 비율인 **잘못된 결론 채택률(False-Conclusion Adoption Rate, FCAR)**을 측정합니다. 단순한 인용이나 반박은 채택으로 간주되지 않습니다. 본 연구는 세 가지 백본 LLM(DeepSeek-V4 Pro, Qwen3.5-397B, Intern-S1-Pro)과 결합된 두 가지 오픈 소스 프레임워크(DeerFlow, WebThinker), 그리고 하나의 폐쇄형 시스템(Gemini Deep Research)을 평가합니다.

주요 결과

• 오도된 지식에 대한 높은 취약성: 주입 제어가 없는 대조군에서 FCAR은 0%였습니다. 하나의 오도된 문서를 도입했을 때 평균 FCकार은 **54.7%**로 증가했습니다. 이는 겉보기에 신뢰할 수 있는 거짓 정보에 대한 제한적인 노출만으로도 잘못된 결론의 채택으로 이어질 수 있음을 나타냅니다.
• 라이프사이클 단계가 결정적임: 노출 시점은 결과에 상당한 영향을 미칩니다. 오도된 지식이 최종 합성 직전(사전 합성 단계)에 도입되었을 때, 평균 FCAR은 **85.5%**로 급증했습니다. 반면, "콜드 스타트" 또는 연구 중간 단계에서의 노출은 각각 40.5%와 44.2%로 더 낮은 채택률을 보였으며, 이는 에이전트가 최종 합성 단계에 오도된 증거가 통합된 이후에는 이를 거부할 가능성이 낮아짐을 시사합니다.
• 소스 단서가 설득을 주도함:
  • 권위: 높은 기관 권위는 일반적으로 더 높은 채택률과 상관관계가 있었으나(High의 경우 61.0%, Low의 경우 46.2%), 이 관계가 모든 구성에서 엄격하게 단조로운 것은 아니었습니다.
  • 제시 스타일: "논문(Paper)" 스타일이 가장 설득력 있는 단서였으며, 가장 높은 FCAR(61.0%)을 기록했습니다. 그 뒤를 블로그, 뉴스, 포스트가 이었습니다. 논문 스타일과 포스트 스타일 사이의 격차(23.5 퍼센트 포인트)는 High와 Low 권위 소스 사이의 격차보다 컸으며, 이는 학술적 제시 방식이 기관의 등급 자체보다 신뢰도의 더 강력한 신호임을 나타냅니다.
• 검색 순위 및 볼륨의 제한적 영향: 검색 결과 내 오도된 문서의 위치(앞부분 vs 뒷부분)는 채택에 미미한 영향을 미쳤습니다. 또한, 주입된 문서의 수를 하나 이상으로 늘려도 FCAR의 지속적인 누적 증가는 나타나지 않았는데, 이는 신뢰할 만해 보이는 단 하나의 문서만으로도 실패를 유도하기에 충분함을 시사합니다.
• 프레임워크 및 모델 상호작용: 채택률은 프레임워크 설계와 백본 LLM의 조합에 따라 크게 달랐습니다. 예를 들어, DeerFlow는 일반적으로 WebThinker보다 높은 FCAR을 보였으나, 더 유능한 모델을 사용할수록 이 격차는 좁혀졌습니다. 이러한 상호작용은 견고함(robustness)이 모델이나 프레임워크 단독의 속성이 아니라, 이들의 특정 통합의 결과임을 시사합니다.
• 방어 기제의 한계: 연구는 사전 연구(검증 강화 프롬프팅) 및 사후 연구(클레임별 검증 에이전트) 방어 기제를 평가했습니다. 이러한 전략들은 FCAR을 감소시켰으나 제거하지는 못했습니다. 특히, 방어 기제를 결합했을 때 반드시 가산적인 이득이 발생하는 것은 아니었으며, 일부 사례(예: 결합된 방어 기제를 사용하는 Intern-S1-Pro)에서는 성능이 오히려 저하되었습니다. 이는 사후 연구 에이전트가 동일하게 오염된 검색 환경 내에서 작동했기 때문일 가능성이 큽니다.

의의 및 주장
본 논문은 딥 리서치 에이전트가 현재 장기적 워크플로우 동안 증거를 검증하는 강력한 메커니즘이 부족하다고 주장합니다. 연구 결과는 증거를 개별적으로 식별하는 것(교차 모델 검증을 통해)만으로는 불충분하며, 검증 프로세스가 증거 획득, 중간 상태 관리, 그리고 최종 합성 단계에 통합되어야 함을 보여줍니다.

저자들은 이러한 실패 모드가 오픈 소스 파이프라인에 국한되지 않으며, 폐쇄형 시스템인 Gemini Deep Research에서도 유사한 패턴이 관찰되었다는 점을 강조합니다. 본 연구는 증거가 중간 연구 상태나 최종 결론에 진입할 때마다 지속적인 검증이 필요하다고 결론짓습니다. 현재의 방어 기제는 겉보기에 신뢰할 수 있는 오도된 지식에 의해 뒷받침되는 잘못된 결론의 채택을 완전히 방지하기에는 불충분하기 때문입니다. 이 연구는 자율 연구 에이전트의 신뢰성에 대한 추가 연구를 촉진하기 위한 재현 가능한 프레임워크(MisKnow-Agent)와 데이터셋을 제공합니다.