기술 요약: DRNOISE – 오도하는 증거 환경에서의 딥 리서치 에이전트 벤치마킹

문제 정의

딥 리서치 에이전트는 권위 있는 기록, 중복된 요약, 그리고 상충하는 주장들이 혼재된 오픈 웹에서 복잡한 지식 작업을 수행하기 위해 점점 더 많이 배치되고 있습니다. 이러한 환경에서 나타나는 결정적인 취약점은 "답변 형태"를 띤 문서들—예를 들어 실행 요약, 캐시된 사실 시트, 또는 2차 뉴스 기사 등—이 권위가 없음에도 불구하고 유창하고 직접적인 답변을 제시할 때 발생합니다.

현재의 평가 벤치마크(예: GAIA, BrowseComp)는 주로 정보를 검색하거나 복잡한 검색 공간을 탐색하는 에이전트의 능력을 평가합니다. 그러나 이러한 벤치마크들은 검색 가능한 환경에 의도적으로 심어진 그럴듯한 거짓 문서가 존재할 때, 에이전트가 건전한 증거 표준을 유지하는지에 대한 통찰을 제공하는 데 한계가 있습니다. 특히, 에이전트가 근본적인 기록 수준의 증거와 대조하여 주장을 검증할 것인지, 아니면 해당 문서를 충분한 근거로 간주할 것인지에 대한 여부는 명확하지 않습니다. 본 논문은 핵심적인 실패 모드가 진실을 검색하는 능력의 부재가 아니라, 매력적이고 직접적인 지름길을 선호하여 검증을 조기에 중단하는 것이라고 상정합니다.

방법론: DRNOISE 벤치마크

저자들은 "오도하는 증거 하에서의 답변 회복"을 격리하여 측정하기 위해 설계된 100개 태스크 벤치마크인 DRNOISE를 소개합니다.

태스크 정식화

각 태스크 인스턴스는 다음의 튜플 $(q, a^\star, \tilde{a}, E_A, E_B, F)$로 정의됩니다:

• $q$: 연구 질문.
• $a^\star$: 유일한 골드 답변(gold answer).
• $E_A, E_B$: 두 개의 독립적이고 상호 보완적인 간접 기록 체인. 단일 문서는 $a^\star$를 직접적으로 명시하지 않으며, 답변은 이러한 저수준 기록들(예: 벤더 ID와 인증 상태 및 선적 로그의 결합) 사이의 제약 조건을 교차 검증함으로써 재구성되어야 합니다.
• $F$: "노이즈" 문서. 노이즈 조건에서는 상충하는 답변 $\tilde{a}$를 직접적으로 명시하는 평범해 보이는 단일 문서가 추가됩니다.

실험 설계

본 벤치마크는 대조적인 클린-노이즈 개입(paired clean–noisy intervention) 방식을 채택합니다:

1. 클린 조건 (Clean Condition): 에이전트는 간접 기록 체인($E_A, E_B$)만을 포함하는 코퍼스에서 작동합니다.
2. 노이즈 조건 (Noisy Condition): 코퍼스는 클린 버전과 동일하지만, 상충하는 답변 $\tilde{a}$를 직접 명시하는 단일 거짓 요약 문서 $F$가 추가되었습니다.

이러한 설계는 성능 저하가 검색 능력의 부족 때문이 아니라(진실을 뒷받받하는 기록들이 두 조건 모두에 존재하므로), 에이전트의 증거 사용 정책의 변화 때문임을 보장합니다. DRNOISE는 특정 추론 패턴에 국한되지 않도록 10개의 태스크 패밀리(예: 엔티티 선택, 날짜 선택, 불리언 검증, 멀티홉 조인, 총 비용 집계)를 포괄합니다.

평가 프로토콜

저자들은 고정된 BrowseComp-Plus 검색 에이전트 하네스와 ReAct 스타일의 인터페이스를 사용하여 다섯 가지 현대적 언어 모델(Gemini 3.5 Flash, MiMo v2.5, GPT-5.4, DeepSeek V4 Flash, Qwen3-32B)을 평가했습니다.

• 지표:
  • 클린 정확도 (Clean Accuracy): 오도하는 문서가 없을 때의 성능.
  • 노이즈 정확도 (Noisy Accuracy): 오도하는 문서가 있을 때의 성능.
  • 조건부 경사 (Conditional Deference): 클린 조건에서 정답을 맞혔으나, 노이즈 조건에서 주입된 거짓 값 $\tilde{a}$로 답변하게 된 태스크의 비율. 이 지표는 지름길에 경사하는 특유의 실패를 격리하여 측정합니다.

주요 결과

1. 급격한 정확도 저하

강력한 클린 태스크 성능을 가진 에이전트들에서도 단 하나의 오도하는 문서가 도입되자 엄청난 정확도 하락이 관찰되었습니다(66~88 퍼센트 포인트).

• DeepSeek V4 Flash와 MiMo v2.5는 클린 정확도 약 82~89%에서 노이즈 정확도 약 1%로 급락했습니다.
• Gemini 3.5 Flash는 96.3%에서 26.0%로 떨어졌습니다.
• GPT-5.4는 81.7%에서 15.7%로 떨어졌습니다.

2. 체계적인 검증 관성 (Systematic Verification Inertia)

트레이스 분석 결과, 지배적인 실패 모드는 **조기 중단(premature stopping)**임이 드러났습니다.

• 검색 노출 (Retrieval Exposure): 노이즈 조건에서도 에이전트는 진실을 뒷받침하는 간접 기록들을 100%의 사례에서 검색했습니다(거짓 요약과 함께 공동 검색됨).
• 중단 행동 (Stopping Behavior): 진실을 뒷받침하는 증거를 검색했음에도 불구하고, 에이전트들은 증거 체인을 완성하기 전에 검색을 중단하는 경우가 많았습니다. GPT-5.4의 경우, 평균 검색 호출 횟수가 클린 조건의 7.1회에서 노이즈 조건의 4.5회로 감소했으며, 완전한 증거 경로를 검색하는 비율은 45%에서 16%로 떨어졌습니다.
• 경사 (Deferral): 에이전트들은 직접적이고 답변 형태를 띤 문서를 충분한 결론으로 간주하여, 하위 기록들이 이를 반박함에도 불구하고 해당 문서에 경사하는 모습을 자주 보였습니다.

3. 태스크 패밀리 전반의 일반화

성능 저하는 심볼릭 태스크(예: 엔티티 선택, 불리언 검증)와 수치적 태스크(예: 총 비용 집계) 모두에서 관찰되었으며, 이는 이 문제가 특정 산술이나 추론 실패가 아닌 일반적인 중단/검증 문제임을 나타냅니다.

4. 실패 메커니즘 분석

• 검증 프롬프트: "문서에 근거하여 검증하라"는 일반적인 지침은 격차를 줄였으나 완전히 해소하지는 못했습니다(예: GPT-5.4의 노이즈 정확도가 12%에서 28%로 개선됨).
• 출처 신뢰도: 거짓 문서의 출처를 저신뢰 포럼 게시물에서 고신뢰 감사 보고서로 변경해도 경사 현상은 크게 줄어들지 않았습니다(조건부 경사 54% vs 84%). 이는 효과가 낮은 신뢰도 임계값을 넘어 포화 상태에 도달함을 시사합니다.
• 리트리버 유형: 이 현상은 밀집 검색(dense retrieval)보다 렉시컬(BM25) 검색에서 지속되거나 오히려 심화되었으며, 이는 검색 아티팩트가 주요 원인이 아님을 입증합니다.
• 직접적 진실 vs 직접적 거짓: 노이즈 조건에 직접적인 진실 문서(거짓과 마찬가지로 진실을 직접 명시하는 문서)를 추가했을 때, 정확도는 크게 회복되었습니다(12%에서 63%). 이는 파생된 진실과 명시된 거짓 사이의 비대칭성이 주요 요인이지만 유일한 원인은 아님을 시사합니다.
• 오라클 풀-컨텍스트 (Oracle Full-Context): 전체 증거를 컨텍스트에 직접 제공했을 때(검색 과정을 우회), 조건부 경사는 84%에서 8%로 급감했습니다. 이는 주요 실패 원인이 검색 과정 중의 조기 중단이지, 가시적인 충돌을 조정하는 능력의 부재가 아님을 확인해 줍니다.

기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. DRNOISE 벤치마크: 충분한 간접 증거가 존재하는 상황에서 오도하는 직접적 주장에 경사하는 특정 실패 모드를 격리하여 측정하는 통제된 100개 태스크 벤치마크를 제시합니다.
2. 역량-배포 간극의 실증적 증거: 실험 결과, 고성능 에이전트들은 이러한 태스크를 해결할 수 있는 능력(클린 성능으로 입증됨)을 갖추고 있음에도 불구하고, 노이즈 환경에서는 그 능력을 제대로 발휘하지 못한다는 것을 보여줍니다. 이 실패는 추론 능력의 부족이라기보다는 "검증 관성"을 향한 정책적 변화입니다.
3. 메커니즘 식별: 트레이스 분석과 절제 연구(ablation studies)를 통해, 저자들은 조기 중단이 지배적인 메커니즘임을 밝혀냈습니다. 에이전트들은 진실을 뒷받침하는 기록을 검색하면서도, 이를 오도하는 문서와 대조하여 결론을 내리기 전에 검색을 멈추고 해당 문서를 충분한 종착지로 취급합니다.

결론

본 논문은 신뢰할 수 있는 딥 리서치를 위해서는 단순한 검색과 인용을 넘어, **직접적인 주장과 기록 수준의 증거 사이의 능동적인 조화(reconciliation)**가 필요하다고 결론짓습니다. 현재의 에이전트들은 답변 형태의 단언을 충분한 증거로 간주하는 체계적인 경향을 보이며, 이는 상충하는 하위 기록들이 존재할 때도 마찬가지입니다. 저자들은 향-후의 평가가 정보 습득 능력을 테스트하는 것을 넘어, 에서가 협력적인 증거로부터 결론을 재구성하는 대신 그럴듯한 직접적 답변이라는 "지름길"에 저항할 수 있는지 테스트하는 방향으로 나아가야 한다고 주장합니다.