기술 요약: 딥 리서치 에이전트의 검색 시점 오염 (Search-Time Contamination)

문제 정의

공개 벤치마크는 전통적으로 대규모 언어 모델(LLM)의 추론 능력을 평가하는 표준 역할을 해왔다. 그러나 웹을 능동적으로 탐색하고, 쿼리를 분해하며, 증거를 합성하는 자율 시스템인 **딥 리서치 에이전트(Deep Research Agents)**의 등장은 **검색 시점 오염(Search-Time Contamination, STC)**이라 불리는 치명적인 취약점을 야기한다.

정적 모델과 달리, 딥 리서치 에이전트는 정보를 검색하기 위해 오픈 웹을 활용하여 추론을 수행한다. 많은 벤치마크 인스턴스(질문, 컨텍스트 및 정답)가 웹 코퍼스나 공개 플랫폼(예: HuggingFace, GitHub, 교육 포럼)에서 큐레이션되거나 호스팅되기 때문에, 에이전트는 검색 과정에서 이러한 아티팩트(artifacts)를 의도치 않게 검색할 수 있다. 이는 에이전트가 의도된 추론 과정을 우회하여 단순히 답을 추출하게 함으로써, 실제 추론 능력이 아닌 **성능 부풀리기(performance inflation)**로 이어진다. 본 논문은 기존의 평가 프로토콜이 진정한 추론 능력의 향상과 검색 기반의 답변 매칭 아티팩트 사이의 차이를 구분하지 못한다고 주장한다.

방법론

1. STC 분류 체계 (Taxonomy)

저자들은 STC를 검색이 추론 과정을 단축시키는 실패 모드로 정의한다. 이들은 에이전트의 궤적(trajectory) 중에 노출되는 정보에 따라 오염을 세 가지 심각도 수준으로 분류한다:

• 벤치마크 메타데이터 유출 (Benchmark Metadata Leakage, BML): 에이전트가 작업 관련 지식이 아닌 벤치마크 특유의 메타데이터(예: 데이터셋 이름, 질문 ID)를 노출하는 URL을 검색하는 경우이다. 이는 검색 과정이 벤치마크 아티팩트 쪽으로 유도되었음을 나타낸다.
• 질문-컨텍스트 유출 (Question-Context Leakage, QCL): 에이전트가 테스트 질문의 정확한 문구나 특정 컨텍스트를 포함하는 콘텐츠를 검색하지만, 정답은 포함하지 않는 경우이다. 이는 검색 범위를 좁히고 외부 사전 지식(priors)을 제공하여 독립적인 추론을 단축시킬 가능성을 높인다.
• 명시적 정답 유출 (Explicit Answer Leakage, EAL): 에이전트가 평가 쿼리와 그에 대응하는 정답 레이블을 모두 포함하는 콘텐츠를 검색하는 경우이다. 이 시나리오에서는 추론 과정이 단순한 키-값(key-value) 추출 작업으로 퇴화한다.

2. 탐지 알고리즘

STC를 정량화하기 위해, 본 논문은 다단계 탐지 프레임워크를 제안한다:

• BML 탐지: 검색 결과에 대해 정규 표현식 매칭을 사용하여 일반적인 데이터 호스팅 플랫폼(예: HuggingFace, GitHub)이나 시험 준비 사이트(예: Quizlet, Chegg)의 URL 중 알려진 데이터셋 패턴과 일치하는 것을 식별한다.
• QCL 탐지: 쿼리와 검색된 콘텐츠 간의 어휘적 중복도(최장 공통 부분 문자열)를 측정한다. 높은 중복도는 질문의 컨텍스트가 노출되었음을 나타내며, 정답까지 포함된 경우는 EAL 탐지로 처리한다.
• EAL 탐지: 검색된 콘텐츠를 분석하고 정답에 대한 직접적인 증거를 제공하는지 판단하기 위해 LLM-as-a-Judge 방식(DeepSeek V4 Pro 사용)을 채택한다. 이 방법은 인간의 주석(annotation)을 통해 검증되었으며, MedQA에서 94.85%의 정밀도(precision)와 Medbullets-5op에서 83.3%의 재현율(recall)을 달 기록했다.

3. 평가 프레임워크

본 연구는 두 가지 상호 보완적인 관점에서 에이전트를 평가한다:

• 질문 수준 평가 (Question-Level Evaluation): STC 유형별로 나뉜 서브셋(예: EAL이 있는 질문 vs 없는 질문) 간의 에이전트 성능을 비교하여 성능 부풀리기를 측정한다.
• 턴 수준 평가 (Turn-Level Evaluation): 오염이 에이전트의 추론 궤적에 미치는 동적인 영향을 분석한다. 여기에는 다음 내용이 포함된다:
  • 예측 변화 (Prediction Shift): 오염이 감지되었을 때 답변이 어떻게 진화하는지 추적한다.
  • 생존 분석 (Survival Analysis): 시변 Cox 비례 위험 모델(time-varying Cox proportional hazards models)을 사용하여 STC 이벤트가 올바른 예측에 도달하는 가능성과 속도에 미치는 영향을 측정한다.
  • 연쇄 효과 (Cascading Effects): 초기 유출 유형(BML/QCL)이 이후의 더 심각한 유출(EAL)을 촉발하는지 조사한다.

주요 결과

1. 보편성 및 심각도

연구팀은 6개의 의료 벤치마크(MedQA, MedMCQA, MMLU, MedXpertQA, HLE, Medbullets-5op)를 대상으로 여러 에이전트(Tongyi, Step, Gemini, Valyu)를 평가했다.

• 광범위한 오염: STC는 고립된 이상 현상이 아니라 흔한 위험 요소이다. MedQA와 MedMCQA 같은 오래된 벤치마크는 광범위한 온라인 재배포로 인해 높은 오염율을 보인다.
• 성능 부풀리기: STC는 성능을 최대 **4%**까지 부풀릴 수 있다. 예를 들어, HLE의 생물학 및 화학 서브셋에서 에이전트는 EAL이 발생했을 때 유의미하게 높은 정확도를 달성했다.
• 데이터셋 특이성: 오래된 데이터셋이 더 취약하지만, 최근에 출시된 데이터셋(예: MedXpertQA, HLE-149)조차도 LLM 관련 출판물 및 온라인 토론을 통한 노출로 인해 유출 신호를 보인다.

2. 에이전트 성능에 미치는 영향

• EAL의 지배력: 명시적 정답 유출(EAL)은 정답 예측과 가장 강력한 양의 상관관계를 가진다. EAL의 위험비(Hazard Ratio, HR)는 2.20에서 8.92 사이로 나타났으며, 이는 검색 시 즉각적인 정답 도출 가능성이 크게 증가함을 의미한다.
• BML 및 QCL의 모호성: 메타데이터 유출(BML) 단독으로는 성능을 일관되게 개선하지 못하며, 일부 사례에서는 오히려 낮은 정확도와 상관관계(HR < 1)를 보인다. 질문-컨텍스트 유출(QCL)은 혼합된 효과를 보이며, 때로는 직접적인 지름길보다는 노이즈가 섞인 사전 지식을 도입하기도 한다.
• 연쇄 역학: Kaplan-Meier 곡선은 BML이 종종 EAL로 격상됨을 보여준다. 정확한 질문 컨텍스트(QCL)를 접하는 것은 이후 명시적 정답을 검색할 위험(HR 2.50–6.74)을 크게 높인다.

3. 에이전트별 변동성

• Gemini Deep Research: 샘플링된 100개의 MedQA 질문에 대해 60%의 유출율을 보였으며, 질문과 정답이 모두 포함된 페이지를 방문했다.
• Valyu Deep Research: MedQA에서는 0%의 유출율을 보였으나 PubMedQA에서는 78%의 유출율을 보였다. 이는 특정 도메인(예: PubMed)으로 검색을 제한하더라도 벤치마크 자체가 해당 도메인에서 파생된 경우 STC를 제거할 수 없음을 시사한다.

의의 및 주장

본 논문은 현대 딥 리서치 에이전트에서 관찰되는 탁월한 성능이 순수한 추론 능력의 향상이 아니라, **웹 기반 정답 유출의 결과물(artifact)**임을 주장한다.

주요 기여는 다음과 같다:

1. 체계적 정량화: STC로 인한 성능 부풀리기를 최초로 체계적으로 측정하여, 현재의 평가 방식이 실제 추론 능력을 과대평가할 수 있음을 입증했다.
2. 세밀한 분류 체계: 단순한 저장소 매칭을 넘어 세 가지 뚜렷한 오염 유형을 정의함으로써, 모든 "유출"이 성능 부풀리기로 이어지는 것은 아님(예: BML vs EAL)을 밝혀냈다.
3. 방법론적 권고: 다음과 같은 **오염 인지형 평가 관행(contamination-aware evaluation practices)**을 옹호한다:
   • 격리된 샌드박스 (Isolated Sandboxes): 추론 중에 에이전트가 벤치마크 아티팩트를 검색하지 못하도록 방지한다.
   • 투명한 검색 궤적 (Transparent Search Trajectories): 에이전트가 감사(auditing)를 위해 검색 쿼리, 방문 URL, 중간 증거를 공개하도록 요구한다.
   • 제어된 벤치마크 접근 (Controlled Benchmark Access): 테스트 세트의 공개 인덱싱을 방지하기 위해 게이트형 접근 또는 동적으로 생성된 인스턴스를 구현한다.

저자들은 이러한 조치가 없다면, 에이전트 시스템의 평가는 진정한 추론이 아닌 검색 효율성 테스트로 전락하여, 분야의 벤치마크 기반 발전을 저해할 위험이 있다고 결론짓는다.