기술 요약: LiveBrowseComp

문제 제기

본 논문은 대규모 언어 모델 (LLM) 기반 검색 에이전트 평가에서 중요한 평가 간극을 다루고 있습니다. 에이전트들이 BrowseComp 와 같은 정적 벤치마크에서 높은 성능을 보이지만, 이러한 성공이 진정한 증거 기반 발견에서 비롯된 것인지, 아니면 단순히 사전에 존재하는 파라미터 지식의 검증에 불과한 것인지에 대해 저자들은 의문을 제기합니다. 식별된 핵심 문제는 **내재적 지식 의존성 (Intrinsic Knowledge Dependence, IKD)**입니다. 이는 에이전트가 검색 도구보다 먼저 파라미터에 인코딩된 정보에 의존하며, 검색 도구를 주로 내부적으로 이미 생성한 가설을 확인하는 용도로 사용하는 실패 모드입니다. "에이전트가 무엇을 아는가"와 "에이전트가 무엇을 찾을 수 있는가"를 혼동함으로써, 벤치마크가 미지의 정보를 발견하는 능력보다는 기억에 기반한 검증을 보상하게 됩니다.

방법론

저자들은 두 단계의 방법론을 사용합니다: 기존 벤치마크에 대한 진단 파일럿 연구와 IKD 를 중립화하도록 설계된 새로운 벤치마크 구축입니다.

1. 진단 파일럿 연구

IKD 를 정량화하기 위해 저자들은 여러 최첨단 모델 (예: DeepSeek, Kimi, MiniMax, GLM) 에 걸쳐 통합된 검색 에이전트 스캐폴드를 사용하여 네 가지 정적 벤치마크 (BrowseComp, BrowseComp-ZH, HLE, GAIA) 에서 세 가지 진단 실험을 수행했습니다:

• 클로즈드북 커버리지 (Closed-Book Coverage): 모든 검색 도구를 비활성화한 상태에서 성능을 측정합니다. 이는 에이전트가 보유한 내재적 지식의 기준선을 설정합니다.
• 증거 차단 검색 (Evidence-Blocked Search): 검색 인터페이스는 활성화된 채로 답변을 뒷받침하는 모든 문서를 검색 인덱스에서 제거합니다. 이는 "검증" 채널이 끊겼을 때 에이전트가 성능을 유지할 수 있는지 테스트합니다.
• 궤적 기반성 (Trajectory Grounding): 검색 로그를 분석하여 쿼리가 검색된 증거에서 시작되었는지, 아니면 모델의 내부 가설에서 시작되었는지 확인합니다.

2. LiveBrowseComp 구축

에이전트의 내재적 지식 경계를 넘어 평가하기 위해, 저자들은 특정 설계 제약 조건을 가진 심층 검색 벤치마크인 LiveBrowseComp를 도입했습니다:

• 시간적 최신성: 벤치마크 구축 직전 90 일 이내에 발표된 사실에서 도출된 질문으로, 일반적인 학습 데이터 컷오프 범위를 벗어날 수 있도록 보장합니다.
• 롱테일 희소성: GDELT, TMDB, RAWG, CVE/NVD, SportsDB, USGS 와 같은 소스에서 전 세계적으로 중요한 사건을 제외하도록 필터링하여, 희소하지만 검증 가능한 사실을 유지합니다.
• 안정성과 고유성: 답변이 빠르게 변하지 않는 안정적이고 고유한지 확인하기 위해 질문을 필터링합니다.
• 인간 검증: 전문 주석가와 독립 검증자가 참여하는 엄격한 다단계 과정을 통해 질문이 다단계 추론을 필요로 하고, 기존 지식으로 해결할 수 없으며, 단일 정답을 갖도록 보장합니다.

주요 기여

1. 내재적 지식 의존성 (IKD) 의 식별: 본 논문은 현재 검색 에이전트들이 종종 발견 엔진이 아닌 파라미터 지식에 대한 검증 인터페이스로 작동한다는 것을 공식적으로 정의하고 실증적으로 입증합니다.
2. 진단 프레임워크: 저자들은 기존 평가에서 IKD 를 탐지하기 위한 진단 세트 (클로즈드북, 증거 차단, 궤적 분석) 를 제공합니다.
3. LiveBrowseComp 벤치마크: 최근의 롱테일 사실에 의존하여 IKD 를 억제하도록 특별히 설계된 335 개의 인간 작성 질문으로 구성된 새로운 데이터셋입니다.
4. 최첨단 모델 재평가: 본 논문은 LiveBrowseComp 에서 주요 모델들을 재순위화하여, 정적 벤치마크 순위가 라이브 검색 작업의 성능을 신뢰할 수 있게 예측하지 못함을 보여줍니다.

실험 결과

• 높은 내재적 의존성: 정적 벤치마크에서 에이전트들은 도구 없이 클로즈드북 설정에서 최대 **44.5%**의 질문에 정확하게 답변했습니다.
• 증거 차단 붕괴: 답변을 뒷받침하는 증거가 제거되었을 때 성능이 급격히 떨어졌습니다. 예를 들어, MiniMax M2.5 는 44.5%(클로즈드북) 에서 8.0% 로, Kimi-K2.6 은 25.5% 에서 2.3% 로 하락했습니다. 이는 내부 가설을 확인할 수 없을 때 검색이 종종 성능을 저하시킨다는 것을 나타냅니다.
• 쿼리 기원: 검색 쿼리의 50% 이상이 검색에서 비롯된 것이 아니라 모델에서 비롯된 (내부 추론에 의해 시드된) 것이었습니다. 또한, 에이전트들은 검색된 답변 지원 증거를 33% 미만의 경우에만 사용했습니다.
• LiveBrowseComp 성능:
  • 클로즈드북 정확도: 평가된 모든 모델이 LiveBrowseComp 에서 2% 미만의 정확도를 보였으며, 이는 시간적 및 롱테일 제약이 내재적 지식을 효과적으로 중립화했음을 확인시켜 줍니다.
  • 검색 증강 점수: 정적 벤치마크에 비해 점수가 25~40 점 하락했습니다.
  • 순위 변화: 정적 벤치마크 점수 (BrowseComp) 와 LiveBrowseComp 점수 간의 상관관계가 크게 약화되었습니다 (Pearson $r$이 0.79 에서 0.53 으로 하락). 광범위한 지식으로 인해 정적 벤치마크에서 뛰어난 성과를 보인 모델이 반드시 LiveBrowseComp 에서 최상의 성능을 발휘한 것은 아닙니다.
  • 행동 변화: LiveBrowseComp 에서 검색 턴의 분포는 짧고 검증 위주인 궤적에서 더 길고 탐구적인 경로로 이동하여 진정한 정보 추구로의 전환을 나타냈습니다.

의의

본 논문은 정적 벤치마크가 점점 더 모델의 파라미터 지식과 검색 능력을 혼동하여 에이전트의 진전에 대한 오해의 소지가 있는 그림을 만들어내고 있다고 주장합니다. LiveBrowseComp 는 "기억 백업"이 제거되었을 때 현재 검색 에이전트들이 이미 알지 못하는 정보를 발견하는 데 어려움을 겪음을 보여줍니다. 저자들은 미래 평가가 "추측하고 검증"하는 행동과 진정한 증거 기반 발견을 구분하기 위해 동적이고 시간 민감한 벤치마크를 우선시해야 하며, 진정한 검색 능력을 보상하기 위해 학습 신호를 전환해야 한다고 결론지었습니다.