기술 요약: 딥 서치에서의 위임 지능 (Delegation Intelligence)

1. 문제 정의

현재의 딥 서치 에이전트 평가는 주로 엔드 투 엔드(end-to-end) 정답 정확도에 크게 의존하고 있습니다. 이러한 패러다임은 검색 품질, 롱 컨텍스트 이해력, 증거 검증, 그리고 도구 사용 결정이 서로 뒤엉킨 "결합된(coupled)" 평가를 초래합니다. 결과적으로, 모델의 실패가 정보 검색 능력의 부재 때문인지, 증거 합성 능력의 실패 때문인지, 혹은 언제 검색을 수행할지에 대한 판단력 부족 때문인지 진단하기 어렵습니다. 정답을 맞혔더라도 그것이 효과적인 검색 위임의 결과가 아니라 파라미터적 기억(parametric memory)이나 운 좋은 검색에 의한 것일 수 있으며, 오답의 경우 검색 백엔드가 실패했을 때 모델의 강력한 추론 능력이 가려질 수 있습니다. 본 논문은 딥 서치 에이전트의 핵심 지능이 단순히 정답을 생성하는 것에 있는 것이 아니라, 정보를 찾기 위해 언제 어떻게 검색 도구에 위임할 것인지에 대해 정교하게 조정된(calibrated) 결정을 내리는 데 있다고 주장합니다.

2. 방법론

2.1. 개념적 프레임워크: 위임 지능 (Delegation Intelligence)

저자들은 위임 지능을 정보 요구를 자율적으로 측정하고, 인지 경로를 선택하며, 출처의 신뢰성을 검토하는 메타 인지적 능력으로 공식화합니다. 이를 두 가지 상호 보완적인 차원으로 분해합니다:

1. 검색 의사결정 (Search Decision-Making): 증거의 불충분함을 인식하고, 검색 여부를 결정하며, 효과적인 검색 쿼리를 구성(복잡한 쿼리 분해 포함)하는 능력.
2. 정보 합성 및 검증 (Information Synthesis & Verification): 여러 출처로부터의 증거를 통합하고, 출처의 권위와 시의성을 평가하며, 불일치를 감지하고, 그럴듯한 방해 요소(distractors)를 거부하는 능력.

2.2. 제어 가능한 합성 파이프라인 (Controllable Synthesis Pipeline)

분리된 측정을 가능하게 하기 위해, 저자들은 정적인 통제되지 않은 데이터셋에 의존하는 대신 통제된 평가를 구축하는 문서 기반 역공학 파이프라인(그림 1)을 개발했습니다. 이 파이프라인는 세 단계로 작동합니다:

• 단계 A: 역공학 합성 (Reverse Engineering Synthesis): 고품질의 실제 문서(예: 기술 보고서, 공식 발표문)를 "사후 관점(hindsight)"으로 삼아, 파이프라인은 역방향으로 작동하여 자연스러운 사용자 쿼리, 골든 답변(golden answer), 뒷받침하는 증거(golden_docs), 그리고 추론 단계를 합성합니다. 이는 답변이 검증된 증거에 근거하도록 보장합니다. 파이프라인은 주제와 관련은 있지만 무관한 문서들(irrelevant_docs)을 보존하여 자연스러운 검색 노이즈를 시뮬레이션합니다.
• 단계 B: 증거 기반 방해 요소 생성 (Evidence-Anchored Distractor Generation): 다른 모델 패밀리의 생성기를 사용하여 적대적인 distractor_docs를 합성합니다. 이 문서들은 주제적으로는 일치하지만 엄격한 증거 검증 하에서는 유효하지 않습니다. 결정적으로, 이 방해 요소들은 쿼리에 의해 명시적으로 제약된 차원(예: 발행 시간, 출처 권위, 버전 번호)에 따라 골든 증거와 구별되도록 설계되어, 검증에 대한 표적화된 도전 과제를 제공합니다.
• 단계 C: 거부 필터링 (Rejection Filtering): 다각적인 필터링 프로세스를 통해 항목의 품질을 보장합니다:
  • C1 (답변 가능성): 오직 golden_docs만으로 쿼리에 답할 수 있는지 확인합니다.
  • C2 (비암기성): 쿼리가 파라미터적 지식만으로 답변될 수 없음을 보장합니다.
  • C3 (무관성 감사): irrelevant_docs에 뒷받침하는 증거가 포함되어 있지 않음을 확인합니다.
  • C4 (방해 요소 유효성): 방해 요소가 쿼리 제약 조건에 기반하여 유의미한 변별 과제를 생성하는지 검증합니다.

2.3. DelegSearchBench 및 평가 프로토콜

이 파이프라인은 6가지 역량 모드(충분성, 멀티홉, 권위, 발행 시간, 문서 내 일관성, 일반)에 걸친 429개 항목의 DelegSearchBench를 생성합니다. 평가는 두 가지 분리된 설정을 사용합니다:

• 설정 I (전체 컨텍스트, 검색 비활성화): 모델은 검색 도구 없이 전체 문서 풀(golden + distractor + irrelevant)을 받습니다. 이는 정보 합성 및 검증 능력을 격리하여 측정합니다. 연구에서는 증거 배치에 대한 강건성을 테스트하기 위해 golden_docs의 위치(처음, 중간, 끝)를 변화시킵니다.
• 설정 II (부분 컨텍스트, 검색 활성화): 모델은 의도적으로 불완전한 부분 집합(핵심 증거가 누락됨)의 golden_docs를 받지만, 해당 항목의 특정 문서 풀에서 정보를 검색할 수 있는 검색 도구에 접근할 수 있습니다. 이는 검색 의사결정 능력을 격리하여, 모델이 조기에 답변하지 않고 불충분함을 인식하여 검색을 시작하는지 테스트합니다.

3. 주요 결과

3.1. 모드별 약점

설정 I 하에서, 모델들은 다양한 역량 모드에 따라 상당한 성능 계층화를 보입니다. 단일 모델이 모든 모드에서 일관되게 우위를 점하지 못하는데, 이는 전체 텍의 추론이 동질적인 능력이 아니라 특화된 역량들의 복합체(예: 출처 속성 부여 vs 시계열 추론)임을 나타냅니다.

3.2. 위치 민감도 (Lost-in-the-Middle)

모든 관련 증거가 제공되더라도, 대부분의 모델은 증거 위치에 대해 무시할 수 없는 민감도를 보입니다. golden_docs가 처음에 배치될 때 성능이 정점에 달하며, 증거가 중간이나 끝에 묻혀 있을 때 성능이 크게 저하됩니다. 이는 "중간에서 길을 잃는(lost-in-the-middle)" 현상이 검색 오류와 독립적인, 컨텍스트 처리의 내재적 한계임을 확인시켜 줍니다.

3.3. 불안정한 추론 궤적

모든 모드와 위치에서 Pass@1과 Pass@3 사이의 일관된 격차가 존재합니다. 이는 모델들이 안정적이고 수렴하는 추론 경로를 따르기보다, 정답을 찾기 위해 확률적인 탐색에 의존하는 경우가 많음을 시사하며, 이는 에이전트의 신뢰성에 대한 우려를 제기합니다.

3.4. 부분 컨텍스트에서의 위임 실패

설정 II 하에서 두 가지 상반된 실패 모드가 나타납니다:

• 조기 답변 (Premature Answering): 일부 모델(예: doubao-seed-2.0-pro)은 증거가 누락되었음에도 불구하고 빈번하게 직접 답변하며, 불충분함을 인식하지 못합니다.
• 비효과적 검색 (Ineffective Searching): 다른 모델(예: hunyuan-3-preview)은 공격적으로 검색하지만 필요한 정보를 검색하거나 통합하는 데 실패하여, 높은 검색 사용량에도 불구하고 낮은 히트율과 낮은 최종 정확도를 기록합니다.
• 조정된 위임 (Calibrated Delegation): claude-sonnet-4.6과 같은 모델은 적절한 검색률과 효과적인 검색 후 합성 능력을 결합하여 더 나은 조율 능력을 보여줍니다.

4. 의의 및 주장

본 논문은 엔드 투 엔드 정확도가 딥 서치 능력을 진단하기에는 불충분하다고 주장합니다. 검색, 추론, 도구 사용 결정을 분리함으로써, 제안된 프레임워크는 표준 벤치마크에서 가려져 있던 역량의 경계를 드러냅니다.

핵심 통찰은 신뢰할 수 있는 딥 서치를 위해서는 강력한 추론 이상의 것, 즉 불확실성 인식, 증거 획득, 충실한 합성 간의 조정된 협업이 필요하다는 것입니다. 저자들은 미래의 에이전트 벤치마크가 단순히 태스크 수준의 성능뿐만 아니라, 기저에 깔린 추론 과정의 강건성, 신뢰성, 그리고 안정성을 평가해야 한다고 주장합니다. 제어 가능한 합성 파이프라인은 이러한 구체적인 역량의 경계를 드러내는 원칙적인 방법론으로서, 통합 시스템의 "블랙박스" 평가를 넘어선 대안으로 제시됩니다.