기술 요약: Clarify-Then-Search (명확화 후 검색)

문제 정의

추론과 도구 사용(예: 웹 검색 및 브라우징)을 교차 수행하는 딥 서치(Deep Search) 시스템이 복잡한 정보 요구를 해결하기 위해 점점 더 많이 배치되고 있습니다. 그러나 이러한 시스템은 **불충분하게 명시된 사용자 쿼리(underspecified user queries)**에 직면했을 때 취약성을 보입니다. 실제 검색 로그를 보면 시간적 범위, 지리적 영역, 엔티티 모호성 해소, 수치 임계값 또는 개념 정의와 같은 핵심 제약 조건의 누락이 빈번하게 발견됩니다. 딥 서치에서 이러한 모호성은 심각한 다운스트림 결과를 초래할 수 있습니다. 즉, 검색 계획을 잘못 유도하거나, 저효율 탐색에 도구 호출 예산을 낭비하게 하며, 타겟에서 벗어난 증거 방문을 유발하고, 결과적으로 불완전하거나 부정확한 최종 답변으로 이어질 수 있습니다.

대규모 언어 모델(LLM)은 명확화 질문을 던질 수 있는 능력을 갖추고 있지만, 딥 서치에서의 명확화에 대한 기존 평가 방식은 제한적입니다. 기존 벤치마크들은 주로 질문 수준의 속성(유창성, 타당성)에 집중하며, 다운스트림 유용성을 고려하지 않거나, 리라이팅(rewriting) 또는 검색 단계에서 그라운드 트루스(ground-truth) 의도를 간접적으로 관찰하게 되는 의도 누출(intent leakage) 문제를 겪습니다. 이로 인해 명확화의 품질이 성능 향상에 기여한 정도를 정확히 귀속시키기가 어렵습니다.

방법론: Clarify-Then-Search 벤치마크

저자들은 엄격한 정보 제약 조건 하에서 딥 서치를 용이하게 하는 명확화 질문 생성 능력을 평가하기 위해 설계된 벤치마크인 Clarify-Then-Search를 소개합니다. 이 벤치마크는 실제 바이두(Baidu) 검색 쿼리에서 추출하여 정제된 518개의 인스턴스로 구축되었습니다.

1. 데이터 구축

각 인스턴스는 다음의 쌍으로 구성됩니다:

• $q^*$ (fused_query): 모든 필요한 제약 조건을 포함하고 있는 근본적인 의도 쿼리입니다.
• $q$ (blurred_query): $q^*$에서 핵심 제약 조건(시간, 위치, 범위 등)이 제거된 불충분하게 명시된 버전입니다.

모든 $q^*$에 대해, 저자들은 고정된 딥 서치 백본(WebDancer)을 한 번 실행하여 증거 트레이스(evidence traces)를 기록합니다. 이 트레이스로부터, 가중치가 부여되고 증거에 기반한 "너겟(nuggets)"(추적 가능한 소스 식별자를 가진 원자적이고 판단 가능한 진술)으로 구성된 **정적 골든 레퍼런스(static golden reference)**를 추출합니다. 이 정적 골든 데이터는 재현성을 보장하기 위해 모든 평가 과정에서 재사용됩니다.

2. 2단계 폐쇄형 프로토콜 (Two-Phase Closed-Book Protocol)

의도 누출을 방리고 명확화의 기여도를 격리하기 위해, 평가는 엄격한 2단계 프로토콜을 따릅니다:

• 1단계: 명확화 및 답변 (Clarification & Answering). Clarifier는 오직 흐릿한 쿼리 $q$만을 바탕으로 $k$개의 명확화 질문($k \in \{1, 2, 3\}$)을 생성합니다. 제약이 걸린 시뮬레이터 역할을 하는 **User Answerer (UA)**는 숨겨진 의도 $q^*$와 명확화 질문을 전달받습니다. UA는 요청된 속성이 $q^*$에 명시적으로 존재하는 경우에만 답변해야 하며, 그렇지 않으면 unknown을 출력해야 합니다. UA는 정보를 조작하는 것이 금지됩니다.
• 2단계: 리라이팅 및 검색 (Rewriting & Search). Rewriter는 흐릿한 쿼리 $q$와 도출된 Q&A 쌍을 전달받습니다. 결정적으로, Rewriter는 $q^*$를 절대 볼 수 없습니다. Rewriter는 오직 명시적으로 도출된 정보만을 사용하여 쿼리 $\hat{q}$를 다시 작성해야 합니다. 만약 답변이 unknown이었다면, Rewriter는 구체적인 값을 강제하기보다 모호성을 유지해야 합니다.
• 실행: WebDancer는 재작성된 쿼리 $\hat{q}$를 바탕으로 딥 서치를 실행합니다.

3. 평가 지표

성능은 가중치가 부여된 너겟 재현 점수인 restore_score_100 (0–100)으로 측정됩니다.

• 커버리지 저지(coverage judge, ERNIE-4.5-Turbo로 고정)가 최종 검색 출력과 정적 골든 너겟을 비교합니다.
• 레이블은 full (1.0), partial (0.5), none (0.0)으로 할당됩니다.
• 점수는 전체 골든 너겟의 가중치 합으로 나눈 가중 합계입니다.

주요 기여

1. 데이터셋 및 태스크 정형화: 본 논문은 불충분하게 명시된 쿼리로부터 너겟 복원까지 이어지는 엔드 투 엔드 벤치마크로서 딥 서치 명확화를 정형화합니다. 표준화된 평가 출력을 갖춘 518개 인스턴스의 데이터셋을 공개합니다.
2. 누출 없는 프로토콜: 2단계 폐쇄형 프로토콜을 도입하여 Rewriter가 오라클 의도를 관찰하는 것을 방지함으로써 Clarifier 간의 통제된 비교를 가능하게 합니다.
3. 정적 골든 너겟: 일회성으로 수행되는 증거 기반 정적 레퍼런스를 사용하여 서로 다른 모델과 명확화 예산($k$) 간의 재현 가능한 비교를 허용합니다.
4. 진단 신호: 중간 단계의 상호작용 동작(UA의 답변 가능성, 멀티턴 "전부 unknown" 비율, 질문 유형 편향 등)을 측정 가능하게 하여, 최종 점수 이상의 세밀한 실패 모드 분석을 가능하게 합니다.
5. 재현 가능한 산출물: 골든 구축 및 평가에 필요한 데이터셋, 파이프라인 스크립트, 프롬프트, 인스턴스별 도구 트레이스를 공개합니다.

실험 결과

연구는 고정된 WebDancer 백본을 사용하여 다양한 LLM(GPT-5.2, Claude-Sonnet-4.5, Gemini-2.5-Pro 및 ERNIE-4.5-Turbo-128K, Qwen3, DeepSeek-V3.2와 같은 오픈 웨이트 모델 포함)을 평가했습니다.

• 베이스라인 개선: 모든 Clarifier는 상호작용이 없는 베이스라인(흐릿한 쿼리로 직접 WebDancer 실행) 대비 $k=1$에서 개선된 성능을 보였습니다.
• 예산 효과: 더 큰 명확화 예산($k=2, 3$)은 일반적으로 추가적인 이득을 가져왔습니다.
  • $k=1$일 때, GPT-5.2가 모든 모델 중 가장 높은 평균 점수를 달성했습니다. 오픈 웨이트 모델 중에서는 ERNIE-4.5-Turbo-128K가 선두를 차지했습니다.
  • $k=3$일 때, ERNIE-4.5-Turbo-128K가 GPT-5.2, Claude-Sonnet-4.5, Gemini-2.5-Pro를 제치고 전체 최고 성능 모델이 되었습니다. 이는 더 큰 예산이 여러 턴에 걸친 지속적인 질문 선택의 품질에 보상을 준다는 것을 시사합니다.
• 진단 및 실패 모드:
  • 높은 Unknown 비율: 주요 병목 구간은 "정보 획득(information gain)" 실패입니다. $k=1$에서 UA는 60~70%의 사례에서 unknown을 반환했으며, 이는 많은 단일 턴 명확화가 의도에 기반한 제약 조건을 도출하는 데 실패했음을 의미합니다.
  • 지역 중심 편향 (Region-Only Bias): 모델들이 빈번하게 지역/위치 질문을 던지는 저효율 실패 모드가 확인되었습니다. 폐쇄형 프로토콜 하에서 이러한 질문들은 종종 unknown을 유도하여(지역 관련 질문의 unknown 비율 0.75–0.87), 재작성된 쿼리를 개선하지 못한 채 명확화 턴을 낭비하게 했습니다.
  • 멀티턴의 이점: $k$를 늘리면 전체 상호작용이 근거 있는 신호를 전혀 생성하지 못할 확률(예: GPT의 "all-unknown" 비율이 $k=1$에서 0.618에서 $k=3$에서 0.189로 감소)이 크게 줄어들었습니다.

의의 및 주장

본 논문은 Clarify-Then-Search가 의도 누출이 없고 재현 가능한 명확화-후-검색 파이프라인 평가를 가능하게 한다고 주장합니다. 이 연구의 주요 의의는 평가의 초점을 질문 수준의 메트릭에서 현실적인 정보 제약 조건 하에서의 엔드 투 엔드 유용성(너겟 복원)으로 전환했다는 점에 있습니다.

저자들은 명확화가 비대화형 베이스라인보다 딥 서치를 일관되게 개선하지만, 딥 서치를 안정적으로 개선하는 것은 여전히 도전적인 과제라고 강조합니다. 특히, 많은 시스템이 (특히 지역에 관한) 질문을 과도하게 던져 숨겨진 의도와 부합하지 않는 답변을 유도함으로써, 낮은 수익의 상호작용을 초래한다는 점을 지적합니다. 이 벤치마크는 명확화가 왜 성공하거나 실패하는지를 분석할 수 있는 필수적인 진단 도구를 제공하며, 미래의 시스템이 언제 질문할지, 무엇을 질문할지, 그리고 명확화 신호를 어떻게 효과적으로 활용할지를 더 잘 결정해야 함을 보여줍니다.

결과는 절대적인 점수에 대해서는 겸허하게 제시되었으며, 이 벤치마크가 모든 백엔드 불가지론적인 검색 시스템의 순위를 매기기보다는 공유된 딥 서치 파이프라인 하에서 명확화 유용성을 통제된 방식으로 평가하는 데 최적화되어 있음을 명시하고 있습니다.