💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

본 논문은 DeepResearchGym 의 1444 만 건의 실제 에이전트 검색 요청을 분석하여 세션 길이 분포, 의도에 따른 탐색 전략, 그리고 쿼리 수정이 검색된 증거와 갖는 강력한 어휘적 추적 가능성과 같은 주요 행동 패턴을 규명함으로써 궁극적으로 검색 에이전트 설계 최적화를 위한 실행 가능한 신호를 제공합니다.

원저자: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수천 명의 로봇 사서가 인간 독자가 아닌 채로 일하는 거대하고 붐비는 도서관을 상상해 보세요. 이 로봇들은 첨단 AI 로 구동됩니다. 이들의 임무는 단순히 한 권의 책을 찾는 것이 아니라 복잡한 퍼즐을 푸는 것입니다. 이를 위해 그들은 한 번만 책을 요청하지 않습니다. 질문을 하고, 답변을 읽고, 방금 읽은 내용에 기반한 후속 질문을 던지며, 다시 읽고, 전체 그림을 파악했다고 생각할 때까지 이 과정을 계속합니다.

이 논문은 이러한 로봇 사서에 대한 대규모 관찰 연구입니다. 연구자들은 DeepResearchGym이라는 공개 시스템에서 나온 1,400 만 건 이상의 검색 요청(약 400 만 건의 '대화' 또는 세션)을 분석했습니다. 연구자들은 다음과 같은 점을 이해하려 했습니다: 이 로봇들은 무엇을 하려 하며, 진행 과정에서 질문을 어떻게 변화시키는가?

다음은 간단한 비유를 사용한 그들의 발견 사항 요약입니다:

1. "쇼핑 목록" 대 "탐정" (의도)

연구자들은 로봇들이 검색 방식을 결정하는 세 가지 주요 성격 유형, 즉 "의도"로 나뉜다는 사실을 발견했습니다:

사실 추구자 (기술적): 이 로봇은 "이 간식 회사의 소유주는 누구인가?"와 같은 구체적인 사실 하나만 원합니다.
- 행동: 답을 즉시 찾지 못하면 같은 질문이나 약간 변형된 버전들을 계속 반복하며 함정에 빠지는 경향이 있습니다. (문 repeatedly 두드리며 같은 질문을 외치는 사람처럼)
방법 안내자 (절차적): 이 로봇은 "누수되는 수도꼭지를 고치는 법은?"과 같이 무언가를 하는 방법을 알고 싶어 합니다.
- 행동: 더 길고 상세한 질문을 던지며 완전한 지침을 얻기 위해 '도서관 선반'(문서) 을 더 깊이 파고듭니다.
탐정 (추론): 이 로봇은 "왜 가스는 비싼가?"와 같은 복잡한 퍼즐을 가지고 있습니다.
- 행동: 가장 모험적입니다. 한 가지 관점에 머무르지 않고 점들을 연결하기 위해 다양한 주제 (면) 사이를 오갑니다. 한곳을 깊게 파는 대신 광범위하게 탐색합니다.

2. "깊이 파기" 습관

가장 큰 발견 중 하나는 이 로봇들이 **확대 **(zoom in)하는 경향이 **축소 **(zoom out)하는 경향보다 훨씬 강하다는 것입니다.

지도 한 장을 보고 있다고 상상해 보세요. 대부분의 시간, 이 로봇들은 넓은 시야를 확보한 후 즉시 세부 사항을 찾기 위해 작은 거리로 확대합니다. "잠깐, 내가 아예 다른 도시를 보고 있는 건 아닐까?"라고 뒤로 물러서서 다시 생각해보는 경우는 드뭅니다.

"깊이 파기" 편향: 약 36% 에서 48% 의 경우, 그들은 동일한 주제의 약간 다른 각도로만 방향을 전환합니다.
"축소"의 희소성: 실제로 더 큰 그림을 보기 위해 검색 범위를 넓히는 경우는 약 9% 에 불과합니다. 확대할 때면 거의 즉시 다시 축소합니다. 마치 지도 전체를 잠깐 훑어본 후 다시 즉시 한 개의 거리에 초점을 맞추는 것과 같습니다.

3. "에코 챔버" 효과 (반복)

이 연구에 따르면 로봇 대화의 90% 는 짧습니다(10 단계 이하), 그리고 매우 빠르게 진행됩니다 (질문 사이가 종종 1 분 미만).

그러나 사실 추구자들의 경우 문제가 있습니다. 대화가 진행됨에 따라 그들은 점점 더 자신을 반복하기 시작합니다. 9 단계가 되면 질문의 거의 절반이 이전 질문과 거의 동일합니다. 이미 질문한 사실을 잊어버리거나, 성공하지 못한 채 같은 답을 다른 각도에서 얻으려 함정에 빠진 사람과 같습니다.

4. "용어 수용" 테스트 (실제로 읽었는가?)

연구자들은 다음과 같은 점을 알고 싶어 했습니다: 로봇이 새로운 질문을 할 때, 방금 찾은 정보를 실제로 사용하는가?

로봇의 내부 "두뇌"(기억) 를 볼 수 없었기 때문에, 그들은 CTAR(문맥 기반 용어 수용률)이라는 교묘한 테스트를 고안했습니다.

비유: 탐정이 "용의자는 빨간 모자를 썼다"는 단서를 읽었다고 상상해 보세요. 만약 탐정의 다음 질문이 "빨간 모자를 쓴 사람은 누구인가?"라면, 그들은 그 용어를 "수용"한 것입니다.
결과: 연구자들은 로봇들이 다음 질문에서 사용한 새로운 단어의 **54%**가 방금 읽은 텍스트에서 직접 유래한 것을 발견했습니다.
주의점: 이는 로봇이 텍스트를 완벽하게 이해했다는 뜻이 아니라, 단어들이 거기에 있었다는 뜻일 뿐입니다. 마치 인간이 깊이 생각하기보다 들은 단어를 반복하는 앵무새와 같습니다. 하지만 이는 로봇들이 적어도 검색한 증거를 보고 있다는 것을 증명합니다.

5. "고정된 예산" 문제

로봇들은 질문당 읽을 문서 수에 대한 "예산"(예: 5 페이지 또는 10 페이지 읽기) 을 부여받았습니다.

발견: 대부분의 로봇은 이 예산을 하드 코딩된 설정처럼 취급했습니다. 그들은 작업에 따라 이를 변경하지 않았습니다. 간단한 사실을 찾든 복잡한 미스터리를 풀든, 그들은 대부분 같은 페이지 수에 머무릅니다. 복잡한 미스터리는 간단한 사실보다 더 많은 페이지를 읽어야 할 수도 있다는 점을 인식하지 못한 듯합니다.

요약

이 논문은 AI 검색 에이전트를 위한 교통 보고서와 같습니다. 이는 다음과 같은 사실을 알려줍니다:

대부분의 검색은 짧고 빠릅니다.
로봇들은 간단한 사실을 찾을 때 함정에 빠집니다.
그들은 세부 사항에 확대하는 것을 선호하며, 뒤로 물러서서 큰 그림을 보는 것을 꺼립니다.
그들은 읽은 내용에서 단어를 받아들이지만, 작업의 난이도와 관계없이 경직된 "읽기 예산"에 머무는 경향이 있습니다.

저자들은 이 데이터를 공개하여 다른 연구자들이 이러한 로봇들이 함정에 빠지는 것을 깨고, 더 많이 탐색하며, 읽기 예산을 더 현명하게 사용할 수 있도록 더 나은 "교통 통제관"을 구축할 수 있도록 했습니다.

"Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

정보 검색 (IR) 커뮤니티는 LLM 기반 에이전트 검색이 실제 환경에서 어떻게 작동하는지에 대한 경험적 이해가 부족합니다. 벤치마크는 존재하지만, 다음 사항들을 드러내지 못합니다:

에이전트가 다단계 세션 전반에 걸쳐 쿼리를 어떻게 진화시키는지.
검색된 증거가 후속 쿼리 수정에 어떻게 영향을 미치는지.
근본적인 사용자 의도 (예: 사실 추구 vs 추론) 에 따라 검색 행동이 어떻게 다른지.
에이전트가 맥락을 효과적으로 활용하는지 아니면 반복적인 루프에 빠지는지.

현재 로그는 인간 검색에서 발견되는 클릭과 같은 암시적 피드백 신호가 부족하여, 에이전트가 검색된 증거를 성공적으로 활용하는지 아니면 단순히 환각하거나 반복하는지 판단하기 어려운 '측정 격차'를 만들어냅니다.

2. 데이터셋 및 인프라

저자들은 외부 에이전트 클라이언트가 접근하는 오픈소스 모델 중립적 검색 API 인 **DeepResearchGym(DRGym)**의 데이터를 분석했습니다.

규모: 6 개월 (2025 년 6 월~12 월) 동안 수집된 1,444 만 건의 검색 요청.
세션: 전처리되어 397 만 개의 세션으로 구성됨.
다양성: 로그는 25 개 국가 (주로 중국과 미국) 를 포괄하며 높은 의미적 다양성 (쿼리 간 평균 코사인 유사도 낮음) 을 보이며, 소수의 벤치마크 작업이나 반복적 프롬프트에 의해 지배되지 않음을 나타냅니다.
개인정보 보호: IP 주소는 익명화되었으며, 클라이언트 측 프롬프트와 메모리는 기록되지 않아 분석은 쿼리, 매개변수, 타임스탬프, 반환된 증거와 같은 API 수준 추적 데이터에 엄격히 의존합니다.

3. 방법론

저자들은 세션 구조와 쿼리 진화를 분석하기 위한 3 가지 구성 요소 측정 프레임워크를 제안합니다:

A. 세션화 (Sessionization)

고정된 시간 간격을 사용하는 인간 로그와 달리, 에이전트 요청은 빠른 병렬 돌발 형태로 도착할 수 있습니다. 저자들은 의미적 연속성 기준과 10 분의 하드 시간적 차단을 결합하여 개발했습니다:

쿼리 쌍을 점수화하기 위해 의미적 연속성 모델 (Qwen3 임베딩을 가진 MLP) 을 훈련시켰습니다.
점수가 임계값을 초과하면 쿼리는 가장 의미적으로 연속적인 활성 세션에 할당되고, 그렇지 않으면 새로운 세션이 시작됩니다.

B. 의도 및 궤적 라벨링 (LLM-as-a-Judge)

gpt-5-nano를 사용하여 데이터를 두 수준에서 주석 처리했습니다:

세션 수준 의도: 웹 검색 목표 모델링을 기반으로 세 가지 범주로 분류:
- 선언적 (Declarative): 사실 검색 (예: "X 의 소유자는 누구인가?").
- 절차적 (Procedural): 방법 실행 (예: "Y 를 어떻게 고치는가?").
- 추론 (Reasoning): 복잡한 종합 (예: "Z 가 왜 발생하는가?").
궤적 수준 수정: 인접한 쿼리 쌍 ( $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ) 을 네 가지 유형으로 분류:
- 세분화 (Specialization): 제약 조건을 좁힘.
- 일반화 (Generalization): 제약 조건을 넓힘.
- 탐색 (Exploration): 관련 측면으로 전환.
- 반복 (Repetition): 거의 중복되는 수정.

C. 맥락 기반 용어 채택률 (CTAR)

내부 에이전트 주의 (attention) 에 접근할 수 없이 증거 추적 가능성을 측정하기 위해 저자들은 CTAR를 도입했습니다.

정의: 쿼리 ( $q_{k+1}$ ) 에서 새롭게 도입된 용어 중 이전 단계에서 검색된 증거에 어휘적으로 나타나는 비율.
맥락:
- 직전 단계 (Last-step): 바로 직전 검색 ( $E_k$ ) 에서 추적된 용어.
- 집계 (Aggregated): 지금까지 검색된 모든 증거의 합집합 ( $\bigcup E_i$ ) 에서 추적된 용어.
중요성: 이는 의미적 재구문화와 구별되는, 에이전트가 검색된 정보를 다음 쿼리에 통합하는지 여부를 측정하는 보수적이고 해석 가능한 지표를 제공합니다.

4. 주요 결과

세션 구조 및 역동성

길이: 다중 턴 세션의 90% 이상이 최대 10 단계를 포함합니다.
속도: 단계 간 간격의 **89%**가 1 분 미만으로, 인간 검색에 비해 빠른 반복 루프를 나타냅니다.
검색 깊이: 대부분의 에이전트는 검색된 문서 수 ( $K$ ) 를 정적 매개변수 (주로 $K \in \{1, 5, 10\}$ ) 로 취급하며, 세션의 1.35% 만 단계 간 $K$ 를 변경합니다.

의도 조건부 행동

선언적 (세션의 88.6%): 시간이 지남에 따라 증가하는 가장 높은 반복(거의 중복되는 루프) 을 보입니다. 얕은 검색을 사용하지만 더 많은 반복이 필요합니다.
절차적 (3.96%): 더 깊은 검색 ( $K \approx 37$ ) 을 사용하며, 수정 단계가 적은 의미적으로 안정적인 진행을 보입니다.
추론 (7.41%): 가장 넓은 탐색(전환) 을 유지하며 첫 번째와 마지막 쿼리 간 가장 높은 의미적 편차를 보입니다.

궤적 역동성

드릴다운 편향: 에이전트는 압도적으로 세분화와 탐색을 선호합니다. 일반화(넓히기) 는 가장 덜 사용되는 동작 (<11%) 이며, 종종 재세분화하기 전의 짧은 '재설정'으로 작용합니다.
안정성 vs 교체: 반복은 높은 결과 중첩 (~~78%) 을 유지하는 반면, 탐색은 주요 증거 교체 (~~7% 중첩) 를 유발합니다.
루프: 선언적 세션은 후기 단계에서 자주 높은 안정성의 '재시도 루프'(비슷한 쿼리 반복) 에 진입하여 잠재적 정체를 시사합니다.

증거 추적 가능성 (CTAR)

전체 채택: 평균적으로 새로 도입된 쿼리 용어의 **54.35%**가 집계된 증거 맥락에 어휘적으로 추적 가능합니다.
최근성 효과: 직전 단계 맥락이 채택의 48.54% 를 차지합니다. 차이 (~5.8%) 는 에이전트가 바로 직전 단계 이전의 증거도 활용함을 나타냅니다.
동작별 변동:
- 세분화: 높은 CTAR(~78%), 새로운 용어가 최근 증거에서 직접 도출됨을 나타냄.
- 반복: 낮은 CTAR(~21%), 에이전트가 증거에서 새로운 어휘적 용어를 통합하지 않고 재시도함을 시사.

5. 주요 기여

대규모 행동 특성화: 1,400 만 건 이상의 요청 규모에서 에이전트 검색을 최초로 분석하여, 에이전트가 정적 검색 예산으로 짧고 빠른 루프에서 작동함을 규명했습니다.
CTAR 지표: 내부 에이전트 상태나 의미적 유사도 임계값에 대한 접근 없이 증거 조건부 쿼리 진화를 정량화하는 새로운 해석 가능한 지표.
의도 적응형 통찰: 검색 전략 (반복 vs 탐색) 이 작업 의도에 크게 의존함을 입증하여, 균일한 에이전트 검색 과정이라는 개념에 도전했습니다.
오픈 데이터: HuggingFace 를 통해 익명화된 DRGym 로그 및 분석 프로토콜을 공개했습니다.

6. 중요성 및 함의

이 발견들은 더 나은 에이전트 IR 시스템 설계에 실행 가능한 신호를 제공합니다:

반복 인식 정지: 선언적 작업에서의 높은 반복률은 '정체 루프'를 감지하고 전략 전환 (예: 탐색 강제 또는 인간 검토) 을 트리거하는 컨트롤러의 필요성을 시사합니다.
의도 적응형 예산: 절차적 작업은 깊은 검색을 선호하는 반면 선언적 작업은 반복에 의존하므로, 시스템은 고정된 매개변수 대신 감지된 의도에 따라 검색 깊이 ( $K$ ) 를 동적으로 조정해야 합니다.
단계 간 맥락 추적: 최근 단계 이상의 오래된 증거에 대한 측정 가능한 추적 가능성은 맥락 관리 모듈이 쿼리 작성을 지원하기 위해 역사적 증거 용어를 명시적으로 노출해야 함을 시사합니다.
평가 설계: CTAR 는 에이전트가 검색된 증거에 쿼리를 효과적으로 근거하는지 평가하기 위한 경량 감사 준비 신호를 제공하여 API 로그와 내부 추론 간의 격차를 해소합니다.

결론적으로, 이 논문은 에이전트 검색이 강력하지만 현재는 고정된 예산, 반복적인 루프와 같은 경직된 행동을 보이며, 의식적 제어 정책과 더 나은 맥락 추적 메커니즘을 통해 최적화될 수 있음을 확립합니다.