기술 요약: 스트리밍 검색 증강 생성(Streaming RAG)에서의 도구 의도 안정화 특성 분석

1. 문제 정의

스트리밍 검색 증강 생성(Streaming RAG)은 사용자의 발화가 완료되기 전, 진행 중인 입력과 병렬로 도구 쿼리를 발행하여 사용자 체감 지연 시간을 줄이는 것을 목표로 한다. 총체적인 지연 시간 이득이 보고되고 있으나, 이 메커니즘의 근본적인 이점은 **쿼리 내재적(query-intrinsic)**이다. 즉, 추측(speculation)이 지연 시간 이득을 얻으려면, 올바른 도구 쿼리가 사용자가 말을 마치거나 타이핑을 끝내기 전에 결정 가능해야 한다.

만약 쿼리의 결정적인 용어가 늦게 도착한다면(예: "콘솔 이름이 플레이스테이션이라고 불리는 것은 누구인가요"), 조기 추측은 올바른 근거를 검색할 수 없으며, 이 경우 지연 시간 이득은 제로로 수렴한다. 반대로, 결정적인 용어가 일찍 도착한다면, 도구의 전체 지연 시간을 사용자의 남은 입력 시간 뒤로 숨길 수 있다. 본 논문은 이러한 "도구 의도 안정화(tool-intent stabilization)"가 언제, 그리고 어떤 쿼리에 대해 발생하는지, 그리고 얼마나 많은 지연 시간을 이론적으로 숨길 수 있는지에 대한 원칙적인 이해가 부족하다는 점을 다룬다.

2. 방법론

데이터 및 설정

• 벤치마크: 본 연구는 1,371개의 질문으로 구성된 CRAG(Comprehensive RAG Benchmark) Task 1&2 검증 세트를 활용한다.
• 검색: 120단어 윈도우로 분할된 웹 페이지에 대해 순수 파이썬 기반의 렉시컬(lexical) BM25 검색기를 사용한다. 검색은 쿼리의 모든 단어 접두사($q_{1:t}$)에 대해 점진적으로 수행된다.
• 하드웨어/학습: 본 분석은 모델 불가지론적(model-agnostic)이며, 모델 학습을 요구하지 않고 일반적인 CPU 하드웨어에서 실행된다.

핵심 정의

본 논문은 도구 의도 안정화를 측정 가능한 양으로 공식화한다:

• 자기 일관성 안정화 ($t_{sc}$): 전체 쿼리까지 이후의 모든 접두사에 대해 최상위 1위(top-1) 검색 문서가 변하지 않는 가장 작은 접두사 길이 $t$.
• 충분성 안정화 ($t_{suf}$): 정답을 담고 있는 문서($d^*$)가 상위 $k$개 결과에 나타나는 가장 작은 접두사 길이 $t$. 이는 RAG 운영 측면에서 의미 있는 지표이다.
• 안정화 비율 ($\phi$): $\phi = t^*/n$으로 정의되며, 여기서 $n$은 전체 쿼리 길이이다. $\phi$가 낮을수록 더 일찍 안정화됨을 의미한다.
• 숨겨진 지연 시간 경계 ($H$): 도구 지연 시간($L$) 중 사용자의 남은 입력 시간 뒤로 숨길 수 있는 부분에 대한 모델 불가지론적 경계값.
  $$H(Q; L, \delta) = \min\left(L, \max\left(0, \frac{n - t^*}{\delta}\right)\right)$$
  여기서 $\delta$는 입력 속도(단어/초)이다. $H$는 특정 쿼리에 대해 달성 가능한 최대 지연 시간 절감량을 나타낸다.

실험 설계

본 연구는 네 가지 사전 등록된 연구 질문(RQ)을 다룬다:

1. RQ1: 쿼리 전반에 걸친 안정화 비율($\phi$)의 분포는 어떠한가?
2. RQ2: 다양한 도구 지연 시간($L$), 입력 속도($\delta$), 커버리지 임계값($\theta$) 하에서, 얼마나 많은 쿼리가 지연 시간 은닉을 허용하는가?
3. RQ3: 이론적 $H$ 경계가 실제 작동하는 스트리밍 파이프라인의 성능과 일치하는가?
4. RQ4: 어떤 쿼리 특성(예: 질문 유형)이 조기 또는 늦은 안정화를 예측하는가?

$H$를 검증하기 위해, 저자들은 이전 연구(Arora et al., 2025)에서 보고된 지연 시간으로 교정된 비동기 스트리밍 RAG 하네스(Trigger, parallel Threads, Reflector)를 통해 질문의 일부를 재현하였다.

3. 주요 결과

안정화 분포 (RQ1)

• 이질적 동작: 자기 일관성($t_{sc}$)은 늦게 안정화된다(평균 $\phi_{sc} \approx 0.67$). 이는 렉시컬 top-1 결과가 쿼리가 거의 완료될 때까지 자주 변함을 의미한다. 반면, 충분성($t_{suf}$)은 매우 일찍 안정화된다.
• 조기 충분성: 정답이 검색 가능한 질문의 하위 집합(전체 벤치마크의 21.3%)에서, 정답 근거는 평균 $\phi_{suf} = 0.26$ (중앙값 0.14)에서 상위 3개 결과에 등장한다.
• 분포 형태: 분포는 가설이었던 이봉 분포(bimodal distribution)가 아니라 0 근처에 큰 질량이 있는 우편향(right-skewed) 분포를 보인다. 이는 상당수의 쿼리에 대해 정답 근거가 사용자가 타이핑을 마치기 훨씬 전에 이미 준비되어 있음을 나타낸다.

지연 시간 은닉 잠재력 (RQ2)

• 스트리밍 가능 비율: 현실적인 운영 지점($L=600$ ms, $\delta=3$ w/s, $\theta=0.8$)에서, **73.9%**의 쿼리가 도구 지연 시간의 80% 이상을 은닉할 수 있다.
• 분해:
  • "유리한 슬라이스"(정답이 검색되는 21.3%의 쿼리)의 경우, **95.2%**가 스트리밍 가능하다.
  • 나머지 경우(fallback으로 $t_{sc}$ 사용 시), **68.1%**가 스트리밍 가능하다.
• 속도 효과: 큰 도구 지연 시간($L=1000$ ms)의 경우, 입력 속도가 느릴수록(예: 4 w/s 대비 2 w/s) 역설적으로 스트리밍 가능 비율이 증가한다. 이는 잔여 입력 시간이 제약 조건이 되어 도구 호출을 숨길 수 있는 시간을 더 많이 확보해주기 때문이다.

파이프라인 검증 (RQ3)

• 보수적 경계: 이론적 경계 $H$는 보수적이다. 실제 작동하는 파이프라인에서 실현된 절감량은 $L=600$ ms일 때 평균 1,122 ms였다(경계값 590 ms 대비). 이러한 초과 달성은 파이프라인이 $H$가 모델링하지 않는 LLM의 쿼리 생성 단계(~590 ms) 또한 중첩시키기 때문이다.
• 쿼리별 예측: 경계 $H$는 신뢰할 만한 총체적 경계이지만, 개별 쿼리에 대한 예측 도구로는 실패한다(Spearman $\rho \approx 0.12$). 이는 일정한 쿼리 생성 중첩이 절감량을 지배하며, 경계의 하한값($\max(0, \cdot)$)이 오작동(mis-fire)으로 인한 음의 절감량을 표현할 수 없기 때문이다.
• 오작동(Mis-fires): 테스트된 하위 집합에서 음의 절감량(오작동)은 드물게(~1.7%) 발생했다. 이는 $H$가 최대치일 때도 발생했으며, 이는 조기 트리거 하에서의 늦은 안정화가 주요 리스크이지, 높은 변동성($V$) 자체가 원인이 아님을 시사한다.

안정화 예측 인자 (RQ4)

• 질문 유형: 질문 유형은 안정화 시간에 유의미하지만 거친 수준의 분리 효과를 보인다(Kruskal–Wallis $p=0.017$).
• 엔티티 위치 vs 추론: 단순 조회(lookup)가 복잡한 추론보다 일찍 안정화될 것이라는 가설과 달리, 데이터는 집계(aggregation) 및 비교(comparison) 질문이 종종 가장 빨리 안정화됨을 보여준다. 이는 이러한 질문들이 핵심 엔티티를 초반에 언급하는 경우가 많아, 최종 답변을 위한 추론은 사후에 필요하더라도 정답을 담은 페이지는 조기에 검색 가능하기 때문이다.
• 결론: 안정화는 추론의 복잡성이 아니라 발화 내의 엔티티 위치에 의해 결정된다.

강건성

• 그라운딩(Grounding): 완화된 "bag-of-content-token" 그라운딩 방식을 사용하여 그라운딩 가능한 모집단을 약 1.5배 증가시켰다. 평균 $\phi_{suf}$는 0.26에서 0.281로 약간만 이동하였으며, 이는 조기 안정화가 엄격한 문자열 매칭의 산물이 아닌 견고한 신호임을 확인시켜 준다.
• Top-k 민감도: $k$를 1에서 5로 늘리면 검색률이 향상되고 $\phi_{suf}$가 약간 낮아지지만, 조기 충분성과 늦은 자기 일관성 사이의 격차는 일관되게 유지된다.

4. 의의 및 주장

본 논문의 주요 기여는 새로운 시스템을 제시하는 것이 아니라 측정 및 분석에 있다. 본 연구는 도구 의도 안정화가 쿼리 내재적이며 모델 불가지론적인 양으로서, 모든 스트리밍 RAG 시스템이 달성할 수 있는 상한선을 정의한다는 점을 확립한다.

• 원칙적인 트리거 설계: 본 연구는 학습된 추측 트리거를 도입할 비용을 감수할 가치가 있는지 결정할 수 있는 훈련 불필요한 근거를 제공한다. 특히 엔티티가 초기에 등장하는 대다수의 쿼리에서 지연 시간을 숨길 수 있는 "헤드룸(headroom)"이 존재함을 시사한다.
• 경계의 타당성: 도출된 경계 $H$는 지연 시간 절감의 보수적인 총체적 예측 도구로 검증되었으나, 일정한 시스템 오버헤드와 오작동 페널티로 인해 개별 쿼리의 결과를 예측하지는 못한다.
• 한계: 저자들은 충분성 결과가 유리한 하위 집합(21.3%)에 조건부적이라는 점과 현재의 그라운딩이 문자열 기반이라는 점을 인정한다. 또한 밀집 검색(dense retrieval) 및 더 복잡한 그라운딩 방식은 향후 과제로 남겨두었다.

요약하자면, 본 논문은 스트리밍 RAG가 모든 쿼리에 보편적으로 유익한 것은 아니지만, 조기 의도 안정화가 발생하는 "유리한 영역"이 충분히 흔하며, 따라서 트리거를 설계할 때 쿼리 내재적 안정화 지점에 대한 이해를 바탕으로 한다면 아키텍처의 복잡성을 정당화할 수 있다고 주장한다.