💬 NLP

Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search

이 논문은 정적 검색 유용성이 다단계 에이전트 탐색에서의 인과적 유용성을 예측하는 데 실패함을 입증하며, 에이전트의 성공에 필수적인 문서 중 약 3분의 1에 해당하는 '가교 문서(bridge documents)'가 정적 독자들에게는 무용해 보인다는 사실을 밝히는데, 이는 해당 문서들의 진정한 가치가 현재의 질문에 직접 답하는 것이 아니라 미래의 쿼리를 재지정하는 변별적 엔티티를 제공하는 데 있기 때문이다.

원저자: Debayan Mukhopadhyay, Utshab Kumar Ghosh, Shubham Chatterjee

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Debayan Mukhopadhyay, Utshab Kumar Ghosh, Shubham Chatterjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 다층적 미스터리를 풀기 위해 일련의 질문을 던지며 쿠키 병을 누가 훔쳤는지 알아내는 과정을 상상해 보십시오. 당신에게는 아주 똑똑한 탐정(AI 에이전트)과 거대한 도서관(검색 엔진)이 있습니다. 옛날에 과학자들은 탐정을 돕는 가장 좋은 방법은 곧바로 최종 정답이 담긴 책을 건네주는 것이라고 생각했습니다. 그들은 책의 "유용성"을 다음과 같이 측정했습니다: "이 책과 질문을 함께 읽었을 때, 문제를 풀 수 있는가?" 만약 책에 정답이 있다면 금메달을 주었고, 그렇지 않다면 옆으로 치워버렸습니다.

하지만 여기 반전이 있습니다. 현대의 탐정들은 책 한 권을 읽고 멈추지 않습니다. 그들은 질문을 던지고, 조금 읽고, 더 많은 정보가 필요하다는 것을 깨달으면, 새로운 질문을 던지며 계속 나아갑니다. 이것을 "다단계 에이전트 검색(multi-step agentic search)"이라고 부릅니다. 문제는, 기존의 방식으로 책을 채점하는 방식은 이런 종류의 탐정에게는 통하지 않는다는 점입니다. 어떤 책은 그 자체로는 완전히 쓸모없어 보일 수 있습니다. 최종 정답을 담고 있지는 않지만, 탐정이 다음 질문을 던져 실제로 사건을 해결할 수 있게 해주는 단 하나의 작은 단서(예: 이름이나 장소)를 포함하고 있을 수 있기 때문입니다. 만약 그 "쓸모없는" 책을 가져가 버린다면, 탐정은 막혀서 실패하게 될 것입니다. 이 논문은 바로 그 간극, 즉 겉보기에 좋아 보이는 문서와 탐정이 단계별로 미스터리를 풀도록 실제로 도움을 주는 문서 사이의 차이를 조사합니다.

다리처럼 보이지만 막다른 길인 것들

칼카타 대학교와 미주리 과학 기술 대학교의 연구진은 하나의 큰 가설을 테스트하기로 했습니다: 정적인 독자에게 도움이 되어 보이는 문서가 검색 에이전트에게도 도움이 되는가?

이를 알아내기 위해, 그들은 1,000개의 까다로운 다단계 질문(HotpotQA라는 데이터셋)을 사용하여 디지털 실험을 설계했습니다. 그들은 똑똑한 AI 에이전트가 이 문제들을 해결하는 과정을 지켜보았습니다. 에이전트는 문서를 읽고, 생각하고, 새로운 질문을 던지고, 다시 읽습니다. 하지만 여기서 영리한 부분이 있습니다. 에이전트가 읽은 모든 문서에 대해, 연구진은 "만약 ~라면 어떨까"라는 게임을 수행했습니다. 그들은 에이전트의 시야에서 특정 문서를 삭제하고, 에이전트가 그 문서 없이 나머지 여정을 마칠 수 있는지 지켜보았습니다.

그들은 이를 **반사실적 궤적 탐색(Counterfactual Trajectory Exploration)**이라고 불렀습니다. 이는 마치 영화를 보다가 잠시 멈추고, 한 장면을 지운 뒤, 나머지 영화가 무너지는지 지켜보는 것과 같습니다.

그들은 모든 문서에 대해 두 가지를 측정했습니다:

정적 유용성 (SRU): 만약 원래의 질문과 함께 이 문서를 새로운 독자에게 준다면, 도움이 될 것인가? ("금메달" 테스트).
인과적 유용성 (CTU): 만약 이 문서를 제거한다면, 에이전트가 실패하거나, 더 나쁜 답을 내놓거나, 혹은 더 많은 질문을 해야 하는가? ("실제 도움" 테스트).

충격적인 발견: 둘은 서로 관련이 없다

결과는 놀라웠습니다. 연구진은 에이전트가 읽은 23,322개 이상의 문서를 분석했습니다. 그들은 두 테스트가 거의 완전히 무관하다는 것을 발견했습니다. 두 지표 사이의 통계적 연관성은 -0.026이었는데, 이는 사실상 제로(0)에 가깝습니다.

쉬운 말로 설명하자면: 표준적인 독자에게 쓸모없어 보이는 문서가 검색 에이전트에게는 가장 중요한 것일 때가 많습니다.

그들은 **"브리지 문서(Bridge Documents)"**라고 부르는 특별한 카테고리를 발견했습니다.

시나리오: 질문이 "지구 온난화를 위한 법안을 통과시킨 하와이의 6대 주지사는 어떤 정당 소속인가?"라고 가정해 봅시다.
1단계: 에이전트는 "린다 링글(Linda Lingle)은 하와이의 6대 주지사였다"라는 문서를 찾습니다. 이 문서는 정당이나 지구 온난화에 대해 언급하지 않습니다. 표준적인 독자라면 "이건 쓸모없어! 질문에 대한 답이 없잖아"라고 말할 것입니다.
2단계: 하지만 에이전트는 이 문서를 읽고, "린다 링글"이라는 이름을 학습하며, 이 이름을 사용하여 다음 질문을 던집니다: "린다 링글의 정당은 무엇인가?"
3단계: 두 번째 검색이 정답을 찾아냅니다.

만약 연구진이 그 첫 번째 "쓸모없는" 문서를 삭제했다면, 에이전트는 린다 링글에 대해 물어야 한다는 사실조차 알지 못했을 것입니다. 그러면 에이전트는 실패했을 것입니다. 그 첫 번째 문서는 **브리지(다리)**였습니다. 정답을 가지고 있지는 않았지만, 정답으로 가는 길을 만들어준 것입니다.

연구진은 에이전트가 읽은 문서 중 **35.72%**가 이러한 "브리지 문서"였다는 것을 발견했습니다. 이 문서들은 인과적으로 필수적이었지만(에이전트가 성공하기 위해 필요했음), 정적인 독자에게는 완전히 쓸모없어 보였습니다.

왜 이 브리지들이 작동하는가?

연구진은 단순히 브리지를 찾는 데 그치지 않고, 왜 이것들이 작동하는지 알고 싶었습니다. 그들은 이 문서들이 에이전트에게 특정 "열쇠"—즉, 특정 개체(이름, 장소, 사물 등)—를 건네주기 때문에 작동한다는 가설을 세웠습니다. 에이전트는 이를 다음 검색에 사용합니다.

그들은 **관측 가능한 개체 관련성 (Observable Entity Relevance, OER)**을 통해 이를 테스트했습니다. 이는 "이 특정 단어나 이름이 좋은 답변을 구분하는 데 도움이 되는 적절한 문서들에 등장하는가?"를 묻는 세련된 방식입니다.

그들은 문서가 "변별력 있는" 개체(좋은 단서를 나쁜 단서와 구별해 주는 것)를 포함하고 있을 때, 그 개체가 에이전트의 다음 검색 쿼리에 나타나는 빈도가 관련 없는 문서에서 발견된 개체보다 4.02배 더 높다는 것을 발견했습니다.

좋은 문서의 중요한 개체가 다음 질문에 포함되는 경우는 **6.1%**였습니다.
관련 없는 문서의 개체가 포함되는 경우는 단 **1.5%**에 불 불과했습니다.

이는 에이전트가 단순히 추측하는 것이 아니라, "쓸모없는" 문서에서 특정 단서를 기계적으로 포착하여 자신의 검색 방향을 올바른 쪽으로 전환하고 있음을 증명합니다.

이것이 미래에 의미하는 바

이 논문은 현재의 검색 엔진을 훈련하고 테스트하는 방식이 잘못되었다고 결론짓습니다. 우리는 현재 정답을 지금 당장 담고 있는 문서를 최적화하고 있지만, 단계별로 사고하는 에이전트에게는 실제로 다음 단서를 담고 있는 문서가 필요합니다.

연구진은 아직 이러한 브리지를 자동으로 찾는 방법을 해결한 것은 아니라고 주의를 기울였습니다. 그들은 단지 현재의 도구들이 이들을 식별하지 못한다는 점을 증명했을 뿐입니다. 그들은 미래의 시스템이 단순히 최종 정답을 찾는 것이 아니라, 이러한 "변별력 있는 개체"(다음 단계를 여는 열쇠)를 찾는 방향으로 나아가야 한다고 제안합니다.

요약하자면: 어떤 문서가 정답을 가지고 있지 않다고 해서 그것이 쓸모없는 것은 아닙니다. 때때로, 그 문서가 바로 그 다리를 지탱하는 유일한 부분일 수도 있습니다.

기술 요약: 다단계 에이전트 검색에서의 브릿지 증거(Bridge Evidence)

문제 정의

현재의 검색 시스템은 정적인 유용성(static notion of usefulness) 개념을 바탕으로 훈련되고 평가됩니다. 즉, 문서는 질문과 결합되었을 때 독자 모델(reader model)의 답변을 개선할 수 있다면 가치 있는 것으로 간주됩니다. 이러한 가정은 표준 지표(nDCG, MAP, MRR)와 학습된 랭커(ranker)의 훈련 목표의 근간을 이룹니다. 그러나 이 정의는 문서를 단독으로 읽는 단일 턴 상호작용을 가정합니다.

본 논문은 이러한 가정이 다단계 에이전트 검색(예: ReAct 스타일의 에이전트)에서는 무너진다고 주장합니다. 이러한 환경에서 에이전트는 일련의 쿼리를 발행하며 여러 턴에 걸쳐 추론합니다. 문서의 가치는 종종 최종 답변에 직접적으로 기여하는 데 있는 것이 아니라, 에이전트가 다음에 무엇을 할 수 있게 하는지에 있습니다. 어떤 문서는 정답 문자열을 포함하고 있지 않더라도, 에이전트의 후속 검색을 재지정(redirect)하는 특정 엔티티를 제공함으로써 "인과적 하중을 견디는(causally load-bearing)" 역할을 할 수 있습니다. 반대로, 정답을 포함하고 있는 문서라 할지라도 에이전트가 이미 그 정보를 보유하고 있다면 인과적으로 무력(causally inert)할 수 있습니다. 본 논문은 정적 검색 유용성이 에이전트 검색에서의 인과적 유용성을 예측하지 못한다고 가정하며, 이로 인해 "브릿지 증거(bridge evidence)"(정적으로는 쓸모없으나 인과적으로는 필수적인 문서)가 체계적으로 간과되는 격차가 발생한다고 주장합니다.

방법론

1. 역사실적 궤적 탐색 (Counterfactual Trajectory Exploration, CTE)

정적 대리 지표에 의존하지 않고 문서의 인과적 기여도를 측정하기 위해, 저자들은 역사실적 궤적 탐색을 도입했습니다.

개입(Intervention): 에이전트가 궤적 동안 실제로 읽은 모든 문서에 대해, 시스템은 **누락 개입(omission intervention)**을 수행합니다. 즉, 해당 문서를 증거 집합에서 제거하고, 다른 모든 조건(이전 컨텍스트, 모델 파라미터, 하드웨어)을 고정한 상태에서 해당 시점부터 궤적을 다시 재생합니다.
지표: 이는 원래의 실행과 역사실적 실행 사이의 세 가지 정규화된 차이(delta)의 합으로 계산되는 역사실적 궤적 유용성(Counterfactual Trajectory Utility, CTU) 점수를 생성합니다.
1. $\Delta$ answer: 최종 답변의 F1 점수 변화.
2. $\Delta$ next-query: 에이전트가 생성한 다음 쿼리의 nDCG@10 변화 (에이전트가 더 나은 증거를 향해 유도되었는지 측정).
3. $\Delta$ effort: 솔루션에 도달하는 데 필요한 턴 수의 변화.
임계값 설정(Thresholding): 저자들은 CTU를 위한 원칙적인 임계값을 도출했습니다. "무효(no-op)" 문서의 경우 원시 델타값이 0이므로, 인과적 효과가 없는 문서의 정규화된 CTU는 정확히 1.400입니다. CTU가 1.400보다 큰 문서는 인과적으로 도움이 되는 것으로 간주되며, 그 미만은 그렇지 않은 것으로 간주됩니다.

2. 정적 RAG 유용성 (Static RAG Utility, SRU)

정적 유용성을 측정하기 위해, 저자들은 문서를 원래의 질문과 함께 상태가 없는(stateless) 독자 모델(궤적 이력 없이)에 입력하고, 제로샷 베이스라인 대비 F1 개선도를 측정하는 **정적 RAG 유용성(SRU)**을 계산합니다.

3. 실험 설정

데이터셋: HotpotQA 개발 세트에서 추출한 1,000개의 질문을 층화 추출함.
에이전트: Wikipedia 단락 인덱스(BM25 검색 + Cross-Encoder 재순위화)를 검색하는 ReAct 스타일의 Qwen2.5-7B-Instruct 에이전트.
범위: 본 연구는 다단계 궤적 전반에 걸친 23,322개의 문서 관측치를 분석합니다.

4. 메커니즘 분석: 관측 가능한 엔티티 관련성 (Observable Entity Relevance, OER)

브릿지 문서가 작동하는 이유를 설명하기 위해, 저자들은 이 문서들이 **식별력 있는 엔티티(discriminative entities)**를 제공한다는 가설을 테스트합니다. 이를 위해 엔티티의 존재가 관련 후보와 비관련 후보를 통계적으로 분리하는 정도를 측정하는 관측 가능한 엔티티 관련성(OER) 지표를 활용합니다. 이들은 브릿지 문서에서 발견된 엔티티가 에이전트의 다음 쿼리에 전파되는지 추적합니다.

주요 결과

1. 정적 유용성과 인과적 유용성의 독립성

핵심 발견은 정적 유용성(SRU)과 인과적 유용성(CTU)이 통계적으로 독립적이라는 것입니다.

상관관계: SRU와 CTU 사이의 스피어먼 순위 상관계수( $\rho$ )는 −0.026으로, 두 지표가 서로 관련 없는 양을 측정함을 나타냅니다.
사분면 분석: 문서를 2x2 그리드(High/Low SRU vs. High/Low CTU)에 배치했을 때:
- Cell C (브릿지 증거): 에이전트가 읽은 문서 중 **35.72%**가 인과적으로 하중을 견디는 역할을 했으나(High CTU), 정적 독자에게는 쓸모없어 보였습니다(Low SRU).
- Cell B (중복): 2.18%의 문서는 높은 SRU를 가졌으나 낮은 CTU를 가졌습니다(정적으로는 유용하나 인과적으로는 중복됨).
- 강건성(Robustness): 이 패턴은 SRU 축을 BM25 및 Cross-Encoder 점수에 기반한 대리 지표로 교체해도 지속됩니다. 이 대리 사분면에서도 브릿지 셀은 **27.16%**로 여전히 유의미하며, 상관관계는 0에 가깝게 유지됩니다( $\rho = -0.016$ ).

2. 메커니즘: 엔티티 전파

연구는 브릿지 증거 뒤에 숨겨진 메커니즘을 검증합니다:

전파 격차: 높은 OER을 가진 엔티티는 비관련 문서에서 발견된 엔티티보다 에이전트의 다음 쿼리에 4.02배 더 자주 나타납니다(6.1% vs. 1.5%).
결론: 브릿지 문서는 검색 궤적을 재지정하는 식별력 있는 엔티티를 도입함으로써 기능합니다. 정적 랭커가 유용한 엔티티를 식별하는 데 사용하는 신호(OER)는, 비록 문서 자체가 정적 답변 포함성 측면에서는 점수가 낮더라도, 에이전트의 행동을 유도하는 신호와 동일합니다.

3. 한계 및 혼란 변수(Confounds)

저자들은 특정 이차적 관찰 사항을 명시적으로 다루고 철회했습니다:

턴 수 혼란(Turn Count Confound): 브릿지 증거가 턴 수와 함께 증가한다는 초기 관찰은 인위적인 결과임이 밝혀졌습니다. 그룹화 변수(역사실적 턴 수)가 CTU의 $\Delta$ effort 구성 요소와 기계적으로 연결되어 있어, 긴 궤적에서 브릿지 셀을 인위적으로 팽창시켰습니다.
정적 축 왜곡(Static Axis Skew): SRU 축은 매우 압축되어 있습니다(양의 SRU를 가진 문서는 3.3%에 불과함). 따라서 35.72%라는 브릿지 수치는 독립성 결과를 재진술한 것에 가깝습니다.
가설 H2 (국지화): 전파되는 엔티티가 (다른 고-CTU 셀이 아닌) 구체적으로 브릿지 문서(Cell C)에 국지화되어 있다는 가설은 대규모 검증에서 재현되지 않았으며, 결론을 내릴 수 없는 것으로 보고되었습니다.

의의 및 주장

본 논문은 정적 관련성과 인과적 유용성은 별개의 양이라고 주장합니다. 정적 유용성(독자가 필요로 하는 것)을 최적화하는 것은 에이전트의 요구(에이전트가 필요로 하는 것)를 충족하는 것을 보장하지 않습니다.

브릿지 증거: 저자들은 브릿지 문서를 "정답을 포함하고 있지는 않지만 미래의 검색 단계를 가능하게 하는 문서"로 정의합니다. 이들은 에이전트가 소비하는 증거의 상당 부분(약 1/3)을 차지합니다.
훈련에 대한 시사점: 현재 훈련 및 평가에 사용되는 레이블과 지표는 에이전트 검색의 요구사항과 어긋나 있습니다.
향후 방향: 본 논문은 **관측 가능한 엔티티 관련성(OER)**이 인과적 유용성에 대한 계산 가능한 비역사실적 대리 지표가 될 수 있다고 제안합니다. OER은 엔티티 전파(및 그에 따른 에이전트 재지정)를 4배 더 잘 예측하므로, 단순한 정적 독자가 아닌 에이전트를 지원하는 랭커를 훈련하기 위한 잠재적 경로를 제공합니다.

저자들은 분야가 현재의 지식과 다음 단계의 필수 검색 사이의 "브릿지"를 이해하기 위해 정적 평가를 넘어 이동해야 한다고 결론짓습니다.