기술 요약: 경험 기반 검색 전략 오케스트레이션을 위한 경험-RAG 기술

문제 제기

현재의 검색 증강 생성 (RAG) 시스템은 단일 고정 검색 파이프라인이 모든 작업에 충분하다는 가정 하에 작동하는 경우가 많습니다. 그러나 작업 요구 사항이 크게 달라지는 현실적인 에이전트 환경에서는 이러한 가정이 실패합니다. 예를 들어, 사실 기반 질문 응답, 다중 홉 추론, 과학적 주장 검증은 각기 다른 검색 선호도를 보입니다. 직접적인 사실에는 밀집 검색기가 충분할 수 있지만, 복잡한 다중 홉 또는 과학적 증거 매칭에는 하이브리드 검색이 더 안정적인 경우가 많습니다. 식별된 핵심 과제는 단순히 지식을 검색하는 것이 아니라, 특정 현재 작업에 맞게 검색이 어떻게 조직화되고 오케스트레이션되어야 하는지를 결정하는 것입니다.

방법론

본 논문은 에이전트와 검색기 풀 사이에 위치한 에이전트 지향형 플러그인 검색 오케스트레이션 레이어인 **경험-RAG 기술 (Experience-RAG Skill)**을 제안합니다. 검색을 단일 단계로 취급하는 대신, 이 기술은 선택 과정을 재사용 가능한 에이전트 기능으로 캡슐화합니다.

프레임워크 아키텍처

이 프레임워크는 다음 여섯 개의 모듈을 포함하는 구조화된 파이프라인을 통해 작동합니다:

1. 기술 인터페이스 (Skill Interface): 에이전트를 위한 통합 진입점.
2. 장면 분석기 (Scene Analyzer): 쿼리 ($q$), 대화 기록 ($h$), 작업 메타데이터 ($m$) 를 기반으로 구조화된 장면 표현 ($s$) 을 구성합니다.
3. 경험 메모리 ($M$): 장면 특징, 점수 벡터, 최상위 성능 전략, 그리고 성능 마진의 역사적 기록을 저장합니다. 특징으로는 작업 유형, 도메인, 컨텍스트 길이, 질문 복잡도, 쿼리 스타일, 문서 구조 등이 포함됩니다.
4. 전략 라우터 (Strategy Router): 현재 장면을 기반으로 경험 메모리를 참조하여 최적의 검색기 ($r^*$) 를 선택합니다.
5. 검색기 풀 ($R$): 후보 검색기 풀 (예: BM25, 밀집, 하이브리드 RRF).
6. 결과 패커 (Result Packager): 에이전트에 표준화되고 구조화된 증거를 반환합니다.

작동 흐름은 다음과 같이 정의됩니다:
$$s = \text{Analyze}(q, h, m)$$
$$r^* = \text{Route}(s, M)$$
$$o = \text{RetrieveAndPackage}(q, r^*)$$

라우팅 메커니즘

현재 구현은 규칙 기반 라우팅을 최강 설정으로 활용하며, 직접적인 작업을 밀집 검색기에 매핑하고 다중 홉/과학적 작업을 하이브리드 RRF(상호 순위 융합) 에 매핑합니다. 학습된 라우팅 변형도 탐색되었으나, 현재 규모의 경험 데이터 하에서는 규칙 기반 기준선보다 우수한 성과를 보이지 못했습니다. 시스템은 복잡성 주도 선택보다는 명시적 경험 재사용과 구조화된 증거 패키징을 우선시합니다.

주요 기여

저자들은 세 가지 주요 기여를 제시합니다:

1. 형식화: 검색 전략 선택을 상위 워크플로우에 직접 임베딩 선택 논리를 포함하는 것이 아닌, 에이전트 기술 오케스트레이션 문제로 재정의합니다.
2. 경험 메모리 구축: 단순히 '최고' 레이블을 저장하는 것이 아니라, 포괄적인 장면 특징, 다중 검색기 성능 점수, 그리고 전략 마진을 기록하는 메모리 시스템을 구축했습니다.
3. 실증 평가: 전통적인 고정 기준선과 현대적 적응형 라우팅 접근법 모두와 비교하여 이 기술을 이질적인 검색 작업에서 평가했습니다.

실험 결과

이 시스템은 샘플링된 후보 코퍼스를 사용하여 120 개의 쿼리로 각 데이터셋을 대상으로 한 BeIR/nq, BeIR/hotpotqa, BeIR/scifact라는 세 가지 공개 벤치마크에서 평가되었습니다.

고정 기준선 대비 성능

경험-RAG 기술은 모든 고정 단일 방법 기준선을 능가하는 최고 전체 성능을 달성했습니다:

• nDCG@10: 0.8924 (가장 강력한 고정 기준선인 하이브리드 RRF 의 0.8802 대비).
• Recall@10: 0.9428.
• MRR@10: 0.9006.
  이 결과는 이 기술의 주요 이점이 이질적 오케스트레이션에 있으며, 개별 하위 작업을 모두 지배하기보다는 혼합된 워크로드를 효과적으로 관리하는 데 있음을 시사합니다.

현대적 기준선과의 비교

HyDE, LongRAG 스타일, RAPTOR 스타일, Adaptive-RAG 스타일을 포함한 현대적 접근법과 비교했을 때:

• Adaptive-RAG 스타일은 미세한 우세 (nDCG@10 0.8934 대 경험-RAG 기술의 0.8924) 를 보였습니다.
• HyDE, LongRAG 스타일, RAPTOR 스타일은 샘플링된 코퍼스, 검색 전용 설정에서 현저히 약한 성능을 보였습니다.
  본 논문은 경험-RAG 기술이 가장 강력한 현대적 라우팅 기준선과 경쟁력을 유지하면서도 에이전트 상호작용을 위한 더 명확한 시스템 경계를 제공한다고 지적합니다.

중요성과 주장

본 논문은 검색 전략 선택을 워크플로우에 하드코딩되는 것이 아닌 재사용 가능한 에이전트 기술로 성공적으로 캡슐화할 수 있다고 결론지었습니다. 이 연구는 경험 기반 오케스트레이션이 이질적인 검색 워크로드에 효과적이며, 고정된 후보 풀에 현대적 기준선이 도입되더라도 여전히 경쟁력을 유지함을 입증했습니다.

저자들은 현재 작업의 범위에 대해 겸손한 입장을 유지합니다:

• 실험은 전체 규모 데이터셋이 아닌 샘플링된 코퍼스에 의존합니다.
• 학습된 라우팅은 아직 규칙 기반 기준선을 능가하지 못했습니다.
• 구현은 고정된 후보 풀을 전제로 하며, 동적 온보딩은 제외됩니다.
• 워크플로우 분석은 정성적이며 아직 완전한 엔드 - 투 - 엔드 상호작용 에이전트 벤치마크를 구성하지는 않습니다.

따라서 저자들은 이 작업을 기술 레이어의 타당성을 확립하는 단편 논문 또는 프리프린트로 위치시키며, 향후 작업에서는 동적 후보 온보딩, 기능 수준 라우팅, 그리고 포괄적인 엔드 - 투 - 엔드 에이전트 평가를 다루기로 계획하고 있습니다.