Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

1. 문제 정의 (Problem)

기존의 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 시스템은 다음과 같은 구조적 한계를 가집니다:

• 수동적 소비자: LLM 은 검색된 결과 (Top-k 패시지) 만을 제공받으며, 전체 문서 집합 (Corpus) 이 어떻게 조직화되어 있는지, 혹은 아직 검색되지 않은 내용은 무엇인지 알 수 없습니다.
• 맥락 부재: 복잡한 질문 (예: 여러 주제에 걸친 비즈니스 유형 변경) 의 경우, 단순한 임베딩 기반 검색은 표면적인 키워드 매칭에 그쳐, 문서 간의 논리적 연결이나 전체적인 구조를 파악하지 못합니다.
• 에이전트 RAG 의 한계: 기존 에이전트 RAG 는 반복적인 검색을 허용하지만, 에이전트가 탐색할 '지도 (Map)'가 없기 때문에 비효율적인 검색을 반복하거나 관련 없는 경로를 탐색하게 됩니다.
• 계층적 방법의 결여: RAPTOR 나 GraphRAG 와 같은 계층적 방법은 구조를 생성하지만, 질의 시점 (Serve time) 에 LLM 은 여전히 검색 결과만 받고 구조 자체를 직접 탐색할 수 없습니다.

2. 제안 방법: CORPUS2SKILL

저자들은 **"검색 (Retrieve) 이 아닌 탐색 (Navigate)"**을 핵심으로 하는 CORPUS2SKILL 프레임워크를 제안합니다. 이는 문서 집합을 오프라인에서 계층적인 '기술 (Skill)' 디렉터리로 변환하고, 런타임에 에이전트가 이를 직접 탐색하도록 하는 방식입니다.

핵심 아키텍처 및 프로세스

1. 컴파일 단계 (Compile Phase - 오프라인):

   • 계층적 클러스터링: 문서 집합을 임베딩 후 K-Means 를 사용하여 반복적으로 클러스터링합니다.
   • LLM 기반 요약: 각 클러스터 수준에서 LLM 이 해당 그룹의 주제, 질문 유형, 핵심 용어를 요약한 SKILL.md 와 INDEX.md 파일을 생성합니다.
   • 파일 시스템 물질화: 생성된 계층 구조를 탐색 가능한 파일 시스템 (Skill Tree) 으로 변환합니다. 루트 클러스터는 SKILL.md(상위 요약), 하위 클러스터는 INDEX.md(하위 그룹 또는 문서 ID 목록) 로 매핑됩니다.
   • 문서 저장: 전체 문서 텍스트는 별도의 JSON 파일로 저장하고, 탐색 파일에서는 문서 ID 만 참조하여 토큰 비용을 절감합니다.

2. 서빙 단계 (Serve Phase - 온라인):

   • 점진적 공개 (Progressive Disclosure): 에이전트는 전체 구조를 한눈에 볼 수 있는 메타데이터 (이름, 한 줄 설명) 를 먼저 제공합니다.
   • 에이전트 탐색: 에이전트는 view 명령어로 SKILL.md 와 INDEX.md 를 읽으며 주제별 분기를 탐색하고, 필요한 경우 get_document 도구를 통해 특정 문서의 전체 내용을 가져옵니다.
   • 역할 전환: 기존 '프로시저 (작업 수행)'를 정의하는 에이전트 스킬 개념을, '정보 (문서 내용)'를 조직화하는 **정보적 스킬 (Informational Skills)**로 재해석했습니다.

3. 주요 기여 (Key Contributions)

1. 문서 탐색성 (Navigability) 의 부각: 기존 RAG 시스템이 간과했던 '지식 베이스의 구조적 개요'를 LLM 에이전트가 직접 볼 수 있게 함으로써, 체계적인 증거 수집 능력을 향상시켰습니다.
2. 컴파일 - 후 - 탐색 (Compile-then-Navigate) 프레임워크: 오프라인에서 문서 집합을 계층적 스킬 디렉터리로 변환하고, 런타임에는 임베딩 인덱스나 벡터 DB 없이 에이전트가 파일 탐색을 통해 정보를 찾는 새로운 패러다임을 제시했습니다.
3. 실증적 검증: WixQA(기업 고객 지원 벤치마크) 에서 기존 RAG, RAPTOR, 에이전트 RAG 등 5 가지 베이스라인을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

WixQA 벤치마크 (6,221 개 문서, 200 개 전문가 질문) 기준:

• 품질 지표: 모든 품질 지표 (Token F1, BLEU, ROUGE, Factuality, Context Recall) 에서 CORPUS2SKILL 이 가장 높은 점수를 기록했습니다.
  • Token F1: 0.460 (Agentic RAG 대비 19% 향상, Dense Retrieval 대비 27% 향상).
  • Factuality: 0.729 (가장 높은 사실성).
  • Context Recall: 0.652 (벡터 검색이나 다중 턴 에이전트 검색보다 더 관련성 높은 콘텐츠를 찾아냄).
• 비용 분석:
  • 쿼리당 비용은 약 $0.172 로, Agentic RAG($0.098) 나 RAPTOR($0.012) 보다 높습니다. 이는 탐색 과정에서 많은 요약 파일 (Navigation files) 을 읽기 때문입니다.
  • 그러나 정확도와 사실성 측면에서 비용 대비 효율이 매우 높으며, 복잡한 다단계 질문이나 규정 준수 (Compliance) 관련 질문에는 필수적입니다.
• 절충 분석 (Ablation Study):
  • 계층 구조: 너무 넓은 분기 (Wide tree) 는 품질을 떨어뜨렸으나, 좁은 분기 (Narrow tree) 는 품질을 유지하거나 소폭 향상시켰습니다.
  • 모델 선택: 더 저렴하고 작은 모델 (Claude Haiku) 을 사용해도 품질은 유지되면서 비용이 절반으로 감소했습니다. 이는 계층 구조의 품질이 탐색 모델의 sophistication 보다 더 중요함을 시사합니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: "질의 시점에 검색을 최적화"하는 기존 접근법에서, **"컴파일 시점에 탐색성을 최적화"**하는 새로운 설계 지점을 제시했습니다.
• 에이전트 능력 활용: LLM 이 단순한 검색 결과 소비자가 아닌, 구조화된 지식을 능동적으로 탐색하고 추론하는 '지도가 있는 탐험가'로 기능하게 합니다.
• 실무 적용 가능성: 기업용 지식 베이스 (고객 지원, 규정 준수 등) 에서 높은 정확도가 요구되는 시나리오에 특히 적합하며, 벡터 DB 없이 파일 시스템 기반의 간결한 아키텍처로 배포가 가능합니다.

한계점:

• 비용: 탐색 과정에서 입력 토큰 사용량이 많습니다.
• 단일 경로 클러스터링: 하나의 문서가 여러 주제에 속할 경우, 하나의 분기만 선택되므로 다른 주제 검색 시 놓칠 수 있습니다 (Hard Clustering).
• 실시간 업데이트: 문서 추가 시 전체 재컴파일이 필요합니다.

결론적으로, CORPUS2SKILL 은 복잡한 기업 지식 관리 환경에서 LLM 의 추론 능력을 극대화하기 위해 문서 구조를 에이전트가 직접 탐색할 수 있는 '지도'로 변환하는 혁신적인 접근법을 제시합니다.