기술 요약: ScalableRAG

문제 정의

최근 검색 증강 생성(Retrieval-Augmented Generation, RAG)의 발전은 높은 인제스션(ingestion) 비용을 감수하면서 성능을 최적화하는 데 점점 더 집중해 왔습니다. 이러한 방법들은 지식 그래프(예: GraphRAG, HippoRAG)나 구조화된 SQL 테이블 추출(예: SRAG, AutoSchemaKG)과 같은 복잡한 지식 구조를 구축하는 것을 포함하며, 이는 일반적으로 문서당 최소 한 번 이상의, 때로는 훨씬 더 많은 LLM 호출을 필요로 합니다. 이러한 접근 방식은 정교한 집계 추론(예: 키를 기준으로 그룹화하여 개수나 평균 계산)을 가능하게 하지만, 계산 비용이 많이 들고 확장이 어렵습니다. 반면, 표준적인 밀집 검색(dense retrieval) RAG 시스템은 지속적인 상태(state)나 구조화된 인덱스가 부족하기 때문에 집계형 질문에 취약한 경우가 많습니다.

저자들은 집계가 필요한 많은 질문이 문서 코퍼스의 일부와 일대일 대응 관계에 있는 기본 키(primary key)에 의존한다고 상정합니다. 그들은 이러한 그룹화 연산이 무거운 전처리 과정이나 벡터 데이터베이스 없이도 추론 시점에 효율적으로 재현될 수 있다고 주장합니다.

방법론

본 논문은 최소 또는 제로에 가까운 인제스션 비용으로 고품질의 검색 및 추론을 달究하기 위해 설계된 상태 유지형 에이전트 기반 RAG 프레임워크인 ScalableRAG를 소개합니다. 이 시스템은 두 가지 변체(variant)로 작동합니다.

1. Zero-Ingestion ScalableRAG

이 변체는 어떠한 전처리도 요구하지 않습니다 — 지식 그래프, 스키마 추출, 벡터 임베딩이 전혀 필요 없습니다.

• 상태 유지 워크스페이스(Stateful Workspace): 에이전트는 문서 세트(document sets, $S$)와 값 세트(value sets, $V$)의 지속적인 레지스트리를 유지합니다.
  • 문서 세트: 필터링 연산을 통해 생성된 코퍼스의 명명된 하위 집합 (예: has_Erik_pos).
  • 값 세트: 문서 ID에서 추출된 스칼라 값(숫자, 날짜) 또는 문자열 리스트에 대한 매핑.
• 도구 기반 상호작용(Tool-Based Interaction): 에이전트는 결정론적 도구 모음을 사용하여 코퍼스와 상호작용합니다:
  • apply_filter: 정규 표현식을 적용하여 명명된 세트를 양성(positive) 및 음성(negative) 하위 집합으로 분할합니다.
  • search_filenames: 파일 이름 패턴을 기반으로 문서를 필터링합니다.
  • set_operation: 명명된 세트 간의 교집합, 합집합, 차집합을 수행합니다.
  • extract_field / extract_list: 문서에서 값 또는 리스트를 추출하여 값 세트로 만듭니다.
  • aggregate: 값 세트에 대해 통계(합계, 평균, 개수, 최소, 최대)를 계산합니다.
  • read_docs / find_in_doc: 특정 문서 섹션을 읽거나 대규모 파일 내를 탐색합니다.
• 진단 피드백(Diagnostic Feedback): 핵심 혁신은 도구 관측값에 자동으로 계산된 진단을 풍부하게 포함하는 것입니다. 필터가 적용될 때 시스템은 다음을 제공합니다:
  • 토큰 분해(Token decomposition): 정규 표현식의 어떤 키워드가 너무 엄격하거나 너무 광범위한지 식별합니다.
  • 선택도 격차(Selectivity gaps): 결합된 패턴이 개별 키워드에 비해 세트를 과도하게 제약하는지 경고합니다.
  • 음성 앵커 체크(Negative anchor checks): 제외된 문서에 여전히 핵심 질문 엔티티가 포함되어 있는지 확인하여, 에이전트가 정규 표현식을 정교화하도록 유도합니다.
• 추론 루프(Reasoning Loop): 에이전트는 계획을 세우고, 도구를 실행하며, 결과(진단 포함)를 관찰하고, 질문에 답할 수 있을 때까지 문서 세트를 반복적으로 정교화하는 ReAct 스타일의 루프를 사용합니다.

2. Limited-Ingestion ScalableRAG

복잡한 구조를 가진 데이터셋에 대한 정확도를 더욱 높이기 위해, 이 변체는 두 가지 선택적인 저비용 인제스션 모듈을 추가합니다:

• 벡터 임베딩(Vector Embeddings): cosine_search를 가능하게 하기 위해 대규모 문서 청크의 임베딩을 사전 계산합니다. 이는 의미론적 검색이 어휘적 매칭에 실패할 때의 폴백(fallback) 역할을 합니다. 또한, 라벨링된 문서 샘플에 대해 경량 분류기를 학습시켜 나머지 코퍼스를 분류할 수도 있습니다.
• 자동 패턴 발견(Automatic Pattern Discovery): 문서 샘플을 분석하여 추출 패턴을 발견하는 전처리 단계입니다:
  1. 결정론적 정규 표현식: 반복되는 "Label: Value" 구조를 스캔합니다.
  2. LLM 생성 정규 표현식: 다중 행 구조 패턴을 제안하기 위해 LLM을 사용합니다.
  3. 의미론적 패턴: 산문 형태의 개념을 식별합니다.
     이러한 패턴들은 검증되고 유용성에 따라 점수가 매겨지며, 에이전트에게 pattern_search 도구로 노출되어 전체 코퍼스 인덱싱 없이도 발견된 구조를 활용할 수 있게 합니다.

주요 기여

1. Zero-Ingestion ScalableRAG: 인제스션 비용(벡터 DB, 지식 그래프 없음) 없이 SOTA(State-of-the-Art) 성능을 달성하는 RAG 시스템입니다. 이는 추론 시점의 세트 지속성과 집합 대수적 추론을 활용하여 집계 작업을 처리합니다.
2. Limited-Ingestion ScalableRAG: 최소한의 벡터 임베딩과 일회성 샘플 기반 패턴 발견 프로세스를 통합하여, 코퍼스 크기에 비례하는 LLM 호출 수를 유지하면서도 구조적으로 복잡한 데이터셋에서의 정확도를 더욱 높이는 확장 모델입니다.
3. 진단 피드백 메커니즘: 자동화된 상대적 진단(예: 범위 체크, 선택도 격차)을 도입하여 에이전트의 계획과 정규 표현식 정교화를 가이드함으로써, 수동 튜닝이나 외부 검증의 필요성을 크게 줄였습니다.

실험 결과

저자들은 여섯 가지 다양한 코퍼스(MuSiQue, 2WikiMultiHopQA, Transcripts (US Congressional hearings), FinanceBench, ComplexTR, Hotels)를 대상으로 ScalableRAG를 평가했습니다.

• 성능:
  • Zero-Ingestion ScalableRAG는 6개 데이터셋 중 3개(MuSiQue, Transcripts, Hotels)에서 모든 베이스라인(HippoRAG2, SRAG, GraphRAG, AutoSchemaKG와 같은 헤비 인제스션 방식 포함)을 능가했습니다.
  • 나머지 3개 데이터셋에서도 최대 성능과의 차이가 평균 1.63%에 불과했습니다.
  • 6개 데이터셋 전체에서 평균 정확도는 차순위 경쟁 베이스라인보다 7.36% 더 높았습니다.
  • 특히, 집계 추론이 까다로운 Hotels 데이터셋에서 인제스션 없이 SRAG보다 36.23% 더 높은 성능을 보였습니다.
• 효율성:
  • ScalableRAG는 에이전트 기반 베이스라인(예: A-RAG)과 유사한 단계(step)를 사용하지만, 추론 중 소비되는 토큰 수는 현저히 적습니다.
  • Limited-Ingestion 변체는 패턴 발견이 효과적이었던 구조가 풍부한 데이터셋(Hotels, Transcripts)에서 추가적인 정확도 향상을 제공했습니다.

의의 및 주장

본 논문은 ScalableRAG가 헤비 지식 인제스션의 이점(특히 집계 추론 및 기본 키를 통한 그룹화 능력)을 제로 또는 최소한의 인제스션 비용으로 재현할 수 있음을 입증한다고 주장합니다.

• 비용 효율성: 문서당 한 번의 LLM 호출이라는 "인제스션 세금"을 피함으로써, ScalableRAG는 관심 있는 기본 키가 문서의 하위 집합에 해당하는 코퍼스에 특히 효과적인 확장 가능한 대안을 제시합니다.
• 상태 유지 추론: 본 연구는 상태가 없는(stateless) 검색 패러다임에 도전하며, 문서 및 값 세트의 워크스페이스를 유지하는 것이 표준 벡터 검색이 달성할 수 없는 반복적 정교화와 복잡한 멀티홉 추론을 가능하게 함을 보여줍니다.
• 실용성: 전처리 자원이 제한적인 시나리오에서 매우 유용한, 사전 계산된 벡터 데이터베이스나 복잡한 스키마 유도가 필요 없는 고정밀 솔루션을 제공합니다.

저자들은 지식 그래프 접근 방식이 일대일 대응 가설을 위반하는 질문에는 여전히 우수할 수 있지만, ScalableRAG는 광범위한 집계 및 멀티홉 질의응답 작업에 대해 매우 경쟁력 있고 비용 효율적인 프레임워크를 제공한다고 결론짓습니다.