Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation

다음은 "Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation"(Ψ-RAG) 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

검색 증강 생성 (RAG) 은 외부 지식을 대규모 언어 모델 (LLM) 에 보강합니다. Tree-RAG 방법들 (예: RAPTOR) 은 계층적 인덱스를 구성하여 다중 세분성 (multi-granularity) 쿼리를 지원하지만, 교차 문서 다중 홉 (cross-document multi-hop) 질문으로 확장할 때 다음과 같은 치명적인 한계에 직면합니다:

1. 낮은 분포 적응성: 기존 방법들은 $k$-means 유형의 클러스터링 (예: 가우시안 혼합 모델) 에 의존합니다. 이러한 알고리즘은 구형 데이터 분포를 가정하며 '균일 효과 (uniform effect)'로 고통받아 클러스터 크기를 균일하게 만듭니다. 이는 주요 클러스터에 소규모 편향된 주제를 병합함으로써 노이즈를 유발하고, 검색기가 틈새 정보를 간과하게 만듭니다.
2. 구조적 고립: 트리 인덱스는 일반적으로 서로 다른 가지에 있는 리프 노드 간의 명시적 연결이 부족합니다. 개체 간에 간을 통해 이동하는 Graph-RAG 와 달리, 트리 리프는 고립되어 있습니다. 이는 검색기가 다중 홉 추론에 필요한 암시적 인과 관계를 포착하는 것을 방해합니다.
3. 거친 추상화: 표준 트리 추상화는 종종 세부적인 디테일을 흐리게 하는 고수준 요약물을 생성합니다. 밀집 벡터 매칭은 사용자 쿼리의 특정 개체를 이러한 추상 개념과 연관시키는 데 어려움을 겪어, 사실적 토큰 수준의 질문에서 검색 실패를 초래합니다.

2. 방법론: Ψ-RAG

저자들은 계층적 추상 트리 인덱스와 다중 세분성 에이전트 검색기라는 두 가지 핵심 구성 요소로 구성된 Ψ-RAG 프레임워크를 제안합니다.

A. 계층적 추상 트리 인덱싱

$k$-means 클러스터링 대신 Ψ-RAG 는 사전 분포 가정 없이 응집 계층적 클러스터링 (AHC) 에서 영감을 받은 반복적인 "병합 및 축소 (merging and collapse)" 프로세스를 사용합니다.

• 유사도 순위 매기기: 모든 문서 청크를 밀집 벡터로 인코딩하고, 쌍별 유사도를 계산하여 정렬합니다.
• 병합 및 축소:
  • 병합: 가장 유사한 청크 (또는 노드) 쌍을 새로운 추상 노드 아래에 연결합니다.
  • 리프 노드 축소: 한 노드가 이미 부모에 연결되어 있는 경우, 고립된 노드를 동일한 부모에 연결합니다.
  • 추상 노드 축소: 두 노드가 동일한 깊이에서 서로 다른 부모에 속하는 경우, 그 루트들을 새로운 노드 아래에 병합합니다. 깊이가 다른 경우, 더 얕은 루트를 더 깊은 노드의 경로에 연결하여 트리를 균형 있게 만듭니다.
• 추상화: LLM 에이전트는 각 비리프 노드에 대해 두 가지 유형의 추상물을 생성합니다:
  • 요약 추상물: 논리와 개체 관계를 요약한 일관된 단락.
  • 키워드 추상물: 개체 공발생을 보존하는 고밀도 키워드/구.
• 재균형: 자식이 과도하게 많은 노드는 분할되어 추상화 에이전트의 컨텍스트 창을 초과하지 않도록 합니다.

B. 다중 세분성 에이전트 검색

구조적 고립과 거친 추상화 문제를 해결하기 위해 Ψ-RAG 는 트리 + 희소 키워드 인덱스로 구성된 다중 세분성 하이브리드 인덱스와 상호작용하는 검색 및 답변 (R&A) 에이전트를 사용합니다.

• 반복적 추론: 에이전트는 현재 정보가 충분한지 평가합니다. 그렇지 않으면 재구성된 쿼리(설명적 동격어 추가 등 맥락이 보강된) 를 생성하고 새로운 검색 단계를 트리거합니다.
• 하이브리드 검색:
  • 트리 검색: 루트에서 리프 계층까지의 상향식 밀집 벡터 검색.
  • 희소 검색: BM25 기반 키워드 검색.
  • 퓨전: 결과가 재순위화기 (매개변수 기반) 또는 Reciprocal Rank Fusion (비매개변수 기반) 을 통해 결합됩니다.
• 쿼리 재구성: 에이전트는 주제별 키워드를 포함하도록 쿼리를 동적으로 재작성하여, 희소 검색기 (특정 개체 찾기) 와 트리 검색기 (관련 고수준 추상물 찾기) 모두를 지원합니다.

3. 주요 기여

1. 분포 적응성: Ψ-RAG 는 Dasgupta 의 비용 분석을 통해 계층적 병합 프로세스가 $k$-means 의 '균일 효과'를 피함을 이론적으로 증명합니다. 이는 편향된 데이터 분포를 적응적으로 보존하여 소규모 클러스터가 주요 클러스터에 흡수되지 않고 고유하게 유지되도록 합니다.
2. 최초의 교차 문서 Tree-RAG: 이는 Graph-RAG 의 능력을 유지하면서 트리 구조의 효율성을 유지하는 코퍼스 수준 교차 문서 다중 홉 검색을 처리할 수 있는 최초의 Tree-RAG 프레임워크입니다.
3. 하이브리드 에이전트 프레임워크: 희소 키워드 인덱스와 추론 필요에 따라 쿼리를 재구성하는 반복적 에이전트를 통합하여 거친 추상화와 세분성 검색 간의 충돌을 해결합니다.
4. 유연성: 이 프레임워크는 전적으로 오픈소스 LLM 에 기반하여 모듈식으로 설계되어, 임베딩, 추상화, 에이전트, 재순위화기 등의 구성 요소를 재학습 없이 교체할 수 있습니다.

4. 실험 결과

저자들은 단일 홉/다중 홉 QA(HotpotQA, 2Wiki, MuSiQue, MultiHop-RAG), 내러티브 QA(NarrativeQA), 요약 (QMSum, WCEP) 을 포함한 다양한 벤치마크에서 Ψ-RAG 를 평가했습니다.

• 성능 향상:
  • 교차 문서 다중 홉 QA 벤치마크에서 Ψ-RAG 는 평균 F1 점수에서 RAPTOR보다 25.9% 더 높은 성능을 보입니다.
  • 최첨단 HippoRAG 2(Graph-RAG 방법) 를 평균 F1 에서 7.4% 상회합니다.
  • 모든 데이터셋에서 검색 지표 (Recall@5) 에서 상당한 향상을 달성합니다.
• 효율성:
  • 인덱싱: Ψ-RAG 는 OpenIE 기반 Graph-RAG(예: GraphRAG) 보다 10 배, RAPTOR 보다 6.5 배 빠르게 코퍼스 수준 트리를 구축합니다.
  • 검색: 상향식 검색은 $O(\log n)$ 복잡성을 제공하여 Graph-RAG 의 탐색보다 낮은 지연 시간을 제공합니다.
• 절대 실험 (Ablation Studies):
  • R&A 에이전트를 제거하면 다중 홉 성능이 약 20% 하락합니다.
  • 희소 검색기를 제거하면 사실적 쿼리 (예: PopQA 에서 -21.8%) 에서 성능이 크게 저하됩니다.
  • 에이전트에 의한 쿼리 재구성은 다중 홉 성공에 결정적입니다.

5. 의의

• 격차 해소: Ψ-RAG 는 Graph-RAG 의 추론 능력과 Tree-RAG 의 효율성 사이의 격차를 성공적으로 해소하여, 그래프 구축의 무거운 오버헤드 없이 복잡한 다중 홉 추론을 효과적으로 처리할 수 있음을 입증합니다.
• 확장성: '균일 효과'를 피하고 효율적인 병합 알고리즘을 활용함으로써, 기존 클러스터링이 실패하는 대규모 편향된 코퍼스로 효과적으로 확장됩니다.
• 실용성: 이 프레임워크는 오픈소스 모델이 구조화된 RAG 에서 최첨단 성능을 달성할 수 있음을 보여주어, 독점 API 나 광범위한 미세 조정 없이도 고급 다중 홉 추론을 접근 가능하게 만듭니다.
• 미래 방향: 이는 교차 문서 검색 처리를 위한 새로운 기준을 설정하며, 계층적 인덱싱과 에이전트 추론의 결합이 차세대 RAG 시스템을 위한 실현 가능하고 우월한 경로임을 시사합니다.