💬 NLP

A Matryoshka Hierarchical RAG for Efficient Multi-Hop Question Answering

이 논문은 Matryoshka Representation Learning과 문서 클러스터의 유향 비순환 그래프(Directed Acyclic Graph)를 활용하여, 높은 검색 품질을 유지하면서도 인덱싱 및 쿼리 시의 비용을 모두 줄임으로써 멀티홉 질문을 효율적으로 해결하는 계층적 검색 증강 생성(Retrieval-Augmented Generation) 프레임워크인 MatRAG를 소개한다.

원저자: Gianluca Bonifazi, Christopher Buratti, Michele Marchetti, Federica Parlapiano, Giulia Quaglieri, Davide Traini, Domenico Ursino, Luca Virgili

게시일 2026-10-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gianluca Bonifazi, Christopher Buratti, Michele Marchetti, Federica Parlapiano, Giulia Quaglieri, Davide Traini, Domenico Ursino, Luca Virgili

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 지형에서 대규모 언어 모델은 텍스트를 생성하고, 질문에 답하며, 문제를 해결하는 강력한 도구가 되었습니다. 그러나 이러한 모델들은 방대한 문서 라이브러리 깊숙이 숨겨진 특정 사실을 찾아내거나, 서로 다른 출처에 흩어져 있는 정보 조각들을 연결해야 하는 질문을 받았을 때 종종 어려움을 겪습니다. 이를 해결하기 위해 연구자들은 검색 증강 생성(retrieval-augmented generation)이라는 방법을 개발했습니다. 이 방식은 컴퓨터를 위한 사서처럼 작동합니다. 모델이 질문에 답하기 전에, 먼저 데이터베이스를 검색하여 관련 문서를 찾고, 이를 읽은 다음, 그 신선한 정보를 사용하여 답변을 정교하게 만들어냅니다. 이는 모델이 사실이 아닌 것을 지어내는 흔한 오류인 환각(hallucination) 현상을 피하도록 돕습니다.

질문이 "다단계(multi-hop)" 추론을 요구할 때 문제는 훨씬 더 어려워집니다. 예를 들어, "특정 책의 저자가 태어난 나라의 대통령은 누구인가?"라고 묻는다고 가정해 봅시다. 이를 답변하기 위해서 시스템은 먼저 책을 찾고, 그다음 저자를 찾고, 그다음 저자의 출생지를 찾은 뒤, 마지막으로 그 나라의 대통령을 찾아야 합니다. 단순히 하나의 문서에서 답을 찾는 것으로는 부족하며, 여러 문서를 하나의 사슬처럼 연결해야 합니다. 이를 수행하기 위한 전통적인 방법들은 종-종 사실 간의 관계를 나타내는 복잡한 지도를 구축하거나, 컴퓨터에게 단계를 하나씩 생각하도록 요청하는 방식에 의존합니다. 이러한 방법들이 효과가 있을 수는 있지만, 설정하는 데 시간이 오래 걸리고 비용이 많이 들며 막대한 컴퓨팅 파워를 필요로 하기 때문에 대규모 데이터 집합에 적용하기 어렵다는 단점이 있습니다.

이탈리아의 한 연구팀은 속도와 정확성의 균형을 맞춘 새로운 해결책을 제안했습니다. 그들은 MatRAG라고 불리는 시스템을 만들었는데, 이는 우리가 아이디어를 광범위한 범주에서부터 구체적인 세부 사항에 이르기까지 자연스럽게 그룹화하는 방식을 모방하여 정보를 조직합니다. 모든 사실 간의 복잡한 관계 지도를 만드는 대신, 이 시스템은 문서를 계층적 클러스터(clusters)로 배열합니다. 이것은 마치 중첩된 상자 세트와 같습니다. 가장 큰 상자에는 광범위한 문서 그룹이 들어 있고, 그 안의 더 작은 상자에는 더 구체적인 그룹이 들어 있으며, 가장 작은 상자에는 개별 문서들이 담겨 있습니다. 연구진은 컴퓨터가 다양한 수준의 상세도로 텍스트의 의미를 이해할 수 있는 기술을 사용하여 이 구조를 구축했습니다. 계층 구조의 상단, 즉 그룹이 매우 광범위한 곳에서는 시스템이 빠른 결정을 내리기 위해 문서 의미의 단순화되고 짧은 버전을 사용합니다. 시스템이 필요한 특정 문서를 찾기 위해 계층 구조를 따라 내려갈수록, 더 상세하고 전체적인 버전의 의미로 전환합니다. 이를 통해 시스템은 도서관의 무관한 섹션들을 빠르게 건너뛰면서 길을 잃지 않고 효율적으로 이동할 수 있으며, 이는 엄청난 양의 시간과 컴퓨팅 파워를 절약해 줍니다.

연구진은 이 새로운 시스템을 여러 정보 조각을 연결해야 하는 세 가지 표준적인 난이도 높은 질문 세트로 테스트했습니다. 그들은 MatRAG를 복잡한 지도를 사용하는 방식이나 단계별로 검색을 계획하도록 컴퓨터에 요청하는 방식 등 7가지의 다른 선도적인 방법들과 비교했습니다. 결과에 따르면 MatRAG는 더 빠를 뿐만 아니라 더 정확했습니다. 질문에 답하기 위한 올바른 문서를 찾는 측면에서 MatRAG는 가장 강력한 경쟁자들을 능가했습니다. 최종 답변을 생성할 때는 모든 테스트 세트에 걸쳐 가장 높은 정확도 점수를 기록했습니다. 아마도 가장 인상적인 점은, 이 시스템이 상세한 지식 지도를 구축하거나 검색 전 모든 문서를 요약하기 위해 강력한 컴퓨터를 사용하는 것과 같은 비용이 많이 들고 시간이 오래 걸리는 단계들을 피하면서도 이 성과를 냈다는 것입니다.

시스템의 성공에 있어 핵심적인 부분은 검색 과정을 관리하는 방식에 있습니다. 시스템이 계층 구조를 더 깊이 파고들 때, 특정한 초점을 유지하기 위한 영리한 메커니즘을 사용합니다. 시스템은 질문과 이미 찾아낸 문서들에 언급된 특정 이름과 개체(entities)를 추적합니다. 만약 검색이 관련 없는 주제로 벗어나기 시작하면, 시스템은 이러한 이름들을 사용하여 초점을 원래의 질문으로 다시 끌어옵니다. 이는 컴퓨터가 혼란을 겪거나 찾고자 하는 답으로부터 멀어지는 것을 방지합니다. 연구진은 이러한 접근 방식 덕분에 시스템이 검색의 매 단계마다 대규모 언어 모델이라는 느리고 무거운 장치를 호출할 필요 없이 복잡한 추론 사슬을 처리할 수 있었다는 것을 발견했습니다.

또한 이 연구는 시스템이 데이터를 조직하는 방식이 검색 자체만큼이나 중요하다는 것을 밝혀냈습니다. 계층 구조의 상위 단계에서 문서 의미의 짧고 단순화된 버전을 사용함으로써, 시스템은 전체 길의 상세한 버전을 사용했을 때만큼 효과적으로 문서를 그룹화할 수 있었습니다. 이는 시스템이 지름길을 택한다고 해서 데이터에 대한 이해의 질을 떨어뜨리는 것이 아니라, 단지 적재적 적절한 수준의 상세도를 사용하고 있음을 의미합니다. 이 발견은 효율적인 정보 검색의 미래가 더 크고 복잡한 지도를 만드는 데 있는 것이 아니라, 컴퓨터가 더 적은 노력으로 필요한 것을 찾을 수 있도록 정보를 더 지능적으로 조직하는 데 있다는 것을 시사합니다.

결론적으로, 이 연구는 빠르면서도 똑똑한 시스템을 구축하는 것이 가능하다는 것을 보여줍니다. 연구진은 데이터의 구조를 컴퓨터가 정보를 처리하는 방식과 일치시킴으로써, 이전의 방법들보다 더 빠른 속도와 낮은 비용으로 까다로운 다단계 질문을 해결할 수 있음을 입증했습니다. 이 접근 방식은 인공지능을 더욱 실용적이고 접근 가능하게 만드는 유망한 경로를 제시하며, 지금까지 그 사용을 제한해 왔던 계산 비용 문제에 부딪히지 않고도 방대한 양의 정보를 처리할 수 있게 해줍니다. 이 결과는 적절한 설계가 있다면, 우리는 비싼 인프라 없이도 고품질의 답변을 빠르게 전달받는, 즉 '두 마리 토 even 토끼를 모두 잡는' 것이 가능하다는 것을 시사합니다.

기술 요약: MatRAG – 효율적인 멀티홉 질의응답을 위한 마트료시카 계층적 RAG

1. 문제 정의

검색 증강 생성(RAG) 시스템은 정보가 엔티티나 관계에 의해 연결된 여러 문서에 분산되어 있는 멀티홉 질의응답(multi-hop QA) 상황에서 심각한 과제에 직면해 있습니다. 기존의 솔루션들은 일반적으로 다음 두 가지 범주로 나뉘며, 두 방식 모두 과도한 계산 비용을 발생시킵니다:

그래프 기반 접근 방식: 엔티티 연결(entity linking) 및 관계 추출을 통해 오프라인에서 명시적인 지식 그래프(KG)를 구축합니다. 이는 높은 인덱싱 비용과 비싼 온라인 탐색 비용(예: Personalized PageRank 또는 LLM 에이전트 사용)을 초래합니다.
계층적 접근 방식: 코퍼스를 다단계 인덱스로 구성하지만, 내부 노드의 요약을 생성하기 위해 재귀적인 대규모 언어 모델(LLM) 호출에 의존하는 경우가 많아 높은 오프라인 인덱싱 비용을 발생시킵니다. 또한, 두 방식 모두의 반복적인 검색은 종종 값비싼 LLM 기반 플래닝(planning)에 의존하여 높은 쿼리 시점 지연 시간을 유발합니다.

핵심 문제는 값비싼 KG 구축이나 반복적인 LLM 플래닝에 의존하지 않으면서, 검색 품질과 계산 효율성(인덱싱 및 쿼리 모두) 사이의 균형을 맞추는 것입니다.

2. 방법론: MatRAG

저자들은 클러스터링 구조의 시맨틱 계층을 **마트료시카 표현 학습(Matryoshka Representation Learning, MRL)**의 중첩된 구조와 정렬시킨 계층적 RAG 프레임워크인 MatRAG를 제안합니다.

2.1. 계층적 인덱싱 (오프라인 단계)

MatRAG은 문서 임베딩에 대한 밀도 기반 클러스터링(HDDBSCAN)을 사용하여 유향 비순환 그래프(DAG) 형태의 클러스터를 구축합니다.

마트료시카 정렬: 모든 레벨에 전체 차원의 임베딩을 사용하는 대신, MatRAG은 단일 임베딩이 다양한 길이의 중첩되고 정보가 풍부한 접두사(prefix)를 포함하는 MRL을 활용합니다.
- 리프 노드 (레벨 $L$ ): 전체 차원의 문서 임베딩( $M$ )을 저장합니다.
- **내부 노드 (레벨 $1 $~$ L-1 $):** 점진적으로 짧아지는 차원($ m_l < M$)으로 축소된 클러스터 중심점(centroid)을 저장합니다.
근거: 상위 계층의 클러스터는 시맨틱적으로 이질적인 콘텐츠를 집계하므로, 클러스터를 구분하기 위해 더 세밀하지 않은(짧은) 표현이 필요합니다. 이는 상위 레벨에서의 유사도 계산 비용을 줄여줍니다.
중복 커버리지: 최적이 아닌 중심점 선택에 대한 견고성을 보장하기 위해, 각 레벨 $l+1$ 의 노드는 레벨 $l$ 의 $p$ 개 인접 클러스터와 연결되어 여러 개의 탐색 경로를 생성합니다.
엔티티 추출: 명명된 엔티티(Named Entities)를 추출(GLiNER 사용)하여 임베딩과 함께 저장함으로써 엔티티 기반 검색 로직을 지원합니다.

2.2. 엔티티 예산 기반 검색 (온라인 단계)

검색은 LLM 플래닝 대신 엔티티 기반 메커니즘에 의해 유도되는 DAG의 반복적인 하향식 탐색을 통해 진행됩니다.

반복 루프: 검색 예산은 쿼리와 이전에 검색된 컨텍스트에서 발견된 고유 엔티티의 수에 의해 동적으로 결정됩니다.
누적 쿼리 및 앵커링: 시스템은 원래 쿼리와 검색된 문서를 결합하여 형성된 누적 쿼리( $q_c$ )를 유지합니다. 쿼리 드리프트(검색이 원래 의도에서 벗어나는 현상)를 방지하기 위해, 탐색 점수( $S_l$ )는 누적 쿼리와의 유사도와 원래 쿼리( $q$ )와의 유사도를 결합합니다. 앵커링 계수( $\beta_t$ )는 반복에 따라 증가하여, 정렬 상태를 유지하기 위해 원래 쿼리에 더 높은 가중치를 점진적으로 부여합니다.
하향식 탐색: 각 레벨에서 쿼리 임베딩은 해당 레벨의 중심점 차원에 맞게 축소됩니다. 시스템은 가장 유망한 클러스터를 선택하고 리프 문서 레벨에 도달할 때까지 하강합니다.
재순위화(Re-ranking): 리프 레벨에서 후보 문서들은 다중 신호 점수( $R(d)$ )를 사용하여 재순위화됩니다. 이 점수는 시맨틱 유사도와 이전 반복에서 발견된 "프런티어(frontier)" 엔티티와 후보의 엔티티 간의 엔티티 중첩 신호(Jaccard 계수)를 혼합합니다. 이를 통해 검색된 문서가 시맨틱적으로 관련이 있고 엔티티 측면에서도 일관되도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

해상도 정렬 인덱싱: MRL 차원을 인덱스 깊이와 결합하는 전략입니다. 이는 미세한 문서 순위를 위해 전체 차원을 보존하면서도, 거친 레벨에서의 쿼리 시점 유사도 비용을 줄입니다.
엔티티 기반 반복 검색: 반복적인 LLM 플래닝을 엔티티 수와 중첩에 기반한 경량 신호로 대체합니다. 이는 검색 예산을 제어하고, 값비싼 LLM 호출 없이 컨텍스트를 점진적으로 확장합니다.
엔티티 인식 재순위화 및 드리프트 제어: 엔티티 중첩을 사용하여 후보의 우선순위를 정하는 스코어링 메커니즘과, 반복 검색 중 시맨틱 드리프트를 방지하기 위한 적응형 앵커링 스케줄을 사용합니다.

4. 실험 결과

MatRAG은 7개의 베이스라인(NaiveRAG, RAPTOR, GraphRAG, LightRAG, HippoRAG2, KGP, ToG 포함)을 대상으로 세 가지 표준 멀티홉 QA 벤치마크인 HotpotQA, 2WikiMultiHopQA, MuSiQue에서 평가되었습니다.

검색 품질: MatRAG은 모든 벤치마크에서 가장 높은 Recall@2 및 Recall@5를 달성했습니다. 특히 까다로운 MuSiQue 데이터셋에서, MatRAG은 최고 성능의 베이스라인인 NaiveRAG보다 Recall@2에서 14.48%, Recall@5에서 13.37% 높은 성능을 보였습니다.
답변 품질: MatRAG은 가장 높은 Exact Match (EM) 및 F1 점수를 기록했습니다. MuSiQue에서 가장 강력한 경쟁자인 HippoRAG2 대비 EM은 4.58%, F1은 12.94% 향상되었습니다.
인덱싱 효율성: MatRAG은 KG 구축이나 LLM 요약이 필요한 그래프 기반 및 계층적 방법들에 비해 인덱싱 시간을 크게 단축했습니다. HippoRAG2와 비교하여 인덱싱 시간을 99.60% 이상 단축했으며, GraphRAG 및 LightRAG보다 몇 자릿수 더 뛰어난 성능을 보였습니다.
쿼리 시점 효율성: MatRAG은 가장 빠른 응답 시간을 달성하였으며, HotpotQA에서 평면(flat) FAISS 기반인 NaiveRAG보다 47.44% 빠른 속도를 보였습니다. 이는 DAG의 차원 인지적 탐색이 평면적인 전체 차원 검색보다 계산적으로 우월함을 입증합니다.
컨텍스트 크기: MatRAG은 NaiveRAG보다 약간 더 많은 토큰을 사용하지만, GraphRAG 대비 79% 이상, LightRAG 대비 86% 이상 컨텍스트 크기를 줄여 KG 기반 검색 파이프라인의 오버헤드를 피했습니다.

5. 의의 및 주장

본 논문은 MatRAG이 "저렴한 평면 검색"과 "비싼 구조적 검색" 사이의 간극을 성공적으로 메운다고 주장합니다.

귀납적 편향(Inductive Bias): 임베딩 차원과 인덱스 깊이의 결에는 추가적인 학습이나 파라미터 없이 기존 MRL 모델을 활용하는 생산적인 귀납적 편향으로 제시됩니다.
경량 추론: 실험 결과는 엔티티 기반의 경량 신호가 일반적으로 LLM이 수행하는 추론 및 플래닝을 효과적으로 대리할 수 있음을 시사하며, 이를 통해 답변 품질을 희생하지 않으면서 쿼리 시간을 실질적으로 줄일 수 있음을 보여줍니다.
확장성: 명시적인 KG 구축, 엔티티 연결, LLM 기반 요약을 피함으로써, MatRAG은 광범위한 코퍼스에 적용 가능한 확장 가능한 접근 방식을 제공합니다.
효율성 vs 품질: 절제 연구(ablation studies)를 통해, 축소된 마트료시카 접두사를 클러스터링과 탐색에 사용하는 것이 클러스터링 품질(Davies-Bouldin 및 Silhouette 점수로 측정)을 저하시키지 않으며, 오히려 노이즈가 있는 차원을 제거하는 암묵적 규제 덕분에 검색 효율성과 성능을 향상시킨다는 것을 확인했습니다.

저자들은 임베딩 전략과 인덱스 구조를 공동 설계함으로써 효율적인 평면 검색과 고품질의 구조적 검색 사이의 이분법적 문제를 부분적으로 해결할 수 있다고 결론짓습니다.