💬 NLP

CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering

CompactRAG는 오프라인 코퍼스 구조를 원자적 QA 지식 베이스로 재구조화하는 단계와 밀집 검색 및 답변 추출에 의존하는 온라인 추론 단계를 분리함으로써, 추론의 복잡도와 관계없이 LLM 호출을 단 두 번으로 제한하여 LLM 호출과 토큰 오버헤드를 최소화하는 비용 효율적인 멀티홉 질의응답 프레임워크이다.

원저자: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

게시일 2026-02-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 미스터리를 풀려고 노력 중이라고 상상해 보세요. 예를 들어 특정 영화의 감독이 누구인지 알아내는 것과 같은 일입니다. 하지만 정답은 한 곳에 있지 않습니다. 책을 읽어서 감독의 이름을 찾아낸 다음, 그 감독의 전기(biography)를 찾아 태어난 곳을 알아내고, 마지막으로 지도를 확인하여 도시를 찾아내야 합니다.

이것이 바로 **멀티홉 질의응답(Multi-Hop Question Answering)**이 작동하는 방식입니다. 즉, 최종 정답을 얻기 위해 서로 다른 정보 조각들 사이를 건너뛰어야(hop) 하는 퍼즐을 푸는 것입니다.

문제점: "과로하는 사서"

현재의 시스템(RAG 또는 Retrieval-Augmented Generation이라 불리는 기술)은 이 문제를 해결하기 위해 매우 똑똑한 AI(대규모 언어 모델, LLM)에게 일을 시킵니다. 하지만 그 방식은 비효율적입니다.

현재의 방식을 아주 비싼 고액 연봉의 사서가 미스터리를 해결하도록 고용하는 것에 비유해 보겠습니다.

당신이 사서에게 질문을 던집니다.
사서는 서가로 달려가 책을 집어 들고, 읽은 뒤, 메모를 작성합니다.
사서는 당신에게 다시 돌아와 메모를 읽고 이렇게 말합니다. "알겠습니다, 이제 감독이 어디서 태어났는지 알아야 하군요."
당신이 다시 질문합니다. 사서는 서가로 다시 달려가서 다른 책을 집어 들고, 읽고, 또 다른 메모를 작성합니다.
미스터리의 모든 단계마다 이 과정을 반복합니다.

그 결과는 어떨까요? 사서는 지치고, 과정은 너무 오래 걸리며, 사서가 왔다 갔다 할 때마다 엄청난 비용(토큰 또는 컴퓨팅 파워)을 지불해야 합니다. 또한, 두 번째 단계에서 사서가 "그(he)"가 누구를 가리키는지 헷갈려 하여 잘못된 답을 내놓기도 합니다.

해결책: CompactRAG (The "Pre-Packaged Knowledge Box")

이 논문의 저자들은 더 똑똑한 방법을 제안합니다. CompactRAG는 사용자가 질문을 하기 전에, 비싼 사서가 도서관을 매번 뛰어다니게 하는 대신 도서관을 미리 재구성합니다.

1단계: 오프라인 준비 (The "One-Time Setup")

사용자가 질문을 하기 전, 시스템은 AI를 사용하여 도서관의 모든 문서를 단 한 번 읽습니다.

시스템은 모든 문서를 작고 완벽하며 독립적인 "사실 카드(fact cards)"로 분해합니다.
"영화는 1953년에 아서 크랩트리(Arthur Crabtree)에 의해 제작되었다"라는 전체 문단 대신, 다음과 같이 구체적인 카드를 만듭니다: "질문: 'The Wedding of Lilli Marlene'을 감독한 사람은 누구인가? 답변: 아서 크랩트리."
도서관의 모든 사실에 대해 이 작업을 수행합니다. 이것이 **컴팩트 지식 베이스(Compact Knowledge Base)**가 됩니다.

비유하자면, 엉망진 상태인 도서관 대신, 완벽하게 정리된 인덱스 카드 상자를 가지고 있는 것과 같습니다. 모든 카드 앞면에는 특정 질문이 있고, 뒷면에는 정확한 답변이 적혀 있습니다. 군더더기나 불필요한 단어는 없습니다.

2단계: 온라인 추론 (The "Two-Trip Rule")

이제 사용자가 복잡한 질문을 하면, 시스템은 다음과 같이 작동합니다.

분해 (첫 번째 여정/Trip 1): 큰 미스터리를 작고 단순한 단계로 나누기 위해 비싼 사서(LLM)를 단 한 번만 호출합니다.
- 사용자: "그 영화의 감독은 어디서 태어났나요?"
- LLM: "좋습니다. 1단계: 영화를 감독한 사람은 누구인가? 2단계: 그 사람은 어디서 태어났는가?"
검색 (사서 불필요): 시스템은 더 이상 비싼 사서를 호출하지 않습니다. 대신, 저렴하고 빠른 로봇을 사용하여 미리 만들어진 "사실 카드" 상자에서 답을 찾습니다.
- 로봇은 "누가 감독했는가..."에 대한 카드를 찾아 "아서 크랩트리"라는 답을 얻습니다.
- 그런 다음 로봇은 다음 질문을 명확하게 다시 씁니다: "아서 크랩트리는 어디서 태어났는가?" (이를 통해 "그"가 누구인지 헷갈리는 문제를 방지합니다.)
- 로봇은 "아서 크랩트리는 어디서 태어났는가?"에 대한 카드를 찾아 "런던"이라는 답을 얻습니다.
최종 답변 (두 번째 여정/Trip 2): 로봇이 모든 작은 답변들을 모으면, 비싼 사서를 마지막으로 한 번 더 호출하여 조각들을 합치고 최종 답변을 내놓게 합니다.

핵심적인 마법: 미스터리가 몇 단계(hop)로 이루어져 있든 상관없이, 비싼 사서는 질문당 단 두 번만 호출됩니다. 퍼즐이 2단계이든 10단계이든 비용은 동일하게 유지됩니다.

이것이 왜 중요한가요?

비용 절감: 사서가 왔다 갔다 하며 발생하는 비싼 비용을 줄일 수 있습니다. 사서는 딱 두 번만 호출하면 됩니다.
시간 절약: "사실 카드"는 찾고 읽기가 매우 쉽기 때문에 과정이 훨씬 빠릅니다.
오류 감소: 질문을 구체적인 이름(예: "그" 대신 "아서 크랩트리")을 포함하여 다시 작성함으로써, 시스템이 대상을 혼동하지 않게 합니다.

결과

논문은 세 가지 어려운 퍼즐 데이터셋(HotpotQA, 2WikiMultiHopQA, MuSiQue)을 통해 테스트를 진행했습니다.

정확도: CompactRAG는 기존의 비싼 방식만큼이나 퍼즐을 잘 해결했습니다.
효율성: CompactRAG는 훨씬 더 적은 "토큰"(AI 컴퓨팅 자원)을 사용했습니다. 어떤 경우에는 다른 방식보다 절반도 안 되는 자원을 사용했습니다.

요약

CompactRAG는 혼란스럽고 비싼 왕복 조사 과정을 효율적이고 미리 패키징된 운영 체제로 바꾸는 것과 같습니다. 지식을 미리 정리하는 무거운 작업을 사전에 단 한 번 수행함으로써, 새로운 미스터리를 해결하는 과정을 빠르고 저렴한 2단계 프로세스로 만듭니다.

기술 요약: CompactRAG

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 지식 집약적인 질의응답을 위한 표준 패러다임이 되었습니다. 그러나 기존의 멀티홉(multi-hop) RAG 시스템은 여러 문서에서 증거를 통합해야 하는 복잡한 질의를 처리할 때 상당한 비효율성에 직면합니다. 현재의 반복적 접근 방식(예: Self-Ask, IRCoT, Iter-RetGen)은 매 단계마다 검색과 LLM 추론을 교대로 수행합니다. 이러한 설계는 세 가지 주요 문제를 야기합니다:

확장성 및 비용: 반복적인 LLM 호출로 인해 토큰 소비량과 지연 시간(latency)이 추론 홉(hop) 수에 따라 선형적으로 증가합니다.
중복성: 검색된 컨텍스트는 종종 중복된 정보를 포함하고 있어 토큰 사용량을 팽창시킵니다.
엔티티 드리프트(Entity Drift): 복잡한 질문을 하위 질문으로 자동 분해하는 과정에서 명시적인 엔티티 언급이 유실될 수 있습니다(예: "그(he)"를 과학자로 식별한 후 "그는 어디에서 태어났는가?"라고 질문할 때). 이러한 모호성은 검색 오류와 홉 간의 일관되지 않은 결과를 초래합니다.

방법론: CompactRag

저자들은 효율적인 멀티홉 추론을 달성하기 위해 오프라인 코퍼스 재구조화와 온라인 추론을 분리하는 CompactRAG 프레임워크를 제안합니다. 이 시스템은 두 가지 뚜렷한 단계로 작동합니다.

1. 오프라인 단계: 원자적 QA 지식 베이스 구축

인퍼런스 중에 원시 코퍼스 구절을 직접 검색하는 대신, CompactRAG는 오프라인에서 코퍼스를 한 번 처리합니다.

프로세스: LLM이 원시 코퍼스를 읽고 문서 내용을 일련의 **원자적 QA 쌍(atomic QA pairs)**으로 재구성합니다.
입도(Granularity): 각 쌍은 최소 단위의 미세한 사실적 단위(예: "X를 감독한 사람은 누구인가?" $\to$ "Y")를 나타냅니다.
엔티티 앵커링(Entity Anchoring): 코퍼스 내의 엔티티는 자동으로 주석 처리되며(SpaCy 사용), 의미론적 완전성을 보장하고 참조 손실을 방지하기 위해 생성 과정에서 명시적으로 강제됩니다.
인덱싱: 각 원자적 QA 쌍은 밀집 검색(Contriever)을 사용하여 공유된 의미 공간에 임베딩됩니다. 의도와 내용을 모두 매칭할 수 있도록 질문과 답변을 결합( $[q; a]$ )하여 전체적인 사실적 범위를 보존합니다.

2. 온라인 단계: 2회 호출 인퍼런스

인퍼런스 중에 시스템은 추론 깊이에 관계없이 메인 LLM을 단 두 번만 호출하는 고정된 경량 파이프라인을 통해 복잡한 질의를 해결합니다.

단계 1: 분해 (LLM 호출 #1): 복잡한 질의를 의존 관계 순서에 따른 하위 질문 그래프로 분해합니다.
단계 2: 반복적 해결 (경량 모듈):
- 검색(Retrieval): 하위 질문을 사용하여 사전 구축된 지식 베이스에서 상위 $k$ 개의 원자적 QA 쌍을 검색합니다.
- 답변 추출(Answer Extraction): 경량 RoBERTa 기반 답변 추출기가 검색된 쌍에서 정확한 답변 스팬(span)을 식별하여, 추출을 위한 LLM 호출을 피합니다.
- 하위 질문 재작성(Sub-Question Rewriting): Flan-T5 기반 하위 질문 재작성기는 추출된 답변 엔티티를 가져와 모호한 참조를 명시적으로 구체화하도록 다음 하위 질문을 재작성합니다(예: "그는 어디에서 태어났는가?"를 " [엔티티]는 어디에서 태어났는가?"로 변경). 이는 엔티티 드리프트를 방지합니다.
단계 3: 합성 (LLM 호출 #2): 모든 하위 질문이 해결되고 증거가 집계되면, 메인 LLM이 최종 답변을 생성하기 위해 단일 합성 단계를 수행합니다.

주요 기여

확장성 분석: 본 논문은 반복적 RAG 파이프라인에서 토큰 소비와 LLM 호출이 추론 깊이에 따라 선형적으로 확장되는 방식을 분석하여 이를 병목 현상으로 식별했습니다.
CompactRAG 프레임워크: 오프라인 원자적 QA 지식 베이스와 경량 온라인 모듈(추출기 및 재작성기)을 활용하여 반복적인 LLM 호출 없이 효율적인 멀티홉 추론을 가능하게 하는 2회 호출 RAG 아키텍처를 도입했습니다.
실증적 검증: HotpotQA, 2WikiMultiHopQA, MuSiQue에 대한 포괄적인 평가를 통해 CompactRAG가 강력한 반복적 베이스라인들과 비교하여 경쟁력 있는 정확도를 달면서도 토큰 소비를 획기적으로 줄임을 입증했습니다.

실험 결과

LLaMA-3.1-8B를 백본 LLM으로 사용하여 세 가지 멀티홉 벤치마크에서 평가되었습니다:

정확도: CompactRAG는 경쟁력 있는 성능을 달성했습니다. HotpotQA에서 Exact Match(EM) **45.20%**와 LLM 기반 정확도 **70.40%**를 기록했으며, 이는 IRCoT(42.80% EM) 및 Iter-RetGen(46.80% EM)과 같은 반복적 베이스라인과 대등하거나 이를 상회하는 수치입니다.
효율성: 시스템은 토큰 오버헤드를 크게 줄였습니다.
- CompactRAG: 샘플당 약 1.9K 토큰.
- Iter-RetGen: 약 4.7K 토큰.
- IRCoT: 약 10.2K 토큰.
- Self-Ask: 약 6.9K 토큰.
절제 연구(Ablation Studies): 하위 질문 재작성기 또는 답변 추출기 모듈을 제거했을 때 일관된 정확도 저하가 발생했습니다(예: HotpotQA에서 재작성기를 제거하면 정확도가 70.4%에서 63.2%로 하락). 이는 엔티티 그라운딩과 검색 정밀도를 유지하는 데 있어 이들의 필요성을 확인시켜 줍니다.
상한선(Upper Bound): 오프라인 QA 구축에 GPT-4를 사용하면 정확도가 더욱 향상되었습니다(예: HotpotQA에서 49.60% EM). 이는 오프라인 지식 베이스의 품질이 인퍼런스 성능에 직접적인 영향을 미침을 시사합니다.

의의 및 주장

본 논문은 CompactRAG가 반복적 RAG 시스템에 대한 실용적이고 비용 효율적인 대안을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

고정 비용 인퍼런스: 질의당 LLM 호출을 두 번(분해 및 합성)으로 제한함으로써, 시스템은 추론 깊이로부터 인퍼런스 비용을 분리하여 딥 멀티홉 작업에 대해 높은 확장성을 갖게 합니다.
검색과 추론의 분리: 본 프레임워크는 고품질의 멀티홉 추론이 반드시 반복적인 LLM 상호작용을 필요로 하지 않는다는 것을 보여줍니다. 대신, 외부 지식을 의미론적으로 정렬된 원자적 단위로 구조화하고 경량 로컬 모듈을 활용함으로써 훨씬 낮은 계산 오버헤드로 대등한 정확도를 얻을 수 있습니다.
배포 가능성: 내부 모델 신호(예: 어텐션 엔트로피)에 의존하는 방법과 달리, CompactRAG의 아키텍처적 접근 방식은 오픈 웨이트 및 클로즈드 모델 모두와 호환됩니다.

저자들은 이 접근 방식이 대규모 지식 집약적 애플리케이션에 적합한, 확장 가능하고 토큰 효율적인 RAG 시스템을 개발하기 위한 청사진을 제공한다고 결론짓습니다.