The Reasoning Bottleneck in Graph-RAG: Structured Prompting and Context Compression for Multi-Hop QA

논문 개요

이 논문은 지식 그래프를 인덱싱하여 문서 검색을 수행하는 Graph-RAG(Retrieval-Augmented Generation) 시스템에서 발생하는 핵심 병목 현상을 규명하고 해결책을 제시합니다. 저자들은 강력한 검색 (Retrieval) 이 반드시 정확한 답변 (Answering) 으로 이어지지 않는다는 '검색 - 추론 간극 (Retrieval-Reasoning Gap)'을 발견하였으며, 이를 해결하기 위해 **구조화된 프롬프팅 **(SPARQL CoT)과 **그래프 탐색 기반 문맥 압축 **(Graph-walk Compression)을 제안합니다.

**1. 문제 정의: 검색 - 추론 간극 **(The Retrieval-Reasoning Gap)

• 현상: KET-RAG 와 같은 최신 Graph-RAG 시스템을 사용하여 HotpotQA, MuSiQue, 2WikiMultiHopQA 등 3 가지 멀티홉 QA 벤치마크를 평가한 결과, **검색된 문맥 **(Retrieved Context)임에도 불구하고 모델의 정확도는 매우 낮았습니다.
  • 문맥 내 정답 포함률: 77% ~ 91%
  • 실제 정확도 (Llama-3.1-8B): 23% ~ 67%
  • 실제 정확도 (Llama-3.3-70B): 35% ~ 78%
• 근본 원인: 오류 분석 결과, 전체 오류의 **73% ~ 84% 가 검색 실패가 아닌 '추론 실패 **(Reasoning Failure)로 나타났습니다.
• 도전 과제: 검색된 문맥이 약 10,000 토큰에 달하는 방대한 양 (Needle-in-a-haystack 문제) 이며, 모델이 이 안에서 관련 사실을 찾아 여러 단계의 추론을 연결해야 하기 때문에 발생합니다.

**2. 제안 방법 **(Methodology)

저자는 모델 재학습이나 재인덱싱 없이 추론 단계에서 적용 가능한 두 가지 증강 기법을 제안했습니다.

**가. SPARQL Chain-of-Thought **(CoT)

• 개념: 자연어 추론 대신, 검색된 지식 그래프의 구조 (엔티티 - 관계) 에 맞춰 SPARQL(RDF 지식 그래프 표준 쿼리 언어)을 사용하여 질문을 분해하는 프롬프팅 기법입니다.
• 작동 원리:
  1. 모델이 질문을 SPARQL 쿼리 (예: ?x name "Paradise Creek" . ?x tributaryOf ?y .) 로 변환합니다.
  2. 검색된 문맥 내에서 각 Triple Pattern(주어 - 술어 - 목적어) 에 해당하는 변수 바인딩을 추적합니다.
  3. 최종 답안을 도출합니다.
• 장점: 개방형 추론을 구조화된 패턴 매칭 작업으로 변환하여, 모델이 중간 단계의 추론 (Hop) 을 놓치거나 포기 (Abstain) 하는 것을 방지합니다.

**나. 그래프 워크 **(Graph-Walk)

• 개념: 검색 후 LLM 호출 없이 수행되는 후처리 필터링 단계로, 질문의 엔티티에서 시작하여 지식 그래프를 따라 **너비 우선 탐색 **(BFS)을 수행합니다.
• 작동 원리:
  1. 시드 식별: 질문의 엔티티를 문맥에서 매칭합니다.
  2. 위상적 탐색: 시드 엔티티로부터 최대 3 홉 (Hop) 까지 BFS 를 수행하여 구조적으로 연결된 엔티티만 선별합니다.
  3. 공발현 확장: 텍스트 청크를 통해 간접적으로 연결된 엔티티를 추가로 포함합니다.
  4. 우선순위 조립: 홉 거리와 엔티티 언급 빈도에 따라 문맥을 재구성하여 토큰 수를 약 60% 감소시킵니다 (약 10,000 토큰 → 4,000 토큰).
• 장점: 불필요한 노이즈를 제거하여 'Needle-in-a-haystack' 문제를 완화하고, SPARQL CoT 의 단계별 추론과 자연스럽게 호환됩니다.

**3. 주요 기여 및 결과 **(Key Contributions & Results)

가. 소규모 모델의 성능 극대화

• 비용 효율성: SPARQL CoT, 그래프 워크 압축, 질문 유형 라우팅 (Question-type Routing) 을 결합한 Llama-8B(예산 모델)는 Llama-70B(비증강 베이스라인) 의 성능을 모든 벤치마크에서 약 12 배 낮은 비용으로 달성하거나 초과했습니다.
  • 예: 2WikiMultiHopQA 에서 8B(증강) 는 55.8% 정확도, 70B(비증강) 는 48.8% 정확도.
• 라우팅 전략: 질문 유형 (Bridge, Comparison, Inference) 에 따라 SPARQL CoT 또는 일반 CoT 를 선택하는 라우팅을 적용하면 8B 모델의 정확도가 58.4% 로 상승하여 70B 를 능가했습니다.

나. 성능 향상 데이터

• SPARQL CoT: 모든 설정에서 정확도를 +2 ~ +14%p 향상시켰으며, 특히 어려운 데이터셋 (2WikiMHQA) 에서 효과가 컸습니다.
• 압축과 구조화 프롬프팅의 시너지: 그래프 워크 압축은 구조화된 추론 (SPARQL CoT) 을 사용하는 소규모 모델 (8B) 에서 평균 +6%p의 추가 향상을 가져왔습니다. 반면, 70B 모델에서는 압축 시 약간의 정확도 하락 (-1.1%p) 이 있었으나 토큰 비용 절감 효과가 컸습니다.

**다. 일반성 검증 **(Generality)

• LightRAG 전이: KET-RAG 에서 개발된 기법이 LightRAG(다른 오픈소스 Graph-RAG 시스템) 에도 적용 가능함을 확인했습니다. SPARQL CoT 는 LightRAG 에서도 성능을 향상시켰으나 (+7.6%p), 그래프 워크 압축은 LightRAG 의 검색 파이프라인 구조 차이로 인해 성능이 저하되는 것을 발견했습니다. 이는 압축 기법이 검색 파이프라인의 '관련성 기울기 (Relevance Gradient)'에 의존함을 시사합니다.

4. 의의 및 결론

• 병목의 재정의: Graph-RAG 시스템에서 검색이 완료된 후, 주요 병목은 '정보 부족'이 아닌 **'추론 능력의 부족'**임을 정량적으로 증명했습니다.
• 실용적 가치: 고비용의 대형 모델 (70B 이상) 에 의존하지 않고도, 저렴한 오픈소스 모델 (8B) 과 추론 시간 증강 기법 (Inference-time Augmentation) 을 통해 상용 모델 수준의 성능을 달성할 수 있음을 보였습니다.
• 배포 가이드라인:
  • **예산 중심 **(8B): 질문 유형 라우팅 + 그래프 워크 압축 + SPARQL CoT 를 모두 적용.
  • **품질 중심 **(70B): SPARQL CoT 적용 (압축은 생략).

이 연구는 Graph-RAG 시스템의 성능을 높이기 위해 검색 품질 개선뿐만 아니라, 검색된 구조화된 문맥을 활용한 추론 과정의 최적화가 필수적임을 강조합니다.