💻 computer science

LivingRAG: Augmenting Graph RAG with Experience

LivingRAG는 유용한 그래프 신호 및 추론 패턴과 같은 검증된 추론 경험을 저장하고 재사용함으로써, 관련 쿼리에 대한 정확도를 높이고 토큰 소비를 줄여 멀티홉 질의응답 능력을 향상시키는 Graph RAG 프레임워크입니다.

원저자: Yuzhuo Cui, Zongye Zhang, Qingjie Liu

게시일 2026-08-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuzhuo Cui, Zongye Zhang, Qingjie Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 거대 언어 모델은 인간 지식의 방대한 도서관처럼 작동하며, 복잡한 질문에 답하고 이야기를 쓰는 능력을 갖추고 있습니다. 하지만 이 디지털 지성체들은 중대한 약점을 가지고 있습니다. 바로 학습하지 않은 사실은 자주 잊어버리거나, 사실처럼 들리지만 실제로는 거짓인 세부 사항을 지어내곤 한다는 점입니다. 이를 해결하기 위해 연구자들은 '검색 증강 생성(retrieval-augmented generation)'이라 불리는 방법을 개발했습니다. 시험을 치르는 학생이 교과서를 펼쳐 볼 수 있는 상황을 상상해 보십시오. 기억력에만 의존하는 대신, 학생은 답을 적기 전에 책에서 답을 찾아봅니다. 이는 답변이 현실에 근거하도록 유지해 줍니다. 이 방식의 더 발전된 버전은 '지식 그래프(knowledge graph)'를 사용하는데, 이는 정보를 지도처럼 조직하여 사람, 장소, 사건을 선으로 연결해 그들이 어떻게 연관되어 있는지 보여줍니다. 이는 시스템이 단순히 가장 명백한 일치 항목을 찾는 것을 넘어, 원래 질문으로부터 여러 단계 떨어져 있는 단서들을 찾을 수 있도록 돕습니다.

이러한 진전에도 불구하고, 대부분의 현재 시스템은 새로운 질문을 받을 때마다 마치 시스템이 그것을 처음 보는 것처럼 취급합니다. 설령 시스템이 특정 역사적 인물에 관한 어려운 퍼즐을 방금 풀었더라도, 다음 질문이 도착하는 순간 시스템은 방금 사용했던 추론 과정을 버려버립니다. 시스템은 이미 유사한 경로를 파악했다는 사실을 무시한 채 처음부터 다시 시작합니다. 이는 어제 방문했던 곳으로 가는 길을 기억하지 못하고, 새로운 마을에 도착할 때마다 매번 멈춰 서서 길을 묻는 여행자와 같습니다. 중국 베이항 대학교의 연구팀은 이 문제에 대한 해결책을 제 제안했습니다. 그들은 인공지능이 자신의 성공적인 추론을 기록할 수 있는 '노트'를 가질 수 있게 하는 '리빙래그(LivingRAG)'라는 시스템을 만들었습니다. 무엇이 효과적이었는지 기록하고 그 노트를 미래의 질문을 위해 재사용함으로써, 시스템은 시간이 지남에 따라 더 똑똑해지며, 더 정확하게 질문에 답하는 동시에 더 적은 컴퓨팅 자원을 사용하게 됩니다.

LivingRAG의 핵심 아이디어는 시스템에 작업 중에 업데이트할 수 있는 '쓰기 가능한 메모리'를 부여하는 것입니다. 시스템은 질문에 답할 때 단순히 최종 답변만을 생성하고 끝내는 것이 아닙니다. 대신, 자신이 답을 찾기 위해 거친 경로가 견고했는지 확인하기 위해 잠시 멈춥니다. 자신이 사용한 사실들이 검색한 문서들에 의해 실제로 뒷받침되는지 검증합니다. 만약 추론이 타당하고 질문이 이미 해결한 것의 반복이 아니라면, 시스템은 그 경험의 압축된 요약을 저장합니다. 이 요약에는 어떤 정보 조각들이 가장 중요했는지에 대한 지도와 답변이 어떻게 구성되었는지에 대한 간략한 개요가 포함됩니다. 이 과정은 일회성 상호작용을 성장하는 검증된 지식의 도서관으로 바꿉니다.

연구진은 실제 사용자가 며칠 동안 챗봇과 상호작용하는 것과 유사하게, 시스템에 질문의 흐름을 입력하여 이 방식을 테스트했습니다. 그들은 관련 질문들이 종종 군집을 이루어 나타난다는 것을 발견했습니다. 때때로 사용자는 특정 인물에 대해 질문한 뒤, 나중에 그 인물이 살았던 시대나 지역의 다른 인물에 대해 질문합니다. 또 다른 경우에는, 세부 사항은 다르더라도 두 가지 서로 다른 사건을 비교하는 것과 같이 동일한 논리적 패턴을 따르기도 합니다. 실험에서 시스템은 이러한 패턴을 빈번하게 재사용할 수 있다는 것을 발견했습니다. 예를 들어, 복잡한 다단계 질문이 포함된 데이터 세트에서 시스템은 이전 질문의 추론 경로를 이후의 거의 모든 관련 쿼리에 재사용할 수 있었습니다. 이는 시스템이 매번 사실 사이의 연결 고리를 새로 발견할 필요가 없었음을 의미합니다.

결과는 이러한 경험으로부터 배우는 방식이 시스템의 답변 능력을 현저히 향상시킨다는 것을 보여주었습니다. 추론을 저장하지 않는 다른 강력한 시스템들과 비교했을 때, LivingRAG는 여러 표준 벤치마크에서 더 높은 정확도를 달al성했습니다. 역사적 인물과 사건에 관한 질문을 다룬 한 테스트에서, 시스템은 정답률을 약 84%에서 87%로 높였습니다. 고객 지원 질문에 초점을 맞춘 또 다른 테스트에서는 개선 폭이 더욱 두드러져, 66%에서 70% 이상으로 뛰어올랐습니다. 이러한 이득은 단순히 정답을 맞히는 것에 그치지 않고, 부수적인 효율성이라는 혜osa 함께 왔습니다. 시스템이 이전 답변의 '비계(scaffolding)'나 구조를 재사용할 수 있었기 때문에, 추론을 설명하기 위해 새로운 텍스트를 훨씬 더 많이 생성할 필요가 없었습니다. 이는 시스템이 처리해야 할 데이터 양을 줄였고, 결과적으로 시스템 운영 비용을 낮추었습니다.

시스템이 자신의 실수로부터 학습하지 않도록 하기 위해, 연구진은 어떤 경험을 저장하기 전에 엄격한 품질 검사를 구축했습니다. 시스템은 찾은 문서의 증거에 의해 뒷받받되는 경우에만 메모리에 새로운 항목을 기록합니다. 만약 시스템이 정답을 맞혔더라도 문서가 이를 실제로 뒷받침하지 않는다면, 그 경험은 폐기됩니다. 이는 시스템이 오류를 강화하거나 새로운 가치를 더하지 않는 중복된 정보를 저장하는 것을 방지합니다. 연구에 따르면 시스템은 매우 선택적이었으며, 고려된 후보 경험 중 약 27%만을 저장했습니다. 이러한 선택성은 메모리가 모든 시도의 혼란스러운 기록이 아니라, 고품질의 검증된 통찰력의 모음이 되도록 보장했습니다.

연구진은 또한 시스템의 성능이 시간에 따라 어떻게 변하는지 관찰했습니다. 세션의 아주 초기, 즉 메모리가 비어 있을 때 시스템은 표준 모델과 유사하게 작동했습니다. 그러나 더 많은 질문에 답하고 검증된 경험으로 메모리를 채워감에 따라, 시스템은 과거의 성공을 미래의 검색을 안내하는 데 사용하기 시작했습니다. 시스템은 더 빠르게 올바른 곳을 찾고 답변을 더 효율적으로 구성하는 법을 배웠습니다. 이는 시스템의 가치가 사용될수록 커진다는 것을 시사하며, 사용자가 연속적인 관련 질문을 던지는 환경에 특히 적합함을 보여줍니다. 이 연구는 이 방법이 모든 문제를 해결한다거나 모든 상황에서 완벽하게 작동한다고 주장하는 것은 아니지만, 검증된 자신의 추론으로부터 배우는 능력을 부여하는 것이 성능을 향상시키는 실질적이고 효과적인 방법임을 입증했습니다.

이 연구의 함의는 단순히 더 나은 답변을 얻는 것에 그치지 않습니다. 시스템이 생성해야 하는 텍스트의 양을 줄임으로써, 이 방식은 모델을 실행하는 데 필요한 에너지와 계산 전력을 낮춥니다. 이는 인공지능이 일상생활에 통합됨에 따라 매우 중요한 고려 사항입니다. 연구진은 시스템이 통제된 질문 세트에서는 잘 작동하지만, 실제 환경에서는 사실이 시간이 지남에 따라 변하거나 질문이 더 흩어지고 예측 불가능해지는 등의 과제가 발생할 수 있다고 언급했습니다. 그들은 향-후 버전의 시스템이 새로운 정보가 들어왔을 때 오래된 기억을 업데이트하거나 제거하는 방법을 포함해야 할 수도 있다고 제안했습니다. 그러나 현재로서는, 이 연구는 인공지능에게 이미 배운 것을 기억하게 하는 것만으로도 더 유능하고 효율적으로 만들 수 있다는 명확한 증거를 제공합니다.

기술 요약: LivingRAG: 경험을 통한 Graph RAG의 증강

문제 정의

현재의 Retrieval-Augmented Generation (RAG) 시스템, 특히 Graph RAG 변형 모델들은 추론 과정에서 일반적으로 "읽기 전용(read-only)" 모드로 작동합니다. 이들은 각 쿼리를 독립적으로 처리하여 증거를 검색하고 답변을 생성하지만, 그 과정에서 도출된 추론 신호나 그래프 활성화 패턴을 버립니다. 결과적으로, 나중에 온라인 스트림에서 관련 쿼리가 도착했을 때, 시스템은 증거를 검색하고 처음부터 다시 추론해야 하며, 유용한 이전 경험을 활용하지 못합니다. 이러한 한계는 쿼리들이 흔히 엔티티를 공유하거나, 지식 그래프의 유사한 영역을 탐색하거나, 동일한 추론 템플릿을 따르는 온라인 질의응답(QA) 스트림에서 특히 두드합니다. 그러나 기존 시스템은 이러한 패턴을 보존하거나 재사용하지 못합니다.

방법론: LivingRAG

LivingRAG는 추론 루프에 쓰기 가능하고 재사용 가능한 추론 경험을 도입하도록 설계된 Graph RAG 프레임워크입니다. 이 모델은 기본 그래프 기반 리트리버(구체적으로 LinearRAG)를 온라인 QA 스트림 동안 검증된 추론 패턴을 축적하는 **경험 저장소(experience store)**로 확장합니다.

핵심 구성 요소

경험 저장소 구조:
각 검증된 경험( $e_t$ )은 다음을 포함하는 압축된 튜플입니다:
- 소스 쿼리 ( $q_t$ ) 및 그 임베딩.
- 희소 활성화 맵 ( $\tilde{a}_t$ ): 원래 쿼리의 검색 중에 어떤 그래프 엔티티가 활성화되었는지를 나타내는 희소화된 벡터입니다. 이는 해당 태스크에 유용한 "그래프 이웃(graph neighborhood)"을 포착합니다.
- 추론 요약 ( $sum_t$ ): 가장 많이 활성화된 엔티티들에 의해 고정된, 생성된 설명의 핵심 문장들로 구성된 압축된 스캐폴드(scaffold)입니다.
- 메타데이터: 최종 답변, 타임스탬프, 근거 확신도(grounding confidence).
경험 증강 검색 (Experience-Augmented Retrieval):
새로운 쿼리 $q_t$ 에 대한 추론 과정에서, LivingRAG는 두 가지 신호를 사용하여 경험 저장소와 쿼리를 매칭합니다:
- 의미적 유사도 (Semantic Similarity): 쿼리 임베딩 간의 코사인 유사도.
- 활성화 맵 유사도 (Activation-Map Similarity): 현재 쿼리의 초기 엔티티 활성화와 저장된 희소 활성화 맵 간의 코사인 유사도.
  상위 $K$ 개의 매칭된 경험들은 기본 리트리버의 초기 엔티티 활성화 벡터로 융합됩니다. 이는 그래프 전파를 이전에 성공적이었던 증거 이웃 쪽으로 편향시켜, 효과적으로 "그래프 이웃 사전 지식(graph-neighborhood priors)"을 전달합니다.
스캐폴드 기반 생성 (Scaffolded Generation):
관련된 경험이 발견되면, 그 추론 요약이 추론 스캐폴드로 선택되어 LLM 프롬프트에 주입됩니다. 이는 모델이 로직을 처음부터 다시 재구성하도록 강요하지 않으면서도, 재사용 가능한 추론 패턴(예: 특정 분해 전략)을 제공합니다.
품질 게이트 기반 쓰기 (Quality-Gated Write-Back):
환각(hallucination)이나 중복 데이터의 축적을 방지하기 위해, 후보 경험은 두 가지 게이트를 통과해야만 저장됩니다:
- 신규성 체크 (Novelty Check): 후보가 기존 경험과 거의 중복되지 않는지 확인합니다 (쿼리 임베딩 및 기본 활성화 유사도를 통해 측정).
- 근거 체크 (Grounding Check): 자연어 추론(NLI) 모델을 사용하여 후보의 추론 및 답변에 포함된 원자적 주장들이 검색된 증거에 의해 함의되는지 검증합니다.
  두 게이트를 모두 통과한 후보만이 저장소에 기록됩니다.

주요 기여

프레임워크 도입: LivingRAG는 추론 경험을 쓰기 가능한 자원으로 취급하는 Graph RAG 프레임워크를 도입합니다. 이 모델은 검증된 경험을 저장하고, 활성화 맵 융합을 통한 검색과 추론 요약을 통한 생성을 통해 이를 재사용합니다.
신호 분석: 저자들은 온라인 QA 스트림을 분석하여 세 가지 유형의 재사용 가능한 신호를 식별했습니다: 엔티티 재사용 (공유된 시드 엔티티), 그래프 이웃 재사용 (인접한 그래프 영역 방문), 템플릿 재사용 (엔티티는 다르지만 유사한 질문 구조). LivingRAG는 이 세 가지를 모두 활용하도록 설계되었습니다.
실증적 검증: 본 논문은 LivingRAG가 강력한 RAG 베이스라인보다 정확도를 높이며, 경험이 성공적으로 재사용될 때 완료 토큰(completion token) 사용량을 크게 줄임을 입증합니다.

실험 결과

이 프레임워크는 멀티홉 QA 벤치마크(2WikiMultiHopQA, HotpotQA, MuSiQue, MuSiQue-full)와 고객 지원 데이터셋(WixQA)에서 평가되었습니다.

정확도: LivingRAG는 모든 벤치마크에서 가장 높은 정확도를 달-성했습니다. 예를 들어, 2WikiMultiHopQA에서 LLM-평가 정확도를 84.40%(LinearRAG 베이스라인)에서 **87.00%**로 향상시켰습니다. WixQA에서는 66.00%에서 **70.25%**로 향상되었습니다.
효율성: LivingRAG는 추가된 스캐폴드로 인해 프롬프트 토큰은 약간 증가했지만, **완료 토큰(completion tokens)**을 크게 줄였습니다. 데이터셋 전반에 걸쳐 완료 토큰이 15.1%에서 26.1% 감소하였으며, 이는 전체적인 예상 API 비용의 12.1% 절감으로 이어졌습니다.
재사용 메커니즘: 어블레이션 연구(ablation studies)를 통해 활성화 맵 융합(검색 보조)과 추론 스캐폴드(생성 보조)가 모두 중요함을 확인했습니다. 이 중 하나라도 제거하면 성능과 효율성이 모두 저하되었습니다.
강건성: LivingRAG의 이점은 서로 다른 무작위 쿼리 순서 변경에도 안정적으로 유지되었으며, 이는 시스템이 특정 스트림 배열에 의존하지 않음을 나타냅니다.

의의 및 주장

본 논문은 검증된 경험 재사용이 Graph RAG를 증강하는 단순하면서도 효과적인 방법이라고 주장합니다. 이전 쿼리로부터 최종 답변뿐만 아니라 추론 경로(활성화 맵)와 추론 패턴(스캐폴드)을 보존함으로써, LivingRAG는 RAG 시스템을 상태가 없는(stateless) 리트리버에서 일종의 비매개변수적 지속 학습(non-parametric continual learning)이 가능한 시스템으로 변모시킵니다.

저자들은 이 접근 방식이 모델 파라미터를 미세 조정하거나 기본 코퍼스 그래프를 수정할 필요가 없음을 강조합니다. 대신, 오직 근거가 있고 새로운 경험만이 저장되도록 보장하는 가볍고 선택적인 쓰기 메커니즘에 의존합니다. 결과는 쿼리들이 구조적 또는 주제적 중첩을 보이는 온라인 QA 스트림의 경우, 과거의 추론 경험을 활용하는 것이 답변의 품질을 높이는 동시에 계산 비용을 줄일 수 있는 유효한 경로임을 시사합니다.

논문은 특히 장기적인 경험 성장(미래의 프루닝 또는 압축 전략 필요)과 정적 지식 가정(현재 벤치마크는 동적 도메인의 사실 만료를 테스트하지 않음)에 대한 한계를 인정합니다. 그러나 통제된 QA 스트림 범위 내에서, LivingRAG는 과거 쿼리의 경험을 "살아있는(living)" 상태로 활용하는 것이 더 효율적이고 정확한 Graph RAG를 향한 실행 가능한 길임을 보여줍니다.