Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

이 논문은 노이즈 내성, 정보 통합, 부정적 거부, 반사실적 내성 등 네 가지 시나리오에서 지식 그래프 기반의 GraphRAG 가 기존 RAG 베이스라인보다 더 견고한 성능을 보임을 입증하고, 이를 통해 현실 세계의 신뢰할 수 있는 RAG 시스템 설계에 대한 통찰을 제공합니다.

핵심

🍳 1. 배경: 인공지능의 '할루시네이션' 문제

인공지능 (LLM) 은 방대한 책을 읽은 '천재 학생'과 같습니다. 하지만 이 학생은 두 가지 큰 약점이 있습니다.

1. 구식 지식: 최신 뉴스나 사건을 모릅니다.
2. 망상 (할루시네이션): 모르는 게 있으면, 사실인 척 거짓말을 잘해냅니다.

이를 해결하기 위해 **'RAG(검색 증강 생성)'**라는 시스템을 도입했습니다.

• 비유: 천재 학생이 시험을 볼 때, **참고서 (외부 문서)**를 옆에 두고 답을 찾게 하는 것입니다.
• 문제점: 하지만 참고서 자체가 오류가 있거나 (거짓 정보), **관련 없는 잡담 (노이즈)**으로 가득 차 있다면? 학생은 혼란에 빠지거나 잘못된 답을 내게 됩니다.

🕸️ 2. 연구의 핵심: '지식 그래프'라는 지도를 활용하다

이 논문은 단순히 참고서를 주는 것 (기존 RAG) 을 넘어, 참고서의 내용을 '지도 (지식 그래프)'로 정리해 주는 방법을 제안합니다.

• 기존 방식 (RAG): 학생에게 산더미 같은 문서 뭉치를 던져줍니다. "여기서 답 찾아봐!"라고 합니다. 학생은 중요한 것과 잡담을 구분하기 어렵습니다.
• 새로운 방식 (GraphRAG): 학생에게 연결고리가 그려진 지도를 줍니다. "A 는 B 와 연결되어 있고, C 는 거짓말이니까 무시해"라고 구조화된 정보를 제공합니다.

🧪 3. 실험: 네 가지 상황에서의 대결

연구진은 인공지능이 다음 네 가지 상황 (RGB 벤치마크) 에서 얼마나 잘 대처하는지 테스트했습니다.

① 소음에 강한가? (Noise Robustness)

• 상황: 답이 있는 문서 옆에 완전 엉뚱한 잡담이 섞여 있습니다.
• 결과: 지도를 활용한 방식 (특히 외부 정보만 믿는 방식) 이 잡담을 잘 걸러냈습니다. 특히 **GPT-3.5(약간 덜 똑똑한 모델)**는 지도가 없으면 완전히 혼란스러웠지만, 지도를 주니 성능이 급상승했습니다.

② 여러 정보를 하나로 합칠 수 있는가? (Information Integration)

• 상황: 답을 찾으려면 문서 A, B, C 를 모두 연결해서 생각해야 합니다.
• 결과: 지도는 문서 간의 연결고리를 명확히 해주어, 여러 조각을 맞추는 퍼즐을 훨씬 잘 풀게 했습니다.

③ 모르면 "모른다"고 할 수 있는가? (Negative Rejection)

• 상황: 문서에 답이 아예 없는데 학생이 억지로 답을 만들어내려 할 때.
• 결과: 대부분의 인공지능은 "모른다"고 말하기보다 **무조건 답을 찾으려 노력 (과신)**하는 경향이 있었습니다. 하지만 "문서에 답이 없으면 말하지 마"라고 명령을 잘 내린 지도 방식이 "모른다"고 정직하게 말하는 비율을 높였습니다.

④ 거짓말을 찾아낼 수 있는가? (Counterfactual Robustness)

• 상황: 문서에 사실과 반대되는 거짓 정보가 섞여 있습니다.
• 결과: 지도를 통해 사실 관계를 검증한 방식이 거짓말을 찾아내고 (Error Detection), 올바른 답으로 고치는 (Error Correction) 능력이 훨씬 뛰어났습니다.

💡 4. 주요 발견: "지도"가 필요한 학생은 누구인가?

가장 흥미로운 점은 모델의 능력에 따라 효과가 달랐다는 것입니다.

• GPT-4o-mini(초고성능 모델): 이미 머릿속에 지식이 많아서, 지도가 없어도 어느 정도 잘합니다. 지도를 주면 조금 더 좋아지지만, 큰 차이는 아닙니다.
• GPT-3.5(중급 모델): 머릿속 지식이 부족해서 외부 정보에 의존해야 합니다. 지도 (지식 그래프) 가 없으면 엉뚱한 답을 많이 냈지만, 지도를 주면 성능이 폭발적으로 좋아졌습니다.

핵심 메시지: "지식 그래프"는 **지식이 부족한 인공지능에게 가장 큰 도움이 되는 '생명의 지도'**입니다.

🚀 5. 결론 및 미래

이 연구는 인공지능이 외부 정보를 다룰 때, 단순히 텍스트를 복사해 주는 것이 아니라 구조화된 지식 (지도) 을 활용하면 훨씬 더 신뢰할 수 있다는 것을 증명했습니다.

• 현재의 한계: 아직 "모른다"고 말하는 능력 (거부) 은 50% 미만으로, 인공지능이 여전히 "무조건 답을 찾으려" 하는 버릇이 남아있습니다.
• 미래: 앞으로는 이 지도 방식에 **추론 능력 (Chain-of-Thought)**을 더하고, 이미지나 소리 같은 멀티모달 정보까지 결합하여, 실생활에서 절대 틀리지 않는 인공지능을 만들어나갈 것입니다.

---

한 줄 요약:

"인공지능에게 산더미 같은 문서만 주는 건 위험하지만, 잘 정리된 지식 지도를 주면 거짓말을 잘 걸러내고 더 똑똑해질 수 있습니다. 특히 지식이 부족한 인공지능에게 이 지도는 필수품입니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 사전 학습된 지식의 한계로 인해 사실적 환각 (hallucination), 지식의 노후화, 도메인 전문성 부재 등의 문제를 겪고 있습니다. 이를 해결하기 위해 외부 지식을 검색하여 답변을 생성하는 검색 증강 생성 (RAG) 이 도입되었습니다.
• 문제점: RAG 는 외부 정보의 불일치 (inconsistency) 로 인해 모델의 성능이 저하될 수 있습니다. 특히 다음과 같은 세 가지 주요 한계가 존재합니다.
  1. 검색된 텍스트에 중복되거나 노이즈가 포함되어 LLM 의 혼란을 유발.
  2. 비정형 데이터로 인해 개체 간의 명시적 관계 (인과, 시간적 연결 등) 가 불분명하여 다단계 추론 (multi-hop reasoning) 이 어려움.
  3. 문서 간 모순 탐지를 위해 비용이 많이 드는 교차 분석이 필요함.
• 목표: 검색된 정보의 불일치, 노이즈, 사실 오류, 그리고 관련 없는 정보에 대한 모델의 견고성 (Robustness) 을 평가하고 개선하는 것. 이를 위해 RGB (Retrieval-Augmented Generation Benchmark) 를 기반으로 한 4 가지 시나리오 (노이즈 견고성, 정보 통합, 부정적 거부, 반사실적 견고성) 를 평가합니다.

2. 방법론 (Methodology)

이 연구는 비정형 문서 검색에 의존하는 기존 RAG 와 지식 그래프 (Knowledge Graph, KG) 를 기반으로 한 GraphRAG 를 비교 분석하며, GraphRAG 의 견고성을 높이기 위한 커스터마이징을 제안합니다.

• 기반 프레임워크 (GraphRAG):
  • LLM 을 활용하여 개체 (Entity) 와 관계를 추출하고 지식 그래프를 구축합니다.
  • 커뮤니티 탐지 (Community Detection) 를 통해 개체 그룹별 요약을 생성하고, 이를 계층적으로 결합하여 전체 문서 코퍼스를 설명합니다.
• 제안된 커스터마이징 (4 가지 접근법):
  RGB 벤치마크의 4 가지 과제를 해결하기 위해 GraphRAG 에 다음과 같은 변형을 적용했습니다.
  1. GRRGB: RGB 벤치마크의 기본 프롬프트를 KG 컨텍스트에 맞게 수정한 것.
  2. GRdef: GraphRAG 의 기본 (Default) 프롬프트 사용.
  3. GRext (External-Only): 외부 지식 (검색된 문서 기반 KG) 만을 활용하고 LLM 의 내재된 사전 지식을 배제하도록 프롬프트를 최적화. (노이즈와 오류를 식별하고 무시하도록 지시)
  4. GRcomb (Combined): LLM 의 인코딩된 사전 지식과 외부 지식을 결합하여 활용.
• 실험 설정:
  • 모델: GPT-3.5 와 GPT-4o-mini 사용.
  • 데이터: RGB 벤치마크의 검색된 문서 (정확한 정보, 노이즈, 사실 오류, 관련 없는 정보 포함) 를 기반으로 동적 지식 그래프를 구축.
  • 평가 지표: 정확도 (ACC), 거부율 (Rejection Rate), 오류 탐지율 (ED), 오류 수정율 (CR).

3. 주요 결과 (Key Results)

실험은 GPT-3.5 와 GPT-4o-mini 를 대상으로 4 가지 과제에서 수행되었습니다.

• 노이즈 견고성 (Noise Robustness):
  • GPT-3.5: 노이즈 비율이 증가할수록 성능이 급격히 저하되었으나, GRcomb (내재 지식 + 외부 지식) 과 GRdef 구성이 가장 견고했습니다. 특히 GRcomb 은 덜 복잡한 모델에서 노이즈 처리에 큰 이점을 보였습니다.
  • GPT-4o-mini: 내재 지식이 강력하여 노이즈에 상대적으로 강했으나, 신뢰할 수 있는 외부 지식이 있을 때만 GraphRAG 가 추가적인 이점을 제공했습니다.
• 반사실적 견고성 (Counterfactual Robustness):
  • 사실 오류가 포함된 문서에 대해 GRcomb 구성이 GPT-3.5 에서 가장 높은 정확도 (24.24%) 와 오류 탐지율 (94.94%) 을 기록했습니다.
  • GPT-4o-mini 는 RGB 베이스라인이 가장 좋았으나, GraphRAG 구성 중에서는 GRcomb 이 가장 우수했습니다.
  • GRext(외부 지식만 사용) 는 GPT-4o-mini 에서 정확도가 0% 로 떨어지는 등, 내재 지식이 전혀 없을 때 오류를 식별하기 어렵다는 것을 보여줍니다.
• 정보 통합 (Information Integration):
  • 여러 문서에서 정보를 종합해야 하는 과제에서 GRext (외부 지식만 활용) 가 가장 견고한 성능을 보였습니다.
  • GPT-3.5 는 0% 노이즈에서 86.86% 정확도를 보였으며, 40% 노이즈에서도 78% 수준을 유지했습니다. 이는 GraphRAG 가 긴 문서에서 분산된 정보를 통합하는 데 효과적임을 시사합니다.
• 부정적 거부 (Negative Rejection):
  • 관련 없는 정보가 검색되었을 때 답변을 거절하는 능력입니다.
  • GRext 구성이 가장 높은 거부율 (GPT-4o-mini: 42.66%, GPT-3.5: 33%) 을 기록했습니다. 이는 "문서 내 정보가 부족하면 답변하지 말라"는 명시적 프롬프트가 모델의 과도한 자신감 (Overconfidence) 을 줄이는 데 효과적임을 보여줍니다.
  • 반면, 기본 프롬프트를 사용한 GRdef 는 모델이 내재 지식을 과도하게 신뢰하여 불필요하게 답변을 생성하는 경향이 있었습니다.

4. 주요 기여 (Key Contributions)

1. 지식 그래프 기반 RAG 의 견고성 검증: 기존 비정형 RAG 와 비교하여 지식 그래프 (GraphRAG) 를 활용하면 노이즈, 사실 오류, 정보 통합, 부정적 거부 등 4 가지 핵심 영역에서 모델의 견고성이 향상됨을 실증했습니다.
2. 모델 복잡도에 따른 차별화된 전략 제시:
   • GPT-3.5 (저비용/저복잡도 모델): 내재 지식이 부족하므로 외부 지식과 내재 지식을 결합 (GRcomb) 하거나 외부 지식만 엄격하게 활용 (GRext) 하는 전략이 필수적이며 큰 성능 향상을 가져옵니다.
   • GPT-4o-mini (고비용/고복잡도 모델): 내재 지식이 강력하여 노이즈에 강하지만, 신뢰할 수 없는 외부 정보 처리를 위해 GRext 와 같은 프롬프트 최적화가 필요합니다.
3. 프롬프트 엔지니어링의 중요성 강조: 단순히 지식 그래프를 구축하는 것뿐만 아니라, "노이즈 무시", "정보 부족 시 거부", "사실 오류 식별" 등을 명시적으로 지시하는 맥락적 프롬프트 (Contextual Prompt) 가 RAG 시스템의 신뢰성을 결정하는 핵심 요소임을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 의의: 이 연구는 실제 배포 환경에서 정보의 불일치와 노이즈가 빈번한 상황에서, LLM 이 얼마나 신뢰할 수 있는 답변을 생성할 수 있는지에 대한 통찰을 제공합니다. 특히 GPT-3.5 와 같은 경량 모델을 사용할 때 지식 그래프 기반의 증강이 필수적임을 강조합니다.
• 한계 및 향후 과제: 현재는 각 과제 (노이즈, 통합, 거부 등) 마다 다른 커스터마이징이 필요하다는 한계가 있습니다. 향후에는 체인 오브 씽킹 (Chain-of-Thought) 과 같은 고급 추론 메커니즘과 결합된 통합 솔루션 개발, 그리고 멀티모달 RAG 로의 확장을 통해 더욱 견고한 시스템을 구축할 필요가 있습니다.

요약하자면, 이 논문은 지식 그래프를 RAG 파이프라인에 통합하고 프롬프트를 최적화함으로써, 특히 자원이 제한된 모델에서도 노이즈와 오류에 강한 견고한 생성 시스템을 설계할 수 있음을 증명했습니다.