기술 요약: KGCaRe

문제 정의

대규모 언어 모델(LLM)과 검색 증강 생성(RAG)을 사용하여 복잡한 조건부 질문에 답하는 것은 특히 특정 도메인 맥락 내에서 여전히 중요한 과제로 남아 있습니다. 범용 LLM은 입력값이 조건부 논리를 포함하거나 전문적인 콘텐츠를 가로질러 추론해야 하는 경우 성능이 저하되는 경향이 있습니다. 이러한 성능 저하는 전문화된 코퍼스에 대한 미세 조정(fine-tuning)의 부족과 컨텍스트가 불충분할 때 발생하는 환각 현상에 기인합니다. 조건부 질문은 누락되거나 암시적인 제약 조건에 매우 민다하며, 모델은 질문뿐만 아니라 답변이 유효한 특정 조건에 대해서도 인지하고 있어야 합니다. 키워드 또는 유사성 검색에 의존하는 표준 RAG나 순수 심볼릭 지식 그래프(KG) 방식과 같은 기존 솔루션은 결정적인 논리적 의존성을 검색하지 못하거나 희소한 그래프 연결성으로 인해 어려움을 겪는 경우가 많습니다.

방법론: KGCaRe

저자들은 LLM이 생성한 지식 그래프에 대한 심볼릭 추론과 벡터 저장소로부터의 신경망 검색을 통합하는 하이브리드 접근 방식인 KGCaRe(Knowledge Graph Context aware Reasoning for complex Question Answering)를 제안합니다. 이 시스템은 다음 구성 요소들을 통해 작동합니다:

1. 자동 지식 그래프 구축

KGCaRe는 멀티 프롬프트 LLM 추출 전략을 사용하여 비정형 문서로부터 KG를 구축하고 이를 Neo4j 데이터베이스에 저장합니다. 이 과정은 네 가지 단계로 진행됩니다:

• 1단계 (문맥 이해): 초기 엔티티와 관계를 추출하며, 특히 시간적, 인과적, 절차적, 조건적 구조를 강조합니다.
• 2단계 (조건부 확장): 규제적 뉘앙스와 분기되는 결정 로직을 포착하기 위해 조건부 논리, 예외 사항 및 "if-then" 구조에 집중합니다.
• 3단계 (정교화 및 논리적 확장): 완전성을 검증하고 전이적 또는 암시적 논리를 사용하여 새로운 트리플(triple)을 추론합니다 (예: 부모가 법원에 위임할 수 있다면, 후견인이 법원에 위임할 수 있다는 점을 도출).
• 4단계 (정규화): 추출된 트리플을 포맷팅하여 그래프 데이터베이스에 삽입합니다.

2. 시맨틱 벡터 인덱싱

이와 병행하여, 문서는 LLM 기반 임베더를 통해 고차원 벡터로 임베딩되어 FAISS 인덱스에 저장됩니다. 이를 통해 사용자의 질문과 의미적 유사성을 바탕으로 관련 텍text 구절을 빠르게 근사 최근접 이웃 탐색(approximate nearest-neighbor search)을 수행할 수 있습니다.

3. 반복적 그래프 순회 (심볼릭 추론)

핵심 추론 메커니즘은 LLM 가이드 반복 그래프 순회(Algorithm 1)입니다:

• 초기화: 질문에서 토픽 엔티티($E_{topic}$)를 추출하여 순회의 기준점으로 삼습니다.
• 깊이 제한 탐색: 시스템은 최대 깊이 $D$까지 그래프를 순회합니다.
  • 깊이 1: 광범위한 탐색을 위해 부분 일치(subword match 포함)를 사용합니다.
  • 이후 깊이: 집중적인 추론을 위해 완전 일치를 사용합니다.
• 단서 엔티티(Clue Entity) 메커니즘: 초기 순회 결과가 충분한 컨텍스트를 제공하지 못할 경우, Tree-of-Traversal 방식에서 영감을 받아 추가 순회를 가이드하기 위한 "단서 엔티티"($E_{clue}$)를 생성하도록 LLM에 프롬프트를 제공합니다.
• 가지치기(Pruning): LLM 기반 함수($PruneTriples$)가 추출된 트리플을 필터링하여 특정 질문에 컨텍스트적으로 유용한 것들만 남깁니다.
• 종료: 질문에 답하기 위한 충분한 컨텍스트가 수집되거나, 더 이상의 새로운 단서/트리플을 찾을 수 없을 때 프로세스가 중단됩니다.

4. 융합 답변 생성

최종 답변은 LLM에 커스텀 프롬프트를 전달하여 생성됩니다. 이 프롬프트는 다음을 합성합니다:

• 심볼릭 컨텍스트: KG로부터 선별된 트리플 및 순회 경로.
• 신경망 컨텍스트: 벡터 저장소로부터 상위 순위의 텍스트 구절.
  프롬프트는 모델에게 두 소스의 증거를 모두 통합하고, 답변이 유효한 조건을 명시하도록 명시적으로 지시하여 출력이 정확하고 설명 가능하도록 보장합니다.

주요 기여

1. 엔드 투 엔드 파이프라인: 멀티 프롬프트 LLM 트리플 추출 방식을 사용하여 길고 복잡한 문서로부터 KG를 구축하는 자동화된 파이프라인을 설계 및 구현했습니다.
2. 하이브리드 아키텍처: 복잡한 조건부 QA를 해결하기 위해 심볼릭 KG 검색과 벡터 기반 시맨틱 검색을 독특하게 결합한 KGCaRe를 도입했습니다.
3. 실증적 검증: 다양한 LLM(Mistral, Mixtral, GPT-3.5, GPT-4o)에 대해 KGCaRe가 다양한 답변 유형(Yes/No, Span, Conditional)에서 여러 베이스라인(Vanilla LLM, Code Prompt, Text Prompt, Think-on-Graph, Vanilla RAG, HybridContextQA)보다 우수한 성능을 보임을 입증했습니다.
4. 재현성: 소프트웨어 파이프라인과 관련 프롬프트를 공개적으로 배포합니다.

실험 결과

저자들은 두 가지 데이터셋인 ConditionalQA(복잡한 조건부 제약이 포함된 영국 정책 문서)와 HotpotQA(Wikipedia 기반 다중 홉 질문)를 통해 KGCaRe를 평가했습니다.

• 성능: KGCaRe는 모든 답변 유형(Yes/No, Span, Conditional)과 테스트된 모든 LLM에 대해 지속적으로 가장 높은 평균 F1 점수를 달성했습니다.
  • ConditionalQA에서 Mistral을 사용했을 때, KGCaRe는 57.89의 F1을 기록하여 Vanilla RAG(40.12)와 HybridContextQA(45.17)를 크게 앞질렀습니다.
  • HotpotQA에서 GPT-4o를 사용했을 때, KGCaRe는 대부분의 카테고리에서 HybridContextQA(73.37)를 능가하는 80.21의 F1을 달성했습니다(단, Yes/No 카테고리에서는 두 방식이 유사한 F1을 보였습니다).
• 조건부 추론: 이 방법은 다중 홉 단계와 암시적 제약 처리가 필요한 "Conditional" 카테고리에서 특히 강점을 보였습니다.
• 절제 연구(Ablation Study): 단일 확정적 답변을 가진 106개의 Yes/No 질문을 분석했을 때, KGCaver는 GPT-4o와 같은 고성능 모델을 포함한 모든 모델에서 베이스라인보다 우위를 유지했습니다 (Text Prompt의 85.85 대비 88.67).
• 베이스라인 비교: 순수 KG 방식(Think-on-Graph)은 희소한 그래프에서 필요한 컨텍스트를 가져오는 데 실패하여 성능이 저조했습니다. 순수 RAG 방식은 더 나은 성능을 보였으나 하이브리드 모델의 구조적 추론 능력은 부족했습니다.

의의 및 주장

본 논문은 심볼릭(구조적) 표현과 신경망(비구조적) 표현이 결에는 된 하이브리드 컨텍스트가 복잡한 조건부 QA 작업의 성능을 향상시킨다는 가설을 KGCaRe가 검증한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 설명 가능성 강화: 명시적인 추론 흔적(순회 경로 및 가지치기 된 트리플)을 유지함으로써, 시스템은 답변에 대한 인간이 이해할 수 있는 설명을 제공합니다. 이는 법률 및 공공 정책과 같은 고위험 도메인에서 매우 중요한 기능입니다.
• 희소 그래프의 한계 극복: 밀집한 그래프 연결성에만 의존하는 방식과 달리, KGCaRe는 시맨틱하게 검색된 텍스트로 KG를 보완하여 KG가 불완complete하더라도 견고한 추론을 가능하게 합니다.
• 모델 간 일반화: 이 접근 방식은 오픈 소스 모델인 Mistral부터 독점 모델인 GPT-4o에 이르기까지 기초 LLM의 역량과 관계없이 일관된 개선을 보여줍니다.

저자들은 이 프레임워크가 답변의 충실도와 추적 가능성이 매우 중요한 특수 분야에서 더욱 정밀하고 투명한 QA 시스템을 향한 실행 가능한 경로를 제공한다고 결론짓습니다.