A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

기술 요약: 지식 그래프 질의응답을 위한 인간 참여형(Human-in-the-Loop), LLM 중심 아키텍처

문제 정의
대규모 언로 모델(LLM)은 자연어 이해에는 뛰어나지만, 환각 현상, 정보의 노후화, 설명 가능성 부족 등 지식 집약적인 도메인에서 상당한 한계에 직면해 있습니다. 기존의 검색 증강 생성(RAG) 방식은 주로 텍스트 기반 검색에 의존하며, 이는 간접적으로 연관된 엔티티들을 연결하는 데 필요한 다단계 추론(multi-hop reasoning)을 수행하는 데 어려움을 겪습니다. 반대로, 지식 그래프(KG)는 정밀하고 설명 가능한 쿼리를 제공하지만, Cypher나 SPARQL과 같은 쿼리 언어에 대한 전문 지식을 요구합니다. 현재의 KG 기반 RAG 파이프라인은 세 가지 구체적인 설계 결함을 겪고 있습니다: (1) 그래프 트리플(triple)을 선형화하면 구조적 맥락이 소실됩니다; (2) 블랙박스 형태의 검색은 추론 경로를 숨깁니다; (3) 사용자의 개입(user-in-the-loop) 제어 기능이 부족하여 잘못된 엔티티 매칭이나 범위를 반복적으로 정교화할 수 없습니다. 저자들의 이전 연구는 LLM이 질문을 쿼리로 변환할 수는 있지만, 이러한 쿼리를 디버깅하거나 설명할 수 없는 능력의 한계로 인해 실패 시 전체를 다시 생성해야 했으며, 이는 사용자의 의도와 실행 사이의 단절을 초互했습니다.

방법론
저자들은 LLM이 자연어 사용자 입력에 기반하여 Cypher 쿼리를 생성, 설명 및 반복적으로 정교화하는 대화형 모듈형 프레임워크를 제안합니다. 이 아키텍처는 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 쿼리 생성 (Query Generation): 유효한 노드 및 엣지 유형으로 어휘를 제한하는 스키마 인식 프롬프트를 사용하여 자연어 질문을 실행 가능한 Cypher 쿼리로 변환합니다.
2. 쿼리 실행 (Query Execution): 생성된 쿼리를 실행하고 구조화된 결과를 반환하기 위해 Neo4j 데이터베이스에 연결합니다.
3. 쿼리 설명 (Query Explanation): 목적 요약 및 타당성 검사(예: 역관계 또는 잘못된 노드 유형 플래깅)를 포함하여, 쿼리 로직에 대한 인간이 읽을 수 있는 단계별 설명을 생성합니다.
4. 쿼리 수정 (Query Amendment): 사용자가 기존 쿼리를 처음부터 다시 생성하지 않고 자연어 피드백을 통해 기존 쿼리를 반복적으로 업데이트할 수 있도록 하여, 필터, 엔티티 유형 또는 순회 로직에 대한 표적 수정을 가능하게 합니다.

이 프레임워크는 세 가지 별도의 실험을 통해 평가되었습니다:

• 합성 벤치마크 (Movie KG): LLM의 Cypher 쿼리 설명 능력과 주입된 오류(예: 뒤바뀐 관계, 무의미한 레이블, 모순된 제약 조건) 탐지 능력을 테스트하기 위해 설계된 90개 쿼리의 벤치마크입니다. 다섯 가지 LLM이 설명 품질과 결함 탐지 성능을 테스트받았습니다.
• 실제 사례 연구 1 (MaRDI KG): 소프트웨어 패키지, 저자, 출판물을 포함하는 수학 연구 데이터 그래프입니다. 14개의 LLM이 최대 2회의 수정 시도를 포함하여 9개의 자연어 질문에 대해 쿼리 생성 정확도를 평가받았습니다.
• 실제 사례 연구 2 (Hyena KG): 점박이 하이에나에 대한 장기 생태 데이터를 기반으로 한 생물학적 그래프입니다. 동일한 14개의 LLM이 친족 관계 및 분산에 관한 전문가 작성 질문 5개에 대해 테스트되었으며, 마찬가지로 반복적인 정교화 과정을 거쳤습니다.

주요 기여

1. 대화형 프레임워크: Cypher의 표현력과 LLM의 접근성을 결합하여, 기존 KG-RAG 시스템의 투명성 및 제어 한계를 명시적으로 겨냥한 시스템입니다. 이를 통해 사용자는 쿼리를 검사, 설명 및 피드백을 통한 대화형 방식으로 정교화할 수 있습니다.
2. 경험적 평가: 합성 및 실제 도메인(수학 및 생물학) 전반에 걸쳐 설명 품질, 결함 탐지 및 여러 LLM의 쿼리 생성 정확도를 측정하는 포괄적인 평가를 수행했습니다.
3. 실패 패턴에 대한 통찰: 요약 시 시간적 제약 누락과 같은 일반적인 LLM 실패 패턴, 그리고 복잡한 전문가 수준의 질문을 처리할 때 나타나는 모델 간의 상당한 성능 편차를 식과별했습니다.

결과

• 설명 품질: 합성 영화 벤치마크에서 상위 성능 모델(o1-preview, deepseek-reasoner-api, o3-mini)은 정확한 한 문장 요약을 생성하는 데 70% 이상의 정확도를 달-성했습니다. 그러나 모든 모델에서 나타난 반복적인 실패 모드는 쿼리에 언급된 특정 연도를 누락하는 것이었습니다. 결함 탐지에서 모델들은 민감도와 특이도의 균형에서 차이를 보였는데, o1-preview와 deepseek-reasoner-api는 낮은 허위 양성률(<10%)과 함께 높은 결함 탐지율(>85%)을 달성한 반//에, 다른 모델들은 뒤바뀐 관계와 같은 특정 섭동 유형 처리에 어려움을 겪었습니다.
• 쿼리 생성 (MaRDI): 수학적 KG에서 o3-mini와 GPT-5.2는 9개 태스크를 모두 해결한 반면, 대부분의 다른 모델은 7~8개를 해결했습니다. 단순한 쿼리는 안정적으로 처리되었으나, 패키지 간의 공유 저자를 식별하는 것과 같은 복잡한 작업은 많은 모델에게 어려웠습니다.
• 쿼리 생성 (Hyena): 생물학적 KG에서는 성능 격차가 크게 벌어졌습니다. o3와 deepseek-reasoner-api만이 100% 정확도(5/5 질문)를 달성했습니다. MaRDI에서 좋은 성능을 보였던 모델들을 포함한 다른 모델들은 고전했으며, 일부 Ollama 호스팅 모델은 0/5를 기록했습니다. 효율성 또한 다양했는데, 일부 모델은 정답에 도달하기 위해 여러 번의 수정 시도가 필요했습니다.

의의 및 주장
본 논문은 자신의 주요 기여가 추론 경로를 명시적이고 감사 가능하게 만듦으로써 자연어와 형식적 그래프 쿼리 사이의 간극을 메우는 것이라고 주장합니다. 저자들은 LLM이 실행 가능한 쿼리를 생성할 수는 있지만, 실제 전문가 주도 시나리오에서의 유용성은 도메인과 질문의 복잡성에 따라 매우 가변적이라고 주장합니다. 이 연구는 Hyena 사례 연구에서 나타난 성능 저하에서 알 수 있듯이, 합성 벤치마크가 전문가 소스 질문의 난이도를 완전히 포착하지 못할 수 있음을 보여줍니다.

저자들은 본 프레-임워크가 사용자가 쿼리 언어를 배우지 않고도 복잡한 KG와 상호작용할 수 있도록 성공적으로 지원한다는 점을 겸허히 결론짓습니다. 그들은 향ual 연구가 시간적 제약을 유지하도록 설명 프롬프트를 개선하고, 인간 참여형 프로세스의 효율성을 높이기 위한 인터랙티브 툴링(예: diff view)을 개발하는 데 집중해야 한다고 강조합니다. 이 연구는 모든 KG-RAG 과제를 해결한다고 주장하는 것이 아니라, 환각의 위험을 줄이고 그래프 기반 답변에 대한 신뢰를 높이는 투명성과 제어에 대한 구조적 접근 방식을 제공합니다.