💬 NLP

When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy

이 논문은 유효한 사실에 대한 뒷받침 텍스트의 광범위한 부족으로 인해 텍스트 검증 가능성이 불완전한 지식 그래프 질의응답에서 엣지 정확도의 불충분한 대리 지표임을 밝히며, 재현율 극대화보다 감사 가능성을 보장하기 위해 검증 가능한 엣지만을 인정하는 것을 우선시하는 출처 선호 정책인 TGComplete를 제안한다.

원저자: Yongqi Kang, Yu Fu, Yong Zhao

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yongqi Kang, Yu Fu, Yong Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 디지털 백과사전(지식 그래프)과 매우 똑똑하지만 때때로 환각을 일으키는 탐정(대규모 언어 모델)을 이용해 복잡한 미스터리를 풀려고 노력하고 있다고 상상해 보십시오.

보통 탐정은 사실의 흔적을 따라 백과사전을 훑으며 답을 찾아갑니다. 하지만 때때로 백과사전의 페이지가 누락될 때가 있습니다. 흔적이 끊기고, 탐정은 막혀버립니다.

이를 해결하기 위해, 탐정은 자신의 기억으로부터 누락된 사실을 "추측"하거나, 증거를 찾기 위해 도서관(텍스트)으로 갈 수 있습니다. 이 논문이 던지는 핵심 질문은 이것입니다: 만약 탐정이 그 누락된 사실을 언급하는 책을 발견한다면, 그것이 실제로 참이라는 뜻일까요?

저자들은 이렇게 말합니다: 아니요, 반드시 그렇지는 않습니다. 그 이유는 다음과 같이 쉽게 설명됩니다.

1. "누락된 페이지" 문제

현실 세계에서 지식 그래프는 불완전합니다. 어떤 거리들이 지워진 도시의 지도를 상상해 보십시오. 만약 당신의 GPS(추론 모델)가 A 지점에서 B 지점까지 운전하려고 한다면, 막다른 길에 부딪힐 것입니다.

기존 방식 (GoG): 탐정은 자신이 "기억"하는 바에 근근이 누락된 거리 이름을 추측합니다. 이는 맞을 수도 있지만, 완전히 허구(환각)일 수도 있습니다.
새로운 아이디어: 추측을 받아들이기 전에, 도서관(텍스트)을 확인하여 누군가 그 거리에 대해 썼는지 확인합니다. 만약 도서관에 그 거리를 언급하는 책이 있다면, 우리는 그 추측이 안전하다고 가정합니다.

2. 큰 반전: "출처의 간극 (Provenance Gap)"

저자들은 완벽한 지도를 가져와서 비밀리에 거리의 20%에서 40%를 삭제한 뒤 어떤 일이 일어나는지 테스트했습니다. 그들은 스스로 삭제했기 때문에 어떤 거리가 "실제" 누락된 것인지 정확히 알고 있었습니다.

역설적인 발견:
그들은 **76%에서 96%**의 올바른 누락된 거리들이, 설령 모든 책을 철저히 검색하더라도 도서관 책에서 찾을 수 없다는 것을 발견했습니다.

비유:
당신이 아주 희귀한 사실을 찾고 있다고 상상해 보십시오: "1994년 어느 작은 마을의 시장은 누구였는가?"

사실: 이것은 100% 참입니다.
도서관: 당신은 모든 신문, 전기, 역사책을 검색합니다.
결과: 도서관에는 그 시장의 이름이 마을 이름과 같은 문장에 언급되어 있지 않습니다. 사실은 참이지만, 텍스트상으로는 보이지 않습니다(invisible).

저자들은 이를 **출처의 간극(Provenance Gap)**이라고 부릅니다.

검증 가능성(Verifiability): 내가 이 사실을 말하는 책을 찾을 수 있는가?
정확성(Correctness): 이것이 실제로 참인가?
간극: 책에서 그것을 찾을 수 없다고 해서 그것이 거짓이라는 뜻은 아닙니다. 또한, 책에서 그것을 찾을 수 있다고 해서 그것이 전체 진실임을 보장하는 것도 아닙니다. 데이터베이스의 대부분의 사실은 저 희귀한 시장처럼 존재하지만, 책 속의 단일 문장에서 "머리(Head) + 꼬리(Tail)"의 형태로 나타나지는 않습니다.

3. 해결책: TGComplete ("신중한 탐정")

우리는 책을 통해 사실을 증명하는 것에 의존할 수 없기에, 저자들은 TGComplete라는 새로운 시스템을 만들었습니다.

완벽해지려고 노력하는 대신, TGComplete는 목표를 바꿉니다. 그것은 다음과 같이 묻습니다: "이 사실을 내 추론에 포함시켜야 할까, 아니면 증거가 없다고 인정해야 할까?"

작동 방식:

정지: 흔적이 끊기면 멈춥니다.
검색: 도서관에서 증거를 찾습니다.
검증: 증거가 추측을 강력하게 뒷받s는지 확인합니다.
결정:
- 강력한 증거가 있다면? 그 사실을 **수용(Admit)**하고 계속 진행합니다.
- 증거가 없다면? **기권(Abstain)**합니다 (멈추고 "모르겠다"라고 말합니다). 추측하지 않습니다.

4. 트레이드오프: 정밀도(Precision) vs 재현율(Recall)

이 부분이 "리스크 관리"가 들어가는 대목입니다.

비용: TGComplete는 증거 없이 추측하기를 거부하기 때문에, 일부 올바른 답을 놓칩니다. 이 시스템은 증거가 없는 올바른 누락 사실의 약 24%에서 50%를 거절합니다.
이득: 하지만, 이 시스템이 수용한 사실들은 훨씬 더 신뢰할 수 있습니다. 가짜 추측들을 걸러내기 때문입니다.
마법 같은 결과: 놀랍게도, 많은 올바른 사실을 거절함에도 불구하고, 최종 답변 정확도(질문에 대한 정답을 맞히는 것)는 추측 방식과 동일하게 유지됩니다.

왜 그럴까요?
저자들은 대부분의 누락된 사실들이 **인과적으로 중복(causally redundant)**된다는 것을 발견했습니다.

비유: 미로를 푸는 상황을 상상해 보십시오. 당신은 왼쪽, 오른쪽, 다시 왼쪽으로 꺾어야 합니다. 여기서 "누락된 사실"은 두 번째 "왼쪽"입니다.
저자들은 95~97%의 경우, 그 특정 누락된 회전(turn)을 무시하더라도 다른 경로를 통하거나 탐정의 내부 지식을 통해 미로를 여전히 탈출할 수 있다는 것을 발견했습니다.
따라서, 누락된 사실을 거절하는 것은 최종 점수에 영향을 주지 않았지만, 탐정이 가짜 사실을 자신 있게 말하는 것은 방지했습니다.

5. 결론

이 논문은 우리가 AI의 사실을 "확인"하는 방식에 대해 생각을 바꿔야 한다고 결론짓습니다.

기존 믿음: "텍스트에서 찾을 수 없다면, 아마 틀렸을 것이다."
새로운 현실: "텍스트에서 찾을 수 없더라도, 여전히 참일 수 있지만, 나는 그것을 증명할 수 없다."

TGComplete는 **감사 가능성(Auditability)**을 위한 도구입니다. 이 시스템은 모든 정답을 찾아내겠다고 약속하지 않습니다. 대신, 자신이 내놓는 모든 답변은 근거가 있는 것임을 약속합니다. 이는 "모든 것을 찾는 것"을 "증명할 수 있는 것만 말하는 것"과 맞바꾼 것입니다.

AI를 신뢰해야 하는 세상에서, 이 논문은 비록 과정 중에 몇 가지 올바른 추측을 놓치더라도, 자신 있게 거짓말을 하는 시스템보다 "모르겠다"라고 말할 줄 아는 시스템이 더 낫다는 점을 시사합니다.

기술 요약: "올바른 에지를 검증할 수 없을 때: 불완전한 KGQA에서의 프로비넌스 격차와 프로비넌스 선호 완결 정책"

1. 문제 정의

본 논문은 지식 그래프(KG)에서 추론에 필요한 핵심 트리플(triple)이 누락된 설정인 불완전한 지식 그래프 질의응답(Incomplete Knowledge Graph Question Answering, IKGQA) 문제를 다룹니다. *Think-on-Graph (ToG)*와 같은 표준 방식은 누락된 에지로 인해 추론 경로가 끊어질 경우 실패합니다. 최근의 접근 방식인 *Generate-on-Graph (GoG)*는 LLM이 파라미터 지식으로부터 누락된 트리플을 생성하게 함으로써 이를 해결하려고 시도합니다. 이러한 생성된 에지의 환각(hallucination) 위험을 완화하기 위해, 생성된 에지를 추론 체인에 포함시키기 전 외부 텍스트를 통해 검증하는 전략이 흔히 사용됩니다.

저자들은 이 "검증 후 수용(verify-before-admit)" 전략의 근본적이고 검증되지 않은 전제에 의문을 제기합니다: 텍스트 검증 가능성(textual verifiability)이 실제로 정확성(correctness)을 추적하는가? 구체적으로, 텍스트에 의해 뒷받침되는 에지가 더 정확할 가능성이 높은지, 반대로 텍스트 지원이 없는 에지는 틀릴 가능성이 높은지를 조사합니다.

2. 주요 발견: 프로비넌스 격차 (The Provenance Gap)

표준 무작위 삭제 프로토콜(CWQ 및 WebQSP 데이터셋 상의 gold deleted triples 사용)을 이용한 체계적인 측정 연구를 통해, 저자들은 **프로비넌스 격차(Provenance Gap)**라고 명명한 역설적인 현상을 식별했습니다.

정확성 vs. 검증 가능성의 괴리: gold-correct(삭제된 정답과 일치하는) 에지들 중, **76~96%**가 철저한 검색 조건 하에서도 코퍼스 내에 뒷받 ppassage(지지 문장)가 존재하지 않았습니다.
구조적 원인: 이 격차는 검색 성능의 문제가 아니라 Freebase 스타일의 사실(fact)이 가진 구조적 특성입니다. 대부분의 사실(예: CVT 매개 노드, 데이터베이스 식별자, 문장 간 분산된 사실, 또는 롱테일 엔티티와 관련된 사실)은 단일 텍스트 패시지 내에서 머리(head)–꼬리(tail)가 동시에 언급되지 않습니다.
메트릭의 함의: 텍스트 충실도 메트릭(예: "text-grounded ratio")은 정확성(에지가 참인가?)이 아니라 프로비넌스(에지를 검증할 수 있는가?)를 측정합니다. 두 개념은 인코퍼스(in-corpus) 검색으로는 메울 수 없는 패러다임 수준의 격차로 떨어져 있습니다.
인과적 중복성: 부차적인 발견에 따르면, 정답의 **95~97%**는 지원되지 않는 완결된 에지에 의존하지 않습니다. 대부분의 완결된 에지는 최종 답변에 있어 인과적으로 중복(causally redundant)됩니다. 이는 문제를 "정확성 보장"에서 "리스크 관리(불확실성 하에서의 수용 또는 포기)"로 전환시킵니다.

3. 방법론: TGComplete

이러한 발견을 바탕으로, 저자들은 훈련이 필요 없고 인덱스가 필요 없는 **프로비넌스 선호 수용 정책(provenance-favoring admission policy)**인 TGComplete를 제안합니다. GoG가 생성을 통한 완결(generates-to-complete)을 목표로 한다면, TGComplete는 **검색을 통한 완결(retrieves-to-complete)**을 목표로 합니다.

파이프라인:

중단 트리거 (Breakpoint Trigger): 추론 중 누락된 에지 $(h, r, ?)$ 를 만나면, 외부 코퍼스(Wikipedia)로부터 텍스트 검색을 트리거합니다.
후보 추출 (Candidate Extraction): 검색된 패시지로부터 후보 꼬리 엔티티 $t$ 를 추출합니다.
3요소 검증 루프 (Three-Factor Verification Loop): 후보 에지는 다음 조건을 통과해야만 수용됩니다:
- 다중 소스 합의 (Multi-source Agreement): 후보를 뒷받침하는 독립적인 소스의 수를 계산합니다.
- LLM 함의 판단 (LLM Entailment Judgment): 백본 LLM이 소스 패시지가 후보를 엄격하게 함의하는지 판단하는 경량 루프(점수 매핑: 함의됨, 불확실함, 함의되지 않음)를 수행합니다.
- KG 충돌 탐지 (KG Conflict Detection): 기존 KG의 기능적 제약 조건(functional constraints)과 충돌하는지 확인합니다.
수용/포기 (Admission/Abstention): 결합된 신뢰도 점수가 고정 임계값( $\tau=0.5$ )을 초과하고 충돌이 없는 경우 에지를 수용합니다. 그렇지 않으면 시스템은 에지를 **포기(reject)**하고 더 정밀한 쿼리로 백트래킹합니다. 중요한 점은, 저품질 후보를 수용하기 위해 임계값을 낮추지 않는다는 것입니다.

4. 실험 결과

CWQ 및 WebQSP의 IKG-20% 및 IKG-40% 서브셋에 대해 GoG 베이스라인 및 기타 RAG/Graph-RAG 방법론들과 비교 평가했습니다.

정확도 (EM): TGComplete는 GoG와 비교했을 때 Exact Match (EM) 측에서 통계적으로 감지 가능한 손실이 없었습니다 (모든 서브셋에서 McNemar $p > 0.05$ ). 이는 검증 불가능한 에지를 거부하는 것이 최종 답변 정확도에 유의미한 해를 끼치지 않는다는 것을 확인시켜 주며, 이는 인과적 중복성 발견과 일치합니다.
에지 정밀도 (Edge Precision): TGComplete는 gold triple에 대한 에지 정밀도를 크게 향상시켰습니다 (GoG의 3~~14% 대비 15~~21%). 검증 불가능한 후보를 필터링함으로써 수용된 에지들이 더 정확할 확률이 높아졌습니다.
엄격한 충실도 (Provenance): TGComplete에서 수용된 에지는 (독립적인 판별자에 의해 검증되었을 때) GoG보다 3.1~7.4배 더 높은 엄격한 충실도를 보였습니다.
재현 비용 (Recall Cost): 이 방법은 텍스트 지원이 없는 gold-correct 에지를 거부함으로써 더 낮은 에지 재현율을 수용합니다. 그러나 이러한 거부된 에지들은 대부분 인과적으로 중복되므로, 최종 답변 정확도의 하락으로 이어지지는 않습니다.
강건성 (Robustness): "정확도 손실 없이 더 높은 프로비넌스" 패턴은 실세계 지식 업데이트 데이터셋인 IKGWQ에서도 유지되었습니다. 다만, 최신 사실을 근거로 삼는 것의 어려움 때문에 절대적인 충실도 점수는 여전히 낮게 나타났습니다.

5. 의의 및 주장

본 논문은 TGComplete를 보편적으로 우월한 방법이라기보다, 정밀도/프로비넌스-재현율 사이의 트레이드오프(precision/provenance–recall trade-off) 상의 원칙적인 지점으로 포지셔닝합니다.

완결의 재정의: 저자들은 IKGQA에서의 에지 완결을 "정확성 경쟁"이 아닌 **"리스크 관리 결정"**으로 보아야 한다고 주장합니다. 대부분의 올바른 에지는 검증 불가능하므로, 목표는 "프로비넌스 불확실성 하에서의 수용 또는 포기"로 전환됩니다.
감사 가능성 (Auditability): TGComplete는 감사 가능성이 중요한 환경을 위해 설계되었습니다. 비록 검증 가능하지만 텍스트 지원이 없는 사실들을 버리더라도, 수용된 에지는 반드시 검증 가능하다는 것을 보장합니다.
텍스트 검증의 한계: 본 연구는 텍스트 검증 방법이 근본적인 프로비넌스 격차 때문에 정확성을 보장할 수 없다는 결론을 내립니다. 텍스트 근거는 진실에 대한 증명서가 아니라 프로비넌스를 위한 신호 역할을 합니다.
향후 방향: 저자들은 이 격차를 메우기 위해서는 단순히 검색이나 LLM 생성을 개선하는 것이 아니라, 더 풍부한 증거 구성(다중 패시지 집합), 구조화된 증거(테이블/인포박스), 또는 KB-텍스트 정렬 리소스가 필요할 것이라고 제안합니다.

저자들은 재현을 지원하기 위해 코드, 프롬프트 및 평가 스크립트를 공개하며, 현재의 IKGQA 검증 전략에 나타난 근본적인 한계를 드러낸 측정 연구로서의 기여를 강조합니다.