💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

본 논문은 추론 과정에서 구조화된 지식 그래프를 동적으로 구축하고 정제함으로써 대형 언어 모델의 사실적 정확도를 향상시키는 새로운 프레임워크를 제안하며, 이는 비구조화된 텍스트 기반 접근법의 한계를 극복하기 위해 모델 내부 지식과 외부 검색을 통합합니다.

원저자: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 독서량이 풍부한 사서 (대형 언어 모델, 또는 LLM) 가 있다고 가정해 봅시다. 이 사서는 수백만 권의 책을 읽었고 거의 모든 것을 알려줄 수 있습니다. 하지만 어떤 인간과 마찬가지로 완벽하게 기억할 수 있는 한계가 있습니다. 때로는 두 개의 유사한 이야기를 혼동하거나, 특정 세부 사항을 잊어버리거나, 사실처럼 들리지만 사실이 아닌 것을 자신 있게 만들어 내기도 합니다. 연구자들은 이것을 '할루시네이션 (환각)'이라고 부릅니다.

이를 해결하기 위해 이 논문의 저자들은 사서가 작업하는 새로운 방식을 제안했는데, 이를 **'추론 시간 지식 그래프 구축 (Inference-Time Knowledge Graph Construction)'**이라고 부릅니다.

다음은 숨겨진 보물을 찾기 위한 지도를 만드는 비유를 사용하여 이 방법의 작동 원리를 간단한 단계로 나눈 것입니다.

문제: '비구조화'된 검색

보통 사서에게 까다로운 질문을 하면, 그들은 단순히 열심히 생각하며 (예: '생각의 사슬'과 같이) 답변을 시도하거나, 인터넷의 텍스트를 찾아 읽어보기도 합니다.

문제점: 길고 지저분한 문단 텍스트를 읽는 것은 도시를 소재로 한 소설을 읽으며 도시의 특정 거리를 찾는 것과 같습니다. 길을 잃기 쉽고, 방향을 잘못 잡거나, 관련 없는 세부 사항에 주의를 빼앗기기 쉽습니다. 정보가 체계적으로 정리되지 않았기 때문에 사서는 잘못된 사실을 집어올 수도 있습니다.

해결책: '지도' 만들기 (지식 그래프)

저자들은 단순히 텍스트를 읽는 대신, 사서가 질문에 답하는 동안 **지도 (지식 그래프)**를 그리도록 가르칩니다. 이 지도는 점들 (사실) 을 선들 (관계) 로 연결합니다.

다음은 그들의 4 단계 과정입니다:

1. 씨앗 지도 그리기 (초기화)

질문을 받으면 (예: "버ンシュ타인의 교향적 무용곡은 어떤 연극을 바탕으로 했는가?"), 사서는 먼저 자신의 기억을 살펴보고 작고 대략적인 스케치를 그립니다.

그들은 다음과 같이 적습니다: Dag Achatz → 편곡됨 → Symphonic Dances → ~에서 유래됨 → West Side Story.
문제점: 사서의 내부 기억은 불완전할 수 있습니다. West Side Story에서 멈추고 "이것이 답이다!"라고 생각할 수도 있습니다. 하지만 실제로 West Side Story 자체는 다른 무언가에 기반을 둔 것입니다. 지도에 한 조각이 빠져 있는 것입니다.

2. 지도 확장 (내부 확장)

사서는 자신의 스케치를 보고 "이 점들에 대해 내가 더 알고 있는 것은 무엇인가?"라고 묻습니다. 그들은 자신의 두뇌 능력을 활용하여 지도에 더 많은 선을 추가해 보려고 합니다.

그들은 다음과 같이 추가할 수 있습니다: West Side Story → 작곡됨 → Leonard Bernstein.
문제점: 이렇게 확장하더라도, 사서는 여전히 West Side Story를 원래 연극인 Romeo and Juliet과 연결하는 결정적인 연결고리를 놓치고 있을 수 있습니다. 그들의 내부 기억에는 공백이 있습니다.

3. '도시 가이드' 참조 (외부 검색)

이것이 마법 같은 단계입니다. 사서는 "내가 전체 그림을 가지고 있는지 확신하지 못한다"고 깨닫습니다. 그래서 그들은 잠시 멈추고 신뢰할 수 있는 외부 도시 가이드 (위키피디아나 구글 검색과 같은) 를 참조합니다.

그들은 가이드에서 West Side Story를 찾아봅니다.
가이드는 다음과 말합니다: "West Side Story 는 Romeo and Juliet 에서 영감을 받았습니다."
사서는 이 새로운 검증된 사실을 받아 지도에 추가합니다: West Side Story → 영감 받음 → Romeo and Juliet.
이점: 사서가 이전에 실수를 했다면 (예: 음악이 다른 해에 작곡되었다고 생각한 경우), 도시 가이드는 지도에 단순히 추가하는 것이 아니라 수정하는 데 도움을 줍니다.

4. 보물 찾기 (그래프에서 답변 도출)

이제 Dag Achatz에서 Romeo and Juliet까지 연결된 완전하고 수정된 지도를 가지고, 사서는 지도 위의 경로를 따라갑니다. 경로가 명확하고 도시 가이드에 의해 검증되었기 때문에, 그들은 자신 있게 말할 수 있습니다: "정답은 Romeo and Juliet 입니다."

왜 이것이 더 나은가요?

이 논문은 이 방법이 다음 세 가지 주요 이유로 더 우수하다고 주장합니다:

혼란이 아닌 구조: 비구조화된 텍스트의 홍수 속에서 헤매는 대신, 사서는 구조화된 지도로 작업합니다. 이는 관련 없는 정보에 주의를 빼앗기는 것을 더 어렵게 만듭니다.
자기 수정: 사서는 자신의 기억만 신뢰하지 않습니다. 그들은 자신의 지도에서 실수를 수정하기 위해 외부 가이드를 활용합니다. 사서가 "A 는 B 로 이어진다"고 생각하지만 가이드가 "A 는 C 로 이어진다"고 말하면, 사서는 지도를 업데이트합니다.
작은 사서도 큰 일을 할 수 있음: 실험 결과, 이 지도 구축 방법을 사용하면 작고 덜 강력한 '사서들' (작은 AI 모델) 이 거대한 모델들과 마찬가지로 잘 수행할 수 있는 것으로 나타났습니다. 외부 가이드가 경쟁의 장을 평평하게 만들어 줍니다.

결과

저자들은 이 방법을 세 가지 다른 유형의 상식 퀴즈 도전 과제에서 테스트했습니다.

결과: 그들의 방법은 AI 에게 질문하는 표준 방식보다 일관되게 더 많은 정답을 얻었습니다.
'회상 (Recall)' 향상: 그들은 외부 가이드를 사용함으로써, AI 의 기억에만 의존했을 때보다 구축된 '지도'가 올바른 사실을 훨씬 더 자주 포함하고 있음을 발견했습니다 ('올바른 사실을 찾는' '회상'이 크게 향상되었습니다).

함정 (한계점)

저자들은 결함에 대해 솔직합니다:

쓰레기를 넣으면 쓰레기가 나온다: 사서가 지도의 초기 부분을 잘못 그리고, 외부 가이드가 이를 잡아내지 못하면, 최종 답변은 여전히 틀릴 것입니다.
완벽하지 않음: 지도에 올바른 사실을 가지고 있는 것과 실제로 올바른 답변을 선택하는 것 사이에는 여전히 간극이 있습니다. 시스템은 아직 100% 완벽하지 않습니다.

요약

간단히 말해, 이 논문은 AI 에게 단순히 '생각'하거나 '문단을 읽으라고' 요청하는 대신, 사실의 시각적 지도를 구축하고, 그 지도를 신뢰할 수 있는 백과사전과 대조하여 지도의 오류를 수정한 후, 그 지도를 따라 답을 찾도록 요청해야 한다고 제안합니다. 이는 AI 를 더 정확하게 만들고, 거짓말을 할 가능성을 줄이며, 이해하기 쉽게 만듭니다.

기술 요약: 추론 시 지식 그래프 구축을 통한 LLM 의 사실성 향상

문제 제기

대형 언어 모델 (LLM) 은 매개변수 메모리의 한계로 인해 사실적으로 일관되지 않은 답변을 자주 생성합니다. 검색 증강 생성 (RAG) 패러다임은 추론 시 외부 지식을 통합하여 이를 완화하려 시도하지만, 기존 접근법들은 일반적으로 검색된 지식을 비구조화된 텍스트로만 다룹니다. 텍스트만 사용하는 이 방식은 검색 정확도가 낮고, 구성적 추론을 방해하며, 관련 없는 정보의 영향을 증폭시켜 궁극적으로 LLM 출력의 사실적 일관성을 훼손합니다. 또한, 정적이며 미리 구축된 지식 그래프 (KG) 에 의존하는 방법들은 빠르게 변화하는 맥락에서 적응력이 부족하고 확장하기 어렵습니다.

방법론

저자들은 추론 중에 지식 그래프를 동적으로 구축하고 확장하며, 내부 LLM 지식과 외부 검색 지식을 통합하는 새로운 4 단계 파이프라인을 제안합니다. 이 과정은 다음과 같이 공식화됩니다:

그래프 초기화: 질문 $Q$ 가 주어지면, LLM 은 관련 개체와 관계를 추출하여 시드 KG( $G_0$ ) 를 형성하도록 프롬프트됩니다. 이는 질문의 핵심 초점을 포착합니다.
그래프 확장: 시드 KG 는 LLM 의 내부 지식을 사용하여 너비 우선 탐색 방식으로 반복적으로 확장됩니다. 모델은 버퍼에서 개체를 선택하고 새로운 삼중항 (주어 - 관계 - 목적어) 을 생성하여 그래프를 미리 정의된 깊이 $D$ 까지 확장하며, 확장된 KG( $G_1$ ) 를 생성합니다.
외부 검색: $G_1$ $G_{1}$ 의 부정확성이나 공백을 해결하기 위해 시스템은 외부 검색 메커니즘 (BM25 를 통한 위키피디아 및 구글 검색 사용) 을 활용합니다. LLM 은 그래프에서 특정 개체나 삼중항을 선택한 후 다음 두 가지 행동 중 하나를 선택합니다:
- 정정: 외부 소스에서 발견된 사실적으로 정확한 삼중항으로 오류가 있는 삼중항을 대체합니다.
- 확장: 지식 공백을 메우기 위해 새로운 관련 삼중항을 추가합니다.
  이 반복적 정제를 통해 근거가 있는 KG( $G^*$ ) 가 생성됩니다.
그래프 기반 답변: 최종적으로 LLM 은 정제된 KG( $G^*$ ) 를 쿼리하여 답변을 생성합니다. 모델은 그래프에 존재하는 삼중항에 대해서만 추론하도록 제한되어 그래프 외부 환각을 줄이고 응답이 검증 가능한 증거 사슬에 기반하도록 보장합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

추론 시 KG 구축: LLM 의 내부 지식에서 직접 삼중항을 추출하고, 추론 중에 KG 를 동적으로 확장하기 위한 반복적 확장 전략을 설계하는 새로운 방법.
하이브리드 지식 통합: 내부 LLM 지식과 외부 지식 베이스를 원활하게 결합하는 통합 파이프라인. 이 하이브리드 접근법은 각 소스에 내재된 공백을 보완하여 사실적 근거를 강화합니다.
실증적 검증: 세 가지 다양한 사실성 QA 벤치마크 (Complex WebQuestions, HotpotQA, SimpleQA) 에 대한 광범위한 평가는 다양한 데이터셋과 백본 모델 전반에서 답변 정확도와 사실적 일관성의 일관되고 유의미한 개선을 입증했습니다.

실험 결과

이 방법은 다양한 백본 모델 (GPT-4o, Deepseek-V3, Llama-4-Scout, Qwen2.5 포함) 을 사용하여 CWQ, HotpotQA, SimpleQA 에서 평가되었습니다.

성능 향상: 제안된 접근법은 내부 및 외부 지식 설정 모두에서 최첨단 결과를 달성했습니다. 외부 지식 설정 하에서 이 방법은 특히 까다로운 SimpleQA 데이터셋에서 두드러진 개선을 보였으며, 기존 방법 대비 최대 23.0% 의 정확도 향상을 기록했습니다.
재현율 개선: 외부 검색의 통합은 추론 과정에서 나타나는 정답 사실의 재현율을 크게 높였습니다. 예를 들어, SimpleQA 에서 Llama-4-Scout 의 재현율은 내부 지식만 사용할 때 13.0% 에서 외부 검색을 사용할 때 37.5% 로 증가했습니다.
일반화: 이 방법은 다양한 모델 규모에서 견고함이 입증되었습니다. 특히 외부 검색을 활용할 경우, 이 방법을 갖춘 작은 모델 (예: Llama-4-Scout) 이 훨씬 큰 모델 (예: DeepSeek-V3) 을 능가하거나与之 견줄 수 있었으며, 이는 이 방법이 내부 매개변수 메모리의 한계를 효과적으로 완화함을 시사합니다.
결손 분석: 분석은 추론 복잡성 증가 (더 많은 홉) 가 그래프 크기를 키우지만 정확도를 낮추는 트레이드오프를 드러냈는데, 이는 모델이 확장된 후보들 사이에서 올바른 경로를 식별하는 데 어려움을 겪기 때문입니다. 그러나 더 큰 모델들은 일반적으로 더 높은 정확도와 재현율을 보였으며, 외부 지식이 도입되면 모델 간의 성능 격차가 축소되었습니다.

의의

이 논문은 추론 시 KG 구축이 구조화되고 해석 가능하며 확장 가능한 방식으로 LLM 사실성을 향상시킬 수 있는 유망한 방향이라고 주장합니다. 비구조화된 텍스트 검색을 넘어선 이 제안된 프레임워크는 LLM 이 사실적 지식에 체계적으로 접근하고 통합할 수 있게 합니다. 그래프를 동적으로 구축하고 정제할 수 있는 능력은 지식 공백에 대한 실시간 적응을 가능하게 하여, 광범위한 수동 큐레이션이나 정적 미리 구축 그래프 없이도 신뢰성을 향상시키는 플러그 앤 플레이 솔루션을 제공합니다. 저자들은 환각 전파 및 그래프 검색 최적화와 관련된 한계가 남아있지만, 이 접근법이 고위험 분야에서 더 신뢰할 수 있는 AI 로 나아가는 중요한 단계라고 강조합니다.