💬 NLP

SGR: A Stepwise Reasoning Framework for LLMs with External Subgraph Generation

본 논문은 외부 지식 베이스에서 쿼리별 서브그래프를 구성하여 구조화된 사실적 증거에 기반한 다단계 추론을 가능하게 함으로써 복잡한 작업에서 대형 언어 모델의 성능을 향상시키는 단계적 추론 프레임워크인 SGR 을 소개합니다.

원저자: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 독서량이 풍부한 친구 (대형 언어 모델, 또는 LLM) 가 있다고 상상해 보세요. 이 친구는 아름다운 이야기를 쓰고 많은 질문에 답할 수 있습니다. 하지만 복잡한 다단계 논리 퍼즐을 물어보면, 때로는 길을 잃거나 사실을 지어내거나 잘못된 경로를 따라가기도 합니다. 이는 오직 기억에만 의존하기 때문입니다.

이 논문은 SGR(Stepwise Reasoning Framework, 단계적 추론 프레임워크)을 소개합니다. 이는 이 똑똑한 친구가 어려운 문제를 해결하도록 돕는 새로운 방식으로, 생각하기 전에 맞춤형 지도를 제공해 줍니다.

다음은 SGR 이 작동하는 방식을 간단한 비유로 설명한 것입니다:

1. 문제: "환각 (Hallucination)"의 함정

LLM 을 오직 기억만으로 목적지를 찾으려는 여행자로 생각해 보세요. 여정이 짧다면 문제는 없습니다. 하지만 여정에 다섯 가지의 특정 회전과 존재하지 않을 수도 있는 다리가 필요하다면, 그들은 계속 움직이기 위해 그 다리가 있다고 추측할 수 있습니다. 이는 "환각"(사실을 지어냄) 이나 논리적 오류로 이어집니다.

2. 해결책: 맞춤형 "서브그래프" 지도 구축

여행자가 추측하게 내버려 두는 대신, SGR 은 그 특정 질문을 위해 미니 지도를 제작하는 지도 제작자처럼 작동합니다.

지식 그래프 (Knowledge Graph): 모든 사실이 거미줄처럼 연결된 거대한 사실의 도서관을 상상해 보세요 (개체 A 가 개체 B 와 연결됨).
서브그래프 (Subgraph): 질문을 하면 SGR 은 도서관 전체를 보지 않습니다. 대신 질문과 관련된 그 거미줄의 아주 작고 구체적인 조각을 잘라냅니다. 이는 빽빽한 숲에서 단일하고 명확한 길 하나를 잘라내어 여행자가 볼 수 있도록 테이블 위에 펼쳐 놓는 것과 같습니다.

3. 세 단계 프로세스

SGR 은 LLM 을 세 가지 명확한 단계로 돕습니다:

1 단계: 지도 그리기 (구조화된 서브그래프 생성)
시스템은 질문을 보고 주요 "랜드마크"(개체) 와 "도로"(관계) 를 찾아 작은 구조화된 지도를 만듭니다. 숲속의 모든 잡음과 관련 없는 나무들을 걸러내어 퍼즐을 해결하는 데 필요한 경로만 남깁니다.
2 단계: 단계별로 경로 따라 걷기 (단계적 추론)
LLM 은 답으로 뛰어가는 대신, 이 맞춤형 지도의 선을 따라 걷도록 강요받습니다. "좋아, 나는 랜드마크 A 에 있어. 지도에 따르면 랜드마크 B 로 가야 해. 이게 말이 되지?"라고 확인합니다. 이는 모델이 단계를 건너뛰거나 터무니없는 추측을 하는 것을 막습니다.
3 단계: 경로 재확인 (협력적 추론)
때로는 하나의 경로만으로는 충분하지 않습니다. SGR 은 LLM 에게 지도에서 몇 가지 다른 경로를 시도해 보라고 요청할 수 있습니다. 그런 다음 심판처럼 행동하여 최종 답변이 실제로 지도의 규칙에 부합하는지 확인합니다. LLM 이 "정답은 X 다"라고 말하려 하지만 지도가 X 가 불가능함을 보여준다면, 시스템은 이를 수정합니다. 서로 다른 경로의 가장 좋은 부분들을 결합하여 가장 신뢰할 수 있는 답변을 제공합니다.

4. 왜 더 잘 작동하는가

이 논문은 이 방법을 여러 어려운 질문 - 답변 과제 (복잡한 상식 퀴즈나 논리 퍼즐 등) 에서 테스트했습니다.

결과: SGR 은 지도 없이 단순히 대화하는 표준 "똑똑한" AI 모델을 포함한 다른 방법들보다 일관되게 더 좋은 성과를 냈습니다.
이점: 이는 AI 가 사실에 대해 거짓말할 가능성을 줄이고 정확도를 높였습니다. 또한 AI 의 사고 과정을 투명하게 만들었습니다. 마법 같은 답변만 받는 것이 아니라, 실제로 그 지도와 취한 경로를 볼 수 있게 된 것입니다.

5. 단점 (한계점)

이 논문은 이러한 맞춤형 지도를 만드는 데 추가 시간과 컴퓨팅 파워가 필요하다고 인정합니다. 매번 여행 전에 지도 제작자를 고용하는 것과 같습니다. 단순히 추측하는 것보다 느리지만 훨씬 더 정확합니다. 또한, 원래 도서관 (지식 그래프) 에 누락된 책이나 잘못된 사실이 있다면 지도는 결함이 있게 되며, 여행자는 여전히 길을 잃게 됩니다.

요약하자면: SGR 은 AI 가 추측하는 것을 막기 위해 질문과 관련된 세계의 사실 확인이 된 맞춤형 지도를 제공하고, 답변이 참이 되도록 경로를 단계별로 걷게 하는 프레임워크입니다.

기술적 요약: SGR – 외부 서브그래프 생성을 통한 LLM 을 위한 단계적 추론 프레임워크

문제 제기
대규모 언어 모델 (LLM) 은 유창성과 텍스트 생성 능력에서 뛰어난 실적을 보였으나, 깊은 논리적 추론이 필요한 복잡한 추론 작업에서는 상당한 한계를 드러냅니다. 방대한 텍스트 말뭉치로 훈련된 LLM 은 논리적 일관성이 결여되거나 사실적 환각을 포함하는 출력을 생성하는 경향이 있습니다. 더 나아가, 그 내부 추론 메커니즘은 종종 불투명합니다. 이러한 문제를 완화하기 위해 외부 지식 그래프 (KG) 를 통합하는 방안이 제안되었으나, 기존 방법들은 고정된 프롬프트 템플릿이나 정적 검색 전략에 의존하는 경우가 많습니다. 이러한 접근 방식은 KG 내의 풍부한 구조적 정보를 완전히 활용하지 못해 추론 사슬이 불완전해지거나, 관련 없는 노이즈가 도입되거나, 특정 쿼리 구조에 동적으로 적응하지 못하는 결과를 초래합니다.

방법론: SGR 프레임워크
저자들은 지식 기반에서 동적으로 외부 서브그래프를 생성하여 LLM 의 추론 능력을 향상시키도록 설계된 **SGR(Stepwise Reasoning Framework, 단계적 추론 프레임워크)**을 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소를 통해 작동합니다.

구조화된 서브그래프 생성:
- 입력 질문 $q$ 를 받으면, 시스템은 핵심 개체, 관계, 제약을 추출하여 구조화된 표현 $S_q$ 를 형성합니다.
- 스키마 유도 방식을 사용하여 LLM 은 지식 그래프 전문가 역할을 수행하며 중심 개체와 관계를 식별합니다. 외부 KG 에서 질문과 높은 의미적 관련성을 가진 트립을 필터링하여 질문별 서브그래프 $G_q$ 를 구성합니다.
- 이 과정은 구조화된 스키마를 생성하고, 이를 실행 가능한 Cypher 쿼리(NLCypher 모듈을 통해) 로 변환하여 Neo4j 데이터베이스에서 정확한 후보 트립을 검색하는 것을 포함합니다. 이는 동적이고 쿼리에 맞춤화된 지식 컨텍스트를 생성함으로써 고정된 프롬프트의 한계를 극복합니다.
단계적 추론 강화:
- 이 프레임워크는 생성된 서브그래프 위에서 LLM 이 단계별로 추론을 수행하도록 안내합니다.
- 추론 과정은 상태의 궤적 $z_{1:T}$ 로 모델링되며, 각 단계는 질문, 이전 상태, 그리고 현재 서브그래프 증거에 조건부로 의존합니다.
- 경로 일관성 점수가 도입되어 추론 경로가 검색된 구조화된 지식과 일치하도록 보장합니다. 모델은 추론 신뢰도와 서브그래프와의 구조적 일관성을 모두 극대화하는 답변을 선택하도록 장려받습니다.
협력적 추론 통합:
- SGR 은 최종 출력을 생성하기 위해 직접 추론과 협력적 추론이라는 두 가지 전략을 사용합니다.
- 직접 추론: LLM 은 검색된 서브그래프와 스키마를 기반으로 직접 답변을 생성한 후, KG 의 스키마 제약 조건에 대해 후보 답변을 검증하는 검증 단계를 거칩니다.
- 협력적 추론: 직접 추론이 불충분한 경우, 프레임워크는 반복 루프를 시작합니다. LLM 은 중간 가설을 생성하고, KG 에서 지지 증거를 검색하여 이를 검증하고 확장합니다. 이 사이클이 반복되어 시스템이 여러 추론 경로를 탐색할 수 있게 합니다.
- 최종적으로, 여러 경로에서의 결과는 모델 신뢰도와 그래프 일관성의 조합으로 가중치를 부여하여 집계되며, 최종 예측을 생성합니다.

주요 기여

새로운 프레임워크: 복잡한 다단계 추론 문제에서 LLM 의 성능을 향상시키기 위해 외부에서 생성된 쿼리별 서브그래프를 활용하는 단계적 추론 강화 프레임워크인 SGR 의 도입.
해석 가능성: 해석 가능한 지식 강화 추론 절차의 개발. 블랙박스 생성과 달리 SGR 은 명시적인 추론 경로와 최종 출력을 생성하며, 이는 하부 지식 그래프에 대해 추적 및 검증이 가능합니다.
실증적 검증: 표준 프롬프팅, 체인 오브 씽킹 (CoT), 그리고 이전 최첨단 방법을 포함한 경쟁 베이스라인보다 여러 벤치마크 데이터셋에서 SGR 이 더 우수한 성과를 보임을 입증한 광범위한 실험.

실험 결과
이 프레임워크는 CWQ(Complex WebQuestions), WebQSP, GrailQA, KQA Pro라는 네 가지 벤치마크 데이터셋에서 평가되었습니다.

성능: SGR 은 베이스라인보다 일관된 개선을 이루었습니다. 예를 들어, CWQ 데이터셋에서 ChatGPT 를 사용한 SGR 은 Hits@1 0.578 및 정확도 0.526 을 기록하여 표준 ChatGPT 프롬프팅 (0.376/0.256) 과 CoT 프롬프팅 (0.388/0.258) 을 능가했습니다. GrailQA 에서는 SGR/ChatGPT 가 Hits@1 0.713 및 정확도 0.633 에 도달했습니다.
결손 연구: CWQ 데이터셋에 대한 실험은 두 구성 요소 모두의 필요성을 확인했습니다. 스키마 유도 서브그래프 생성이나 Neo4j 기반 검색을 제거하면 성능이 크게 저하되어, 구조화된 검색과 스키마 유도가 다단계 추론에 필수적임을 검증했습니다.
일반화: 이 프레임워크는 Cypher LLM 과 ChatGPT 모두에 적용 시 일관된 향상을 보이며 모델에 구애받지 않는 능력을 입증했고, 심지어 더 작은 언어 모델의 성능도 향상시켰습니다.

의의 및 주장
이 논문은 SGR 이 구조화된 외부 지식에 기반한 중간 단계를 통해 복잡한 추론에서 LLM 의 한계에 대한 강력한 해결책을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

정확성과 신뢰성: 서브그래프 내 관련 개체와 관계에 모델을 집중시킴으로써 관련 없거나 노이즈가 있는 정보의 영향을 줄여 사실적 신뢰성을 향상시킵니다.
투명성: LLM 과 관련된 해석 가능성 문제를 해결하기 위해 추론 경로를 추적할 수 있는 메커니즘을 제공합니다.
적응성: 정적 템플릿에 의존하는 대신 동적으로 서브그래프를 생성함으로써 다양한 쿼리 구조와 추론 패턴에 적응합니다.

한계
저자들은 SGR 이 서브그래프 생성과 지식 검색 요구 사항으로 인해 추가적인 계산 비용을 발생시킨다고 인정하며, 이는 대규모 응용 분야에서 추론 효율성에 영향을 미칠 수 있다고 지적합니다. 또한, 프레임워크의 성능은 하부 외부 지식 그래프의 완전성과 정확성에 의존하며, KG 에 누락되거나 노이즈가 있는 사실은 여전히 추론 오류로 이어질 수 있습니다. 향후 연구는 검색 효율성 최적화와 경량 배포 전략 탐구에 초점을 맞추는 것이 제안됩니다.