💻 computer science

A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering

본 논문은 대상화된 증거 검색 및 검증을 통해 LLM의 추론 계획을 동적으로 진단하고 수선함으로써, 기존의 정적 방식보다 환각 현상을 완화하고 정확도를 향상시키는 멀티 에이전트 프레임워크인 TRACE를 제안한다.

원저자: Xiaohong Yu, Shunzhi Wang, Jun Wu, Jijun Zhu

게시일 2026-10-08

📖 3 분 읽기☕ 가벼운 읽기

원저자: Xiaohong Yu, Shunzhi Wang, Jun Wu, Jijun Zhu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급변하는 인공지능의 세계에서 컴퓨터는 한때 불가능해 보였던 유창함으로 읽고, 쓰고, 추론하는 법을 배웠습니다. 대규모 언어 모델(LLM)로 알려진 이 시스템들은 학습한 방대한 양의 텍스트를 바탕으로 복잡한 질문에 답할 수 있습니다. 그러나 이러한 강점은 곧 약점이기도 합니다. 이 모델들은 자신이 암기한 것에 의존하기 때문에, 때때로 사실을 지어내거나 단순히 사실이 아닌 것을 자신 있게 말하기도 하는데, 연구자들은 이를 '환각(hallucination)' 현상이라고 부릅니다. 이를 해결하기 위해 과학자들은 이 모델들을 세상의 신뢰할 수 있는 지도 역할을 하는 구조화된 사실 데이터베이스인 지식 그래프(knowledge graphs)에 연결하기 시작했습니다. 이러한 결합이 도움이 되기는 하지만, 현재의 방법들은 종종 경직된 경로를 따릅니다. 즉, 계획을 세우고, 사실을 찾아보고, 앞으로 나아가는 방식입니다. 만약 계획 초기에 실수가 포함되어 있다면, 시스템은 이를 알아차리지 못한 채 잘못된 경로를 따라 최종 답변이 틀릴 때까지 계속 진행하게 됩니다. 과제는 단순히 사실을 찾아보는 것뿐만 아니라, 증거가 기대와 일치하지 않을 때 멈추고, 자신의 작업을 점검하며, 스스로를 수정할 수 있는 시스템을 만드는 것이었습니다.

연구팀은 인공지능이 복잡한 질문에 답할 때 더욱 신뢰할 수 있도록 설계된 TRACE라는 새로운 프레임워크를 통해 이 과제를 해결했습니다. TRACE는 컴퓨터가 일련의 단계를 빠르게 달려가게 두는 대신, 계획, 점검, 수정의 세심한 루프(loop)로 과정을 나눕니다. 시스템은 먼저 대규모 언어 모델에게 어떻게 답을 찾을 것인지에 대한 단계별 스케치인 구조화된 계획을 세우도록 요청합니다. 그 다음, 이 계획은 특화된 에이전트에게 전달되어 지식 그래프로 가서 각 특정 단계에 대한 증거를 찾습니다. 세 번째 에이전트는 엄격한 감사관 역할을 하며, 모델이 예측한 관측값과 데이터베이스에서 검색된 실제 사실을 비교합니다. 사실이 일치하면 시스템은 앞으로 나아갑니다. 만약 일치하지 않으면, 시스템은 무엇이 잘못되었는지 진단하고 그에 따라 계획을 조정하는 복구 메커니즘을 가동합니다.

연구진은 여러 조각의 정보를 연결해야 하는 세 가지 서로 다른 어려운 질문 세트를 대상으로 이 접근 방식을 테스트했습니다. 그 결과, TRACE는 지식 그래프와 상호작용하는 에이전트에 의존하는 다른 방법들보다 일관되게 우수한 성능을 보였습니다. 강력한 모델인 GPT-4를 사용했을 때, 이 새로운 프레임워크는 80.0%의 정확도 일치 점수(exact match score)를 달성했는데, 이는 차순위 방법의 78.0%와 비교되는 수치입니다. 더 중요한 것은, 이 시스템이 부분적인 답변의 품질 측면에서 상당한 개선을 보였다는 점인데, 경쟁 모델의 점수가 48.8점인 데 비해 66.8점을 기록했습니다. 이는 시스템이 완벽한 답을 내놓지 못하더라도, 이전 방식들보다 진실에 훨씬 더 가깝다는 것을 시사합니다. 또한 이 연구는 이 방식이 규모가 작고 덜 강력한 모델에서도 잘 작동하여, 사실을 지어내는 흔한 함정을 피하도록 돕는다는 것을 보여주었습니다.

TRACE를 차별화하는 점은 오류를 처리하는 방식입니다. 전통적인 시스템에서는 추론 과정의 첫 단계에서 모델이 실수를 하면, 그 오류가 확산되어 완전히 틀린 결론으로 이어지는 경우가 많습니다. TRACE는 매 단계마다 지식 그래프를 체크포인트(checkpoint)로 활용함으로써 이를 방지합니다. 예를 들어, 시스템이 유명한 화가가 특정 도시에서 사망했다고 말하려는데 데이터베이스에는 그가 다른 도시에서 사망한 것으로 되어 있다면, 시스템은 즉시 멈춥니다. 단순히 충돌을 무시하는 것이 아니라, 복구 전략을 활성화합니다. 오류의 유형에 따라 시스템은 단순히 잘못된 사실을 올바른 것으로 교체하거나, 다른 경로를 시도하기 위해 이전 단계로 되돌아가거나, 혹은 어떤 제약 조건도 놓치지 않도록 질문을 더 작고 관리 가능한 부분으로 나눌 수도 있습니다. 이 과정은 어떤 복구 전략이 가장 신뢰할 수 있는 경로를 제공하는지 평가하는 점수 체계에 의해 안내되며, 이를 통해 최종 답변이 추측이 아닌 검증된 증거에 기반하도록 보장합니다.

연구진은 또한 이 더 신중한 시스템을 실행하는 데 드는 비용도 살펴보았습니다. 점검과 잠재적인 계획 복구 과정이 포함되기 때문에, 더 많은 컴퓨팅 파워를 사용할 것이라고 예상할 수 있습니다. 그러나 연구 결과, TRACE는 다른 고급 방법들과 비교했을 때 실제로 더 적은 단어, 즉 토큰(tokens)을 사용하여 답변에 도달한다는 것을 발견했습니다. 비록 한 경쟁 모델보다 모델 호출 횟수는 약간 더 많지만, 처리되는 전체 텍스트의 양은 더 적어 전반적으로 더 효율적입니다. 이러한 효율성 이득은 막다른 길을 감지했을 때 자원을 낭비하며 잘못된 경로를 따라가는 대신, 조기에 멈출 수 있는 시스템의 능력에서 비롯됩니다. 이 결과는 자기 수정 및 검증 메커니즘을 구축함으로써 인공지능이 더 똑똑해질 뿐만 아니라, 그 추론 과정에서 더 효율적이고 신뢰할 수 있게 될 수 있음을 시사합니다.

기술 요약: TRACE – 지식 그래프 질의응답을 위한 진단 및 계획 수복용 멀티 에이전트 프레임워크

1. 문제 정의

대규모 언어 모델(LLM)은 복잡한 추론에서 상당한 능력을 입증했으나, 특히 지식 집약적인 작업에서 불완전한 파라미터 지식으로 인한 사실적 환각(hallucination)과 오류에 취약한 모습을 보입니다. 지식 그래프(KG)는 이러한 문제를 완화하기 위해 구조화되고 신뢰할 수 있는 외부 지식을 제공하지만, 기존의 KG 강화 LLM 프레임워크는 다음과 같은 결정적인 한계를 가집니다:

정적 통합 (Static Integration): 현재의 방법들은 진화하는 문맥이나 새로 검색된 증거에 따라 추론 과정을 동적으로 조정할 수 없는 경직되고 정적인 통합 메커니즘에 의존하는 경우가 많습니다.
오류 전파 (Error Propagation): 동적 검증이 없으면 초기 추론 단계(예: 잘못된 엔티티 선택 또는 경로 이탈)에서의 오류가 체인을 통해 전파되어 잘못된 최종 답변으로 이어집니다.
진단 메커니즘의 부재 (Lack of Diagnostic Mechanisms): 검색 전용 방식이나 계획 기반 방식을 포함한 기존 접근 방식들은 검색된 증거와 현재의 추론 목표 사이의 의미론적 일관성을 명시적으로 검증하는 데 실패합니다. 일단 임계 경로가 가지치기 되거나 초기 계획이 편향되면, 시스템은 궤적을 회복하거나 수정할 수 있는 메커니로가 없습니다.

2. 방법론: TRACE 프레임워크

본 논문은 계획 생성, KG 검색, 단계별 진단, 그리고 계획 수복을 폐쇄 루프(closed-loop) 추론 프로세스로 통합하도록 설계된 멀로 에이전트 프레임워크인 TRACE(Targeted Repair through Agent Collaboration and KG Evidence)를 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소를 통해 작동합니다:

2.1 초기 계획 생성 (Initial Plan Generation)

KG와 상호작용하기 전에, LLM(Plan Agent)은 쿼리를 실행 가능한 단계( $s_t$ )의 시퀀스로 분해하는 구조화된 초기 추론 계획( $S$ )을 생성합니다. 각 단계는 사고( $T_t$ ), 행동( $A_t$ ), 그리고 예측된 관찰( $\hat{O}_t$ )을 포함합니다. 이 계획은 LLM의 내부 가정을 노출하여 검증 가능하게 만드는 "추론 스케치" 역할을 합니다.

2.2 계획 기반 KG 검색 (KG Retrieval with Plan)

Retrieve Agent는 현재 계획 단계를 소프트 검색 조건으로 사용하여 KG를 탐색합니다. 무분도한 확장 대신, 쿼리 및 현재 단계와의 의미론적 관련성을 기준으로 후보 관계의 순위를 매겨, 사실적 증거 역할을 할 관련 트리플( $O_t$ )을 검색합니다.

2.3 단계별 KG 진단 (Stepwise KG Diagnosis)

Diagnostic Agent는 다음 단계로 넘어가기 전에 각 추론 단계의 신뢰성을 평가합니다. 이는 이중 검증기 아키텍처를 채택합니다:

LLM 기반 검증기: 모델의 예측된 관찰( $\hat{O}_t$ )과 검색된 KG 트리플( $O_t$ ) 사이의 일관성을 분석합니다.
NLI 검증기: 경량 자연어 추론(Natural Language Inference) 모델이 예측과 증거 사이의 모순 여부를 확인합니다.
만약 검증 신호가 불일치( $V=1$ )를 나타내면, 시스템은 오류가 전파되도록 두는 대신 수복 모듈을 트리거합니다.

2.4 단계별 계획 수복 (Stepwise Plan Repair)

불일치가 감지되면, TRACE는 전체 경로를 다시 생성하지 않습니다. 대신, **진단 유도 계획 수복 라우터(Diagnosis-Guided Plan Repair Router)**가 오류 유형을 식별하고 다섯 가지 옵션 중 적응형 수복 전략을 선택합니다:

증거 교체 (Evidence Replacement): 지원되지 않는 로컬 사실을 KG에 근거한 증거로 교체합니다.
증거 확장 (Evidence Expansion): 현재 증거가 불충분할 때 추가적인 문맥을 검색합니다.
단계 롤백 (Step Rollback): 추론이 의도에서 벗어난 경우, 신뢰할 수 있는 이전 상태로 되돌아가 경로를 재구성합니다.
제약 조건 분해 (Constraint Decomposition): 복잡한 질문을 개별적으로 검증해야 하는 하위 제약 조건들로 세분화합니다.
답변 검증 수복 (Answer Verification Repair): 누적된 제약 조건에 대해 최종 후보 답변을 검증합니다.

2.5 다각적 보상 메커니즘 (Multi-Perspective Reward Mechanism)

수복된 계획의 품질을 보장하기 위해, KG 근거 기반 수복 점수( $\nu_t$ )는 다음을 기준으로 새로운 계획을 평가합니다:

추적 일관성 (Trace Coherence): 수정된 추론의 논리적 흐름.
KG 근거 (KG Grounding): 검색된 트리플로부터의 사실적 뒷받침.
제약 조건 충족 (Constraint Coverage): 원래 질문의 제약 조건 준수 여부.
답변 확신도 (Answer Confidence): 최종 답변의 안정성.
효율성 (Efficiency): 지나치게 길거나 중복된 추론에 대한 페널티 부여.
충분한 점수를 획득한 계획만이 후속 추론 단계로 수용됩니다.

3. 주요 기여

저자들은 세 가지 주요 기여를 강조합니다:

통합된 폐쇄 루프 프레임워크: TRACE는 계획 생성, 검색, 진단, 수복을 단일 협업 멀티 에이전트 시스템으로 통합하여, 정적 검색이나 고정된 계획을 넘어섭니다.
KG 피드백 기반 진단: 이 프레임워크는 LLM의 파라미터 지식에만 의존하는 대신, KG 증거를 사용하여 중간 추론 단계를 실시간으로 검사하고 계획을 동적으로 정렬 및 수복하는 메커니즘을 도입합니다.
적응형 수복 및 평가: 시스템은 다각적 보상 메커니즘을 활용하여 수복된 경로를 평가함으로써, 선택된 추론 궤적이 사실적 정확성, 제약 조건 만족도, 효율성 사이의 균형을 맞추도록 합니다.

4. 실험 결과

본 프레임워크는 세 가지 LLM 백본(Qwen2.5-7B, GPT-3.5, GPT-4)을 사용하여 세 가지 벤치마크 데이터셋(ComplexWebQuestions (CWQ), WebQSP, WebQuestions)에서 평가되었습니다.

성능 향상: TRACE는 모든 모델과 데이터셋에서 에이전트 기반 베이스라인(ToG 및 PoG)을 지속적으로 능가했습니다.
- GPT-4 환경에서, TRACE는 PoG의 78.0/48.8과 비교하여 평균 Exact Match(EM) 80.0 및 F1 66.8을 달성했습니다.
- Qwen2.5-7B 환경에서, TRACE는 평균 F1을 34.0(PoG)에서 52.1로, EM을 50.2에서 59.8로 향상시켰습니다.
미세 조정 방법과의 비교: 별도의 작업 특화 지도 미세 조정(supervised fine-tuning)을 사용하지 않았음에도 불구하고, TRACE는 미세 조정된 KG-RAG 방법들(예: RoG, GNN-RAG)과 경쟁할 만한 결과를 얻었으며, 이는 추론 중 KG 피드백의 효과적인 사용이 파라미터 튜닝의 강력한 대안이 될 수 있음을 시사합니다.
효율성 분석: GPT-4o-mini를 사용한 비용 분석 결과, TRACE는 ToG(WebQSP에서 최대 39.3% 감소) 및 PoG(WebQSP에서 35.7% 감소)에 비해 토큰 소비량을 크게 줄였습니다. 다만, PoG에 비해 API 호출 횟수는 약간 증가했습니다. 이는 TRACE가 더 효율적이고 타겟팅된 추론을 통해 질문당 더 높은 정확도와 낮은 토큰 사용량을 달성하는 트레이드오프를 보여줍니다.

5. 의의 및 주장

본 논문은 TRACE의 의의가 KG 피드백을 단순히 답변 생성을 위한 외부 문맥이 아니라, 프로세스 수준의 진단 신호로 취급하는 능력에 있다고 주장합니다. 중간 상태를 지속적으로 검증하고 추론 경로를 동적으로 수복함으로써, TRACE는 LLM 추론의 핵심 한계인 환각과 오류 전파 문제를 해결합니다.

저자들은 이 접근 방식이 광범적인 재학습 없이도 KG 강화 LLM의 신뢰성을 크게 높일 수 있는 증거 유도 진단 및 계획 수복을 입증한다고 강조합니다. 이 프레임워크는 LLM의 내부 지식이 구조화된 외부 증거와 충돌할 때 스스로를 교정할 수 있는 견고한 메커니즘을 제공하며, 이를 통해 복잡한 추론 작업의 정확성과 해석 가능성을 모두 향상시킵니다.