💬 NLP

Co-Evolving Graph and Text Memory for Training-Free Multi-Hop Question Answering

이 논문은 텍스트 문맥과 관계형 그래프 증거를 동적으로 통합하고 조정하기 위해 동기화된 양방향 작업 메모리를 사용하는 학습이 필요 없는 멀티홉 질의응답 시스템인 Co-E를 소개하며, 이를 통해 6개의 벤치마크에서 더 크거나 학습된 모델들과 경쟁할 만한 성능을 달성한다.

원저자: Hieu Man, Thien Huu Nguyen

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hieu Man, Thien Huu Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 유명한 영화배우의 증조할아버지가 누구인지 알아내는 것과 같이, 거대하고 다층적인 미스터리를 풀려고 노력하고 있다고 상상해 보십시오. 이를 해결하기 위해서는 단 하나의 질문과 답변만으로는 부족합니다. "그 배우의 아버지는 누구인가?" 그다음 "그 아버지의 어머니는 누구인가?"와 같이 일련의 질문을 던져야 합니다. 이것이 바로 과학자들이 "멀티홉 질의응답(multi-hop question answering)"이라고 부르는 것입니다.

오랫동안 컴퓨터는 이 미스터리들을 해결하기 위해 두 가지 주요 도구를 사용해 왔습니다. 첫 번째는 텍스트의 거대한 도서관(인터넷이나 거대한 책 모음집 같은 것)으로, 이는 문장으로 쓰인 이야기와 사실들을 찾는 데 탁월합니다. 두 번째는 사실들의 구조화된 지도(지식 그래프라고 불리는 것)로, 이는 마치 거대한 가계도나 지하철 노선도처럼 모든 것이 명확한 선으로 연결되어 있습니다. 문제는 이 두 도구가 보통 서로 다른 방에서 작동한다는 점입니다. 텍스트 탐색기는 책을 읽지만 지도는 잊어버리고, 지도 판독기는 연결 관계는 보지만 책에서 발견한 새로운 세부 사항들은 무시합니다. 이 때문에 책에 담긴 이야기와 지도에 있는 연결 고리를 혼합하여 답을 찾아야 하는 복잡한 퍼즐을 컴퓨터가 해결하기 어렵게 만듭니다.

여기에 오리건 대학교의 히우 만(Hieu Man)과 티엔 후 응우옌(Thien Huu Nguyen) 연구진이 설계한 새로운 시스템인 Co-E가 등장했습니다. Co-E를 단순히 수첩과 지도를 따로 들고 다니는 것이 아니라, 매초 스스로 업데이트되는 하나의 마법 같은 "작업 기억(working memory)" 안에 담아두는 초스마트 탐정이라고 생각해보십시오. Co-E는 단순히 책을 읽고 나서 지도를 보는 대신, 두 가지 사이를 끊임없이 번역합니다. 만약 책 속의 한 문장에서 새로운 인물을 언급한다면, Co-E는 즉시 그 인물을 지도 위에 그려 넣습니다. 반대로 지도에서 연결 고리를 발견하면, 그 연결 관계를 명확한 문장으로 자신의 노트에 다시 기록합니다. 이 "공진화(co-evolving)"의 춤은 컴퓨터가 새로 학습되거나 추가 교육을 받지 않고도, 기존의 지적 능력을 사용하여 두 종류의 정보를 동시에 다루며 일어납니다.

연구진은 이 탐정을 여섯 가지 서로 다른 퍼즐 세트(까다로운 위키피디아 수수께끼부터 복잡한 데이터베이스 질문까지)로 테스트했습니다. 그 결과, Co-E는 추가적인 훈련 없이도 이러한 퍼즐을 해결하는 데 매우 뛰어나다는 것을 발견했습니다. 예를 들어, 2WikiMultiHopQA라는 까다로운 테스트에서 Co-E는 (Exact Match라는 지표를 기준으로) 100점 만점에 72.6점을 받았고, Bamboogle에서는 70.0점을 기록했습니다. CWQ라는 데이터베이스 챌린지에서는 74.9(Hits@1 지표 사용)를 달성했습니다. 이 점수들은 Co-E가 비슷한 크기의 컴퓨터 뇌를 사용하면서도 이 특별한 메모리 기술이 없는 다른 시스템들을 능가하며, 심지어 집중적인 훈련을 받은 훨씬 더 크고 비싼 시스템들과도 경쟁할 수 있다는 점에서 매우 인상적입니다.

비결은 단순히 큰 뇌를 갖는 것이 아니라, 시스템이 어떻게 기억을 관리하느냐에 있습니다. 연구진은 만약 시스템이 자신의 노트에 기반해 지도를 업데이트하거나, 혹은 그 반대로 하는 것을 멈추게 하면 성능이 현저히 떨어진다는 것을 보여주었습니다. 결국, 이 어려운 퍼즐을 해결하는 핵심은 텍스트와 그래프를 동기화하여, 탐정이 미스터리를 단계별로 풀어가는 동안 서로의 실수를 바로잡고 빈틈을 채우도록 하는 데 있었습니다. 이는 컴퓨터가 추론 능력을 향提升시키기 위해서는 텍스트와 구조화된 사실을 별개의 세계로 취급하는 것을 멈추고, 실시간으로 서로 소통하게 해야 한다는 점을 시사합니다.

기술 요약: 학습이 필요 없는 멀티홉 질의응답을 위한 그래프와 텍스트 메모리의 공동 진화(Co-Evolving)

문제 정의

멀티홉 질의응답(Multi-hop QA)은 여러 추론 단계에 걸쳐 관계적 증거와 텍_스트 증거를 조정하는 작업이 필요합니다. 현재 패러다임의 근본적인 한계는 텍스트 코퍼스나 지식 그래프(KG) 중 어느 하나만으로는 비정형 컨텍스트와 구조적 관계의 결합을 모두 제공할 수 없다는 점입니다. 표준적인 검색 증강 생성(RAG) 파이프라인은 추론이 전개되기 전에 컨텍스트를 선택하므로, 중간 발견 사항(예: 패시지에서 발견된 "가교 엔티티")에 기반하여 검색 전략을 업데이트하는 것을 방지합니다. 반대로, 그래프 증강 방식은 대개 미리 구축되거나 고정된 서브그래프에 의존하며, 이는 추론 과정 중에 수정될 수 없어 누락된 엔티티, 노이즈 섞인 엣지, 또는 불완전한 경로를 초래합니다. 기존 시스템들은 대개 한쪽의 추론 상태(진화하는 텍스트 메모리 또는 고정된 그래프 트래벌)를 우선시하지만, 동일한 추론 루프 내에서 그래프 메모리와 텍스트 컨텍스트를 조화시키는 데 실패합니다.

방법론: Co-E 프레임워크

저자들은 동기화된 양방향 그래프-텍스트 작업 메모리를 중심으로 설계된 학습이 필요 없는 시스템인 **Co-E (Co-Evolving)**를 제안합니다. 이 시스템은 미세 조정(fine-tuning) 없이 작동하며, 각 추론 단계 $t$ 마다 진화하는 공유 메모리 객체 $M(t) = (T(t), G(t))$ 를 활용합니다.

핵심 구성 요소

공유 그래프-텍스트 메모리:
- 텍스트 메모리 ( $T$ ): 추출된 증거, 중간 답변, 그리고 그래프 트리플에서 유도된 자연어 문장을 포함하여, 질문과 관련성이 높은 자기 완결적인 스니펫(snippets)을 저장합니다. 원문 문서는 메모리에 진입하기 전 원자적 단위의 스니펫으로 필터링됩니다.
- 그래프 메모리 ( $G$ ): 두 가지 유형의 트리플을 포함하는 유향 그래프입니다.
  - KB-스키마 트리플: 지식 베이스(예: Freebase, Wikidata)에서 직접 검색된 정형 관계.
  - 오픈 보캐블러리(Open-vocabulary) 트리플: 텍스트 메모리에서 자연어 레이블을 사용하여 추출된 관계이며, 이를 통해 KG 스키마에 없는 사실을 표현할 수 있습니다.
- 능동적 유지 관리: 그래프는 단조롭게 축적되지 않습니다. 트리플 프루너(pruner)가 무관하거나 중복되거나 모순되는 엣지를 제거하며, 동일한 엔티티로 수렴하는 노드들은 병합됩니다.
양방향 동기화 사이클:
각 단계에서 Co-E는 메모리를 공동 진화시키기 위해 4가지 연산으로 구성된 동기화 사이클을 실행합니다.
- 텍스트 통합(Textual Consolidation): 중복되는 스니펫을 제거하고, 보완적인 증거를 병합하며, 현재 텍스트 메모리 $T(t)$ 와 새로운 스니펫 $S(t)$ 사이의 모순된 예측을 철회합니다.
- 텍스트-투-그래프 전파(Text-to-Graph Propagation): 통합된 텍스트에서 엔티티를 식별하고, 이를 KB 식별자에 매핑하며, 오픈 보캐블러리 트리플을 추출합니다. 이들은 $G(t)$ 에 병합되어 텍스트 기반의 발견을 바탕으로 관계적 경계를 확장합니다.
- 그래프-투-텍스트 전파(Graph-to-Text Propagation): 살아남은 그래프 트리플을 텍스트화하여 이를 명시적인 관계 문장으로서 $T(t)$ 에 주입합니다. 이는 생성기가 자연어 형태로 그래프 제약 조건에 직접 접근할 수 있도록 보장합니다.
- 텍스트 재통합(Textual Re-consolidation): 주입된 그래프 사실들을 조율하기 위해 텍스트 메모리에 대해 두 번째 패스를 수행하여, 다음 단계를 위한 일관된 상태 $M(t+1)$ 을 생성합니다.
이중 스트림 검색:
- 코퍼스 검색: 현재 메모리에 따라 조건화된 검색 쿼리를 생성하여 텍스트 스니펫을 검색합니다.
- 그래프 검색: 현재 메모리를 시드로 사용하여 $k$ -hop SPARQL 쿼리를 실행합니다. 시드 세트는 이미 $G(t)$ 에 존재하는 엔티티들로 보강되어, 고정된 트래벌이 아닌 메모리 조건부 검색이 됩니다.
추론 모드:
- MCTS 모드: 몬테카를로 트리 탐색(Monte Carlo Tree Search)을 사용하여 여러 추론 궤적(하위 질문, 자기 수정, 합성)을 탐색합니다. 검증기가 후보 상태를 점수화하며, 피드백은 약한 브랜치를 가지치기하고 공유 메모리를 업데이트하는 데 사용됩니다.
- CoT 모드: 순차적인 추론 체인을 따르며, 트리 확장 없이 각 단계에서 동일한 동기화 연산자를 적용합니다.

주요 기여

동기화된 양방향 메모리: Co-E는 텍스트 증거가 그래프 경계를 확장하고 그래프 사실이 텍스트 컨텍스트를 재형성하는 메커니즘을 도입하여, 단방향 메모리 시스템의 한계를 해결했습니다.
학습이 필요 없는 아키텍처: 이 시스템은 백본 LLM을 미세 조정하지 않고도 강력한 성능을 달축하며, 대신 검색된 증거와 구조화된 메모리의 동기화에 의존합니다.
능동적 메모리 유지 관리: 단순히 컨텍스트를 축적하는 시스템과 달리, Co-E는 두 양상(modality) 모두에서 정보를 능동적으로 제거, 중복 제거 및 모순을 조율하여 노이즈가 섞이거나 오래된 정보의 축적을 방지합니다.

실험 결과

Co-E는 Qwen3-8B 백본을 사용하여 KGQA(WebQSP, CWQ) 및 멀티홉 텍스트 QA(2WikiMultiHopQA, HotpotQA, MuSiQue, Bamboogle)를 아우르는 6개의 벤치마크에서 평가되었습니다.

KGQA 성능:
- CWQ에서 Co-E (MCTS)는 74.9 Hits@1을 달성하여, RoG (62.6) 및 ReKG-MCTS (59.8)와 같은 학습된 시스템을 능가했으며, 이전 최고 오픈 소스 베이스라인인 PoG (74.7)보다 높은 성적을 기록했습니다.
- WebQSP에서 Co-E (MCTS)는 85.5 Hits@1에 도달하여, 가장 강력한 오픈 소스 학습 베이스라인(RoG 및 GNN-RAG, 85.7)과 경쟁 가능한 수준을 보여주었습니다.
Text-QA 성능:
- 2WikiMultiHopQA에서 Co-E (MCTS)는 72.6 EM을 달성하여, 유사한 오픈 백본 베이스라인(예: SubQRAG 대비 +10.7)보다 상당한 차이로 개선되었습니다.
- Bamboogle에서 Co-E (MCTS)는 70.0 EM에 도달하여, Search-R1 (43.2) 및 PAGER (62.4)를 능가했습니다.
- MuSiQue에서 Co-E (MCTS)는 52.5 EM을 달성하여, HopRAG-GPT-4o보다 10.3포인트 앞섰습니다.
절제 연구(Ablation Studies):
- 양방향 동기화를 제거했을 때 성능이 크게 하락하여(예: Bamboogle의 MCTS EM이 70.0에서 61.1로 감소), 두 방향의 전파가 모두 필수적임을 확인했습니다.
- 그래프 또는 텍스트 메모리 중 하나를 개별적으로 제거했을 때 성능이 저하되었으며, 이는 두 양상의 결합이 필요함을 뒷받합합니다.
- 능동적 유지 관리(프루닝/통합)는 매우 중요했습니다. 이를 적용하지 않을 경우 성능은 49.5 EM으로 떨어졌습니다.

의의 및 주장

본 논문은 Co-E가 그래프-텍스트 공동 진화가 학습이 필요 없는 멀티홉 추론을 위한 실용적인 메커니즘임을 입증한다고 주장합니다. 저자들은 멀티홉 QA의 핵심 과제가 텍스트 증거와 관계적 구조가 서로를 동적으로 수정하는 추론 상태를 유지하는 것이라고 설명합니다.

주요 주장은 다음과 같습니다:

정적 그래프 대비 우월성: Co-E는 사전 구축되거나 고정된 토픽 중심 서브그래프에 의존하는 시스템보다 뛰어난 성능을 보입니다. 특히 긴 관계 체인이 필요한 데이터셋(CWQ, MuSiQue)에서 동적인 관계 상태를 유지하는 것이 결정적입니다.
학습된 시스템과의 경쟁력: 8B 파라미터 백본을 사용하면서도 학습 없이 더 큰 모델(예: 32B, 70B)이나 지도 학습된 시스템과 대등하거나 이를 능가합니다.
오픈 도메인 설정에서의 견고함: 전체 Wikidata를 사용하는 스트레스 테스트(토픽 서브그래프 전처리 없이)에서도 Co-E는 강력한 성능을 유지하며, CWQ의 Hits@1이 토픽-서브그래피 프로토콜 대비 1.5포인트만 감소했습니다.
한계점: 저자들은 Co-E가 검색된 증거의 품질에 의해 제한된다는 점을 인정합니다. 만약 코퍼스가 지속적으로 잘못된 사실을 지지한다면, 동기화가 이를 바로잡을 수 없습니다. 또한, 엔티티 링킹의 오류와 불완전한 추론 체인 역시 여전히 과제로 남아 있습니다.

결론적으로, 본 논문은 동기화된 작업 메모리가 추론 중에 관계적 상태를 수정할 수 있게 함으로써, 복잡한 추론 작업을 위한 정적 검색 또는 고정된 그래프 트래벌의 강력한 대안을 제공한다고 밝히고 있습니다.