기술 요약: GRASP (명제 기반 그래프 에이전트 검색)

문제 정의

멀티홉 질문 응답 (QA) 은 모델이 의미적 유사성만으로는 해결할 수 없는 의존성을 해결하기 위해 증거를 반복적으로 수집하도록 요구합니다. 최근의 에이전트 검색 시스템은 언어 모델 (LLM) 에게 검색과 추론의 자율성을 부여함으로써 정확도를 향상시키지만, 토큰 효율성이라는 치명적인 병목 현상에 직면해 있습니다.

기존의 그래프 기반 접근법 (예: HippoRAG, GeAR) 은 관계형 삼중체 (주어 - 관계 - 목적어) 로 구성된 지식 그래프 (KG) 를 활용하여 구조화된 탐색을 가능하게 합니다. 그러나 이는 상당한 비용을 초래합니다:

1. 색인화 비용: 삼중체 기반 KG 를 추출하고 구성하는 것은 계산 비용이 많이 들며 종종 신뢰성이 낮아, 단순 RAG 보다 검색 품질이 저하되기도 합니다.
2. 추론 비용: 에이전트 시스템은 반복적인 LLM 호출, 확장된 컨텍스트 창, 그리고 병렬 에이전트에 의한 중복 탐색으로 인해 토큰 사용량이 누적되는 경향이 있습니다.

현재의 방법론은 색인화 및 추론 단계 모두에서 높은 정확도와 최소한의 토큰 사용을 동시에 최적화하지 못합니다.

방법론: GRASP

저자들은 QA 정확도와 토큰 효율성 모두를 최적화하도록 설계된 에이전트 검색 시스템인 GRASP(Graph Agentic Search over Propositions, 명제 기반 그래프 에이전트 검색) 를 제안합니다. GRASP 는 세 가지 핵심 구성 요소를 통해 작동합니다:

1. 3 계층 계층적 그래프 구성

삼중체 기반 KG 와 달리, GRASP 는 $G = (V_E, V_P, V_D, E)$로 표현되는 세 가지 명확한 계층을 가진 그래프를 구성합니다:

• 개체 계층 ($V_E$): 텍스트에서 추출된 유형화된 개체 (예: "사람", "장소") 입니다. 이들은 탐색을 위한 타겟 게이트웨이 역할을 합니다.
• 명제 계층 ($V_P$): 핵심 검색 단위입니다. 원자적 삼중체 대신 시스템은 원자적이고 자기 완결적인 자연어 명제(예: "1678 년 부활절 토끼가 독일 남서부에 기록됨") 를 추출합니다.
• 패시지 계층 ($V_D$): 구성 명제들과 연결된 원본 소스 문서들입니다.

추출 과정: 개체와 명제는 단일 LLM 호출을 통해 공동으로 추출됩니다. 개체들은 인덱스 참조를 통해 해당 소스 명제들과 연결되어 그래프 에지를 형성합니다. 이는 컨텍스트를 관계형 삼중체로 손실적으로 압축하는 것을 방지합니다.

2. 계획 기반 추론 파이프라인

GRASP 는 복잡한 멀티홉 질문을 의존성 인식 계획으로 분해합니다:

• Planner(계획자): 자연어 추론 개요와 하위 질문의 순차적 시퀀스를 생성하는 모듈입니다. 핵심적으로, 이는 MuSiQue 와 같은 데이터셋의 의존성 구조를 반영하여 이전 하위 질문의 답변을 명시적으로 참조하기 위해 숫자 자리 표시자 (예: #1) 를 사용합니다.
• 하위 에이전트 실행: 각 하위 질문은 독립적인 하위 에이전트에 의해 처리됩니다. 에이전트는 전체 대화 기록 대신 **컴팩트한 관찰 상태 ($O_i$)**를 유지하여 컨텍스트 성장을 제한합니다.
  • 하이브리드 검색: 에이전트는 하위 질문을 선언적 검색 문장과 키워드 목록으로 재구성합니다. 그런 다음 후보 개체를 검색하기 위해 명제 계층에 대해 하이브리드 검색 (밀집 벡터 + BM25) 을 수행합니다.
  • RankVote 점수 매기기: 검색된 명제들은 후보 개체들로 집계됩니다. 패시지 검색의 경우, 시스템은 구성 명제들의 순위 기반으로 패시지를 점수 매기는 상호 순위 투표 메커니즘인 RankVote를 사용하여 가장 관련성 높은 컨텍스트를 우선시합니다.
  • 반복적 정제: 에이전트는 증거가 충분한지 평가합니다. 충분하지 않으면 검색 문장을 다시 작성하고 (제한 범위 내에서) 탐색을 재개하여 증거의 중복 재독을 방지합니다.

3. 성공 경제 (Success Economy) 지표

본 논문은 효율성을 평가하기 위해 정보 이론에서 영감을 받은 성공 경제 ($C_w$) 지표를 도입합니다. 이는 난이도 가중치로 보정된 정답에 대한 총 토큰 비용을 분산합니다:
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
여기서 $w_i = -\log_2(r_i)$는 기본 LLM 을 여러 번 프롬프트하여 추정된 정답의 놀라움 (자기 정보) 입니다. 이는 토큰 낭비를 패널티로 부과하고 어려운 질문을 효율적으로 해결하는 것을 보상합니다.

주요 기여

1. GRASP 시스템: 정확도와 토큰 효율성을 동시에 최적화하는 그래프 강화 에이전트 검색 시스템으로, 오픈 검색 및 확장 컨텍스트 설정 모두에서 경쟁력 있게 평가되었습니다.
2. 명제 기반 색인화: 명제를 핵심 검색 단위로 사용하는 새로운 3 계층 계층적 그래프입니다. 저자들은 이것이 삼중체 기반 그래프 (HippoRAG2) 보다 더 높은 패시지 재현율 (recall) 을 달성하면서도 색인화 토큰을 69% 적게 사용함을 입증했습니다.
3. 분리된 추론: 홉 간 및 개별 에이전트 실행 내 컨텍스트를 분리하는 계획 기반 파이프라인으로, 무제한적인 컨텍스트 성장을 방지합니다.
4. 성공 경제: 에이전트 QA 에서 효율성 인식 평가를 장려하는 새로운 평가 지표로, 정확도만 중시하는 벤치마크를 넘어섭니다.

실험 결과

GRASP 는 두 가지 설정 하에서 MuSiQue, 2WikiMultihopQA, HotpotQA에 대해 평가되었습니다:

오픈 코퍼스 검색 설정

• 성능: GRASP 는 MuSiQue 와 2Wiki 에서 IRCoT+HippoRAG2 를 능가하는 가장 높은 Exact Match (EM), F1, Judge 점수를 달성했습니다.
• 효율성: 우수한 정확도를 달성하면서도 IRCoT+HippoRAG2 보다 토큰을 40~50% 적게 사용했습니다. HotpotQA 에서는 IRCoT+HippoRAG2 가 약간 더 높은 정확도를 보였으나, 이는 2 배 이상의 토큰 비용을 치른 것이었습니다.
• 검색 품질: 시뮬레이션된 에이전트 검색에서 GRASP 는 0.904의 재현율을 달성하여 HippoRAG2 의 0.817을 능가함으로써 명제가 우수한 검색 단위임을 검증했습니다.

확장 컨텍스트 (LongBench) 설정

• 성능: GRASP 는 세 가지 데이터셋 모두에서 EM 과 F1 에서 선두를 달렸습니다. 2Wiki 에서는 GraphReader 대비 EM 을 12 점 향상시키면서 약 70% 의 토큰 비용만 사용했습니다.
• 효율성: GRASP 는 다음으로 가장 정확한 방법 (GraphReader) 보다 토큰을 30% 적게 사용하면서도 경쟁력 있거나 우수한 Judge 점수를 유지했습니다.
• 결손 분석: 명제 그래프나 개체 선택 계층을 제거하면 성능이 크게 저하되거나 토큰 사용량이 증가하여 3 계층 구조의 필요성이 확인되었습니다.

중요성과 주장

본 논문은 GRASP 가 멀티홉 QA 의 정확도 - 비용 트레이드오프에서 파레토 프론티어에 위치한다고 주장합니다. 토큰 효율성을 정확도와 동등한 1 순위 설계 목표로 삼음으로써, GRASP 는 추론 깊이가 일반적으로 토큰의 기하급수적 증가로 이어지는 에이전트 시스템의 근본적인 긴장 관계를 해결합니다.

저자들은 다음과 같은 점을 강조합니다:

• 명제는 삼중체보다 우수합니다: 삼중체 추출에서 손실되는 의미적 뉘앙스를 보존하며, 임베딩 기반 검색을 위한 더 차별화된 단위로 작용합니다.
• 구조화된 분해가 필수적입니다: 계획 기반 분해와 구조화된 검색 (그래프) 을 결합하는 것은 검색과 체인 - 오브 - 씽킹을 단순히 교차시키는 것보다 더 효과적입니다.
• 효율성은 표준 요구사항입니다: "성공 경제"의 도입은 추론 복잡도에 비례하여 추론 비용이 증가한다는 점을 인정하고, 커뮤니티가 효율성 인식 평가를 표준 관행으로 채택할 것을 옹호합니다.

이 연구는 향후 개선 사항이 지도 미세 조정 (supervised fine-tuning) 이나 강화 학습을 통해 3 홉 및 4 홉 질문의 병목 현상인 계획자의 분해 정확도를 정교화하는 데 초점을 맞출 수 있음을 시사하지만, 현재 아키텍처는 이미 성능과 비용의 균형을 맞추는 데 있어 상당한 도약을 보여줍니다.