기술 요약: DocTrace – 장문 문서 QA를 위한 구조 인식형 온디맨드 하이퍼그래프 메모리

1. 문제 정의

장문 문서 질의응답(QA)은 대규모 언어 모델(LLM)이 긴 텍스트 전반에 흩어져 있는 증거를 바탕으로 추론할 것을 요구하며, 여기서 정답은 종종 사건의 순서, 섹션 수준의 문맥, 그리고 부분 간의 연결 관계에 의존합니다. 검색 증강 생성(RAG)은 관련 증거를 검색함으로써 컨텍스트 제한 문제를 완화하지만, 기존 방식들은 세 가지 결정적인 한계에 직면해 있습니다:

1. 비용이 많이 드는 쿼리 불가지론적 조직화: 현재의 구조화된 RAG 방식(예: 계층적 요약 또는 지식 그래프)은 쿼리가 결정되기 전에 전체 문서를 미리 인덱싱하는 경우가 많습니다. 이는 상당한 사전 지연 시간과 토큰 오버헤드를 발생시키며, 특정 쿼리에 대해서는 유용성이 제한적인 지식을 생성하게 됩니다.
2. 문서 구조 활용의 미흡: 많은 방식이 문서를 청크(chunk) 단위로 평탄화하여, 섹션 경계, 단락 순서, 국소적 이웃 관계와 같은 구조적 단서를 손실시킵니다. 이는 정확한 추론에 필수적인 서사적 흐름과 사건의 진행 과정을 보존하는 능력을 약화시킵니다.
3. 과거 추론 경험의 재사용 불가: 기존 시스템은 각 질문을 독립적인 사례로 취급합니다. 질문에 대한 답변이 생성된 후, 그 결과로 도출된 추론 궤적은 폐기되며, 이로 인해 시스템은 구조적으로 유사한 미래의 질문에 대해 유사한 탐색 패턴을 반복해야 하는 상황에 놓입니다.

2. 방법론: DocTrace 프레임워크

DocTrace는 쿼리 트리거형 지식 조직화, 문서 구조 인식형 검색, 그리고 경험 가이드형 추론을 통해 이러한 한계를 해결하도록 설계된 멀티 에이전트 RAG 프레임워크입니다. 이 프레임워크는 세 가지 핵심 구성 요소를 기반으로 작동하는 오케스트레이터-조사관(Orchestrator-Investigator) 아키텍처를 채택하고 있습니다.

A. 오케스트레이터-조사관 아키텍처

• 오케스트레이터 ($\omega$): 글로벌 추론 과정을 관리합니다. 복잡한 질문을 상호 의존적인 하위 질문들로 분해하며, 이는 유향 비순환 그래프(DAG)로 표현됩니다. 계획을 수립하고, 조사관에게 작업을 할당하며, 최종 답변을 합성하는 역할을 조율합니다.
• 조사관 에이전트 ($\alpha_i$): 특정 하위 질문을 실행합니다. 증거를 검색하고, 작업 메모리와 상호작용하며, 중간 답변을 생성합니다.

B. 핵심 구성 요소

1. 문서 구조 트리 인덱스 ($T$)

DocTrace는 문서를 단순한 청크 리스트가 아닌, 문서, 장(chapter), 섹션, 단락의 4개 레벨 노드를 가진 계층적 트리($T$)로 표현합니다.

• 구축: LLM을 사용하여 헤딩 패턴을 추론하고 문서를 파싱하며, 개체명 인식(NER)을 통해 이를 보완합니다.
• 검색 (TreePPR): 하위 질문이 발생하면, 시스템은 트리 상에서 개인화된 페이지랭크(TreePPR)를 사용합니다. 이는 시드 노드로부터 관련도 점수를 전파하되, 문서의 구조적 경계와 형제 관계를 존중함으로써 검색된 증거가 서사적 흐름과 구조적 문맥을 유지하도록 보장합니다.

2. 하이퍼그래프 구조 작업 메모리 ($M$)

이는 추론 과정 중에 온디맨드로 구축되는 쿼리 트리거형 에이전트 공유 메모리입니다. 두 가지 상호 보완적인 뷰(view)로 구성됩니다:

• 추상화 뷰 ($M_A$): 선택된 트리 노드들에 대해 다단계 계층적 요약을 조직합니다. 이는 증거가 직접 읽기에 너무 광범위한 하위 질문에 대응하며, 에이전트가 요약에서 원문 텍스트로 상세히 파고들 수 있도록 지원합니다.
• 관계 뷰 ($M_R$): 현재 하위 질문을 위해 선택된 관련 트리 노드들로부터 추출된 $n$-항 관계와 엔티티를 저장합니다. 이는 전체 지식 그래프를 구축하지 않고도 다단계 관계 추론을 지원합니다.
• 메커니즘: $M$은 각 하위 질문의 구체적인 증거 요구 사항에 따라 점진적으로 구축되므로, 전체 문서를 사전 인덱싱하는 비용을 피할 수 있습니다.

3. 그래프 구조 경험 메모리 ($D_M$)

과거의 상호작용으로부터 학습할 수 있도록, 성공적인 추론 계획(DAG)을 이종(heterogeneous) 그래프 메모리에 저장합니다.

• 스키마: 노드는 질문 스켈레톤, 추론 DAG, 시그니처(주제 엔티티, 제약 조건), 그리고 추론 모티프를 포함합니다.
• 검색 및 재사용: 새로운 질문이 도착하면, 오케스트레이터는 $D_M$에서 구조적으로 유사한 추론 DAG를 검색합니다. 이렇게 검색된 계획은 퓨샷(few-shot) 예시로서 새로운 추론 경로를 초기화하는 데 사용되어, 시스템이 처음부터 시작하는 대신 성공적인 분해 패턴을 재사용할 수 있게 합니다.

3. 주요 기여

1. 쿼리 트리거형 지식 조직화: DocTrace는 하이퍼그래프 구조의 작업 메모리($M$)를 각 하위 질문의 구체적인 증거 요구에 따라 점진적으로 구축함으로써, 비용이 많이 드는 사전 인덱싱 과정을 제거합니다.
2. 문서 구조 인식형 검색: 문서 구조 트리 인덱스($T$)와 TreePPR을 활용함으로써, 프레임워크는 의미론적 유사성과 더불어 구조적 단서(계층, 순서)를 함께 사용하여 문서의 서사적 흐름을 보존하는 증거를 검색합니다.
3. 재사용 가능한 추론 경험: 성공적인 추론 궤적을 DAG 형태로 그래프 구조의 경험 메모리($D_M$)에 명시적으로 모델링하고 저장하여, 구조적으로 유사한 미래의 질문에 대해 추론 패턴을 재사용할 수 있게 합니다.
4. 효율성 및 효과성: 본 프레임워크는 하이브리드 구조적 베이스라인들과 비교하여 계산 비용을 크게 줄이면서도 최첨단(SOTA) 성능을 달성합니다.

4. 실험 결과

실험은 네 가지 장문 문서 QA 데이터셋인 NarrativeQA, EN.QA, EN.MC, DetectiveQA를 대상으로 수행되었습니다.

• 성능: DocTrace는 네 가지 데이터셋 중 세 가지에서 최고의 성능을 기록했습니다.
  • NarrativeQA에서, 가장 강력한 베이스라인인 ComoRAG보다 F1 점수에서 8.85%, Exact Match(EM)에서 4.40% 높은 성능을 보였습니다.
  • EN.MC에서, 온라인 학습을 제외한 변형 모델 기준 ComoRAG보다 정확도(ACC)에서 1.82% 앞서며 2위를 기록했습니다.
• 효율성: DocTrace는 ComoRAG 대비 전체 계산 비용을 53.32% 절감했습니다. 이러한 효율성 향상은 전체 문서의 사전 인덱싱을 피하고 온디민드 방식으로 메모리를 구축한 덕분입니다.
• 절제 연구 (Ablation Studies): 오케스트레이터의 계획 능력이나 작업 메모리($M$)를 제거했을 때 성능이 크게 저하되었습니다 (예: 계획 기능 부재 시 EN.QA에서 F1 5.11% 하락). 이는 구조적 분해와 온디맨드 메모리의 필요성을 입증합니다.
• 백본 견고성: DocTrace는 다양한 LLM 백본(GPT-4o-mini, Qwen3, DeepSeek)에 걸쳐 직접적인 인컨텍스트 러닝(IO) 프롬프팅보다 일관되게 우수한 성능을 보였으며, 평균적으로 F1에서 23.59%, ACC에서 35.37%의 이득을 얻었습니다.

5. 의의 및 주장

본 논문은 DocTrace가 정적인 사전 계산 지식 구조에서 동적인 온디민드 추론 시스템으로의 전환을 나타낸다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 고품질의 장문 문서 QA를 위해 질문과 무관한 값비싼 전체 문서 사전 인덱싱이 반드시 필요한 것은 아니다.
• 문서의 원래 계층 구조를 보존하는 것이 사건의 순서 및 서사적 흐름과 관련된 추론 작업에 매우 중요하다.
• 과거의 추론 궤적을 재사용하는 것은 복잡하고 다단계적인 질문에 대한 탐색을 효과적으로 가이드하여 정확도와 효율성을 모두 높일 수 있다.

저자들은 현재 시스템이 텍스트 기반 문서에 집중되어 있으며 계획 및 생성을 위해 LLM 호출에 의존하고 있음을 언급했습니다. 향후 연구로는 멀티모달 추론 탐색과 효율성을 더욱 높이기 위한 경량화된 에이전트 설계가 제안되었습니다.