기술 요약: MARDoc

문제 정의

멀티모달 긴 문서 질의응답(QA)은 금융 분석 및 과학 문헌 검토와 같은 응용 분야에서 매우 중요하지만, 텍스트, 레이아웃, 표, 그림에 걸친 정보의 결합된 표현 방식과 많은 페이지에 걸친 희소한 증거 분포로 인해 여전히 도전적인 과제로 남아 있습니다.

기존의 반복적 검색-추론 에이전트들은 다음과 같은 심각한 한계에 직면해 있습니다:

1. 단일 구조의 컨텍스트 스트림(Monolithic Context Stream): 대부분의 시스템은 검색 흔적, 관찰 내용, 중간 추론 과정이 뒤섞인 단일하고 계속 커지는 컨텍스트를 유지합니다. 상호작용이 축적됨에 따라 핵심 증거는 흩어지고 무관한 이력에 의해 희석되어, 모델의 유효한 추론 공간을 압축하고 노이즈를 유발합니다.
2. 메모리 기반 품질 제어의 부재: 현재의 에이전트 방식은 누락된 증거, 잘못 해석된 시각적 콘텐츠, 또는 결함이 있는 페이지 간 추론을 구분하지 못하는 경우가 많습니다. 초기 턴에서 발생한 오류는 반복 과정 전반에 걸쳐 지속되고 누적되어, 멀티홉(multi-hop) 추론 과정에서 환각 현상을 초래합니다.

방법론: MARDoc 프레임워크

저자들은 단일 구조의 컨텍스트 스트림을 대신하여 "탐색(Explore)–정제(Refine)–성찰(Reflect)" 루프에 의해 구동되는 동적으로 업데이트되는 **구조화된 메모리(structured memory)**를 제안하며, 이를 MARDoc(Memory-Aware Refinement Agent)이라 명명합니다. 이 프레임워크는 QA 프로세스를 세 가지 전문화된 에이전트로 분리합니다.

1. 문서 처리 및 개요 구성

에이전트 상호작용 이전에, 시스템은 MinerU2.5를 사용하여 레이아웃 구조를 보존하는 미세한 의미론적 노드를 생성하도록 정밀한 문서 파싱을 수행합니다. Qwen3-VL은 시각적 요소(이미지, 표)에 대한 간결한 설명을 생성하여, 다운스트림 검색 도구의 인덱스로 사용될 통합된 구조적 개요를 만듭니다.

2. 탐색 에이전트 (The Explorer Agent)

탐색 에이전트는 맞춤형 도구 세트(텍스트, 시각, 메타데이터 검색)를 사용하여 구조화된 개요로부터 다중 입도(multi-granularity)의 증거를 반복적으로 검색합니다. 이 에이전트는 ReAct 프레임워크 상에서 작동하며, 예비 정보를 수집하기 위해 추론 사고와 도구 액션을 생성합니다. 모든 이력을 컨텍스트 윈도우에 추가하는 전통적인 에이전트와 달리, 탐색 에이전트는 현재 쿼리, 문서 개요, 이전의 구조화된 메모리, 그리고 성찰 에이전트로부터의 피드백만을 전달받습니다.

3. 정제 에이전트 (The Refiner Agent)

정제 에이전트는 상호작용 흔적을 압축된 구조적 메모리로 증류(distill)함으로써 인간 전문가의 추론을 모사하며, 이는 전통적인 원시 컨텍스트의 축적 방식을 대체합니다. 이 에이전트는 사용자 쿼리, 이전 메모리, 그리고 탐색 에이전트의 현재 추론 체인을 처리하여 두 가지 별개의 구성 요소를 생성합니다:

• 증거 메모리 ($M_E$): 중복된 정보를 제거하고 핵심적이며 쿼리와 관련 있는 사실적 정보(예: 주요 진술, 출처, 압축된 멀티모달 데이터)를 기록한 고수준 로그입니다.
• 추론 메모리 ($M_R$): 의존 관계가 주석 처리된 증거 노드들을 통합하는 명확한 추론 경로입니다. 이는 증거와 추론을 분리하여, 시스템이 오류가 잘못된 사실에서 기인한 것인지 혹은 결함이 있는 논리에서 기인한 것인지를 추적할 수 있게 합니다.

정제 에이전트는 각 반복마다 이전 메모리를 새로운 버전으로 덮어씀으로써 컨텍스트 폭발을 방지합니다.

4. 성찰 에이전트 (The Reflector Agent)

성찰 에이전트는 압축된 구조적 메모리를 검토하여 질문에 답하기 위한 증거가 충분한지 판단합니다.

• 충분할 경우: 최종 답변을 출력합니다.
• 불충분할 경우: 탐색 에이전트가 특정 누락된 정보를 찾도록 유도하기 위해 타겟팅된 피드백(예: "X의 총합이 누락되었습니다")을 생성하여, 과거의 실수를 반복하는 것을 방지합니다.

주요 기여

1. 검색과 정제의 분리: MARDoc은 단일 구조의 컨텍스트 스트림을 동적으로 업데이트되는 구조화된 메모리로 대체합니다. 정보 검색과 증거 소화를 분리함으로써 추론 컨텍스트를 압축된 상태로 유지하며, 이를 통해 컨텍스트 희석 문제를 근본적으로 완화합니다.
2. 이중 메커니즘 메모리: 이 프레임워크는 흔적을 증거 메모리(사실적 근거)와 추론 메모리(논리적 일관성)로 압축하는 증류 프로세스를 도입하며, 이와 함께 충분성을 검증하고 휴리스틱 피드백을 제공하는 반복적 성찰 평가를 도입합니다.
3. 학습이 필요 없는 성능 (Training-Free Performance): 본 시스템은 작업별 미세 조정 없이 프롬프트 엔지니어링과 구조화된 메모리 메커니즘만으로 강력한 결과를 달려냅니다.

실험 결과

저자들은 두 가지 도전적인 벤치마크인 MMLongBench-Doc과 DocBench를 통해 MARDoc을 평가했습니다.

• 성능: Qwen3-VL-30B를 백본으로 사용하여, MARDoc은 MMLongBench-Doc에서 57.1%의 정확도를 달성했습니다. 이는 동일한 백본을 사용하는 베이스라인(예: Qwen3-30B를 사용하는 DocAgent의 48.3%)을 능가하며, 훨씬 더 큰 모델인 Claude 3.5 Sonnet을 사용하는 DocAgent의 성능(57.3%)과도 대등한 수준입니다.
• 강건성: MARDoc은 다른 에이전트 기반 방법들과 비교했을 때 증거 페이지 수가 증가함에 따라 성능 저하가 더 적게 나타났으며, 이는 흩어진 정보를 통합하는 탁월한 능력을 입증합니다.
• 절제 연구 (Ablation Studies):
  • 정제 에이전트를 제거했을 때 성능이 급격히 저하되었으며, 이는 성찰 에이전트가 구조화된 메모리 없이는 노이즈가 섞인 선형적으로 축적된 컨텍스트 내에서 오류를 효과적으로 식별할 수 없음을 확인시켜 줍니다.
  • **추론 메모리 ($M_R$)**를 제거하면 주로 멀티홉 질문 성능이 저하되었고, **증거 메모리 ($M_E$)**를 제거하면 답변 불가능한 질문에 대한 성능이 저하되었습니다. 이는 두 메모리의 상호 보완적인 역할을 강조합니다.
  • 구조화된 메모리를 일반 텍스트 압축으로 대체했을 때 최악의 성능을 보였으며, 이는 구조적 표현의 필요성을 입증합니다.
• 효율성: MARDoc은 단일 패스(single-pass) 방식에 비해 약간의 토큰 사용량 증가(22.5k 추가 토큰)와 지연 시간 증가(16초)가 발생하지만, 이러한 트레이드오프를 통해 상당한 정확도 향상(7.8 퍼센트 포인트)을 얻었습니다.

의의 및 주장

본 논문은 MARDoc이 에이전트 기반 문서 QA를 위한 구조화된 메모리의 효과를 검증한다고 주장합니다. 전체 상호작용 이력이 반복적으로 전파되는 것을 방지함으로써, 프레임워크는 답변에 결정적인 사실과 그 논리적 의존성을 보존하면서도 압축된 추론 상태를 유지합니다.

저자들은 MARDoc을 반복적 검색-추론에서의 "컨텍스트 폭발" 문제에 대한 해결책으로 제시하며, 메모리 매개 인터페이스가 값비싼 모델 미세 조정을 요구하지 않고도 멀티모달 긴 문서 작업에서 멀티홉 추론 능력을 크게 향상시킬 수 있음을 보여줍니다. 이 연구는 단순히 모델의 컨텍스트 윈도우나 파라미터 수를 늘리는 것보다 메모리 표현의 품질(구조적 vs 단일 구조)이 롱 컨텍스트 추론에 있어 더 중요한 요소임을 시사합니다.