기술 요약: MAGE-RAG

문제 정의

긴 문서의 멀티모달 질의응답(QA)은 긴 PDF 내에서 희소한 증거를 찾아내고 텍스트, 표, 이미지, 차트 및 복잡한 레이아웃으로부터 이질적인 단서들을 통합하는 능력을 요구합니다. 기존의 검색 증강 생성(RAG) 방식은 세 가지 주요 한계에 직면해 있습니다:

1. 고정된 Top-k 및 정적 예산: 현재의 방식들은 모든 쿼리에 대해 고정된 수의 페이지 또는 청크(chunk)를 매핑합니다. 이는 작은 $k$를 선택하면 분산된 페이지 간 증거를 놓치게 되고, 큰 $k$를 선택하면 특히 답변 불가능하거나 단일 페이지 관련 질문의 경우 과도한 노이즈와 무관한 영역을 도입하게 되는 트레이드오프를 발생시킵니다.
2. 단일 입도(Single-Granularity) 증거: 텍스트 기반 검색은 문맥을 압축하지만 시각적 및 레이아웃 정보를 손실합니다. 반대로, 페이지 수준의 시각적 검색은 원래의 레이아웃을 보존하지만 독자가 방대한 양의 무관한 영역을 처리하도록 강제하여 추론 비용과 노이즈를 증가시킵니다.
3. 쿼리 시점의 제어 능력 부족: 표준 파이프라인은 명시적인 증거 상태 추적, 간극 관리, 또는 쿼리의 특정 요구 사항에 따른 증거 확장/가지치기 메커니즘 없이 검색된 후보군을 독자(reader)에게 직접 전달합니다.

본 논문은 긴 문서 멀티모달 QA를 예산 제약 조건 하에서의 쿼리 시점 증거 서브그래프 구축 문제로 정의하며, 증거 커버리지, 노이즈 제어, 그리고 추론 비용 사이의 균형을 맞추는 것을 목표로 합니다.

방법론: MAGE-RAG

MAGE-RAG(Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG)는 다음의 네 가지 상호 연결된 구성 요소로 이루어진 프레임워크를 통해 이러한 한계를 해결합니다.

1. 오프라인 다입도 증거 그래프 구축

쿼리 시점 이전에, 시스템은 PDF를 이질적인 증거 그래프 $G_D = (V, E)$로 파싱합니다:

• 노드: 그래프는 전체 페이지 뷰(레이아웃과 시각적 문맥 보존)를 나타내는 페이지 노드($V_p$)와 세밀한 구성 요소(제목, 단락, 표, 차트, 이미지, 수식)를 나타내는 엘리먼트 노드($V_e$)를 포함합니다.
• 엣지: 관계는 문서 구조를 인코딩하며, 여기에는 포함 관계(페이지-엘리먼트), 읽기 순서, 레이아웃 인접성, 섹션 계층 구조 및 의미적 이웃 관계가 포함됩니다.
• 속성: 각 노드는 요약, 텍text 내용, 경계 상자(bounding boxes), 이미지 참조를 포함한 멀티모달 설명을 저장합니다.

2. 페이지 수준 초기 그라운딩(Initial Grounding)

쿼리 시점에 시스템은 페이지 수준의 시각적 검색(예: ColPali)을 사용하여 가장 관련성이 높은 Top-$k$ 페이지를 식별합니다. 이는 전체 엘리먼트 공간을 처음부터 검색하려고 시도하는 대신, 페이지 노드를 통해 작업 메모리를 초기화하는 견고한 진입점 역할을 합니다.

3. 온라인 증거 컨트롤러(Online Evidence Controller)

반복적인 컨트롤러는 정의된 예산($B$) 내에서 일련의 행동을 통해 증거 상태($S_t$)를 관리합니다. 각 노드의 상태는 비활성(Inactive), 활성(Active) (작업 메모리에 선택됨), 개방(Opened) (상세 내용 노출), 또는 가지치기(Pruned) (폐기됨)가 될 수 있습니다.

• 행동 공간(Action Space): 컨트롤러는 ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (집중 재검색), PRUNENODE, STOP을 수행합니다.
• 의사결정 과정: 평가자(evaluator)는 현재 질문, 증거 상태, 최근 트레이스를 기반으로 후보 행동의 한계 효용을 추정합니다. 이는 그래프를 확장할지, 특정 엘리먼트를 열지, 새로운 페이지를 검색할지, 또는 가치가 낮은 노드를 제거할지를 결정합니다.
• 예산 제약: 프로세스는 초기 페이지 수, 반복당 활성화 행동 수, 총 반복 횟수 및 최종 개방된 노드 수에 대한 제한에 의해 구속되어, 무제한적인 문맥 성장을 방지합니다.

4. 구조화된 멀티모달 리더 렌더링

최종 증거 서브그래프는 대규모 시각-언어 모델(LVLM) 독자를 위한 구조화된 입력으로 렌더링됩니다. 이 입력은 페이지 이미지, 로컬 노드 크롭(crop), 경계 상자를 노드 요약 및 유형이 포함된 XML 구조 텍스트와 정렬합니다. 이를 통해 독자는 가공되지 않은 비구조적 텍스트나 전체 페이지 대신, 압축되고 관련성이 높으며 시각적으로 근거가 확실한 증거를 소비할 수 있습니다.

주요 기여

1. 문제 정식화: 저자들은 고정 입도 검색의 한계를 진단하고, 긴 문서 QA를 예산 기반의 증거 서브그래프 구축으로 정식화하여 쿼리 시점의 상태 관리 필요성을 강조했습니다.
2. MAGE-RAG 프레임워크: 본 논문은 페이지 수준의 시각적 진입점, 다입도 문서 그래프, 온라인 증거 컨트롤러, 그리고 구조화된 렌더링을 통합하는 시스템을 소개합니다. 이를 통해 공유된 상태 공간 내에서 증거의 동적 선택, 확장 및 가지치기가 가능해집니다.
3. 통합 프로토콜 및 분석: 저자들은 LongDocURL과 MMLongBench-Doc에 걸친 통합 비교 프로토콜을 구축하여, 단순 정확도뿐만 아니라 증거 예산, 트레이스 동작, 그리고 세부적인 입도별(단일 페이지 vs 교차 페이지, 증거 유형) 성능을 분석했습니다.

실험 결과

시스템은 LongDocURL과 MMLongBench-Doc에서 Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG), 그리고 Graph/Agentic RAG (MLDocRAG, G2-Reader)와 비교 평가되었습니다.

• 성능: MAGE-RAG는 LongDocURL에서 52.75%의 전체 정확도를, MMLongBench-Doc에서 53.26%의 정확도(51.19 F1)를 달성했습니다.
• 비교: Direct MLLM, Text RAG, Page-level Visual RAG, 그리고 Graph/Agentic 베이스라인인 G2-Reader보다 우수한 성능을 보였습니다. 특히, 시각적 RAG 베이스라인(예: MMLongBench-Doc에서 M3DocRAG의 24.87%)에 비해 교차 페이지(cross-page) 추론 작업에서 유의미한 향상(34.70%)을 보여주었습니다.
• 입도(Granularity): 시스템은 페이지 수준의 앵커와 엘리먼트 수준의 로컬 증거를 결합하는 것이 단일 입도 접근 방식보다 이질적인 증거 유형(텍스트, 표, 차트)에 대해 더 안정적인 성능을 제공함을 입증했습니다.
• 트레이스 분석: 상세한 트레이스 분석 결과, 정답 샘플이 반드시 오답 샘플보다 더 긴 트레이스나 더 많은 반복을 필요로 하는 것은 아니며, 오히려 더 효과적인 증거 선택(관련 노드 개방 및 무관한 노드 제거)의 혜택을 받는다는 것이 밝혀졌습니다.

의의 및 주장

본 논문은 MAGE-RAG가 쿼리 시점의 증거 서브그래프 구축을 통해 분산된 증거 커버리지와 문맥 노이즈 제어 사이의 균형을 효과적으로 맞출 수 있음을 보여준다고 주장합니다. 검색을 단판 결정이 아닌 반복적이고 상태를 가진 프로세스로 취급함으로써, 프레임워크는 각 질문의 특정 증거 요구 사항에 적응합니다.

저자들은 이 프레임워크의 상한선이 오프라인 증거 그래프의 품질에 달려 있으며, 컨트롤러가 추가적인 계산 비용(평가자 호출)을 발생시킨다는 점을 겸허히 언급했습니다. 또한, 이 접근 방식은 희소한 증거, 교차 페이지 의존성 또는 복잡한 시각적 레이아웃을 가진 긴 문서 시나리오에 특히 적합하지만, 모든 단문 문서나 싱글 홉(single-hop) 케이스에 비용 효율적이지는 않을 수 있음을 인정합니다. 이 연구는 단순한 정확도 지표를 넘어 증거 구축 과정 자체를 분석함으로써, 멀티모달 문서 이해의 실패를 진단할 수 있는 추적 가능하고 감사 가능한 메커니즘을 제공합니다.