💬 NLP

$G^2$ -Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$ -Reader는 고유한 문서 구조를 보존하기 위해 콘텐츠 그래프(Content Graph)를 진화시키고 반복적인 증거 수집을 가이드하기 위한 플래닝 그래프(Planning Graph)를 도입하는 이중 그래프 시스템을 통해 멀티모달 긴 문서 질의응답에서의 검색 증강 생성의 취약성을 해결하며, VisDoMBench에서 최첨단 성능을 달성한다.

원저자: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

게시일 2026-01-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 텍-차트-사진-손글씨 메모가 뒤섞인 500페이지 분량의 거대한 미스터리 소설을 풀려고 노력 중이라고 상상해 보십시오. 당신은 (AI인) 숙련된 탐정입니다. 하지만 당신은 기억력이 매우 짧아서, 한 번에 약 10페이지 정도만 머릿속에 담아둘 수 있습니다.

이것이 바로 이 논문이 다루는 멀티모달 문서 질의응답(Multimodal Document QA) 문제입니다. 현재의 AI 시스템들은 이 책을 아주 작고 평면적인 조각들로 잘게 쪼갠 뒤(마치 퍼즐을 개별 사각형 조각으로 자르는 것처럼), 그 조각들을 검색하여 문제를 해결하려 합니다. 문제는 이 과정에서 그림(이미지)이 파괴된다는 것입니다. 차트가 그 캡션과 분리되고, 그래프가 그것을 설명하는 문단과 떨어지게 됩니다. AI는 결국 "의미론적 파편(semantic fragments)"을 갖게 됩니다. 즉, 그 자체로는 의미를 알 수 없는 퍼즐 조각들을 보게 되는 것입니다.

또한, AI가 질문을 던졌을 때 부분적인 답변만 얻게 되면, 관련 없는 페이지들을 반복해서 검색하거나 전체적인 맥락 없이 엉뚱한 섹션으로 표류하며 루프(loop)에 빠지곤 합니다. 이는 AI가 자신이 어디까지 왔는지에 대한 "거시적 지도(big picture map)"를 가지고 있지 않기 때문입니다.

G2-Reader는 이를 해결하기 위해 설계된 새로운 시스템입니다. 저자들은 두 개의 진화하는 그래프(두 가지 서로 다른 유형의 지도라고 생각하십시오)가 함께 작동하는 솔루션을 제안합니다.

1. 콘텐츠 그래프(Content Graph): "살아있는 백과사전"

콘텐츠 그래프는 문서를 평면적인 조각으로 자르는 대신, 콘텐츠 그래프를 구축합니다.

비유: 문서를 단순히 종이 뭉치가 아니라 하나의 도시라고 상상해 보십시오.
- 노드 (건물): 각 문단, 표, 또는 도형은 건물입니다.
- 엣지 (도로): 이들 사이의 연결은 도로입니다. 캡션은 그림과 연결되는 도로이고, 참조(reference)는 이전 문단과 연결되는 도로입니다.
마법 (진화): 기존 시스템에서 이러한 도로는 단순히 물리적 근접성(무엇이 무엇 옆에 있는지)에 기반합니다. 하지만 G2-Reader에서 시스템은 도시 계획가처럼 계속 거리를 걷습니다. 시스템은 "이 건물이 저 건물과 실제로 연관이 있는가?"라고 묻습니다.
- 만약 1장에 있는 차트가 5장의 그래프를 설명한다면, 계획가는 이 둘을 연결하는 새로운 보이지 않는 도로를 건설합니다.
- 시스템은 이웃한 요소들로부터 얻은 맥락을 포함하도록 건물들의 "표지판(요약)"을 업데이트합니다.
- 결과: AI는 단순히 떠다니는 차트를 보는 것이 아니라, 그 차트가 들려주는 이야기와 연결된 차트를 보게 됩니다. 이는 문서의 "고유 구조(native structure)"를 보존합니다.

2. 플래닝 그래프(Planning Graph): "에이전트 탐정의 수첩"

도시 지도가 구축되면, 이제 AI는 구체적인 질문을 해결해야 합니다. 여기서 플래닝 그래프가 등장합니다.

비유: 복잡한 사건을 해결하려는 탐정을 상상해 보십시오. 단순히 추측하는 대신, 그들은 **하위 질문들의 순서도(flowchart)**를 수첩에 적습니다.
- 루트 (Root): 메인 질문 ("누가 쿠키를 훔쳤는가?")
- 브랜치 (Branches): 작은 질문들 ("집사가 방에 들어왔는가?", "쿠키 병 뚜껑이 열려 있었는가?")
마법 (동적 재계획):
- AI는 에이전트로서 행동합니다. 순서도를 따라가며, 각 하위 질문에 대한 증거를 찾기 위해 "콘텐츠 그래프(도시)"를 조사합니다.
- "증거 검사기": 단서를 모은 후, 시스템의 특수 부품이 품질 관리 검사관처럼 작동합니다. 이 검사관은 수첩을 보고 묻습니다. "우리가 메인 사건을 해결할 충분한 증거를 확보했는가?"
- "재계획(Replan)": 만약 검사관이 "아니오, 집사의 알리바이에 대한 데이터가 부족합니다"라고 말한다면, 시스템은 그냥 추측하지 않습니다. 대신 순서도를 다시 씁니다. 시스템은 누락된 알리바이를 찾기 위해 수첩에 새로운 브랜치를 추가합니다.
- 결과: AI는 결코 루프에 빠지지 않습니다. 자신이 무엇을 알고 있고 무엇을 더 찾아야 하는지에 대한 지속적인 기억을 가지고 있으며, 이를 통해 단계별로 정답을 향해 나아갑니다.

이들이 어떻게 함께 작동하는가

콘텐츠 그래프를 도서관(책들이 완벽하게 정리되어 있고 상호 참조가 되어 있는 곳)으로, 플래닝 그래프를 사서의 전략(어떤 책을 찾을지에 대한 단계별 계획)으로 생각하십시오.

사서(플래닝 그래프)는 큰 질문을 작은 과업들로 나눕니다.
각 과업을 수행하기 위해 사서는 도서관(콘텐츠 그래프)으로 갑니다. 도서관은 "살아있는" 연결 고리들로 구성되어 있기 때문에, 사서는 관련된 텍스트, 표, 이미지가 모여 있는 정확한 클러스터를 즉시 찾아냅니다.
만약 사서가 단서를 놓쳤다는 것을 깨달으면, 단순히 정처 없이 헤매는 것이 아니라 전략 지도를 업데이트하고, 누락된 특정 조각을 찾기 위해 다시 도서관으로 돌아갑니다.

결과

저자들은 이 시스템을 슬라이드, 과학 논문, 표와 같은 까다로운 질문을 다루는 VisDoMBench라는 벤치마크에서 테스트했습니다.

그들은 오픈 소스 AI 모델인 Qwen3-VL-32B를 "두뇌"로 사용했습니다.
성과: G2-Reader는 66.21%의 정확도를 달성했습니다.
비교: 이는 단독으로 수행하는 최고의 오픈 소스 모델들(29.90%)을 능가했으며, 심지어 단독으로 **53.08%**를 기록한 거대한 독점형 "슈퍼 모델"(GPT-5)조차 앞질렀습니다.

핵심 요약

이 논문은 복잡한 다중 페이지 문서(그림과 표가 포함된)의 경우, 가공되지 않은 강력한 힘보다 구조가 더 중요하다고 주장합니다. AI에게 문서에 대한 구조화된 지도(콘텐츠 그래프)와 이를 검색하는 동적인 계획(플래닝 그래프)을 제공함으로써, 더 작은 규모의 오픈 소스 AI가 모든 것을 한꺼번에 읽으려고 시도하는 훨씬 더 크고 "멍청한" 시스템들을 압도할 수 있음을 보여줍니다.

이 논문은 이것이 아직 의료 진단이나 법정에서 사용될 준비가 되었다고 주장하는 것이 아닙니다. 단지 이 "이중 그래프(dual-graph)" 아키텍처가 복잡한 문서를 읽고 추론하는 데 있어 더 우월한 방식임을 증명하는 것입니다.

기술 요약: G2-Reader: 멀티모달 문서 QA를 위한 이중 진화 그래프

문제 정의

검색 증강 생성(RAG)은 긴 문서에 대한 질의응답을 위한 지배적인 패러다임으로 부상했습니다. 그러나 현재의 RAG 시스템은 텍스트, 표, 그림이 여러 페이지에 걸쳐 얽혀 있는 멀티모달 긴 문서(예: 학술 논문, 슬라이드 덱, 교과서)에 적용될 때 심각한 한계에 직면합니다. 본 논문은 기존 방식에서 발생하는 두 가지 결합된 위기를 식별합니다:

표현의 과제 (The Representation Challenge): 표준 RAG 파이프라인은 문서를 독립적인 텍스트 청크로 평탄화(flatten)합니다. 이러한 "평탄한 청킹(flat chunking)"은 문서의 고유한 구조와 교차 모달 정렬(예: 그림과 그 캡션 간의 분리, 참조 텍스트와의 분리)을 깨뜨립니다. 결과적으로, 검색된 컨텍스트는 고립된 상태에서 해석하기 어려운 의미론적 파편이 됩니다.
검색의 과제 (The Retrieval Challenge): 전통적인 RAG는 긴 컨텍스트 환경에서 종종 단판 승부(one-shot) 방식이며 취약합니다. 단계별로 쿼리를 정교화하기 위해 반복적 검색(iterative retrieval)이 도입되었으나, 이는 부분적인 증거에 매몰되거나 노이즈가 축적됨에 따라 무관한 섹션으로 표류하는 현상이 발생하여 긴 멀티모달 설정에서 자주 실패합니다. 이는 각 단계가 지속적인 전역 검색 상태 없이 현재의 스니펫(snippet)에 의해서만 가이드되기 때문입니다.

방법론: G2-Reader

이 문제를 해결하기 위해 저자들은 증거 표현과 검색 추론 모두를 발전시키는 이중 그래프 시스템인 G2-Reader를 제안합니다. 이 시스템은 서로 밀접하게 결합되어 진화하는 두 개의 그래프를 통해 작동합니다.

1. 콘텐츠 그래프 ( $G_C$ ): 구조화된 멀티모달 표현

평탄한 청킹 대신, G2-Reader는 문서 고유의 레이아웃과 교차 모달 의미론을 보존하기 위해 이종(heterogeneous) 멀티모달 콘텐츠 그래프를 구축합니다.

구축: 문서는 원자적 단위(단락, 표, 캡션이 포함된 그림)로 파싱되어 노드 집합 $V$ 를 형성합니다. 엣지는 읽기 순서(슬라이딩 윈도우)를 기반으로 초기화됩니다.
결합 진화: 그래프는 시각-언어 모델(VLM)에 의해 구동되는 반복적인 진화 과정( $T$ $T$ 단계)을 거칩니다. 각 단계에서 VLM은 노드 속성(요약 및 키워드)과 그래프 토폴로지(엣지)의 **결합 업데이트(joint update)**를 수행합니다.
- 속성 업데이트: VLM은 이웃으로부터의 컨텍스트를 통해 노드 요약을 풍부하게 하고, 암시적 참조를 해결하며, 차별화된 특징을 강조합니다.
- 토폴로지 업데이트: VLM은 단순한 유사성을 넘어 의미 있는 논리적 연결(예: 설명, 인과관계, 교차 모달 접지)을 식별하여 실질적인 의존성의 희소 집합(sparse set)을 생성합니다.
검색: 증거는 구조 인식 판독 연산자(structure-aware readout operator)를 통해 검색됩니다. 쿼리가 주어지면 노드들은 유사도에 따라 순위가 매겨지며, 상위 노드들은 그래프 내의 즉각적인 이웃들을 포함하도록 확장되어 컨텍스트가 고려된 증거 조립을 보장합니다.

2. 플래닝 그래프 ( $G_P$ ): 에이전트 기반 추론 상태

플래닝 그래프는 추론 과정을 명시적으로 고정하는 유향 비순환 그래프(DAG)로서, 증거 조립을 위한 동적 상태 트래커 역할을 합니다.

초기화: 디컴포저(decomposer) 에이전트가 사용자 쿼리를 의존 관계가 인코딩된 원자적 하위 질문들의 초기 DAG로 분해합니다.
실행 및 정교화: 시스템은 위상 정렬 순서에 따라 하위 질문들을 실행합니다. 각 하위 질문에 대해, 워커(worker) 에이전트는 $G_C$ 로부터 로컬 증거 서브그래프를 검색하고 중간 답변을 생성합니다.
검증 및 재계획: 증거 체커(evidence checker)는 축적된 중간 답변들이 원래의 쿼리에 답하기에 충분한지 평가합니다.
- 충분하다면, 프로세스가 종료됩니다.
- 불충분하다면, 체커는 구체적인 공백(누락된 데이터, 모호성)을 식별합니다. 그러면 디컴포저가 이러한 공백을 타겟팅하기 위해 노드를 추가, 업데이트 또는 제거함으로써 플래닝 그래프를 정교화합니다.
합성: 충분성이 충족되면, 리즈너(reasoner) 에이전트가 원래의 쿼리와 검증된 구조적 증거 세트를 바탕으로 최종 답변을 합성합니다.

주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

문제 식별: 현재의 멀티모달 RAG 시스템이 가진 파편화된 증거 표현과 불안정한 롱 컨텍스트 검색의 결합된 한계를 공식적으로 식별했습니다.
이중 그래프 아키텍처: 멀티모달 문서 내의 의미론적 구조를 보존하는 콘텐츠 그래프와 증거 완성을 위한 단계적 탐색을 가이드하는 추론 상태를 유지하는 플래닝 그래프를 도입했습니다.
경험적 우월성: 다섯 가지 멀티모달 도메인(슬라이드, 웹 페이지, 학술 논문, 교과서, 과학 그래프)에 걸친 VisDoMBench 벤치마크에서 G2-Reader는 최첨단(SOTA) 성능을 달럽했습니다.

실험 결과

시스템은 오픈 소스인 Qwen3-VL-32B-Instruct를 백본으로 사용하여 VisDoMBench에서 평가되었습니다.

전반적인 성능: G2-Reader는 평균 **66.21%**의 정확도를 달성했습니다.
베이스라인과의 비교:
- 독점적인 프런티어 모델인 GPT-5(53.08%)를 13.13 퍼센트 포인트 차이로 크게 앞질렀습니다.
- 강력한 오픈 소스 베이스라인인 VisDoMRAG(65.01%)와 GraphRAG(50.86%)와 같은 특화된 그래프 기반 시스템을 능가했습니다.
- 제로샷 설정에서 사용된 기본 Qwen3-VL-32B 모델(29.90%) 대비 121%의 상대적 향상을 보여주었습니다.
절제 연구 (Ablation Studies):
- 멀티모달리티: 시각적 증거를 포함했을 때 평균 정확도가 8.4% 향상되었습니다.
- 구성 요소 시너지: 콘텐츠 그래프와 플래닝 그래프의 결합은 개별 기여도의 합을 초과하는 성능 이득(+4.8%)을 창출하여 강력한 상호 보완성을 입증했습니다.
- 반복적 정교화: 플래닝 그래프의 적절한 정교화(최대 3회 반복)는 성능을 개선했으나, 과도한 정교화는 수익 체감(diminishing returns)을 초래했습니다.
- 그래프 진화: 콘텐츠 그래프의 반복적 진화(최대 3라운드)는 노드 표현을 개선했으나, 오버 스무딩(over-smoothing)으로 인해 높은 반복 횟수에서는 성능이 하락했습니다.

의의 및 주장

본 논문은 구조화된 아키텍처가 오픈 소스 모델이 강력한 폐쇄형 프런티어 모델을 능가할 수 있도록 힘을 실어줄 수 있다는 가설을 G2-Reader를 통해 검증합니다. 복잡한 증거 조립을 위한 구조적 토대를 제공함으로써, 이중 그래프 접근 방식은 중간 규모 모델의 롱 컨텍스트 추론 한계를 효과적으로 보완합니다.

저자들은 이 방법론이 "문서=텍스트"에서 "문서=지식"으로의 패러다임 전환을 의미하며, 시각적으로 풍부한 문서를 명시적이고 재사용 가능한 외부 지식 구조로 변환한다고 강조합니다. 이 접근 방식은 더 통제 가능한 지식 관리와 멀티모달 긴 문서에 대한 견고한 추론을 용이하게 하며, 실제 시나리오에서 현재 RAG 시스템의 취약성을 해결합니다. 이 연구는 복잡한 멀티모달 추론 작업에서 정교한 증거 조직과 반복적 계획이 가공되지 않은 모델 스케일링이나 독점적 학습보다 더 효과적임을 시사합니다.