💬 NLP

DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding

DocMemo는 3단계 메모리 시스템과 베이지안 신념 업데이트를 통해 증거를 동적으로 탐색함으로써, 기존의 멀티모달 문서 분석 방법들이 가진 정적 검색 및 취약한 라운드 간 상태 전파의 한계를 극복하고 긴 문서 이해를 향상시키는 메모리 가이드 프레임워크이다.

원저자: Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀려고 노력하고 있다고 상상해 보십시오. 하지만 단서들은 단 하나의 공책에 숨겨져 있는 것이 아니라, 각각 수백 페이지에 달하는 수백 권의 책들이 있는 도서관 곳곳에 흩어져 있습니다. 어떤 단서는 텍스트로 쓰여 있고, 어떤 것은 복잡한 차트 속에 숨겨져 있으며, 또 다른 것들은 아주 작은 도표 속에 숨어 있습니다. 이것이 바로 인공지능을 위한 '긴 문서 이해(long-document understanding)'의 세계입니다. 현재 대부분의 AI 모델은 도서관 전체를 한꺼번에 읽으려는 학생처럼 행동합니다. 하지만 그들의 뇌(또는 '컨텍스트 창')는 그 모든 것을 담기에는 너무 작기 때문에, 먼저 읽을 몇 개의 페이지를 골라야만 합니다. 문제는, 만약 그들이 처음에 잘못된 페이지를 고른다면, 그들은 그 상태로 갇혀버려 실수를 바로잡을 수 없다는 것입니다. 다른 더 똑똑한 AI 모델들은 몇 페이지를 읽고, 생각하고, 그다음 더 많은 것을 읽으려고 시도하지만, 종종 이전 단계에서 배운 것을 잊어버려 매번 새로운 검색을 마치 처음 하는 것처럼 취급하곤 합니다. DocMemo라는 제목의 이 논문은 AI가 생각하는 새로운 방식을 제안합니다. 즉, AI에게 이미 배운 것, 여전히 찾아야 할 것, 그리고 도서관의 페이지들이 어떻게 연결되어 있는지를 기억하는 데 도움이 되는 '기억(memory)'을 부여함으로써, AI가 혼란에 빠진 로봇이 아니라 인간 탐정처럼 단서를 추적할 수 있도록 하는 것입니다.

DocMemo의 연구진인 한수 야오(Hanshu Yao)와 그의 팀은 기존의 AI 시스템이 너무 경직되어 있거나 너무 망각하기 때문에 어려움을 겪는다는 점을 깨달았습니다. 어떤 시스템은 시작 단계에서 읽을 페이지를 고정된 세트로 선택하여 그대로 고수하며, 이 과정에서 가장 중요한 단서를 놓치기도 합니다. 또 다른 시스템은 여러 차례에 걸쳐 검색을 시도하지만, 한 라운드와 다음 라운드 사이의 점들을 연결하지 못해 매번 사실상 처음부터 다시 시작합니다. 이를 해결하기 위해, 팀은 문서 읽기를 동적인 탐색으로 취급하는 시스템을 구축했습니다. 단순히 페이지를 가져오는 대신, DocMemo는 탐정의 사건 파일 역할을 하는 '3단계 메모리(tri-level memory)'를 유지합니다. 첫째, **문서 스키마 메모리(Document Schema Memory)**가 있는데, 이는 도서관의 레이아웃 지도와 같아서 표나 장(chapter)과 같은 서로 다른 유형의 정보가 보통 어디에 위치하는지 알고 있습니다. 둘째, **페이지 신념 메모리(Page Belief Memory)**가 있는데, 이는 어떤 페이지에 답이 있을 가능성이 높은지에 대한 '직감'을 담은 살아있는 목록입니다. 이 목록은 고정되어 있지 않으며, '베이지안 업데이트(Bayesian updating)'라는 수학적 기법을 사용하여 새로운 증거가 발견될 때마다 다음 무엇을 찾아야 할지에 대해 더 똑똑해지며 업데이트됩니다. 마지막으로, **질문 에피소드 메모리(Question Episodic Memory)**는 탐정 자신의 여정, 즉 던졌던 질문들, 부딪혔던 막다른 길, 그리고 그 과정을 통해 정교해진 질문들을 기록합니다.

DocMemo를 진정으로 특별하게 만드는 것은 이 메모리를 사용하여 실시간으로 전략을 변경하는 방식입니다. AI가 불확실할 때, 모델은 확신하는 페이지를 확인하는 것과 확신이 덜한 페이지를 탐색하는 것 사이의 균동을 맞추기 위해 '톰슨 샘플링(Thompson sampling)'이라는 방법을 사용합니다. 이는 마치 가장 유력한 용의자를 확인하면서도 수상한 낯선 사람에게도 계속 눈길을 주는 탐정과 같습니다. 만약 AI가 관련 있는 페이지를 발견하면, 거기서 멈추지 않고 '공간 근접성 전파(spatial proximity propagation)'를 사용하여 답이 그 옆 페이지에도 있을 것이라고 가정합니다. 왜냐하면 긴 문서에서의 단서들은 흔히 서로 모여 있기 때문입니다. 또한, AI가 밀도가 높은 표나 복잡한 차트가 있는 페이지를 발견하면, 페이지 전체를 보는 대신 '적응형 입도 증거 접근(adaptive-granularity evidence access)'이라는 기능을 통해 세부 사항을 자세히 들여다보며 확대합니다.

팀은 이 새로운 탐정을 학술 논문과 수백 페이지에 달하는 긴 보고서를 포함한 세 가지 서로 다른 도전적인 문서 세트로 테스트했습니다. 결과는 유망했습니다: DocMemo는 기존의 최선 방법들을 지속적으로 능가했습니다. MMLongBench-Doc이라는 특정 벤치마크에서, DocMemo는 71.3%의 정확도를 달 achievement 하며 이전의 최고 성능 모델들을 앞질렀습니다. 연구진은 과거의 검색을 기억하고 페이지 관련성에 대한 '직감'을 업데이트하는 시스템의 능력이 성공의 핵심임을 발견했습니다. 실제로, 테스트 과정에서 메모리 구성 요소를 제거했을 때 시스템의 성능이 크게 떨어졌는데, 이는 메모리가 단순히 있으면 좋은 기능이 아니라 개선을 이끄는 엔진임을 입증합니다. 이 연구는 AI에게 탐색을 기억하고 신념을 동적으로 업데이트할 수 있는 구조화된 방식을 제공함으로써, 우리가 거대한 문서 속의 복잡한 퍼즐을 이전보다 훨씬 더 효과적으로 해결하도록 도울 수 있음을 시사합니다.

기술 요약: DocMemo

문제 정의

장문 문서 시각 질의응답(DocVQA)은 수백 페이지에 달하는 문서 전반에 걸쳐 흩어져 있는 희소하고 이질적인 증거(텍스트, 표, 그림, 레이아웃)를 찾아내야 합니다. 핵심 과제는 단순히 긴 입력을 처리하는 것이 아니라, 제한된 증거 예산 내에서 관련 페이지를 동적으로 탐색, 업데이트 및 통합하는 것입니다.

기존 시스템은 두 가지 주요 한계점에 직면해 있습니다:

정적 검색(Static Retrieval): 단일 턴 방식은 추론이 시작되기 전에 후보 페이지 집합을 고정합니다. 만약 초기에 핵심 증거를 놓치면 시스템은 이를 복구할 수 없으며, 이는 경직된 일회성 파이프라인으로 이어집니다.
취약한 반복 검색(Fragile Iterative Retrieval): 최근의 반복적 방법들은 다회차 획득을 허용하지만, 교차 라운드 상태를 전파하는 메커니즘이 부족합니다. 정보는 일반적으로 컨텍스트 재구성을 통해 유지되며, 이는 각 라운드를 구조화된 탐색이 아닌 독립적인 검색 이벤트로 취급하게 만듭니다. 이로 인해 페이지 관련성의 동적 변화를 추적하거나 중간 추론 신호를 기반으로 검색 궤적을 정교화하는 능력이 결여됩니다.

방법론: DocMemo 프레임워크

DocMemo는 장문 문서 추론을 **동적 증거 탐색(dynamic evidence exploration)**으로 정식화한 메모리 가이드 프레임워크를 제안합니다. 이는 연속적인 상태 정교화를 가능하게 하기 위해 메모리와 검색을 분리합니다.

1. 3단계 문서 메모리

시스템은 추론 라운드 전반에 걸쳐 구조화된 메모리 상태 $\mathcal{M}^{(t)} = (\mathcal{M}_{schema}, \mathcal{M}^{(t)}_{belief}, \mathcal{M}^{(t)}_{epi})$ 를 유지합니다:

문서 스키마 메모리 ( $\mathcal{M}_{schema}$ ): 문서 유형, 주제 설명, 페이지 범위 및 주제 레이블의 구조적 인덱스로부터 구축된 오프라인의 쿼리 독립적 사전 지식입니다. 이는 고정된 내비게이션 가이드 역할을 합니다.
페이지 신념 메모리 ( $\mathcal{M}^{(t)}_{belief}$ ): 베타 분포(Beta distribution) $Beta(\alpha_i, \beta_i)$ 를 사용하여 각 페이지의 관련성 확신도를 모델링하는 동적 상태입니다. $\alpha_i$ 와 $\beta_i$ 는 각각 관련성 및 비관련성에 대한 증거를 축적합니다. 이 메모리는 교차 라운드 피드백과 함께 진화합니다.
질의 에피소드 메모리 ( $\mathcal{M}^{(t)}_{epi}$ ): 중간 발견 사항, 미충족 정보 요구, 쿼리 정교화 궤적에 대한 쿼리별 기록입니다. 이를 통해 시스템은 원래의 쿼리에서 다시 시작하는 대신 기존의 증거 체인을 따라 탐색 공간을 좁힐 수 있습니다.

2. 베이지안 페이지 신념 업데이트 및 톰슨 샘플링

DocMemo는 페이지 선택을 신뢰도 업데이트 과정으로 취급합니다:

베이지안 업데이트: 각 추론 라운드 후, 시스템은 유용한( $U_t$ ) 페이지와 무관한( $V_t$ ) 페이지를 식별합니다. 신념은 베타-베르누이 공액(Beta-Bernoulli conjugacy)을 통해 업데이트됩니다: $\alpha_i \leftarrow \alpha_i + \mathbb{I}[i \in U_t]$ 및 $\beta_i \leftarrow \beta_i + \mathbb{I}[i \in V_t]$ .
공간적 전파: 장문 문서 내 증거의 국소성에 착안하여, 페이지 $i$ 에 대한 양의 피드백은 거리 감쇠 계수 $\gamma$ 를 가진 인접 페이지 $j$ (반경 $r$ 이내)로 전파됩니다. 잠재적으로 관련 있는 인근 페이지를 억제하는 것을 방지하기 위해 음의 피드백은 전파되지 않습니다.
톰슨 샘플링: 탐색(Exploitation)과 탐험(Exploration)의 균형을 맞추기 위해, 시스템은 각 페이지에 대해 사후 베타 분포로부터 관련성 추정치 $\theta^{(t)}_i$ 를 샘플링합니다.
후보 점수 산정: 최종 점수는 현재의 시각적 유사도 $c^{(t)}_i$ 와 샘플링된 신념 $\theta^{(t)}_i$ 를 결합합니다: $score^{(t)}_i = (1 - \lambda_t)c^{(t)}_i + \lambda_t\theta^{(t)}_i$ . 가중치 $\lambda_t$ 는 반복에 따라 증가하며, 원시 시각적 유사도에서 축적된 메모리 확신도로 의존도를 전환합니다.

3. 적응형 입도 증거 접근

정보 밀도가 높은 영역(예: 표)을 처리하기 위해, 시스템은 상세한 레이아웃 이해를 보장하도록 추론 중에 전체 페이지 컨텍스트를 세밀한 시각적 영역(고해상도 크롭)으로 보완합니다.

주요 기여

메모리 가이드 프레임워크: 구조적 사전 지식, 동적 페이지 신념, 쿼리별 추론 궤적을 분리하여 문서 탐색을 조직하는 DocMemo를 도입했습니다.
확률적 상태 모델링: 톰슨 샘플링과 공간적 연속성 전파를 갖춘 베이지안 페이지 신념 업데이트를 구현하여, 라운드 전반에 걸친 불확실성 인식 및 국소성 인식 동적 검색을 가능하게 했습니다.
실증적 검증: 세 가지 장문 문서 DocVQA 벤치마크에서 최첨단 성능을 입증하였으며, 구조화된 메모리와 동적 신념 업데이트의 필요성을 확인하는 절제 연구(ablation studies)를 수행했습니다.

실험 결과

DocMemo는 MMLongBench-Doc, LongDocURL, PaperTab에서 평가되었습니다.

전반적인 성능: DocMemo는 세 가지 벤치마크에서 평균 **77.6%**의 정확도를 달 기록하며, 독점 모델(예: GPT-4o, Claude-4-Sonnet) 및 오픈 소스 에이전트 시스템(예: SimpleDoc, DocLens)을 포함한 강력한 베이스라인들을 능가했습니다.
- MMLongBench-Doc에서 **71.3%**의 정확도를 달성했습니다 (다음으로 우수한 에이전트 베이스라인인 AgenticOCR의 67.4% 대비).
- LongDocURL에서 **81.1%**를 달성했습니다 (SimpleDoc의 72.3% 대비).
- PaperTab에서 **80.4%**를 달성했습니다 (SimpleDoc의 65.4% 대비).
세부 분석: 모델은 표 중심(TAB) 및 답변 불가능(UNA) 카테고리에서 상당한 이득을 보였으며, 이는 축적된 교차 라운드 상태를 통해 개선된 증거 국소화 및 답변 불가능한 쿼리에 대한 더 나은 처리 능력을 시사합니다.
효율성: DocMemo는 높은 정확도를 달성하기 위해 필요한 검색 반복 횟수를 베이스라인 대비 감소시켰습니다 (1.18배의 정확도 이득을 위해 0.41배의 반복 횟수 사용). 결과적으로 2.40배의 전체 효율성 향상을 가져왔습니다.
절제 연구: 3단계 메모리 또는 베이지안 업데이트를 제거하면 정확도가 크게 하락하여(71.3%에서 ~68.5%로), 동적 신념 수정과 구조화된 메모리가 견고한 추론에 필수적임을 입증했습니다.

의의

본 논문은 장문 문서 추론을 개선하는 핵심이 문서 탐색 상태를 명시적으로 모델링하고 지속적으로 업데이트하는 것에 있다고 주장합니다. 반복적 검색을 단순한 컨텍스트 축적이 아닌, 지속적인 문서 지식, 동적 페이지 신념, 쿼리 로컬 경험에 의해 구동되는 구조화된 증거 탐색으로 변환함으로써, DocMemo는 정적 및 무상태(stateless) 반복 방식의 한계를 해결합니다. 이 프레임워크는 안정적인 문서 사전 지식과 빠르게 변화하는 관련성 신념을 분리함으로써, 에이전트가 초기 검색 오류로부터 회복하고 탐색 궤적을 적응적으로 정교화할 수 있음을 보여줍니다.