1. 문제 정의 (Problem)

다페이지 문서 시각적 질문 응답 (Multi-page DocVQA) 은 학술 논문, 재무 보고서, 산업 매뉴얼 등 시각적으로 밀집된 긴 문서에서 의미론, 레이아웃, 시각적 요소 (표, 그림 등) 를 종합하여 추론해야 하는 핵심 과제입니다. 기존 방법론들은 다음과 같은 한계를 겪고 있습니다:

• OCR 기반 방법: 문서 이미지를 텍스트로 변환 후 추론하지만, 정교한 레이아웃 정보 손실과 OCR 오류가 누적되어 성능이 저하됩니다.
• OCR-free End-to-End 모델: 멀티모달 LLM 을 사용하여 전체 문서를 이미지 시퀀스로 처리하지만, 문서 길이가 길어질수록 계산 비용이 제곱으로 증가하고 (Quadratic attention), '중간 정보 손실 (Lost-in-the-middle)' 현상으로 인해 성능이 떨어집니다.
• 기존 RAG (검색 증강 생성) 방식: 상위 k 개의 페이지만 검색하여 생성에 활용하지만, 검색 오류에 민감하고, 고정된 하이퍼파라미터에 의존하며, 새로운 증거가 발견되더라도 전략을 동적으로 수정하지 못하는 수동적 (Passive) 인 접근 방식을 취합니다.

2. 제안 방법론 (Methodology)

저자들은 인간이 문서를 읽을 때 전체 구조를 먼저 파악한 후, 목적 지향적으로 필요한 정보를 탐색하고 검증한다는 '활성 시선 (Active Vision)' 이론에 영감을 받아 Doc-V∗ 를 제안했습니다. 이는 OCR 없이 작동하는 에이전트 (Agent) 프레임워크로, 다페이지 DocVQA 를 순차적 증거 수집 (Sequential Evidence Aggregation) 과정으로 재정의합니다.

핵심 구성 요소:

1. 글로벌 썸네일 개요 (Global Thumbnail Overview):
   • 상호작용 시작 전, 문서의 모든 페이지를 저해상도 썸네일로 변환하여 그리드 형태로 제공합니다.
   • 이를 통해 에이전트는 고해상도 페이지를 로드하기 전에 문서의 전체 구조 (섹션 배치, 차트 분포 등) 를 파악하고 탐색 전략을 수립합니다.
2. 상호작용 행동 공간 (Action Space):
   • 검색 (Retrieval): 텍스트 쿼리를 기반으로 관련 페이지를 검색 (Ctrl+F 와 유사).
   • 페치 (Fetch): 특정 페이지 번호나 인접 페이지를 직접 요청하여 고해상도 내용을 확인.
   • 답변 (Answer): 충분한 증거가 수집되면 최종 답변 생성.
3. 구조화된 시각적 추론 (Structured Visual Reasoning):
   • ReAct 패턴 적용: 에이전트는 매 단계에서 <analysis> (분석), <plan> (계획), <summary> (요약) 를 포함하는 사고 과정을 거쳐야 하며, 그 후 단일 행동 (<action>) 을 실행합니다.
   • 작업 기억 (Working Memory): 이전 단계의 요약 정보를 누적하여 에이전트가 문맥을 잊거나 불필요한 페이지를 반복 조회하는 것을 방지합니다.
4. 두 단계 학습 전략:
   • 지도 미세 조정 (SFT): GPT-4o 와 같은 강력한 교사 모델이 생성한 고품질 상호작용 궤적을 통해 에이전트의 도구 사용 능력과 추론 패턴을 학습시킵니다.
   • 그룹 상대적 정책 최적화 (GRPO): 정답 정확도, 증거 수집 효율성, 형식 준수 등을 종합한 보상 함수를 사용하여, 에이전트가 불필요한 페이지를 조회하지 않고 최적의 증거를 찾는 정책을 강화학습합니다.

3. 주요 기여 (Key Contributions)

• 능동적 지각 패러다임 도입: 고정된 입력을 처리하는 기존 방식과 달리, 에이전트가 썸네일 개요를 바탕으로 능동적으로 페이지를 탐색하고 증거를 점진적으로 수집하는 Coarse-to-Fine (거시에서 미시) 전략을 제시했습니다.
• OCR-free 에이전트 프레임워크: OCR 없이 시각적 정보와 레이아웃을 직접 활용하면서도 긴 문서 처리를 가능하게 하여, 레이아웃 정보 손실과 OCR 오류를 모두 해결했습니다.
• 효율성과 정확도의 균형: 단순히 입력 페이지 수를 늘리는 것이 아니라, 선택적 주의 (Selective Attention) 를 통해 관련 증거만 선별적으로 집계함으로써 계산 비용을 줄이고 정확도를 높였습니다.
• 강화학습 기반 최적화: GRPO 를 통해 답변 정확도와 증거 탐색 효율성을 동시에 최적화하여, 소규모 오픈소스 모델이 대규모 상용 모델과 경쟁할 수 있는 수준으로 끌어올렸습니다.

4. 실험 결과 (Results)

5 개의 벤치마크 (DUDE, MP-DocVQA, SlideVQA, MMLongBench-Doc, LongDocURL) 에서 광범위한 실험을 수행했습니다.

• 성능 향상:
  • 오픈소스 모델 중 최상위: 5 개 벤치마크 중 4 개에서 오픈소스 베이스라인을 압도적으로 상회했습니다.
  • 상용 모델 경쟁: GPT-4o, Claude-3.7-Sonnet 과 같은 상용 모델과 유사하거나 더 나은 성능을 기록했습니다 (예: DUDE 에서 64.5 ANLS, GPT-4o 는 54.1).
  • OOD (Out-of-Domain) 성능: 훈련 도메인과 다른 데이터셋에서 RAG 베이스라인 대비 최대 47.9% 의 성능 향상을 보이며 뛰어난 일반화 능력을 입증했습니다.
• 효율성 분석:
  • 페이지 선택의 질: RAG 는 입력 페이지 수를 늘려도 노이즈가 증가하여 성능이 저하되는 비단조적 경향을 보인 반면, Doc-V∗ 는 적은 페이지 수로도 높은 Page-F1 점수를 기록하며 정확한 증거 선별 능력을 입증했습니다.
  • 장문 문서 처리: 80 페이지 이상의 긴 문서에서도 성능이 급격히 떨어지지 않고 일관된 강세를 보였습니다.
  • 검색 도구 내성: 검색 도구 (ColQwen, BM25 등) 의 성능이 낮아도 에이전트가 스스로 누락된 정보를 찾아내는 능동적 보상으로 인해 성능 저하가 제한적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 긴 문서 이해의 핵심이 단순히 많은 정보를 입력하는 것이 아니라, 효율적으로 증거를 수집하고 통합하는 능력에 있음을 보여줍니다. Doc-V∗ 는 수동적인 검색 증강 생성 (RAG) 을 넘어, 인간과 유사한 능동적 탐색 (Active Exploration) 전략을 통해 복잡한 문서 VQA 문제를 해결하는 새로운 패러다임을 제시했습니다. 이는 제한된 컴퓨팅 자원으로도 긴 문서에 대한 정밀한 추론이 가능함을 증명하며, 향후 문서 분석 및 지식 기반 에이전트 개발에 중요한 방향성을 제시합니다.