SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

1. 문제 정의 (Problem)

다중 페이지 시각 문서 (매뉴얼, 브로슈어, 프레젠테이션 슬라이드, 포스터 등) 는 텍스트뿐만 아니라 레이아웃, 색상, 아이콘, 그리고 페이지 간 참조를 통해 핵심 정보를 전달합니다. 이러한 문서는 금융, 과학, 기술 등 고위험 분야에서 의사결정의 기초가 되지만, 현재 멀티모달 대규모 언어 모델 (MLLM) 기반 시스템은 다음과 같은 한계를 겪고 있습니다.

• 세밀한 추론의 부재 (Scalable Fine-Grained Reasoning): 최신 MLLM 은 한 번에 처리할 수 있는 이미지 수가 제한적이며, 각 페이지를 전체적으로 (holistically) 처리하는 경향이 있어 사용자의 질의에 필요한 미세한 요소 (차트, 표, 특정 텍스트 블록) 수준의 단서를 놓칩니다.
• 도메인 특화 시각 의미의 이해 부족 (Domain-Specific Visual Semantics): 자연 이미지로 사전 훈련된 MLLM 은 재무 차트, 과학 도표, 로고, 색상 코딩 (예: 빨간색=손실, 초록색=이익), 아이콘의 추상적 의미 등을 제대로 해석하지 못합니다. 또한 공간적 추론 (Spatial Reasoning) 능력이 부족하여 시각 요소의 위치를 정확히 파악하지 못합니다.
• 메타데이터 의존성 (Metadata-Free Integration): 실제 환경의 PDF 는 스캔본이거나 구조가 파괴된 경우가 많아, 장표 위치나 계층 구조 태그와 같은 메타데이터가 누락되거나 손상될 수 있습니다. 기존 시스템은 이러한 메타데이터에 의존하므로 실제 적용에 한계가 있습니다.

2. 방법론 (Methodology)

SlideAgent는 인간의 정보 처리 모델을 영감으로 삼아, 계층적 에이전트 프레임워크를 도입했습니다. 이 프레임워크는 전역 (Global), 페이지 (Page), 요소 (Element) 의 세 가지 수준으로 전문화된 에이전트를 사용하여 질의와 무관한 구조화된 지식을 구축한 후, 추론 단계에서 이를 활용합니다.

A. 지식 구축 단계 (Knowledge Construction Stage)

문서를 입력받으면 다음과 같은 3 단계의 계층적 지식을 생성합니다.

1. 전역 에이전트 (Global Agent):
   • 문서 전체의 개요, 목적, 서사 흐름을 파악합니다.
   • 시각적 처리 용량 제한으로 인해 처음 3 장을 샘플링하여 초기 전역 지식 ($K_g^{(0)}$) 을 생성한 후, 모든 페이지의 내용을 기반으로 이를 정제하여 최종 전역 지식 ($K_g$) 을 완성합니다.
2. 페이지 에이전트 (Page Agent):
   • 각 페이지 ($p_i$) 의 시각적 내용과 이전 페이지의 맥락, 그리고 전역 지식을 기반으로 페이지별 지식 ($K_p$) 을 순차적으로 생성합니다.
   • 이는 특정 페이지의 내용과 전역 맥락 간의 연결을 제공합니다.
3. 요소 에이전트 (Element Agent):
   • 레이아웃 파싱 파이프라인을 통해 각 페이지를 텍스트, 차트, 이미지 등 개별 요소 ($e_j$) 로 분해합니다.
   • 각 요소에 대해 경계 상자 (Bounding Box), 텍스트 내용, 요소 유형, 그리고 해당 요소의 의미적 역할과 기능을 상세히 설명하는 요소별 지식 ($K_e$) 을 생성합니다. 이는 공간적 관계를 보존하며 미세한 추론을 가능하게 합니다.

B. 추론 단계 (Inference Stage)

사용자의 질의 ($q$) 가 들어오면 다음과 같은 과정을 거칩니다.

1. 질의 분류 (Query Classification): 질의의 유형 (전역 이해, 사실 기반, 다단계 추론, 레이아웃/시각 관계 등) 을 분석하여 필요한 에이전트 세트를 동적으로 활성화합니다.
2. 서브쿼리 생성 및 검색 (Subquery Generation & Retrieval): 원본 질의에서 핵심 엔티티를 추출하여 서브쿼리를 생성하고, 이를 통해 관련 페이지와 요소를 검색합니다.
3. 답변 생성 및 통합 (Answer Generation & Synthesis): 활성화된 에이전트들이 각 수준 (전역, 페이지, 요소) 에서 답변과 추론 과정을 생성합니다. 답변 합성기 (Synthesizer) 는 이들을 통합하여 최종 답변을 도출합니다. 모든 에이전트가 일치하거나 특정 에이전트만 활성화된 경우 해당 결과를 바로 사용하며, 그렇지 않으면 모든 추론을 종합합니다.

3. 주요 기여 (Key Contributions)

• 메타데이터 없는 계층적 에이전트 프레임워크: 외부 메타데이터에 의존하지 않고 시각적 입력만으로 전역, 페이지, 요소 수준의 계층적 지식을 구축하여 복잡한 다중 페이지 문서 이해를 가능하게 했습니다.
• 미세 요소 수준의 추론 강화: 기존 페이지 단위 접근을 넘어 차트, 표, 텍스트 블록 등 요소 단위로 파싱하고 추론함으로써 공간적 추론 및 시각적 카운팅 정확도를 획기적으로 개선했습니다.
• 모델 중립성 (Model Agnostic): 다양한 MLLM (상용 및 오픈소스) 을 백본으로 사용할 수 있으며, 어떤 모델을 사용하든 일관된 성능 향상을 제공합니다.

4. 실험 결과 (Results)

SlideAgent 는 SlideVQA, TechSlides, FinSlides, InfoVQA 등 다양한 벤치마크에서 기존 모델 대비 우수한 성능을 입증했습니다.

• 성능 향상:
  • 상용 모델 (GPT-4o 기반): 기존 MLLM 대비 정확도 7.9% 향상.
  • 오픈소스 모델 (InternVL3-8B 기반): 기존 MLLM 대비 정확도 9.8% 향상.
  • 특히 다단계 추론 (Multi-hop Reasoning) 과 시각/레이아웃 관련 질문에서 가장 큰 개선 (약 9.8%~12.3% 향상) 을 보였습니다.
• 검색 효율성: 텍스트 기반 검색기 (SFR 등) 를 사용할 때, 입력 토큰 수를 90% 이상 줄이면서도 검색 품질을 유지하거나 향상시켰습니다.
• 오류 분석: OCR 오류나 작은 시각 요소로 인한 실패는 전체 실패 사례의 12.5% 에 불과했으며, 대부분의 오류는 질의의 모호함이나 검색 드리프트에서 발생하여, SlideAgent 의 구조적 접근이 효과적임을 시사합니다.

5. 의의 및 결론 (Significance)

SlideAgent 는 시각 문서 이해 분야에서 단순한 텍스트 추출을 넘어, 문서의 구조적 맥락과 시각적 요소 간의 관계를 심층적으로 이해하는 새로운 패러다임을 제시합니다.

• 실무 적용 가능성: 금융 보고서 분석, 기술 사양 검토, 교육 자료 생성 등 고위험 분야에서 정확한 정보 추출이 필요한场景에 직접 적용 가능합니다.
• 확장성: 메타데이터가 없는 실제 환경 (스캔본, 평평한 PDF 등) 에서도 강건하게 작동하며, 다양한 도메인과 문서 형식에 적용 가능한 범용성을 가집니다.
• 미래 방향: 요소 간 관계를 그래프로 모델링하거나, 저대비 레이아웃 파싱 강건성 향상, 멀티턴 대화 시나리오 확장 등을 통해 발전 가능성이 큽니다.

결론적으로 SlideAgent 는 멀티모달 LLM 의 한계를 보완하고, 복잡한 다중 페이지 시각 문서에 대한 정밀하고 해석 가능한 추론을 가능하게 하는 획기적인 프레임워크입니다.