LAD-RAG: Layout-aware Dynamic RAG for Visually-Rich Document Understanding

이 논문은 시각적으로 풍부한 문서의 구조적 조직과 교차 페이지 의존성을 포착하는 심볼릭 문서 그래프를 구축하고 추론 시 LLM 에이전트를 통해 적응적으로 증거를 검색하는 새로운 레이아웃 인식 동적 RAG 프레임워크인 'LAD-RAG'를 제안하여 기존 방법의 한계를 극복하고 질문 응답 정확도를 크게 향상시킨다고 설명합니다.

핵심

LAD-RAG: 문서의 '지도'를 그려주는 똑똑한 비서

이 논문은 시각적으로 풍부한 문서(예: 보고서, 슬라이드, 차트가 많은 PDF) 를 읽고 질문에 답할 때, 기존 AI 가 겪는 문제를 해결한 새로운 방법인 LAD-RAG를 소개합니다.

기존의 AI 비서들이 문서를 읽을 때 어떤 실수를 했는지, 그리고 LAD-RAG 가 어떻게 그 문제를 해결하는지 일상적인 비유로 설명해 드릴게요.

---

1. 기존 AI 의 문제: "조각난 퍼즐"과 "고정된 안경"

기존의 문서 검색 시스템 (RAG) 은 문서를 읽을 때 두 가지 큰 실수를 저지릅니다.

• 실수 1: 문맥을 잃어버린 조각들 (Loss of Layout)

  • 비유: 문서를 읽는다는 것이 마치 퍼즐 조각을 하나씩 잘라내어 무작정 가방에 넣는 것과 같습니다.
  • 문제: "이 보고서의 10 페이지에 있는 차트와 12 페이지의 결론을 연결해줘"라고 물으면, 기존 AI 는 10 페이지와 12 페이지가 서로 연결되어 있다는 걸 모릅니다. 조각만 보고 있으니, 10 페이지의 차트만 가져와서 "결론은 모르겠다"라고 답하거나, 아예 엉뚱한 조각을 가져옵니다.
  • 결과: 중요한 정보가 문서의 구조 (레이아웃) 나 페이지 간 연결고리에 숨어있을 때, AI 는 그걸 찾아내지 못해 엉뚱한 답을 합니다.

• 실수 2: 고정된 안경 (Static Top-k)

  • 비유: 질문의 난이도와 상관없이 항상 같은 수의 책장 (예: 5 장) 만 뒤지는 것입니다.
  • 문제: "오늘 날씨 어때?" 같은 쉬운 질문에는 1 장만 봐도 되는데, "이 보고서 전체의 흐름을 분석해줘" 같은 어려운 질문에는 50 장을 다 봐야 합니다. 그런데 기존 시스템은 무조건 5 장만 가져와서 답을 하려고 하니까, 중요한 정보가 빠져버립니다.

---

2. LAD-RAG 의 해결책: "지능형 도서관 사서"

LAD-RAG 는 이 문제를 해결하기 위해 문서를 단순히 텍스트로 저장하는 게 아니라, '지도 (Graph)'를 만들어서 저장합니다.

단계 1: ingestion (문서 읽기 & 지도 그리기)

• 기존 방식: 문서를 텍스트로 잘게 잘라서 숫자 (벡터) 로 변환해 저장.
• LAD-RAG 방식:
  • AI 가 문서를 한 장씩 읽으면서 문서의 구조를 파악합니다.
  • "이 제목은 이 단락의 머리글이야", "이 차트는 3 페이지의 결론과 연결돼", "이 표는 5 페이지의 데이터와 관련이 있어"라고 문서 내부의 관계 (엣지) 를 모두 연결합니다.
  • 비유: 마치 도서관 사서가 책을 읽으면서 책의 목차, 페이지 간 참조, 그림과 설명의 연결고리를 모두 적어낸 '초정밀 지도'를 그리는 것과 같습니다. 이 지도에는 텍스트 내용뿐만 아니라 "어디에 있는가", "무엇과 연결되는가"라는 정보도 담깁니다.

단계 2: inference (질문 받고 답하기)

• 기존 방식: 질문과 비슷한 단어만 가진 문서를 5 개 찾아서 보여줌.
• LAD-RAG 방식:
  • **스마트 비서 (LLM Agent)**가 질문을 받습니다.
  • 비서는 "이 질문은 3 페이지의 차트와 5 페이지의 결론을 연결해야 해"라고 판단합니다.
  • 그리고 **지도 (Symbolic Graph)**와 **내용 (Neural Index)**을 동시에 봅니다.
  • 동적 탐색: "아, 이 질문은 5 장만 봐서는 안 되겠네. 3 페이지부터 12 페이지까지 연결된 모든 조각을 찾아야겠다"라고 스스로 판단하여 필요한 만큼의 정보를 찾아냅니다.
  • 비유: 사용자가 "내 여행 계획서에서 비행기 티켓과 호텔 예약을 모두 찾아줘"라고 하면, 기존 비서는 '비행기'라는 단어만 찾아서 티켓만 가져오지만, LAD-RAG 비서는 '여행 계획서'라는 지도를 펼쳐서 티켓과 호텔이 서로 어떻게 연결되어 있는지 파악한 뒤, 두 정보를 모두 찾아서 가져옵니다.

---

3. 왜 이것이 중요한가요? (결과)

이 방법을 쓰니 놀라운 결과가 나왔습니다.

1. 완벽한 기억력 (90% 이상 Perfect Recall):
   • 중요한 정보가 문서의 어느 구석에 숨어있든, 누락 없이 모두 찾아냅니다. 마치 도서관 사서가 책장 전체를 훑어보며 필요한 책과 그 책의 참고 문헌까지 모두 찾아주는 것과 같습니다.
2. 불필요한 정보 제거:
   • 필요한 정보만 정확히 찾아내므로, AI 가 헛된 정보 (노이즈) 를 보지 않아도 되어 답변의 정확도가 훨씬 높아집니다.
3. 빠른 속도:
   • 복잡한 계산을 실시간으로 하지 않고, 미리 그려둔 '지도'를 활용하므로 속도도 느려지지 않습니다.

요약

LAD-RAG는 문서를 읽을 때 단순히 글자만 읽는 게 아니라, 문서의 구조와 페이지 간의 관계를 '지도'로 그려서 기억합니다. 그리고 질문에 답할 때는 그 지도를 보고 질문의 난이도에 맞춰 필요한 만큼의 정보를 찾아내는 똑똑한 비서 역할을 합니다.

이 덕분에 AI 는 이제 복잡한 보고서나 긴 문서를 다룰 때, 인간처럼 문맥을 이해하고 연결해서 더 정확한 답을 줄 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

시각적으로 풍부한 문서 (Visually-Rich Documents, VRDs; 예: 보고서, 슬라이드, 학술지, 차트 등) 에 대한 질문 응답 (QA) 작업은 단순한 텍스트 내용뿐만 아니라 문서의 레이아웃 구조와 교차 페이지 (cross-page) 의존성에 대한 추론이 필요합니다. 기존 Retrieval-Augmented Generation (RAG) 방식은 다음과 같은 한계를 가지고 있습니다.

1. 구조적 및 레이아웃 컨텍스트 손실: 기존 RAG 는 문서를 고립된 조각 (chunks) 으로 분리하여 인덱싱하므로, 문서의 계층적 구조, 읽기 순서, 시각적 그룹핑, 그리고 페이지 간의 연속성이 손실됩니다. 이로 인해 제목 슬라이드만 검색되고 그 뒤에 나열된 예시 페이지가 누락되는 등의 불완전한 증거 수집이 발생합니다.
2. 임베딩에 대한 과도한 의존: 심층 신경망 임베딩은 텍스트의 의미적 유사성에는 강하지만, 차트, 페이지 번호, 표 출처 등 상징적 (symbolic) 이나 구조적 단서에 의존하는 쿼리에는 취약합니다.
3. 정적 Top-k 검색: 기존 방식은 질문의 복잡도나 문서의 특성에 관계없이 고정된 수 (Top-k) 의 페이지만 검색합니다. 이는 필요한 증거가 너무 적게 포함되거나 반대로 불필요한 노이즈가 과도하게 포함되는 결과를 초래합니다.

2. 방법론 (Methodology: LAD-RAG)

저자들은 이러한 한계를 극복하기 위해 LAD-RAG (Layout-Aware Dynamic RAG) 프레임워크를 제안합니다. 이 프레임워크는 인식 (Ingestion) 단계와 추론 (Inference) 단계로 나뉩니다.

2.1 인식 단계 (Ingestion Phase)

문서를 처리할 때, 단순한 텍스트 임베딩뿐만 아니라 상징적 문서 그래프 (Symbolic Document Graph) 를 구축하여 저장합니다.

• LVLM 활용: GPT-4o 와 같은 대규모 시각 - 언어 모델 (LVLM) 을 사용하여 페이지 단위로 문서를 순차적으로 파싱합니다.
• 문서 그래프 (Document Graph, G) 구축:
  • 노드 (Nodes): 각 페이지의 요소 (단락, 제목, 표, 그림, 각주 등) 를 노드로 매핑합니다. 각 노드는 레이아웃 위치, 요소 유형, 표시된 콘텐츠, 자체 요약, 시각적 속성 등을 포함합니다.
  • 엣지 (Edges): 노드 간의 관계를 연결합니다. 이는 참조 관계 (예: 본문이 그림을 언급), 레이아웃/구조적 관계 (예: 같은 섹션에 속함, 페이지 간 연속성) 를 포함합니다.
  • 실행 메모리 (Running Memory): 페이지를 처리하면서 섹션 구조, 엔티티 언급, 주제 흐름 등을 추적하는 메모리를 유지하여 페이지 간 관계를 명확히 합니다.
• 이중 인덱싱 (Dual Indexing):
  1. 상징적 (그래프) 인덱스: 구조적 속성과 명시적 관계를 가진 그래프 객체.
  2. 신경 (Neural) 인덱스: 모든 노드의 자체 요약에 대한 벡터 임베딩.

2.2 추론 단계 (Inference Phase)

질문이 주어지면, LLM 에이전트가 신경 인덱스와 문서 그래프를 동적으로 상호작용하며 필요한 증거를 수집합니다.

• 동적 검색 전략: 에이전트는 질문의 성격에 따라 의미적 검색 (Neural), 구조적 검색 (Graph), 또는 하이브리드 방식을 선택합니다.
• 도구 인터페이스:
  • NeuroSemanticSearch: 의미적 유사성을 기반으로 증거 검색.
  • SymbolicGraphQuery: 그래프 속성 (유형, 섹션, 페이지) 으로 구조적 필터링 수행.
  • Contextualize: 검색된 노드를 기반으로 그래프 구조상 인접한 노드 (로컬 이웃 및 커뮤니티) 를 확장하여 완전한 증거 집합을 구성.
• 반복적 과정: 에이전트는 충분한 증거가 수집될 때까지 또는 컨텍스트 창 한계에 도달할 때까지 검색 - 평가 - 확장을 반복합니다.

3. 주요 기여 (Key Contributions)

1. 레이아웃 인식형 상징적 문서 그래프: 문서의 시각적 구조와 페이지 간 의존성을 포착하는 그래프를 인덱싱 단계에서 구축하여, 기존 RAG 가 놓치던 구조적 맥락을 보존합니다.
2. 신경 - 상징적 하이브리드 인덱싱: 의미적 풍부함 (Neural) 과 명시적 구조 (Symbolic) 를 결합하여, 다양한 유형의 쿼리 (의미 기반, 구조 기반) 에 모두 대응 가능한 검색을 가능하게 합니다.
3. 질문 적응형 동적 검색 에이전트: 고정된 Top-k 가 아닌, 질문의 복잡도와 필요에 따라 증거의 양과 범위를 동적으로 조절하는 에이전트 기반 검색을 도입했습니다.
4. 성능 입증: 다양한 벤치마크에서 기존 최첨단 방법론을 능가하는 검색 완전성 (Recall) 과 QA 정확도를 달성했습니다.

4. 실험 결과 (Results)

저자들은 MMLongBench-Doc, LongDocURL, DUDE, MP-DocVQA 등 4 개의 시각적 풍부 문서 벤치마크에서 LAD-RAG 를 평가했습니다.

• 검색 성능 (Retrieval):
  • Top-k 튜닝 없이 평균 90% 이상의 완벽한 회상률 (Perfect Recall) 을 달성했습니다.
  • 기존 베이스라인 (ColPali, RAPTOR, BM25 등) 과 유사한 노이즈 수준에서 최대 20% 높은 회상률을 기록했습니다.
  • 기존 방식이 완벽한 회상률을 얻기 위해 평균 20~27 개의 페이지를 검색해야 했던 반면, LAD-RAG 는 훨씬 적은 페이지로 동일한 성능을 달성했습니다.
• 질문 응답 성능 (QA Accuracy):
  • 검색된 증거를 기반으로 한 QA 정확도가 모든 모델 (InternVL2, GPT-4o 등) 에서 일관되게 향상되었습니다.
  • 특히 다중 페이지 (Multi-page) 질문에서 기존 Top-k 방식 대비 4~18%p의 정확도 향상을 보였습니다.
  • Ground-truth(정답) 페이지를 직접 사용하는 경우 (Oracle) 에 근접한 성능을 달성했습니다.
• 지연 시간 (Latency):
  • 그래프 구축은 오프라인에서 수행되며, 추론 시 에이전트가 수행하는 LLM 호출 횟수는 평균 2~5 회로 매우 적고, 토큰 생성량도 적어 추가 지연 시간이 미미합니다.

5. 의의 및 결론 (Significance)

LAD-RAG 는 시각적으로 풍부한 문서 이해 분야에서 문서의 구조적 맥락과 레이아웃 정보가 검색 및 추론에 얼마나 중요한지를 입증했습니다.

• 인간적 추론 모방: 인간이 문서를 읽을 때 페이지 간 연결고리와 구조를 고려하며 필요한 만큼의 정보를 찾아내는 방식과 유사하게, LAD-RAG 는 문서를 분리된 조각이 아닌 연결된 전체로 인식하고 동적으로 증거를 수집합니다.
• 실무 적용 가능성: 법률, 금융, 과학, 기업 문서 등 복잡한 구조와 다중 페이지 의존성을 가진 도메인에서 RAG 시스템의 신뢰성과 정확성을 획기적으로 높일 수 있는 기반을 제공합니다.
• 미래 방향: 단순한 의미 검색을 넘어 구조적, 시각적, 상징적 정보를 통합하는 지능형 문서 이해 시스템의 새로운 패러다임을 제시합니다.

이 연구는 RAG 시스템이 단순히 텍스트를 검색하는 것을 넘어, 문서의 '형태'와 '구조'를 이해하고 이를 활용하여 더 완전하고 정확한 답변을 도출할 수 있음을 보여줍니다.