MoDora: Tree-Based Semi-Structured Document Analysis System

MoDora 는 OCR 로 추출된 파편화된 요소를 레이아웃 인식 구성 요소로 통합하고, 계층적 구조와 레이아웃 차이를 명시적으로 모델링하는 '구성 요소 상관관계 트리 (CCTree)'를 구축하며, 질문 유형에 따라 최적화된 검색 전략을 적용함으로써 복잡한 반정형 문서에 대한 자연어 질문 응답 성능을 획기적으로 향상시키는 LLM 기반 분석 시스템입니다.

핵심

📄 MoDora: 복잡한 문서의 숨겨진 보물을 찾는 '지능형 탐정'

이 논문은 MoDora라는 새로운 시스템을 소개합니다. 쉽게 말해, MoDora 는 **복잡하게 섞여 있는 문서 (표, 차트, 글, 그림이 뒤섞인 것) 를 읽고 질문에 답하는 '초능력의 문서 분석가'**입니다.

기존의 방법들은 이 복잡한 문서들을 읽을 때 큰 실수를 많이 저질렀는데, MoDora 는 그 실수를 해결하기 위해 고안된 3 단계 전략을 사용합니다.

---

🕵️‍♂️ 왜 MoDora 가 필요한가요? (기존 방법의 문제점)

상상해 보세요. 거대한 도서관에 들어갔는데, 책장이 무너져서 책들이 바닥에 흩어져 있고, 책장 번호도 엉망이 되어 있다고 가정해 봅시다.

1. 조각난 퍼즐 (OCR 의 한계): 기존 기술들은 문서를 읽을 때 글자만 쏙쏙 뽑아내서 (OCR) 바닥에 흩어뜨려 놓습니다. 글자는 있지만, "이 글자는 이 표의 설명이다", "이 그림은 이 챕터의 내용이다"라는 연결고리가 끊겨버립니다.
2. 지도가 없는 미로 (구조 이해 실패): 문서에는 '제 1 장', '제 2 장'처럼 계층 구조가 있는데, 기존 기술들은 이를 무시하고 모든 글을 한 줄로 나열해 버립니다. 마치 건물의 층수를 무시하고 모든 방을 지하에 쌓아놓은 것과 같습니다.
3. 찾아내지 못하는 보물 (정보 연결 실패): "겨울철에 실험한 결과"를 찾으려면, 1 페이지의 글에서 '겨울'이라는 단어를 찾고, 2 페이지의 표에서 해당 데이터를 찾아야 합니다. 기존 기술들은 이 두 가지를 서로 다른 방에 있는 보물처럼 취급해서 연결하지 못합니다.

---

🌳 MoDora 의 3 단계 마법 (해결책)

MoDora 는 이 혼란스러운 도서관을 **정리된 나무 (Tree)**로 재구성합니다.

1 단계: 조각난 퍼즐을 '완성된 블록'으로 만들기 (컴포넌트 생성)

• 비유: 바닥에 흩어진 퍼즐 조각들을 **주제별로 묶어서 '완성된 그림'**으로 만듭니다.
• 작동 원리: MoDora 는 문서의 글자, 표, 그림을 따로따로 보지 않습니다. 대신, "이 제목 아래에 있는 글들"이나 "이 표와 그 옆의 설명"을 하나로 묶어 **자기 완결적인 '블록 (Component)'**으로 만듭니다.
  • 예: "Abstract(초록)"이라는 제목과 그 아래 글들을 하나로 묶고, "Table 1(표 1)"과 그 제목을 하나로 묶습니다.

2 단계: 도서관을 '가계도 나무'로 만들기 (CCTree)

• 비유: 이제 이 블록들을 **가계도 (Family Tree)**처럼 정리합니다.
• 작동 원리: MoDora 는 이 블록들을 **CCTree(컴포넌트 상관관계 나무)**라는 구조로 만듭니다.
  • 상위 노드: 큰 제목 (예: "서론")
  • 하위 노드: 그 아래에 속한 내용 (예: "실험 설계", "결과 표")
  • 별개의 가지: 페이지 번호나 머리글 같은 부수적인 정보는 주나무에서 분리된 작은 가지로 따로 정리하여 혼란을 막습니다.
  • 요약 기능: 나무의 아래쪽 (세부 내용) 에서 위쪽 (큰 제목) 으로 올라가며 내용을 간단히 요약합니다. 마치 "이 가지는 실험 결과에 관한 내용이야"라고 나무 꼭대기에 라벨을 붙이는 것과 같습니다.

3 단계: 질문에 맞는 '정밀한 사냥' (검색 전략)

• 비유: 이제 질문을 받으면, 질문의 종류에 따라 다른 사냥 도구를 사용합니다.
• 작동 원리:
  • 위치 질문 (예: "1 페이지 오른쪽 아래에 뭐가 있어?"): 나무의 **위치 정보 (좌표)**를 보고 바로 찾습니다.
  • 의미 질문 (예: "겨울철 실험 결과는?"):
    1. LLM 이 먼저 훑어보기: 제목과 요약만 보고 "아마 여기일 거야"라고 후보를 추립니다.
    2. 검색 엔진이 보충: 놓친 것이 있을까 봐 검색 엔진도 함께 돌려서 후보를 더 찾습니다.
    3. 검증관 (Verifier) 이 최종 확인: 최종 후보들을 다시 자세히 읽어보고, "이게 정말 정답이야?"라고 검증합니다.

---

🏆 MoDora 의 성과

실험 결과, MoDora 는 기존 최고의 기술들보다 정확도가 6% 에서 무려 61% 까지 높아졌습니다.

• 기존 기술 (ZenDB, GPT-5 등): 문서의 구조를 무시하거나, 표와 글의 연결을 못 해서 엉뚱한 답을 내놓거나, 아예 답을 못 찾았습니다.
• MoDora: 문서의 **구조 (나무)**와 위치 (지도), **내용 (요약)**을 모두 이해해서, 복잡한 질문에도 정확한 답을 찾아냅니다.

💡 한 줄 요약

MoDora는 흩어진 문서 조각들을 질서 정연한 나무로 재구성하고, 질문 유형에 맞춰 똑똑하게 검색함으로써, 복잡한 문서에서도 정확한 답을 찾아내는 차세대 문서 분석 시스템입니다.

이 시스템은 과학 논문, 재무 보고서, 기술 매뉴얼처럼 글, 표, 그림이 뒤섞인 복잡한 문서를 다룰 때 특히 빛을 발합니다.

기술 요약

1. 문제 정의 (Problem Definition)

반구조화 문서 (Semi-structured documents) 는 표, 차트, 계층적 단락 등 다양한 데이터 요소가 복잡하고 불규칙한 레이아웃으로 섞여 있는 문서입니다. 과학 보고서, 재무 제표, 기술 매뉴얼 등에서 광범위하게 발견되며, 실제 데이터의 상당 부분을 차지합니다. 그러나 기존 방법론들은 이러한 문서에 대한 자연어 질문 응답 (QA) 을 지원하는 데 다음과 같은 세 가지 주요 기술적 한계에 직면해 있습니다.

1. 문맥 상실 및 파편화: OCR 등을 통해 추출된 요소들은 종종 파편화되어 원래의 의미적 문맥 (semantic context) 을 잃습니다. 이로 인해 요소들을 독립적으로 분석하는 것이 어렵습니다.
2. 계층 구조 및 레이아웃 표현의 부재: 기존 접근법은 문서 내의 계층적 구조 (예: 중첩된 장 제목과 연결된 표) 를 효과적으로 표현하거나, 사이드바와 본문과 같은 레이아웃별 구분을 유지하는 데 실패합니다.
3. 분산된 정보의 정렬 어려움: 질문에 답하기 위해 문서의 여러 영역이나 페이지에 흩어진 관련 정보를 검색하고 정렬 (align) 해야 하는데, 기존 방법들은 이를 효과적으로 수행하지 못합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 MoDora라는 LLM 기반 시스템을 제안합니다. MoDora 는 크게 세 가지 핵심 단계로 구성됩니다.

가. 문서 전처리 및 구성 요소 (Component) 생성

• 로컬 정렬 집계 전략 (Local-Alignment Aggregation Strategy): OCR 로 파싱된 파편화된 요소들을 레이아웃을 인식하는 '구성 요소 (Component, CO)'로 변환합니다.
  • 텍스트 집계: 제목과 해당 제목 아래의 단락들을 하나의 구성 요소로 묶습니다.
  • 비텍스트 요소 집계: 표, 차트, 이미지와 해당 제목을 하나의 구성 요소로 통합합니다.
  • 보조 요소 처리: 헤더, 푸터, 사이드바 등은 메인 콘텐츠와 분리된 별도의 구성 요소로 처리합니다.
• 형식 인식 계층 구조 감지: 제목의 텍스트와 시각적 패턴 (폰트 크기, 들여쓰기 등) 을 LLM 에 입력하여 제목의 계층 레벨을 자동으로 감지합니다.
• 템플릿 기반 정보 풍부화: 표, 차트 등 비텍스트 요소에 대해 구조적 의미 (스키마, 데이터 값, 축 레이블 등) 를 추출하여 (제목, 메타데이터, 데이터) 형태의 3 중항 (triplet) 으로 풍부하게 만듭니다.

나. 구성 요소 상관관계 트리 (CCTree) 구축

• CCTree 설계: 문서의 선형적 읽기 순서를 넘어, 구성 요소 간의 관계를 계층적으로 조직화하는 트리 구조를 정의합니다.
  • 노드: 각 구성 요소 (CO) 가 노드가 됩니다.
  • 엣지 (관계):
    1. 텍스트 - 텍스트: 제목의 계층 레벨에 따른 부모 - 자식 관계.
    2. 텍스트 - 기타: 본문 텍스트와 인접한 표/차트 간의 부모 - 자식 관계.
    3. 독립 보조 관계: 헤더/푸터 등 메인 콘텐츠와 무관한 요소들은 별도의 가상의 루트 하에 독립적인 가지로 연결됩니다.
• 상향식 캐스케이드 요약 (Bottom-up Cascade Summarization): 리프 노드부터 루트 노드 방향으로 정보를 전파하며 요약합니다. 정보 손실을 방지하기 위해 정보 감쇠 공식 (Information Attenuation Formula) 을 적용하여 각 노드가 하위 트리의 내용을 얼마나 요약할지 결정합니다.

다. 트리 기반 문서 분석 및 검색 전략

질문의 유형에 따라 다른 검색 전략을 적용하는 질문 유형 인식 검색 (Question-Type-Aware Retrieval) 을 도입합니다.

1. 위치 기반 검색 (Location-Based Retrieval): 질문에서 "1 페이지 하단"과 같은 공간적 힌트를 추출하여, 문서를 3x3 그리드로 나누고 해당 그리드와 겹치는 노드를 찾습니다.
2. 의미 기반 검색 (Semantics-Based Retrieval):
   • 전방 탐색 (Forward Search): LLM 을 사용하여 노드의 인덱스와 메타데이터를 기반으로 관련 노드를 선별 (Pruning) 합니다.
   • 임베딩 백업 (Embedding Fallback): LLM 이 놓친 잠재적 증거를 찾기 위해 선택되지 않은 하위 트리를 임베딩 검색으로 스캔합니다.
   • 후방 검증 (Backward Verification): MLLM 을 검증자로 사용하여 후보 노드의 상세 내용과 위치를 확인하여 오검출을 제거하고 정밀도를 높입니다.
3. 답변 생성: 최종적으로 수집된 텍스트 증거, 위치 증거 (원본 문서 영역 컷팅), 그리고 CCTree 의 계층적 구조 정보를 MLLM 에 입력하여 정답을 생성합니다.

3. 주요 기여 (Key Contributions)

1. MoDora 시스템 제안: 다양한 레이아웃을 지원하고 의미적/위치 기반 질문 모두에 대응하는 새로운 반구조화 문서 분석 시스템 개발.
2. 로컬 정렬 집계 전략: OCR 요소를 의미 있는 구성 요소로 변환하고, MLLM 기반 계층 감지 및 구조적 의미 추출을 통해 정보를 풍부하게 함.
3. CCTree (Component-Correlation Tree) 도입: 구성 요소 간의 관계와 레이아웃 구분을 명시적으로 모델링하며, 하향식 요약을 통해 컨텍스트 추론을 강화하는 계층적 표현법 제시.
4. 트리 기반 검색 전략: 질문 유형 인식, LLM 가이드 노드 선택, 임베딩 백업, MLLM 검증기를 통합한 강건한 증거 위치 선정 방법론 제시.
5. 성능 향상 및 새로운 벤치마크: 기존 방법론 대비 정확도 5.97%~61.07% 향상을 입증하고, 복잡한 레이아웃과 다양한 요소를 포함하는 새로운 벤치마크 MMDA를 구축하여 공개함.

4. 실험 결과 (Results)

• 벤치마크: DUDE, MP-DocVQA, M3DocVQA 및 새로 구축된 MMDA 에서 평가 수행.
• 성능: MoDora 는 모든 데이터셋과 지표 (ACNLS, AIC-Acc) 에서 기존 최첨단 방법론 (GPT-5, DocAgent, ZenDB, TextRAG 등) 을 능가했습니다.
  • 특히 MMDA에서는 기존 최고 성능 모델 대비 16.24% 높은 정확도를 기록했습니다.
  • 질문 유형별 성능: 계층 구조 질문 (Hierarchy), 텍스트 질문, 하이브리드 질문 (텍스트+표/차트), 위치 기반 질문 모든 카테고리에서 최상위 성능을 보였습니다.
• 비용 효율성: MoDora 는 전체 문서를 직접 LLM 에 입력하는 방식 (GPT-5) 보다 정확도가 훨씬 높으면서도, 복잡한 에이전트 방식 (DocAgent) 보다 토큰 비용이 낮아 비용 대비 효율이 뛰어납니다.
• Ablation Study: CCTree 구조, 구성 요소 생성, 위치 증거, 전방 탐색 등의 요소를 제거했을 때 성능이 크게 저하됨을 확인하여 각 모듈의 중요성을 입증했습니다.

5. 의의 (Significance)

이 논문은 반구조화 문서 분석 분야에서 다음과 같은 중요한 의의를 가집니다:

• 구조적 이해의 심화: 단순한 텍스트 추출을 넘어, 문서의 레이아웃, 계층 구조, 그리고 비텍스트 요소 간의 관계를 트리 구조로 명시적으로 모델링함으로써 복잡한 추론 능력을 획기적으로 개선했습니다.
• 실용적 적용 가능성: OCR 기반의 광범위한 호환성과 비용 효율적인 아키텍처를 통해 실제 산업 환경 (재무, 법률, 과학 논문 등) 에서의 적용 가능성을 높였습니다.
• 새로운 기준 제시: 기존 벤치마크의 한계를 보완하는 MMDA 를 통해 향후 연구의 방향성을 제시하고, 반구조화 문서 처리를 위한 새로운 표준을 마련했습니다.

결론적으로, MoDora 는 문서의 시각적, 구조적, 의미적 정보를 통합하여 LLM 이 반구조화 문서에서 더 정확하고 신뢰할 수 있는 답변을 도출할 수 있도록 하는 혁신적인 프레임워크입니다.