Index Light, Reason Deep: Deferred Visual Ingestion for Visual-Dense Document Question Answering

이 논문은 시각적으로 밀집된 공학 문서의 질문 응답 정확도를 획기적으로 향상시키기 위해, 전처리 단계에서 비주얼 언어 모델 (VLM) 호출을 지연시키고 문서 구조 정보와 HDNC 알고리즘을 활용한 계층적 색인화 및 BM25 기반 검색을 통해 원본 이미지를 VLM 에게 직접 전달하는 '지연 시각 섭취 (DVI)' 프레임워크를 제안합니다.

핵심

🏗️ 문제: "눈먼 비서"의 함정 (기존 방식)

지금까지 많은 시스템은 문서를 처리할 때 'Pre-Ingestion (미리 먹이기)' 방식을 썼습니다.

• 상황: 거대한 도서관에 공학 도면 500 장이 있습니다.
• 기존 방식 (Pre-Ingestion): 도서관에 책이 들어오자마자, AI 비서가 모든 책의 내용을 미리 다 읽고 요약본을 적어 책장에 붙여둡니다.
  • "이 책은 다리가 어떻게 생겼는지 설명합니다."
  • "이 책은 철근 배치를 보여줍니다."
• 문제점:
  1. 정보 손실: AI 비서는 사용자가 무엇을 궁금해할지 모르기 때문에, 중요한 숫자나 작은 그림을 요약할 때 빠뜨리기 쉽습니다. (예: "다리 A 의 3 번 기둥"이라는 구체적인 정보가 "다리 구조"라는 막연한 말로 바뀜)
  2. 찾기 실패: 모든 요약본이 비슷비슷하게 들립니다. "다리 A"와 "다리 B"의 요약본이 너무 비슷해서, 컴퓨터가 "어? 이거랑 저거랑 뭐가 다르지?" 하며 헷갈려서 정답을 못 찾습니다.
  3. 비효율: 질문이 하나도 없는데도, 책 500 장을 다 읽는 데 엄청난 시간과 돈 (AI 비용) 이 듭니다.

---

💡 해결책: DVI (지연된 시각 섭취)

이 논문은 **"일단 읽지 말고, 필요할 때만 자세히 보자"**는 아이디어를 제안합니다. 이를 **DVI(Deferred Visual Ingestion)**라고 부릅니다.

1. 인덱스 (책갈피) 는 '눈'이 아닌 '손'으로 만든다

• 새로운 방식: 책이 들어오자마자 내용을 읽지 않습니다. 대신 책등에 적힌 제목이나 목차만 봅니다.
• HDNC 알고리즘: 공학 도면에는 고유한 번호 체계 (예: BR-101, PIER-3) 가 있습니다. 이 번호들의 규칙을 분석해서 자동으로 **"이 책은 '다리' 관련이고, '기둥' 세부 사항이 담겨 있다"**는 식의 **정교한 책갈피 (인덱스)**를 만듭니다.
  • 비유: 도서관 사서가 책 내용을 다 읽지 않고, 책등에 적힌 번호와 제목만 보고 "이 책은 3 층 A 구역에 있다"는 표지판을 딱 붙여놓는 것과 같습니다. 비용은 0 원입니다.

2. 질문이 오면, 그때서야 '눈'을 뜬다

• 사용자 질문: "다리 A 의 3 번 기둥 치수는 얼마야?"
• 검색: 시스템은 미리 읽은 요약이 아니라, 책등 번호와 제목을 통해 "아! 3 번 기둥은 3 층 A 구역에 있구나!"라고 정확히 위치를 찾습니다 (BM25 검색).
• 분석: 찾은 **원본 책 (이미지)**을 사용자의 질문과 함께 AI 에게 보여줍니다.
  • 비유: "3 번 기둥 치수가 궁금해?"라고 물으면, AI 는 그 책만 펼쳐서 "여기 치수가 50cm 로 적혀 있어요"라고 정확히 답합니다.
  • 장점: AI 가 처음부터 모든 내용을 다 외울 필요가 없으니, 질문에 집중해서 중요한 숫자나 그림을 놓치지 않습니다.

---

🚀 왜 이 방식이 더 좋은가요? (핵심 비유)

1. "눈먼 비서" vs "질문 있는 독서"

   • 기존 방식은 비서가 "무엇을 물어볼지 모르니, 일단 다 요약해 둡니다"라고 하며 중요한 숫자를 빼먹는 경우입니다.
   • DVI 는 "무엇을 물어보시나요? 그 부분만 보여드릴게요"라고 하며, 질문을 보고 원본을 직접 봅니다. 그래서 치수나 번호 같은 미세한 정보도 놓치지 않습니다.

2. "비슷한 책" 찾기

   • 공학 도면은 서로 매우 비슷합니다. (모든 다리가 비슷하게 생김)
   • 기존 방식은 "비슷한 요약문" 때문에 정답을 찾지 못했습니다.
   • DVI 는 "책등 번호 (ID)"를 정확히 비교하므로, 비슷한 책이라도 정확한 번호만 있으면 100% 찾습니다.

3. 비용과 속도

   • 기존 방식: 책 500 장을 다 읽는 데 450 번의 AI 호출 비용이 듭니다.
   • DVI: 책 500 장을 읽는 비용은 0 원입니다. 질문이 들어와야만 필요한 책 1~2 장만 읽습니다.

---

📊 실험 결과 (숫자로 보는 승리)

논문의 실험 결과는 매우 놀라웠습니다.

• 다리 도면 (Bridge): 정답률 65.6% (기존 방식은 24.3% → 약 2 배 이상 향상)
• 강철 카탈로그 (Steel): 정답률 30.6% (기존 방식은 16.1% → 약 2 배 향상)
• 회로도 (CircuitVQA): 정답 찾기 성공률 31.2% (기존 방식은 0.7% → 완벽한 승리)

결론: 문제는 AI 가 문서를 '이해'하는 능력이 부족해서가 아니라, 정답이 있는 책을 '찾아내는' (검색) 과정에서 실패하는 것이었습니다. DVI 는 이 검색 과정을 완벽하게 해결했습니다.

🌟 한 줄 요약

"모든 책을 미리 다 읽어서 요약하는 대신, 책등 번호로 정확한 위치를 찾아낸 뒤, 질문이 있는 부분만 원본을 보고 답하는 것이 훨씬 빠르고 정확하다."

이 방식은 특히 공학, 건축, 제조업처럼 정확한 숫자와 도면이 중요한 분야에서 혁신적인 변화를 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 멀티모달 문서 질문 응답 (QA) 시스템은 Pre-Ingestion (PI, 사전 섭취) 전략을 주로 사용합니다. 이는 색인 (Indexing) 단계에서 모든 페이지에 비전 언어 모델 (VLM) 을 호출하여 페이지 설명을 생성하고, 이를 벡터화하여 저장하는 방식입니다. 그러나 시각적으로 밀집된 엔지니어링 문서 (교량 설계도, 전기 배선도, 제품 카탈로그 등) 에서는 이 방식이 두 가지 치명적인 딜레마에 직면합니다.

1. 정보 손실 (Information Loss): VLM 은 사용자의 질문을 알 수 없는 상태에서 '맹목적인 설명 (Blind Description)'을 생성합니다. 치수, 배관 경로, 터미널 번호 등 엔지니어링 도면의 핵심 시각적 정보는 매우 밀집되어 있어, 일반적 요약 과정에서 중요한 세부 사항이 누락되기 쉽습니다.
2. 검색 실패 (Retrieval Failure): 대규모 엔지니어링 프로젝트의 도면들은 구조적으로 매우 유사합니다 (예: 여러 개의 교량 중 각 교량의 일반 배치도, 철근 도면 등). VLM 이 생성한 설명은 텍스트가 매우 유사해지며, 이로 인해 생성된 임베딩 벡터는 벡터 공간에서 밀집되어 클러스터링됩니다. 결과적으로 코사인 유사도 기반 검색은 정밀한 문서 구별에 실패합니다.

이러한 PI 방식의 오류는 일방향적이고 되돌릴 수 없으며, 질문 시점에 원본 이미지를 다시 확인할 수 없는 구조적 한계를 가집니다.

2. 제안 방법론: Deferred Visual Ingestion (DVI)

이 논문은 "색인은 위치를 찾기 위한 것이지, 내용을 이해하기 위한 것이 아니다 (Index for Locating, Not Understanding)" 라는 핵심 원칙을 기반으로 Deferred Visual Ingestion (DVI) 프레임워크를 제안합니다. 이는 컴퓨터 과학의 '지연 평가 (Lazy Evaluation)' 개념을 적용한 것으로, 시각적 이해를 전처리 단계가 아닌 추론 (Inference) 단계로 미룹니다.

핵심 프로세스

1. 전처리 단계 (Preprocessing, Zero VLM):

   • VLM 호출 없음: 문서의 모든 페이지에 VLM 을 호출하지 않아 비용이 0 입니다.
   • 구조적 메타데이터 추출: 문서의 목차 (TOC), 도면 번호, 제목 등 구조적 정보만 추출합니다.
   • HDNC 알고리즘: 엔지니어링 도면 번호의 계층적 구조 (예: PROJID-GRP-PKG-ST-BR-DR-101013) 를 분석하여 자동으로 계층적 색인 (Hierarchical Index) 을 구축합니다.
   • BM25 색인 생성: 추출된 메타데이터와 도면 제목을 기반으로 BM25 기반의 텍스트 검색 엔진을 구축합니다.

2. 추론 단계 (Inference, On-Demand VLM):

   • 검색: 사용자의 질문이 들어오면 BM25 를 통해 관련 후보 페이지 (Top-k) 를 찾습니다.
   • 타겟 분석: 찾은 후보 페이지의 원본 이미지와 사용자의 구체적인 질문을 VLM 에게 전달합니다.
   • 응답: VLM 은 질문을 의식한 상태에서 원본 이미지를 분석하여 정답을 생성합니다.

HDNC (Hierarchical Drawing Number Clustering) 알고리즘

• 도면 번호의 공통 접두사 (Longest Common Prefix) 를 식별하고, 숫자 접미사를 트라이 (Trie) 구조로 분할하여 계층적 카테고리 (L1, L2, L3 등) 를 자동 발견합니다.
• 이 과정은 순수 CPU 연산 (PyMuPDF 등) 으로만 이루어지며, API 호출 비용이 전혀 들지 않습니다.

3. 주요 기여 (Key Contributions)

1. DVI 프레임워크 제안: 시각적 이해를 전처리에서 추론 단계로 미룸으로써, 0 의 전처리 비용으로 기존 PI 방식보다 훨씬 우수한 엔드 - 투 - 엔드 성능을 달성했습니다.
2. HDNC 자동 색인 알고리즘: 엔지니어링 도면 번호의 내재된 구조를 활용하여 API 호출 없이 자동으로 계층적 색인을 생성합니다. 이는 수동으로 메타데이터를 추출하는 것보다 더 높은 재현율 (Recall) 을 보였습니다.
3. 텍스트 품질 적응형 전략: 문서 유형에 따라 텍스트 융합 전략이 달라야 함을 발견했습니다.
   • 벡터 PDF (CAD): 텍스트 레이어가 정확하여 BM25 에 텍스트를 포함하면 성능이 크게 향상됨 (+21.3pp).
   • 스캔 문서 (OCR): OCR 노이즈가 심하여 텍스트를 포함하면 성능이 급격히 저하됨 (-40.9pp). 따라서 문서 유형에 따라 동적으로 전략을 조정해야 합니다.
4. 대규모 비교 실험 및 통찰:
   • ColPali (ICLR 2025 SOTA) 를 포함한 기존 시각 검색 모델들이 동질적인 엔지니어링 도면에서는 구조적으로 실패함을 입증했습니다.
   • 엔지니어링 도면 QA 에서 병목 현상은 VLM 의 이해력이 아닌 검색 (Retrieval) 단계에 있음을 규명했습니다.

4. 실험 결과 (Results)

세 가지 데이터셋 (교량 설계도, 철강 카탈로그, CircuitVQA) 에서 광범위한 실험을 수행했습니다.

• Bridge Engineering Drawings (1,323 질문):
  • 엔드 - 투 - 엔드 정확도: DVI 65.6% vs PI 24.3% (+41.3pp 향상).
  • 검색 성능 (PageR@3): DVI 68.0% vs ColPali 20.1% vs PI 30.7%.
  • ColPali 는 동질적인 도면에서 20.1% 의 낮은 성능을 보였으며, 이는 모델 능력 부족이 아닌 임베딩 검색의 구조적 한계임을 시사합니다.
• Steel Catalog (186 질문):
  • 엔드 - 투 - 엔드 정확도: DVI 30.6% vs PI 16.1% (+14.5pp 향상).
  • 스캔 문서의 경우 OCR 텍스트를 포함하지 않은 TOC 기반 색인 (DVI-TOC) 이 성능이 가장 좋았습니다.
• CircuitVQA (9,315 질문):
  • 검색 성능 (ImgR@3): DVI 31.2% vs PI 0.7%.
  • 기능 단위 (Unit) 레벨 검색 (UnitR@3) 에서 DVI 는 99.4% 의 거의 완벽한 성능을 보였습니다.

결론: 올바른 페이지가 검색되었을 때 VLM 의 정답 변환율 (Conversion Rate) 은 93% 이상으로 매우 높았습니다. 이는 시스템 성능 향상의 핵심이 VLM 의 이해력 강화가 아닌 검색 정확도 향상에 있음을 증명합니다.

5. 의의 및 중요성 (Significance)

• 비용 효율성: 전처리 단계에서 수천 개의 VLM 호출을 제거하여 비용을 획기적으로 절감하면서도 성능은 대폭 향상시켰습니다.
• 정보 무결성: 원본 이미지를 직접 분석함으로써 중간 표현 (요약, OCR 텍스트) 에서 발생하는 정보 손실을 방지합니다.
• 실무 적용 가능성: 엔지니어링 도면과 같이 구조화된 번호 체계가 있는 산업용 문서에 특화된 솔루션을 제공하며, "질문을 가지고 읽기 (Reading with a question in mind)"가 가장 효과적인 이해 방식임을 입증했습니다.
• 연구 방향 전환: 동질적인 시각 문서 검색에서 임베딩 기반 접근법의 한계를 지적하고, 구조적 메타데이터와 키워드 매칭 (BM25) 의 중요성을 재조명했습니다.

이 논문은 시각적으로 밀집된 엔지니어링 문서 처리를 위해, "무조건적인 이해"가 아닌 "정밀한 위치 파악 후 타겟팅된 이해"라는 패러다임 전환을 제시했습니다.