PromptDLA: A Domain-aware Prompt Document Layout Analysis Framework with Descriptive Knowledge as a Cue

이 논문은 다양한 도메인의 문서 레이아웃 분석 (DLA) 에서 발생하는 구조적 차이를 극복하고 일반화 성능을 향상시키기 위해, 도메인 특성에 맞춰 생성된 설명적 지식을 단서로 활용하는 'PromptDLA'라는 새로운 프레임워크를 제안하고 있습니다.

핵심

🍽️ 문제: "모든 요리를 한 번에 하려고 하니 맛이 이상해졌다"

지금까지 문서 분석 (Document Layout Analysis) 기술은 다양한 종류의 문서 (금융 보고서, 특허 문서, 매뉴얼, 뉴스 기사 등) 를 한꺼번에 학습하려고 했습니다. 마치 한 명의 요리사에게 "이탈리아 파스타, 한국 김치찌개, 일본 스시"를 모두 동시에 만들어보라고 시킨 것과 같습니다.

하지만 문제는 이 세 가지 요리는 **재료의 배치 (레이아웃)**와 **맛의 기준 (레이블링)**이 완전히 다르다는 점입니다.

• 금융 보고서: 차트와 표가 많고 정돈되어 있어야 합니다.
• 특허 문서: 복잡한 도면과 기술 용어가 주를 이룹니다.
• 매뉴얼: 스크린샷과 단계별 설명이 중요합니다.

기존 모델은 이 모든 것을 섞어서 학습하다 보니, "이건 도면일까, 아니면 그림일까?" 하는 부분에서 헷갈리거나, "리스트 항목은 하나로 묶어야 할까, 따로따로 해야 할까?" 하는 기준이 혼란스러워져서 성능이 떨어졌습니다. (논문 Fig. 1 참조)

💡 해결책: "요리 비서 (PromptDLA) 가 요령을 알려준다"

이 논문이 제안한 PromptDLA는 바로 이 혼란을 해결해 주는 '전문 요리 비서' 같은 역할을 합니다.

1. 문서의 종류를 먼저 파악합니다:
   모델이 문서를 분석하기 전에, 비서가 먼저 "오늘은 금융 보고서를 분석하는 날이에요!"라고 알려줍니다. (이를 '도메인 인식 프롬프트'라고 합니다.)

2. 상황에 맞는 '요령 (지식)'을 제공합니다:
   비서는 단순히 "금융 보고서"라고만 말하는 게 아니라, **"금융 보고서에는 보통 상단에 표가 있고, 중간에 차트가 많으며, 파란색 계열의 디자인이 자주 쓰여요"**라는 구체적인 **지식 (Descriptive Knowledge)**을 모델에게 전달합니다.

   • 비유: 요리사가 "오늘은 김치찌개야"라고만 들으면 막막하지만, "김치찌개는 김치를 먼저 볶고 돼지고기를 넣는 게 중요해"라는 레시피를 알려주면 훨씬 맛있게 만들 수 있죠.

3. 모델이 그 지식을 활용해 분석합니다:
   이 '요령'을 받은 모델은 이제 금융 보고서의 특성을 미리 알고 있기 때문에, "아, 이 부분은 표구나", "저 부분은 그림이 아니라 차트구나"라고 훨씬 정확하게 찾아냅니다.

🌟 이 방법의 핵심 특징

• 맞춤형 지시 (Customized Prompts): 문서의 종류 (금융, 법률, 특허 등) 나 언어 (영어, 한국어, 페르시아어 등) 에 따라 비서가 주는 지시 내용이 달라집니다. 그래서 어떤 문서든 상황에 맞게 최적의 분석이 가능합니다.
• 언어 장벽 극복: 영어뿐만 아니라 한국어, 베트남어, 페르시아어 등 다양한 언어로 된 문서도 이 '비서'가 언어별 특징을 알려주면, 모델이 언어가 달라도 문서 구조를 잘 파악할 수 있습니다.
• 표준화 문제 해결: 같은 '리스트'라는 단어라도, A 데이터셋에서는 '한 줄'로 표시하고 B 데이터셋에서는 '한 묶음'으로 표시하는 등 기준이 다를 때, 비서가 "오늘은 A 데이터셋 기준대로 분석하자"라고 알려주면 혼란을 줄일 수 있습니다.

📊 결과: "요리 실력이 대박!"

이 새로운 방식을 적용한 결과, 기존에 가장 잘하던 방법들보다 정확도가 크게 향상되었습니다.

• 금융 보고서, 특허, 매뉴얼 등 다양한 문서에서 가장 높은 점수를 받았습니다.
• 특히 모호한 부분 (예: 텍스트 박스 안에 있는 그림인지, 진짜 그림인지) 을 구분하는 능력이 비약적으로 좋아졌습니다.

🚀 결론

PromptDLA는 "모든 문서를 똑같은 눈으로 보지 말고, 문서의 종류와 특징을 미리 알려주면 훨씬 똑똑하게 분석할 수 있다"는 것을 증명했습니다.

마치 숙련된 요리사에게 "오늘의 메뉴와 레시피"를 미리 알려주면, 그날의 요리를 완벽하게 해내는 것처럼, 이 기술은 문서 분석 AI 가 어떤 문서가 오더라도 그 특성에 맞춰 가장 정확하게 분석할 수 있도록 도와줍니다. 앞으로 문서 자동화, 디지털화 분야에서 훨씬 더 똑똑한 AI 를 만나게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

문서 레이아웃 분석 (Document Layout Analysis, DLA) 은 문서 내 텍스트, 이미지, 표 등의 물리적/논리적 구조를 식별하는 핵심 기술로, 정보 추출 및 디지털 변환의 기초가 됩니다. 최근 PubLayNet, DocLayNet, M6Doc 등 대규모 DLA 데이터셋이 공개되었으며, 이를 다양한 도메인 (금융, 법률, 특허 등) 의 데이터로 통합하여 모델의 일반화 성능을 높이려는 시도가 증가하고 있습니다.

그러나 기존 연구는 다음과 같은 **도메인 간 차이 (Domain Discrepancies)**를 간과하여 통합 학습 시 성능 저하를 초래했습니다:

• 서로 다른 문서 유형: 금융 보고서, 매뉴얼, 특허 등 문서 유형에 따라 레이아웃 구조와 요소 분포가 근본적으로 다릅니다 (예: 금융 보고서는 차트와 텍스트 오버레이가 많고, 특허는 선형 도면이 주를 이룹니다).
• 언어적 차이: 언어 (영어, 페르시아어, 카자흐어 등) 에 따라 텍스트 블록의 배열과 페이지 레이아웃이 달라집니다.
• 일관성 없는 라벨링 스타일: 서로 다른 데이터셋 (예: DocLayNet vs. DocBank) 이 동일한 의미의 요소 (예: 리스트 항목, 텍스트) 를 다른 방식으로 주석 처리합니다. (예: DocLayNet 은 개별 리스트 항목을 라벨링하지만, DocBank 는 전체 리스트를 하나의 박스로 묶습니다.)

이러한 불일치로 인해 단일 모델이 모든 도메인에서 최적의 성능을 내기 어렵습니다.

2. 제안 방법론: PromptDLA (Methodology)

저자들은 PromptDLA라는 새로운 프레임워크를 제안합니다. 이는 대규모 언어 모델 (LLM) 이나 시각 - 언어 모델 (LVLM) 의 **기술적 지식 (Descriptive Knowledge)**을 '프롬프트 (Prompt)'로 활용하여 도메인 사전 지식 (Domain Priors) 을 DLA 모델에 명시적으로 주입하는 방식입니다.

주요 구성 요소는 다음과 같습니다:

• 도메인 인식 프롬터 (Domain-Aware Prompter):

  • 입력 문서의 도메인 정보 (예: "금융 보고서", "특허") 를 기반으로 자연어 프롬프트를 생성합니다.
  • 프롬프트 생성 전략:
    1. LLM/LVLM 기반: 이미지와 일반 지시문을 입력받아 도메인 특성을 설명하는 텍스트 생성 (자동화).
    2. 도메인 휴리스틱 기반: 인간이 정의한 템플릿과 규칙을 사용하여 도메인 클래스에 맞는 프롬프트 생성.
    3. 하이브리드 방식: 인간 지식을 기반으로 LLM 을 유도하여 더 정교하고 맥락에 맞는 설명 생성.
  • 생성된 텍스트 프롬프트는 CLIP, BLIP2, LLaMA 등의 텍스트 인코더를 통해 고정 차원의 임베딩 벡터 ($p_v$) 로 변환됩니다.

• 프롬프트된 Transformer 인코더 (Prompted Transformer Encoder):

  • 이미지 패치 임베딩 ($v_i$) 앞에 도메인 프롬프트 임베딩 ($p_v$) 을 추가하여 시퀀스를 구성합니다.
  • 융합 레이어 (Fusion Layer): 백본 아키텍처 (CNN, ViT, Swin Transformer) 에 따라 프롬프트를 적절히 통합합니다.
    • CNN: 프롬프트를 공간적으로 확장하여 특징 맵과 채널 단위로 연결.
    • ViT/Swin: 프롬프트를 토큰 시퀀스에 추가하거나 윈도우 어텐션 메커니즘 내에서 처리.
  • 이를 통해 모델이 시각적 특징을 분석할 때 도메인별 맥락 (예: "특허 도면에서는 선형 구조가 중요하다") 을 고려하도록 유도합니다.

• 탐지 헤드 (Detection Head):

  • 프롬프트가 주입된 특징 맵을 기반으로 최종 레이아웃 요소 (바운딩 박스, 클래스) 를 예측합니다. (RCNN 기반 또는 DETR 기반 모두 호환 가능)

3. 주요 기여 (Key Contributions)

1. 새로운 도메인 인식 DLA 프레임워크 (PromptDLA): 명시적인 도메인 지식을 프롬프트 형태로 도입하여 다양한 문서 도메인의 변이성을 효과적으로 처리하는 모델을 제안했습니다.
2. 모듈형 도메인 인식 프롬터: 인간 지식이나 LLM 생성 텍스트를 활용하여 데이터 속성에 맞춘 커스텀 프롬프트를 생성하며, CNN, ViT, Swin Transformer 등 다양한 백본 아키텍처에 쉽게 통합 가능합니다.
3. 광범위한 실험 및 새로운 데이터셋:
   • 7 개 언어로 구성된 새로운 다국어 DLA 데이터셋 MLDLA를 구축했습니다.
   • DocLayNet, M6Doc, D4LA 등 주요 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.
   • 일관되지 않은 라벨링 스타일을 가진 데이터셋을 통합 학습할 때 발생하는 충돌을 프롬프트를 통해 해결함을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • DocLayNet: 기존 SOTA 모델 (SwinDocSegmenter 등) 대비 mAP 78.7% 를 기록하여 1.8%p 이상 향상. 특히 'Footnote'(64.8→83.0), 'Section-header'(66.4→76.9) 등 도메인 특이적 요소에서 큰 개선을 보임.
  • 다국어/다도메인 일반화: M6Doc(69.2%), D4LA(69.1%) 에서도 기존 모델 대비 1.4~2.0%p 향상.
  • 다국어 데이터셋 (MLDLA): 7 개 언어 (힌디어, 카자흐어, 베트남어 등) 에서도 도메인 프롬프트를 통해 성능이 향상됨을 확인 (mAP 69.5%).
• 일관되지 않은 라벨링 해결: DocLayNet 과 PubLayNet 을 함께 학습할 때, 단순 통합 학습은 오히려 성능을 저하시켰으나, 도메인 프롬프트를 적용하면 두 데이터셋 모두에서 성능이 향상됨 (DocLayNet mAP 76.0→77.1).
• 백본 및 헤드의 호환성: ViT, Swin Transformer, ResNet-50 등 다양한 백본과 Faster R-CNN, DETR 등 다양한 탐지 헤드와 결합 시 일관된 성능 향상 (+0.7~+2.3 mAP) 을 보임.
• 효율성: 프롬프트 추가에 따른 추론 속도 저하는 미미함 (RTX 3090 기준 0.13 FPS 감소).

5. 의의 및 결론 (Significance)

이 논문은 문서 레이아웃 분석 분야에서 **도메인 간 차이 (Domain Shift)**를 해결하기 위해 **프롬프트 엔지니어링 (Prompt Engineering)**을 도입한 선구적인 연구입니다.

• 기존 접근법의 한계 극복: 대규모 데이터셋을 단순히 합쳐 학습하는 방식의 한계를 넘어, 도메인별 특성을 명시적으로 모델에 알려줌으로써 일반화 능력을 극대화했습니다.
• 유연성과 확장성: 인간이 정의한 규칙이나 최신 LLM 의 생성 능력을 활용하여 프롬프트를 구성할 수 있어, 새로운 도메인이나 언어가 추가될 때 모델 재학습 없이도 적응이 용이합니다.
• 실용적 가치: 복잡한 문서 (금융, 법률, 특허 등) 와 다양한 언어를 다루는 실제 문서 이해 (Document Understanding) 시스템의 정확도를 획기적으로 높일 수 있는 방법을 제시했습니다.

결론적으로, PromptDLA 는 도메인 지식을 활용한 프롬프트 기반 접근법이 문서 레이아웃 분석의 성능 한계를 돌파할 수 있는 유효한 패러다임임을 입증했습니다.