기술 요약: Doc-CoB

문제 정의

문서 이해는 고밀도의 정보와 복잡한 레이아웃을 특징으로 하는 문서 이미지를 대상으로 질문 응답 (QA) 및 정보 추출 (IE) 을 수행하는 것을 포함합니다. 기존 멀티모달 대규모 언어 모델 (MLLM) 은 일반적으로 전체 이미지를 균일하게 처리하는 '한 번의 패스 (one-pass)' 전략을 사용합니다. 이 접근법은 모든 영역이 동등하게 중요하다는 암묵적인 가정을 바탕으로 하여, 종종 모델이 중복된 시각적 정보에 혼동되거나 잘못된 영역에서 답을 추론하게 만듭니다. 반면, 일반적인 시각적 QA 에서 기존에 사용되던 coarse-to-fine(거시에서 미세로) 전략은 특정 영역을 직접 자르거나 확대하는 방식에 의존하는 경우가 많습니다. 이는 시각적 중복을 줄이지만, 문서 고유의 공간적 관계, 상대적 위치, 영역 간 의존성과 같은 중요한 레이아웃 정보를 배제하여 레이아웃에 민감한 쿼리에서 실패를 초래합니다.

해결된 핵심 과제는 정확한 추론에 필요한 전역 레이아웃 컨텍스트를 유지하면서 문서 이해를 위한 coarse-to-fine 추론 패러다임을 따르는 방법을 모색하는 것입니다.

방법론: Doc-CoB

저자들은 기존 모델 아키텍처를 수정하지 않고 시각적 프롬프팅을 통해 MLLM 이 레이아웃을 인지하는 coarse-to-fine 시각적 추론을 수행할 수 있도록 하는 Doc-CoB(Chain-of-Boxes) 프레임워크를 제안합니다. 이 프레임워크는 시각적 프롬프팅을 사용하여 주의를 유도하는 두 가지 명확한 단계로 운영됩니다:

1. 1 단계: 키 박스 선택

   • 레이아웃 분석기 ($\Lambda$) 가 문서 이미지 ($x_I$) 에서 후보 레이아웃 박스 집합 ($B$) 을 추출합니다.
   • 각 박스에 고유한 ID 를 할당하고 이미지에 겹쳐 시각적으로 프롬프트된 이미지 ($X^S_1$) 를 생성합니다.
   • MLLM($f$) 은 쿼리 ($Q$) 와 가장 관련 있는 박스 ID 의 부분 집합 ($I_{key}$) 을 선택하도록 프롬프트됩니다. 이는 후보 박스에 대한 다중 선택 예측으로 공식화됩니다.

2. 2 단계: 집중된 답변 생성

   • 선택된 키 박스 ($B_{key}$) 는 원래 이미지에서 빨간색 테두리로 강조되어 두 번째 시각적으로 프롬프트된 이미지 ($X^S_2$) 를 생성합니다.
   • 핵심적으로, 잘라낸 것이 아니라 전체 문서 이미지가 유지됩니다. 이는 관련 영역을 강조하면서도 전역 컨텍스트와 공간적 관계를 보존합니다.
   • MLLM 은 이 강조된 이미지와 쿼리를 조건으로 최종 답변 ($A$) 을 생성합니다.

추론 작업 및 데이터 구축

이 패러다임을 지원하기 위해 저자들은 모델의 레이아웃 및 의미 이해를 강화하기 위해 두 가지 구체적인 추론 작업을 도입합니다:

• 박스 인식: 모델이 특정 시각적 박스를 해당 ID 에 매핑하는 법을 학습합니다.
• 박스 추론: 모델이 주어진 쿼리에 답하기 위해 특정 박스 ID 의 의미적 역할을 설명하는 법을 학습합니다.

이러한 능력을 훈련하기 위해 GPT-4o 를 언어 주석 도구로, MinerU 를 시각적 레이아웃 분석 도구로 사용하여 자동 데이터 생성 파이프라인을 구축했습니다. 이 파이프라인은 DocVQA, DeepForm, SROIE, FUNSD 등을 포함한 기존 문서 데이터셋 9 개를 처리하여 다음을 생성했습니다:

• Doc-CoB 프레임워크를 위한 249,601개의 훈련 샘플.
• 박스 인식을 위한 126,970개의 샘플.
• 박스 추론을 위한 269,108개의 샘플.
  이러한 샘플에는 중간 시각적 감독이 포함되어 있으며, 증거를 포함하는 '유용한' 박스와 쿼리와 유사하지만 잘못된 '혼란스러운' 박스를 명시적으로 레이블링합니다.

주요 기여

1. Doc-CoB 프레임워크: 시각적 프롬프팅을 통해 MLLM 에 레이아웃을 인지하는 coarse-to-fine 시각적 추론을 통합하는 새로운 2 단계 패러다임으로, 핵심 영역 집중과 전역 컨텍스트 보존 사이의 균형을 맞춥니다.
2. 추론 작업 및 데이터셋: 문서 레이아웃 추론에 맞춘 249k 개 이상의 중간 시각적 감독 샘플을 가진 대규모 데이터셋을 지원하여 박스 인식 및 박스 추론 작업을 제안합니다.
3. 성능 및 일반화: 2B 에서 40B 파라미터에 이르는 7 개의 벤치마크와 4 가지 다른 MLLM 아키텍처 (문서에 특별히 사전 훈련되지 않은 모델 포함) 에서 Doc-CoB 가 성능을 크게 향상시킨다는 광범위한 실험 결과가 입증되었습니다.

실험 결과

본 논문은 InternVL2(2B/8B), Qwen2.5-VL, DocOwl 1.5 등 4 개의 MLLM 을 사용하여 7 개의 벤치마크 (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) 에서 Doc-CoB 를 평가했습니다.

• 성능 향상: Doc-CoB 는 모든 모델과 데이터셋에서 일관되게 성능을 향상시켰습니다. 특히 InternVL2-8B-CoB모델은 6 개 데이터셋에서 최첨단 (SOTA) 결과를 달성했으며, 7 개 벤치마크 모두에서 훨씬 더 큰 InternVL2-40B와 폐쇄 소스인 GPT-4o를 능가했습니다. 예를 들어, DeepForm 에서 InternVL2-8B-CoB 는 80.06% 를 달성하여 36.33% 의 SFT 기준선보다 크게 개선되었습니다.
• Ablation 연구:
  • 2 단계 패러다임을 제거하고 (CoB 데이터셋만 사용하여 한 번의 패스로 추론) 는 개선을 보이지만 전체 2 단계 접근법보다 여전히 열등하여 추론 패러다임 자체의 가치를 확인시켜 주었습니다.
  • 특정 추론 작업을 제거하면 성능이 저하되어, 현재 MLLM 은 타겟팅된 감독 없이는 프레임워크를 완전히 활용하는 내재적 능력이 부족함을 나타냅니다.
  • 2 단계에서 전체 이미지 입력을 잘라낸 이미지로 대체하면 5~15 점의 심각한 성능 저하가 발생하여 전역 레이아웃 컨텍스트 보존의 필요성을 입증했습니다.
• 효율성: 두 개의 이미지를 처리함에도 불구하고 Doc-CoB 는 더 낮은 유효 해상도 설정을 허용하여, 더 높은 정확도를 달성하면서도 바닐라 추론과 같거나 더 낮은 총 토큰 사용량을 보입니다.
• 강건성: 이 방법은 다른 레이아웃 분석기 (예: OCR+K-means, Marker) 를 사용할 때도 효과적이며, 인포그래픽 및 다중 페이지 문서와 같은 보이지 않는 도메인에 대한 강력한 제로샷 일반화를 보여줍니다.

의의 및 한계

본 논문은 Doc-CoB 가 아키텍처 변경 없이 명시적이고 레이아웃을 인지하는 시각적 추론이 MLLM 의 문서 이해 능력을 크게 향상시킬 수 있음을 보여준다고 주장합니다. 이는 coarse-to-fine 추론 패러다임과 타겟팅된 중간 감독의 결합이 문서 레이아웃의 고유한 도전을 처리하는 데 중요함을 강조합니다.

저자들이 인정한 한계:

• 노이즈 누적: 데이터 생성 전략이 레이아웃 분석에서 오는 노이즈를 억제하지만, 추론 시 노이즈는 완전히 제거될 수 없으며 단계 간 누적될 수 있습니다.
• 단일 라운드 선택: 현재 파이프라인은 박스 선택을 한 번만 수행합니다. 저자들은 반복적 정정을 위한 자기 검증 메커니즘이 강건성을 더 향상시킬 수 있다고 제안합니다.
• 세분화: 이 프레임워크는 레이아웃 수준의 추론을 다루지만, 선택된 박스 내의 모호성 (예: OCR 오류 또는 선택된 박스 내의 모호한 텍스트) 을 해결하지는 못하며, 이는 여전히 실패의 원인이 됩니다.