기술 요약: 문서 내 요소의 정밀한 그라운딩을 위한 LMM

문제 정의

시각적 그라운딩(Visual grounding)—자연어 지침에 따라 특정 시각적 영역을 찾아내는 능력—은 문서 이해, 심층 연구 및 오류 탐지에 있어 매우 중요합니다. 그러나 기존의 LMM은 텍스트가 풍부한 문서 이미지에서의 정밀한 그라운딩에 어려움을 겪고 있습니다. 자연 이미지와 달리, 문서는 요소의 밀도가 높고, 템플릿이 다양하며, 레이아웃이 복합적입니다. 현재의 모델들은 중요한 요소(단어, 구절, 줄)를 정확하게 찾아내는 데 실패하는 경우가 많으며, 이는 모델이 관련 없는 영역에 집중하여 "환각(hallucinated)"된 추론을 유도하는 결과로 이어집니다. 이러한 결함은 LMM이 자신의 텍스트 추론에 대한 근거로 특정 공간 좌표를 인용해야 하는 과정인 **시각적 그 grounded 추론(visual grounded reasoning)**을 저해합니다. 또한, 기존 데이터셋은 이러한 도전적인 시나리오를 위해 모델을 훈련하는 데 필요한 세밀함과 다양성(예: 합성된 수기 문서)이 부족하며, 강화 학습(RL)을 통해 그라운딩과 추론을 공동 최적화하는 완전한 훈련 파이프라인도 존재하지 않습니다.

방법론

본 논문은 정밀한 요소 그라운딩을 위해 설계된 LMM인 PreciseDoc와, 시각적 grounded 추론에 최적화된 변체인 PreciseDoc-Reasoner를 소개합니다. 방법론은 세 가지 핵심 구성 요소로 구조화되어 있습니다.

1. 고품질 데이터 생성 파이프라인

고품질 그라운딩 데이터의 부족을 해결하기 위해, 저자들은 두 가지 자동화된 문서 생성 엔진을 구축했습니다.

• LaTeX 기반 엔진: LaTeX 소스 코드를 컴파일하여 네이티브 PDF를 생성합니다. 컴파일 중에 커스텀 명령(\marktext)을 삽입하여 래핑된 텍스트에 대한 정밀한 공간 좌표(포인트를 픽셀로 변환)를 캡처합니다. 이 엔진은 다양한 이력서 템플릿 및 기타 문서 유형을 대량으로 생산할 수 있도록 지원합니다.
• 수기 데이터 엔진: 카메라 효과(예: 필터, 열화)를 적용하여 실제 스캐닝 상황을 시뮬레이션한 수기 작성 문서를 합성합니다. NIST 데이터셋에서 개별 문자 샘로를 조합하여 일관된 텍스트를 형성하고, VLM이 생성한 값들을 위한 공간을 확보합니다. 이 파이프라인은 수기 문서 그라운딩을 위한 데이터셋의 부재를 해결합니다.
• 태스크 구성: 이 엔진들은 두 가지 태스크를 위한 문서 및 메타데이터 쌍을 생성합니다: 순수 그라운딩(특정 구절 또는 요소 찾기) 및 정보 추출(CV의 "경력 사항"과 같은 요소 그룹 찾기).

2. 훈련 파이프라인: 콜드 스타트부터 강화 학습까지

PreciseDoc-Reasoner의 훈련은 2단계 패러다임을 따릅니다.

• 단계 1: 콜드 스타트 초기화 (SFT): 선별된 27K VQA 데이터셋(BBox-DocVQA 및 DOGR에서 유래)을 통해 모델을 미세 조정합니다. 이 데이터셋은 모델이 사고 과정 및 최종 답변과 함께 바운딩 박스 좌표(토큰 레벨 또는 요소 레벨)를 생성하도록 지시하는 추론 궤적을 포함합니다. 이 데이터는 토큰 레벨 박스를 요소 레벨 박스로 확장하고, VLM이 박스를 단순히 보조적인 태그로 취급하는 것이 아니라 추론을 위해 능동적으로 사용하도록 콘텐츠를 주석 처리함으로써 구축되었습니다.
• 단계로 2: 강화 학습 (RL): 모델은 추론 정확도와 중간 단계의 그라운딩을 모두 감독하기 위해 공동 RL 훈련을 거칩니다.
  • 보상 설계: 총 보상 $R$은 답변 정확도 보상($R_{acc}$)과 이중 IoU 보상($R_{IoU}$)을 결합합니다.
  • 매칭을 위한 헝가리안 알고리즘: 많은 대 다수의 매핑을 사용하는 기존 방식(지표를 부풀릴 수 있음)과 달리, 저자들은 예측된 박스와 정답 박스 간의 최적의 일대일 할당을 설정하기 위해 헝가리안 알고리즘을 채택했습니다. 이는 엄격한 매핑 제약을 보장하면서 전체 IoU를 극대화합니다.
  • 길이 페널티: 모델이 IoU 점수를 높이기 위해 불필요하거나 과도한 바운딩 박스를 생성하여 "게임"하는 것을 방지하기 위해, 매칭되지 않은 생성된 박스에 엄격한 페널티를 적용합니다.

주요 기여

1. 문서 생성 엔진: 정밀한 공간 메타데이터가 쌍으로 포함된 고품질 문서를 대량 생산할 수 있는 두 가지 파이프라인(카메라 효과가 적용된 합성 수기 문서 포함)을 도입했습니다.
2. PreciseDoc 모델: CV에서 개인 정보를 찾는 것과 같은 실제 기능을 수행할 수 있으며, 기존의 특화된 모델들을 능가하는 문서 텍스트 그라운딩 분야의 SOTA(State-of-the-Art) 성능을 달리는 LMM입니다.
3. PreciseDoc-Reasoner 및 훈련 패러다임: 문서 내 시각적 grounded 추론을 위한 최초의 완전한 훈련 파이프라인(SFT에서 RL까지)을 제시합니다. 이는 정밀하고 중복 없는 증거 로컬라이제이션을 보장하기 위해 일대일 박스 매칭을 사용하는 새로운 RL 보상 메커니즘과 길이 페널티를 도입했습니다.

실험 결과

제안된 모델들은 여러 벤치마크에서 평가되었습니다.

• DocLocal4K (텍스트 그라운딩): PreciseDoc는 **81.79%**의 전체 정확도를 달성하여, Doubao-Seed-2.0-Pro (54.45%) 및 DocOwl-1.5 (80.38%)와 같은 강력한 베이스라인 모델들을 앞질렀습니다. 특히 작은 입도(단어, 구절, 줄)의 요소에서 우수한 성능을 보였습니다.
• TRIG (단어 레벨 grounded 추론): PreciseDoc-Reasoner는 평균 IoU **46.42%**를 달성하여, 다른 모든 오픈 소스 및 독점 모델(예: Qwen3.5-27B 20.03%, Gemini-3-Pro 30.26%)을 크게 앞질렀습니다. 특히 차트 이해에서 강점을 보이며 두 번째로 높은 모델의 성능을 두 배로 뛰어넘었습니다.
• BBox-DocVQA (요소 레벨 grounded 추론): 모델은 그라운딩 정확도 **51.16%**와 답변 정확도 **75.97%**를 달성했습니다. 이는 모든 나열된 오픈 소스 LMM(235B 파라미터인 Qwen3VL 포함)을 능가했으며, 독점 모델 중에서는 Gemini-3-Flash에 이어 2위를 기록했습니다.
• 전통적 벤치마크: DocVQA, ChartQA, TextVQA에서 PreciseDoc-Reasoner는 방대한 일반 VQA 데이터셋으로 훈련되지 않았음에도 불구하고 Qwen3.5-9B와 같은 더 큰 모델들과 대등하거나 더 나은 결과를 얻으며 경쟁력 있는 성능을 입증했습니다.

의의 및 주장

본 논문은 PreciseDoc가 문서 이해와 정밀한 공간 로컬라이제이션 사이의 간극을 성공적으로 메웠다고 주장합니다. 도전적이고 고충실도의 훈련 데이터를 구축하고 일대-일 박스 매칭을 갖춘 엄격한 RL 훈련 패러다임을 도입함으로써, 저자들은 LMM이 검증 가능한 시각적 증거를 제공하도록 효과적으로 훈련될 수 있음을 입증했습니다. 본 연구는 정확한 그라운딩이 단순한 전처리 단계가 아니라, 환각을 방지하고 해석 가능성을 높이는 추론 과정의 핵심 구성 요소임을 강조합니다. 저자들은 제안된 방법론과 데이터 생성 파이프라인이 향후 문서 AI의 발전을 위한 확장 가능한 솔루션을 제공한다는 점을 언급하며, 이를 보다 신뢰할 수 있고 증거 기반의 문서 분석 시스템을 향한 기초적인 단계로 규정합니다.