VAREX: 문서 기반 다중 모달 구조화 추출을 위한 벤치마크

이 논문은 정부 양식 (Government Forms) 에서 구조화된 데이터를 추출하는 작업을 평가하기 위한 새로운 벤치마크 VAREX (VARied-schema EXtraction) 를 소개합니다. 기존 벤치마크의 한계를 극복하고, 특히 소규모 모델 (≤4B 파라미터) 의 성능과 실패 원인을 체계적으로 분석할 수 있는 환경을 제공합니다.

1. 문제 정의 (Problem)

• 기존 벤치마크의 한계: FUNSD, CORD, SROIE 등 기존 벤치마크는 고정된 템플릿과 수동 주석을 기반으로 하여, 다양한 문서 구조에 대한 모델의 일반화 능력을 평가하기 어렵습니다. 또한, 단일 입력 표현 (이미지 또는 텍스트만) 에 의존하여 입력 형식이 추출 정확도에 미치는 영향을 분석할 수 없습니다.
• 소규모 모델의 평가 부재: 비용과 지연 시간 (Latency) 제약으로 인해 엣지 디바이스나 비용 민감한 환경에서 소규모 모델 (≤4B) 이 필수적이지만, 현재까지 이 범위의 모델들이 구조화된 추출 작업에서 어떻게 실패하는지 체계적으로 평가한 벤치마크는 존재하지 않았습니다.
• 주요 과제: 대규모 주석 데이터의 정확성 보장과 문서 구조의 다양성 (메모리가 아닌 일반화 능력) 을 동시에 평가하는 것입니다.

2. 방법론 (Methodology)

VAREX 는 기존 문서를 주석하는 방식이 아닌, 역주석 (Reverse Annotation) 파이프라인을 통해 데이터를 생성합니다.

• 역주석 파이프라인 (Reverse Annotation Pipeline):

  1. 템플릿 채우기: 미국 정부 소스의 3,300 개 이상의 채우기 가능한 PDF 템플릿을 수집합니다. 각 필드에 결정론적 (Deterministic) 인 플레이스홀더 (예: TXT_001) 를 프로그램적으로 채웁니다.
  2. 스키마 발견 (Schema Discovery): 채워진 PDF 를 이미지와 공간 텍스트로 렌더링하여 LLM(24B 모델) 에게 전달합니다. LLM 은 시각적 레이아웃과 필드 라벨을 분석하여 각 플레이스홀더를 의미 있는 필드 이름으로 매핑하는 JSON 스키마를 생성합니다.
  3. 데이터 리스킨 (Data Reskinning): 생성된 스키마에 따라 플레이스홀더를 현실적인 합성 데이터 (이름, 주소, 날짜 등) 로 교체합니다. 모든 값은 특정 위젯에 프로그램적으로 기록되므로, 값 수준의 Ground Truth(정답) 는 결정론적으로 보장됩니다.
  4. 다중 모달 내보내기: 각 채워진 문서를 4 가지 입력 모달리티로 변환합니다:
     • Plain Text (P): 읽기 순서의 원시 텍스트.
     • Spatial Text (S): 레이아웃을 보존하는 텍스트 (열 정렬을 위해 공백 유지).
     • Image (V): 200 DPI PNG 이미지.
     • S+V: 텍스트와 이미지 병합.

• 품질 보증 (Quality Assurance): 3 단계 검증 프로세스 (자동 스크리닝, 최첨단 모델 감사, 전문가 수동 검토) 를 거쳐 필드 수준의 정확도를 약 98.5% 로 유지합니다.

• 데이터셋 구성: 1,777 개의 문서, 1,771 개의 고유 스키마, 21,084 개의 평가 필드로 구성되며, 평탄 (Flat), 중첩 (Nested), 테이블 (Table) 구조를 모두 포함합니다.

3. 주요 기여 (Key Contributions)

1. Reverse Annotation 파이프라인: 결정론적 Ground Truth, 감사 가능한 스키마 매핑, 제어된 모달리티 제거 (Ablation) 가 가능한 합성 벤치마크 생성 방법론 제시.
2. VAREX 벤치마크 공개: 1,777 개 문서와 1,771 개 고유 스키마를 포함하며, 3 단계 품질 검증을 거친 대규모 데이터셋 제공.
3. 소규모 모델 실패 패턴 분석: 800M 에서 프런티어 규모까지 20 개 모델을 평가하여 '스키마 에코 (Schema Echo)', '미흡 추출 (Under-extraction)', '2~4B 파라미터 간의 지시 따르기 임계값' 등 구체적인 실패 유형을 규명.
4. 표준화된 평가 프로토콜: 스키마 구조 (중첩 유무, 배열 등) 에 따라 평점 방식을 세분화 (VAREX-FLAT, NESTED, TABLE) 하여 모델 간 비교의 타당성 확보.

4. 주요 결과 (Key Results)

20 개 모델 (프런티어 API, 대형 오픈 모델, 소형 VLM 등) 에 대한 평가 결과는 다음과 같은 통찰을 제공합니다.

• 소규모 모델의 병목 현상: 4B 파라미터 미만 모델에서 추출 능력 자체의 부족보다는 구조화된 출력 준수 (Structured Output Compliance) 가 주요 병목입니다.
  • 스키마 에코 (Schema Echo): 모델이 추출된 값 대신 입력된 JSON 스키마 구조를 그대로 복사하여 반환하는 현상. 이는 45~65%p 점수 하락을 유발합니다. 특히 $defs(재사용 가능한 타입 정의) 가 포함된 스키마에서 발생 빈도가 급증합니다.
  • 지시 따르기 임계값: 2~4B 사이에서 모델은 출력 형식 오류에서 실제 추출 오류 (OCR 실수, 할루시네이션) 로 전환됩니다.
• 파인튜닝의 효과: 2B 모델인 NuExtract 2.0 은 추출 전용 파인튜닝을 통해 81%p 이상의 점수 향상을 보이며, 90.8% 의 정확도를 달성했습니다. 이는 구조화된 출력 준수 능력이 규모 (Scale) 가 아닌 학습 (Learning) 으로 해결 가능함을 시사합니다.
• 모달리티 영향:
  • 레이아웃 보존 텍스트 (Spatial Text) 의 중요성: 원시 텍스트 (P) 에서 레이아웃 보존 텍스트 (S) 로 변경 시 정확도가 +3~18%p 상승하여, 픽셀 수준의 시각적 단서 (이미지) 보다 큰 향상을 보였습니다.
  • 이미지의 한계: 이미지만 입력될 때 소규모 모델은 스키마 에코 오류가 급증하여 성능이 크게 저하되었습니다.
• 모델 성능 비교:
  • 프런티어 모델 (Gemini 2.5 Pro 등) 은 98% 이상의 정확도를 보였습니다.
  • Qwen3-VL 8B(96.6%) 는 Llama 4 Maverick(17B) 보다 높은 성능을 보였으며, 모델 크기만으로 추출 능력이 결정되지 않음을 입증했습니다.
  • 벤치마크는 60~95% 정확도 구간에서 모델을 가장 효과적으로 구분합니다.

5. 의의 및 결론 (Significance)

• 소규모 모델 개발 가이드: 비용 효율적이고 엣지 디바이스 배포가 가능한 소규모 모델 (≤4B) 의 개발 방향을 제시합니다. 특히 '스키마 에코'와 같은 출력 형식 문제를 해결하는 것이 성능 향상의 핵심임을 강조합니다.
• 입력 표현의 중요성: 이미지 처리 능력보다 레이아웃 정보를 텍스트로 보존하는 것 (Spatial Text) 이 구조화된 추출에 더 중요할 수 있음을 입증했습니다.
• 실용적 벤치마크: VAREX 는 실제 배포 환경 (비용, 지연 시간) 을 고려한 모델 평가와 개발을 위한 표준 도구로 작용할 것이며, 공개된 데이터셋과 코드를 통해 연구 커뮤니티의 발전에 기여할 것으로 기대됩니다.

요약하자면, VAREX 는 단순한 성능 비교를 넘어, 어떻게 입력을 처리하고 (모달리티), 어떻게 지시를 따르며 (Compliance), 어떤 구조에서 실패하는지 (Structure) 를 체계적으로 분석할 수 있는 최초의 다면적 벤치마크입니다.