기술 요약: ExtractBench

문제 정의

기업의 워크플로우가 수동 데이터 입력에서 에이전트 기반, 스키마 가이드형 문서 추출로 급격히 변화하고 있습니다. 이 패러다임에서 에이전트는 문서(종종 복잡한 PDF)와 사용자 정의 JSON 스키마를 전달받아, 모든 추출된 값에 대해 소스 근거(grounding)를 포함하여 스키마를 충실히 준수하는 구조화된 출력을 생성해야 합니다.

기존의 문서 추출 벤치마크는 이러한 특정 기업용 유스케이스를 적용할 때 다음과 같은 결정적인 한계를 보입니다:

• 고정된 온톨로지: 기존 벤치마크(예: SROIE, DocILE)는 고정된 필드 세트의 회복을 테스트하며, 임의의 사용자 정의 스키마를 따르는 시스템의 능력을 평가하는 데 실패합니다.
• 좁은 범위: 최근의 스키마 가이드형 벤치마크는 문제의 단일 차원(예: 긴 리스트만 다루거나, 합성 데이터만 다루거나, 특정 문서 유형만 다루는 경우)만을 다루며, 스캔본이나 필기체와 같은 실제 세계의 노이즈가 결여되어 있습니다.
• 누락된 지표: 기존의 평가는 시각적 근거 제시(값의 출처를 지칭하는 능력)와 페이지당 비용을 무시하는 경향이 있으며, 이는 프로덕션 규모의 배포에 있어 매우 중요한 요소입니다.
• 챌린지 태깅 부족: 종합 점수는 시스템이 어려운 작업(예: 긴 리스트) 때문에 실패한 것인지, 아니면 인지 문제(예: 열악한 스캔 품질) 때문에 실패한 것인지를 구분하지 못합니다.

방법론: ExtractBench 프레임워크

ExtractBench는 값의 정확도, 근거 제시, 비용을 동시에 평가하도록 설계된 포괄적인 벤치마크입니다.

1. 코퍼스 및 분류 체계

본 벤치마크는 8개 비즈니스 도메인(금융, 에너지, 정부 등)과 67개 문서 유형을 아우르는 370개의 문서 및 4,869개 페이지로 구성됩니다.

• 출처: 코퍼스에는 실제 디지털 생성(born-digital) 문서, 실제 레이아웃을 기반으로 한 합성 긴 리스트, 실제 규제/세무 양식이 포함됩니다.
• 챌린지 태깅: 각 문서는 세밀한 실패 분석을 위해 다섯 가지 독립적인 축을 따라 태깅됩니다:
  • 작업 챌린지: 긴 리스트 완결성(T1), 네들 인 헤이스택(needle-in-haystack)(T2), 밀집 문서(T3).
  • 인지 챌린지: 회전/이미지 전용(P1), 스캔본(P2), 필기체(P3).
  • 테이블 구조: 병합된 헤더, 교차 페이지 테이블 등.
  • 길이: 짧음(≤10pp), 중간(11–50pp), 김(>50pp).
  • 도메인: 특정 산업 수직 계열.

2. 정답(Ground-Truth) 큐레이션 파이프라인

과도한 수동 라벨링 비용 없이 고품질의 정답을 생성하기 위해, 저자들은 확장 가능한 소스별 파이프라인을 채택했습니다:

• 실제 문서: 샘플로부터 스키마를 작성합니다. 여러 추출 시스템(프런티어 모델)을 스키마에 대해 실행합니다. 모든 시스템이 일치하는 값을 후보 정답으로 삼으며, 불일치하는 경우 인간이 조정하거나 스키마를 정교화합니다.
• 합성 긴 리스트: "역순으로"(데이터 먼저, 문서 나중) 구축되었습니다. 실제 공시 자료에서 레코드를 생성하거나 파싱한 후, 코딩 에이전트에 의해 PDF로 렌더링됩니다. 정답은 구성 단계부터 정확하며, 렌더링 시의 박스(bounding box)를 직접 읽어옵니다.
• 스캔된 양식: 빈 템플릿을 대상으로 스키마를 작성합니다. 시스템 앙상블이 값에 대해 투표하며, 논쟁이 있는 필드는 인간이 검증하고 바운딩 박스를 다시 그리는 과정을 거칩니다.

3. 평가 지표

• 값의 정확도: **순서 무관 값 F1(Order-insensitive Value F1)**을 통해 측정됩니다. 추출된 JSON은 셀 단위로 평탄화됩니다. 배열은 불일치하는 레코드를 최소화하기 위해 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 정렬됩니다. 비교 전 값은 정규화됩니다(예: 날짜를 ISO 형식으로 변환).
• 근거 제시(Grounding):
  • 단어 수준 F1: 값이 정확해야 하며, 예측된 바운딩 박스가 정답 박스와 겹쳐야 합니다(IoU ≥ 0.5).
  • 페이지 수준 F1: 정확한 값과 정확한 소스 페이지가 일치해야 합니다.
• 비용: 실제 토큰/크레딧 소비량을 기반으로 페이지당 센트(cents) 단위로 측정됩니다.

4. 평가 대상 시스템

본 벤치마크는 세 가지 카테고리에 걸쳐 14개의 프런티어 시스템을 평가했습니다:

• 상용 VLM: (예: Gemini 3.5 Flash, GPT-5.4 Nano).
• 코딩 에이전트: (예: Claude Code Opus 4.8, Codex GPT-5.5) 문서를 파싱하기 위해 반복적인 도구 루프를 사용합니다.
• 특화 API: (예: LlamaExtract 티어, Reducto, Extend, Datalab).

주요 결과

품질-비용 프런티어(Quality–Cost Frontier)

평가는 뚜렷한 트레이드오프 지형을 보여줍니다:

• 상용 VLM: 가장 낮은 비용(≤1.0 ¢/page)을 제공하지만 정확도에서 어려움을 겪습니다. 특히 긴 문서에서 취약합니다(Gemini 3.5 Flash의 경우 짧은 문서에서의 F1 ~88%에서 긴 문서에서는 ~28%로 하락). 이들은 긴 레코드 리스트를 자주 잘라냅니다(truncation).
• 코딩 에이전트: 높은 정확도(87–94% F1)를 달성하고 긴 문서를 잘 처리하지만, 비용이 훨씬 높습니다(>15 ¢/page).
• 특화 API: 가장 넓은 범위를 커버합니다. LlamaExtract Agentic Plus가 선두주자로 나타났으며, 8.1 ¢/page의 비용으로 95.6% F1을 달성했습니다. 이는 코딩 에이전트보다 정확도는 높으면서 비용은 절반 미만입니다.

차원별 성능

• 문서 길이: 대부분의 시스템은 50페이지가 넘는 문서에서 성능이 크게 저하됩니다. LlamaExtract Agentic Plus는 모든 길이 구간에서 90% 이상의 F1을 유지하는 유일한 시스템입니다.
• 테이블 구조: "거대 테이블"(>1,000행)은 대부분의 VLM에게 치명적인 실패를 야기합니다(F1 < 10%). 특화 API와 코딩 에이전트는 여기서 훨씬 더 나은 성능을 보입니다.
• 인지(Perception): 시스템들은 특정 사각지대를 가집니다. 예를 들어, Codex GPT-5.5는 회전된 이미지에서 어려움을 겪는 반면, 일부 API는 스캔된 페이지에서 고전하지만 필기체는 잘 처리합니다.

근거 제시의 격차(The Grounding Gap)

일반 모델들의 소스 추적 능력 결여는 중요한 발견입니다:

• 표준 VLM 및 코딩 에이전트는 기본적으로 단어 수준의 박스를 반환하지 않으므로, 단어 수준 근거 제시에서 **0.0%**를 기록했습니다.
• 박스를 반환하는 특화 시스템조차 정밀도 측면에서 고전합니다. 최고의 단어 수준 근거 제시 F1은 46.4%(LlamaExtract Agentic Plus)인 반면, 페이지 수준 근거 제시는 훨씬 높게 나타났습니다(84.9%). 이는 시스템이 올바른 페이지는 찾을 수 있어도, 값을 정확한 단어 위치와 연결하는 것은 여전히 해결해야 할 과제임을 시사합니다.

의의 및 주장

본 논문은 스키마 가이드형 추출을 위해 값의 정확도, 레코드 완결성, 근거 제시, 그리고 측정된 비용를 대규모로 결합하여 보고하는 첫 번째 평가임을 주장합니다.

• 진단 능력: 챌린지 태그를 사용함으로써, ExtractBench는 단순한 종합 점수를 넘어 시스템이 왜 실패하는지(예: 인지 실패와 긴 리스트 잘림 현상의 구분)를 진단할 수 있게 합니다.
• 프로덕션 관련성: 비용과 근거 제시 지표의 포함은 금융적 타당성과 감사 가능성이 원시 정확도만큼 중요한 기업용 배포의 특정 요구사항을 충족합니다.
• 최신 기술 수준(SOTA): 결과에 따르면 일반 목적의 VLM은 간단한 작업에 비용 효율적이지만, 특화된 에이전트형 API가 현재 높은 정확도, 문서 복잡성에 대한 견고함, 그리고 비용 효율성 사이에서 최적의 균형을 제공합니다.

저자들은 규모 있는 신뢰할 수 있는 추출을 위해서는 완전한 출력을 생성하고, 추적 가능한 증거를 제공하며, 지속 가능한 비용으로 작동할 수 있는 시스템이 필요하며, 이러한 조합은 현재 LlamaExtract Agentic Plus와 같은 특화된 에이전트 솔루션에서 가장 잘 구현된다고 결론짓습니다.