PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

1. 문제 정의 (Problem)

문서 시각 이해 (Visual Document Understanding, VDU) 분야에서 **테이블 추출 (Table Extraction, TE)**은 핵심적인 과제이나, 다음과 같은 한계점들이 존재합니다.

• 기존 접근법의 한계: 전통적인 방법은 먼저 테이블을 탐지 (Detection) 한 후, 잘라낸 (Cropped) 테이블 이미지만을 대상으로 구조 인식 (Structure Recognition, TSR) 을 수행하는 2 단계 파이프라인을 사용합니다. 이 방식은 컨텍스트가 손실될 수 있고, 다단계 파이프라인 유지 관리가 복잡하다는 단점이 있습니다.
• 문맥 기반 추출의 부재: 최근 비전 - 언어 모델 (VLM) 을 이용한 엔드 - 투 - 엔드 (End-to-End) 추출에 대한 관심이 높아졌으나, 평가는 여전히 잘라낸 테이블 이미지에 국한되어 있어 전체 페이지나 문서 전체의 맥락 (Full-page/Document Context) 을 고려한 평가가 부족합니다.
• 멀티페이지 테이블의 데이터 부재: 한 문서 내에서 여러 페이지에 걸쳐 이어지는 테이블 (Multi-page tables) 을 추출하는 작업은 실용적 가치가 높지만, 이를 학습하고 평가할 수 있는 대규모 데이터셋이 존재하지 않았습니다.
• 계층적 관계의 결여: 테이블과 캡션 (Caption), 푸터 (Footer) 간의 계층적 관계를 대규모로 연결한 데이터셋이 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 PubTables-v2라는 새로운 대규모 데이터셋을 구축하고, 이를 기반으로 다양한 실험을 수행했습니다.

A. PubTables-v2 데이터셋 구축

• 데이터 소스: PubTables-1M 이후 (2023~2025 년) 에 출판된 PubMed 의 100 만 개 이상의 과학 논문에서 XML(HTML) 테이블 주석을 기반으로 데이터를 수집했습니다.
• 품질 관리 (Quality Control): PDF 텍스트와 원본 HTML 주석 간의 정렬 (Sequence alignment) 후, 텍스트 편집 거리 (Edit Distance) 를 엄격하게 검증하여 ($\alpha=0.02, \beta=0.2$) 저품질 데이터를 제거했습니다.
• 데이터 구성 (3 가지 컬렉션):
  1. Cropped Tables: 긴 테이블 (30 행 이상) 과 넓은 테이블 (12 열 이상) 에 초점을 맞춘 135,578 개의 잘라낸 테이블.
  2. Single Pages: 전체 페이지 컨텍스트를 포함한 467,541 개의 페이지 (548,414 개의 테이블). 테이블, 캡션, 푸터, 행/열 등의 경계 상자 (Bounding Box) 와 계층적 관계 (Hierarchy) 를 주석 처리했습니다.
  3. Full Documents: 9,172 개의 전체 문서로, 9,492 개의 멀티페이지 테이블을 포함합니다. (최대 13 페이지에 걸쳐 있는 테이블 포함).

B. 모델 및 평가 지표

• 모델: 기존에 훈련된 소형 전문 비전 - 언어 모델 (VLM) 들 (SmolDocling, GraniteDocling, Qwen2.5-VL, DeepSeek-OCR, dots.ocr 등) 과 테이블 구조 인식 전용 모델 (TATR) 을 베이스라인으로 평가했습니다.
• 평가 지표: 기존에 단일 테이블에 적용되던 GriTS와 TEDS 지표를 확장하여, 하나의 입력 (페이지/문서) 에 대해 여러 개의 예측 테이블과 정답 테이블 집합을 매칭하는 일반화된 (Generalized) 지표를 도입했습니다. (할당 알고리즘인 Hungarian algorithm 사용).
• 크로스 - 페이지 테이블 연결 예측 (Cross-page Table Continuation): 멀티페이지 테이블을 인식하기 위해, 두 개의 연속된 페이지 이미지를 입력받아 "첫 번째 페이지의 마지막 테이블이 두 번째 페이지로 이어지는가?"를 이진 분류하는 새로운 태스크를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 대규모 멀티페이지 테이블 벤치마크: 9,492 개의 멀티페이지 테이블을 포함하는 PubTables-v2 를 통해 문서 수준의 테이블 추출 (Document-level TE) 평가를 가능하게 했습니다.
2. 전체 페이지 및 문서 컨텍스트 데이터셋: 548,414 개의 테이블이 전체 페이지 컨텍스트와 캡션/푸터와의 계층적 관계로 주석 처리된 'Single Pages' 컬렉션을 제공합니다.
3. 엔드 - 투 - 엔드 테이블 추출 벤치마킹: 잘라낸 테이블이 아닌 전체 페이지/문서 컨텍스트에서 최신 소형 VLM 들의 성능을 최초로 평가했습니다.
4. 데이터 기반 크로스 - 페이지 연결 예측: 이미지 분류 모델 (ViT 등) 을 사용하여 페이지 간 테이블 연결을 예측하는 방법을 제안하고, 이를 통해 멀티페이지 테이블 인식 성능을 획기적으로 개선함을 증명했습니다.
5. 오픈 소스: 데이터, 코드, 모델을 공개하여 연구 커뮤니티의 발전을 도모합니다.

4. 실험 결과 (Results)

• Cropped Table (잘라낸 테이블): TATR 모델에 문서 내 텍스트 직접 추출 (DT) 을 결합했을 때 가장 높은 성능 (GriTSCon 0.9803) 을 보였으며, VLM 중에서는 dots.ocr이 가장 우수했습니다.
• Single Page (전체 페이지): dots.ocr이 VLM 중 가장 높은 성능을 보였으나, 여전히 텍스트를 직접 추출하는 TATR 기반 모델 (POTATR) 에 비해 성능 격차가 존재했습니다.
• Full Document (전체 문서):
  • 문서를 한 번에 입력받는 방식은 컨텍스트 윈도우 제한 등으로 인해 매우 어려웠으며, Qwen2.5-VL-3b 만이 일부 처리 가능했습니다.
  • 페이지 단위로 처리한 후 결과를 통합하는 방식에서도 dots.ocr이 0.5768 의 GriTSCon 점수로 가장 우수했으나, 여전히 40% 미만의 테이블만 완벽하게 인식하는 등 성능 한계가 명확히 드러났습니다.
• 크로스 - 페이지 연결 예측 (Cross-page Continuation):
  • ViT-B-16 모델을 사용하여 페이지 간 테이블 연결 여부를 예측한 결과, 정밀도 0.987, 재현율 0.995의 거의 완벽한 성능을 달성했습니다. 이는 PubTables-v2 의 테이블들이 페이지를 넘어갈 때 강력한 시각적 단서를 가지고 있음을 시사합니다.
• 성능 개선 효과: 페이지 단위로 추출된 테이블들을 크로스 - 페이지 연결 예측 모델의 결과를 바탕으로 병합 (Merging) 하는 방식을 적용한 결과, 문서 수준의 테이블 추출 성능 (GriTSCon) 이 0.5768 에서 0.6844 로 약 18% 향상되었습니다.

5. 의의 및 결론 (Significance)

• 연구의 새로운 지평: 멀티페이지 테이블 추출이라는 실용적이지만 연구가 더뎠던 분야에 대한 대규모 벤치마크를 제공함으로써, 향후 연구의 방향성을 제시했습니다.
• 모델 능력의 한계 확인: 현재 존재하는 VLM 들이 문서 전체 맥락, 특히 멀티페이지 테이블 인식에서 심각한 성능 부족을 겪고 있음을 입증했습니다.
• 실용적 해결책 제안: 복잡한 엔드 - 투 - 엔드 모델 개발 대신, 간단한 이미지 분류 모델을 통해 페이지 간 연결을 예측하고 테이블을 병합하는 하이브리드 접근법이 현재로서는 훨씬 효과적인 해결책임을 보여주었습니다.
• 향후 과제: 데이터셋의 공개를 통해 문서 구조 분석, 정보 추출, 그리고 대규모 언어 모델의 문서 이해 능력 향상을 위한 기초 자료로 활용될 것으로 기대됩니다.

이 논문은 단순히 데이터셋을 제공하는 것을 넘어, 문서 내 테이블 추출의 복잡성 (특히 멀티페이지 문제) 을 체계적으로 분석하고, 데이터 기반의 실용적인 해결 전략을 제시했다는 점에서 중요한 의의를 가집니다.