💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

이 논문은 복잡한 실제 문서 이미지에 대한 다양한 표 추출 시스템의 성능을 평가하기 위해, 9개 언어와 4개 문자로 구성된 1,820개의 인간 주석 표를 포함하는 다국어 벤치마크인 PulseBench-Tab과 새로운 그래프 기반 평가 지표인 T-LAG을 소개한다.

원저자: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 9개 국어로 인쇄된 재무 보고서, 정부 양식, 기업 공시 등 방대한 문서 라이브러리가 있다고 상상해 보십시오. 이 문서들 안에는 숫자와 텍스트로 채워진 수천 개의 표(스프레드시트와 같은 형태)가 들어 있습니다. 이 논문의 목표는 컴퓨터가 이 표들을 얼마나 잘 "읽고", 완벽하게 복사하며, 모든 정보가 정확히 어디에 속하는지 이해할 수 있는지 확인하는 것입니다.

다음은 PulseBench-Tab과 T-LAG에 대한 쉬운 설명입니다.

1. 문제점: 왜 표는 까다로운가

표를 읽는 것은 단순히 글자를 인식하는 것(책을 읽는 것과 같은)이 아닙니다. 그것은 기하학을 이해하는 일입니다.

비유: 표를 직소 퍼즐이라고 상상해 보십시오. 만약 "100"이라는 숫자가 적힌 조각을 잘못된 위치에 놓는다면, 그림은 망가집니다. 컴퓨터 시스템에서 숫자가 잘못된 셀에 들어가게 되면, 그것은 단순한 오타가 아니라 나중에 수행될 모든 계산을 망가뜨리는 재앙이 됩니다.
격차: 기존의 테스트들은 주로 영어 표를 다루거나, 표를 긴 단어 목록처럼 취급하여(평면화하여) 2D 구조(행과 열)를 상실하게 만들었습니다. 또한 오른쪽에서 왼쪽으로 쓰는 언어(아랍어 등)나 복잡한 문자를 사용하는 언어(중국어, 일본어 등)를 충분히 테스트하지 않았습니다.

2. 해결책: 새로운 "테이블 체육관" (데이터셋)

저자들은 PulseBench-Tab이라 불리는 거대한 훈련장을 구축했습니다.

규모: 이 데이터셋은 1,820개의 실제 세계 표를 포함하고 있습니다.
다양성: 이 표들은 9개 언어(영어, 중국어, 아랍어, 러시아어 등)와 4가지 다른 문자 체계를 사용하는 380개의 서로 다른 문서에서 가져왔습니다.
난이도: 어떤 표는 매우 작지만(단 2개의 셀), 어떤 표는 1,000개 이상의 셀을 가진 괴물 같은 크기입니다. 또한 절반 정도는 "병합된" 셀(하나의 큰 셀이 두세 개의 작은 셀 공간을 차지하는 형태)을 가지고 있는데, 이는 마치 보드 위의 여러 칸을 한 번에 덮는 퍼즐 조각과 같습니다.
골드 스탠다드(정답 기준): 모든 표는 해당 언어를 구사하는 인간 전문가들에 의해 검수되었으며, 이를 통해 "정답지"가 100% 정확함을 보장했습니다.

3. 새로운 자: T-LAG (그래프 지표)

컴퓨터를 채점하기 위해 저자들은 T-LAG라는 새로운 점수 산정 방식을 발명했습니다.

기존 방식: 이전 방법들은 컴퓨터가 올바른 단어를 얻었는지는 확인했지만, 그 단어들이 올바른 '이웃'에 있는지에는 충분히 신경 쓰지 않았습니다. 이는 학생이 철자 시험을 보는데, 단어를 맞게 썼는지는 보되 그 단어가 올바른 문장에 들어갔는지는 무시하는 것과 같습니다.
새로운 방식 (T-LAG): 표를 도로로 연결된 도시들의 지도로 상상해 보십시오.
- 노드 (도시): 개별 셀들입니다.
- 엣지 (도로): 셀 사이의 연결 관계입니다 (예: "셀 A는 셀 B의 오른쪽에 있다" 또는 "셀 C는 셀 D의 아래에 있다").
채점 방식: T-LAG는 "도로"를 살펴봅니다. 즉, "컴퓨터가 실제 표와 동일한 도로 지도를 구축했는가?"를 묻습니다.
- 만약 컴퓨터가 텍축은 맞게 가져왔지만 잘못된 열에 배치했다면, "도로"가 끊어진 것이며 점수가 깎입니다.
- 이 방식은 **헝가리 알고리즘(Hungarian Algorithm)**이라는 특수한 수학적 기법을 사용하여 실제 표와 컴퓨터가 만든 표 사이의 최적의 매칭을 찾아내며, 이를 통해 단순히 무작위로 추측하는 것을 방지합니다.
- "엄격함" 다이얼: 저자들은 채점을 매우 엄격하게 설정했습니다( "k=7" 설정). 현실 세계에서 재무 보고서가 "$10 million" 대신 "$1 million"이라고 적혀 있다면, 그것은 "거의 맞았다"가 아니라 실패입니다. 이 지표는 작은 오류도 큰 실패로 간주하여 현실 세계의 요구사항을 반영합니다.

4. 경주: 누가 승리했는가?

저자들은 이 데이터셋을 사용하여 9가지 서로 다른 컴퓨터 시스템(대형 테크 기업의 API, 오픈 소스 도구, 그리고 자신들의 시스템 포함)을 테스트했습니다.

우승자: 저자들의 자체 시스템인 Pulse Ultra 2가 **93.5%**의 점수로 1위를 차지했습니다. 이 시스템은 절반 이상의 표에서 "완벽한" 점수를 받은 유일한 시스템이었습니다.
준우승: Gemini 3.1이 **81.6%**로 2위를 차지했습니다.
격차: 상위 두 시스템 이후에는 큰 점수 하락이 있었습니다. 하위 3분의 1에 해당하는 시스템들은 72% 미만의 점수를 기록했는데, 이는 그들이 심각하게 고전했음을 의미합니다.
가장 어려운 과제: 비라틴 문자(아랍어, 한국어, 중국어 등)가 모두에게 가장 어려웠습니다.
- 비유: 이것은 평탄한 포장도로(영어)에서는 잘 달리는 러너가 산악 트레일(아랍어/한국어)에서는 돌부리에 걸려 넘어지는 것과 같습니다. 최고의 시스템들조차 언어가 바뀌었을 때 점수가 크게 떨어지는 것을 목격했습니다.
"침묵의 실패": 일부 시스템은 나쁜 답을 내놓는 것에 그치지 않고, 약 20%의 표에 대해 아예 답을 내놓지 못했습니다. 실제 비즈니스 환경에서 이는 어려운 문서를 만났을 때 그냥 작동을 멈춰버리는 로봇과 같습니다.

5. 시사점

이 논문은 컴퓨터가 표를 읽는 능력이 향상되고는 있지만, 특히 복잡한 레이아웃이나 영어가 아닌 언어를 다룰 때 최고의 시스템들과 나머지 시스템들 사이에 여전히 거대한 격차가 존재한다고 결론짓습니다.

저자들은 데이터셋, 채점 코드, 그리고 결과를 대중에게 공개했습니다. 이는 마치 체육관 문을 모두에게 개방하는 것과 같아서, 연구자들이 기계가 정확히 어디에서 실패하는지 파악하고 추측하는 대신 이를 수정할 수 있도록 하기 위함입니다.

요약하자면: 그들은 표 읽기 AI를 위한 혹독한 다국어 장애물 코스를 만들었고, AI가 그 코스를 얼마나 잘 통과하는지 측정하기 위한 새로운 자를 발명했으며, 현재 한 시스템이 선두를 달리고 있지만 다른 대부분의 시스템은 복잡한 비영어권 환경에서 발을 헛디디며 고전하고 있다는 것을 발견했습니다.

기술 요약: PulseBench-Tab 및 T-LAG

1. 문제 정의

문서 이미지로부터 표를 추출하는 것은 문서 지능(document intelligence)의 기초적인 과업으로, 금융 분석, 규제 준수 및 기업 데이터 처리에 있어 매우 중요합니다. 그러나 기존의 벤치마크와 평가 지표는 다음과 같은 중대한 한계를 가지고 있습니다:

구조와 포맷의 혼재: TEDS와 같은 지표는 HTML DOM 트리에 기반하여 작동하므로, 포맷팅 관례(예: <thead> 래퍼)와 구조적 오류를 구분하지 못하고 혼재시킵니다.
2D 위상 정보의 손실: 시퀀스 정렬 방식(예: Needleman-Wunsch)은 표를 1D 시퀀스로 평탄화하여, 수평 및 수직 인접성의 차이를 상실합니다.
언어적 편향: 대부분의 벤치마크는 영어에 주로 집중되어 있어, 비라틴 문자(아랍어, 키릴 문자) 및 CJK(중국어, 일본어, 한국어) 텍스트에 대한 성능 측정이 미흡합니다.
의미론적 민seity(Semantic Sensitivity): 다운스트림 애플리케이션에서 잘못된 셀에 위치한 숫자는 단순한 OCR 오류가 아닌 의미론적 실패입니다. 현재의 지표들은 위치 오류에 대해 충분한 페널티를 부여하지 못하는 경우가 많습니다.

2. 방법론

2.1 PulseBench-Tab 데이터셋

저자들은 이러한 격차를 해소하기 위해 설계된 개방형 다국어 벤치마크인 PulseBench-Tab을 소개합니다.

규모 및 범위: 이 데이터셋은 380개의 고유 소스 문서(금융 공시, 정부 보고서, 규제 공개 문서)에서 추출된 1,820개의 인간 주석 표 이미지를 포함합니다.
언어적 다양성: 4개의 스크립트(라틴, CJK, 아랍어, 키릴)에 걸친 9개 언어를 포괄합니다. 영어는 샘플의 32.6%를 차지하며, 나머지는 중국어, 스페인어, 러시아어, 프랑스어, 일본어, 아랍어, 독일어, 한국어로 분산되어 있습니다.
복잡성: 표의 크기는 2개에서 1,183개의 셀까지 다양합니다. 특히, **48.1%**의 표가 병합되거나 확장된 셀(rowspan/colspan)을 포함하고 있으며, 데이터셋에는 밀집된 스프레드시트와 다층 헤더가 포함되어 있습니다.
그라운드 트루스(Ground Truth): 주석은 원본 이미지에 대한 네이티브 스피커 도메인 전문가, 교차 언어 품질 관리, 그리고 셀 단위의 적대적 감사를 포함하는 다단계 파이프라인을 통해 생성되었습니다. 그라운드 트루스는 완전하게 구조화된 HTML 형태로 제공됩니다.

2.2 T-LAG 평가 지표

추출 품질을 평가하기 위해, 저자들은 표를 유향 그래프(directed graphs)로 모델링하여 구조적 충실도와 콘텐츠 정확도를 단일 점수로 포착하는 새로운 지표인 **T-LAG (Table Logical Adjacency Graph)**를 제안합니다.

핵 \로 철학:
노드 기반 지표가 셀 콘텐츠를 독립적으로 검증하는 것과 달리, T-LAG은 에지(edges, 인접 관계) 상에서 작동합니다. 이는 셀이 단순히 텍스트뿐만 아니라 이웃 셀과의 상대적 위치에 의해서도 평가되도록 보장합니다. 예를 들어, 열이 뒤바뀐 경우(transposed column)는 서로 다른 인접 에지를 생성하므로 페널티를 받게 됩니다.

파이프라인:

그리드 파싱: 그라운드 트루스와 예측된 HTML 모두를 rowspan 및 colspan 속성을 보존하는 셀 위치 그리드 행렬으로 파싱합니다.
에지 추출: 서로 다른 ID를 가진 셀 사이의 RIGHT(오른쪽) 및 BELOW(아래) 인접성에 대한 유향 에지를 생성합니다. 확장 셀 내부의 에지는 억제됩니다.
가중치 부여 ( $\Psi$ 함수): 일치하는 에지에 대해 텍스트 유사성 커널을 사용하여 유사도 가중치를 계산합니다.
- 텍스트는 정규화됩니다(공백, 유니코드 대시, null 마커).
- 유사도는 $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ 로 계산되며, 지수 $k=7$ 이 적용됩니다.
- $k=7$ 의 근거: 이 공격적인 감쇠(decay)는 근사치 텍스트(예: 문자 정확도 90%)에 대해 엄격한 페널티( $\Psi \approx 0.48$ )를 부여함으로써, 단 하나의 숫자 오류만으로도 데이터를 사용할 수 없게 만드는 기업 환경의 요구사항을 반영합니다.
최적 매칭: **헝가리 알고리즘(Hungarian algorithm)**을 사용하여 그라운드 트루스와 예측된 에지 간의 전역적으로 최적화된 일대일 할당을 찾아 전체 매칭 가중치를 최대화합니다. 이는 이전 지표들의 탐욕적(greedy) 정렬 문제를 방ine합니다.
점수 산출: 가중치가 부여된 매칭 에지를 기반으로 정밀도(Precision), 재현율(Recall), F1 점수를 계산합니다.
- 정밀도(Precision): 환각된(hallucinated) 행/열에 대해 페널티를 부여합니다.
- 재현율(Recall): 누락된 행이나 누락된 병합 셀에 대해 페널티를 부여합니다.
- 폴백(Fallback): 단일 셀 표의 경우, 점수는 직접적인 텍스트 유사도로 기본 설정됩니다.

3. 주요 기여

다국어 벤치마크: 9개 언어와 4개 스크립트를 커버하며, 표 추출 연구에서 저평가된 RTL(Right-to-Left) 및 CJK 언어를 구체적으로 다루는 대규모 고품질 데이터셋을 제공합니다.
T-LAG 지표: 2D 구조적 위상을 보존하고 최적 이분 매칭(optimal bipartite matching)을 사용하는 그래프 기반 평가 방법을 제공하여, TEDS 및 1D 시퀀스 정렬 방식과 차별화됩니다.
포괄적 평가: 9개의 상용 및 오픈소스 시스템(Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract, Azure DI 포함)을 대상으로 엄격한 벤치마킹을 수행하고 모든 출력값과 점수 산출 코드를 공개합니다.

4. 결과

1,820개 샘플에 대해 9개 제공업체를 평가한 결과, 상당한 성능 격차가 드러났습니다:

최고 성능 모델: Pulse Ultra 2가 T-LAG 점수 0.935로 선두를 달리고 있으며, 57.9%의 샘플에서 중앙값 점수 1.0(완벽한 추출)을 달성했습니다. 이는 2위 시스템보다 11.9 퍼센트 포인트 더 높은 수치입니다.
일반적 성능: 평균 T-LAG 점수가 90%를 초과하는 제공업체는 단 하나뿐입니다. 하위 1/3의 제공업체는 0.72 미만의 점수를 기록하여, 현재 다국어 표 추출 능력의 근본적인 한계를 보여주었습니다.
구조적 환각(Structural Hallucinations): 고성능 시스템(예: Gemini 3.1)조차도 약 28%의 표에서만 완벽한 추출을 달성했으며, 빈번하게 조작된 행, 발명된 콘텐츠 또는 잘못된 span 속성을 도입했습니다.
언어적 변동성:
- 가장 쉬운 언어: 프랑스어와 스페인어는 공유된 라틴 스크립트와 표준화된 포맷 덕분에 모든 제공업체에서 가장 높은 성능을 보였습니다.
- 가장 어려운 언어: 아랍어와 한국어는 제공업체 간의 편차(75 퍼센트 포인트 이상의 스프레드)가 가장 컸습니다.
- CJK의 과제: 영어 성능이 강력한 제공업체(예: AWS Textract, 0.724)라도 CJK 언어에서는 성능이 급격히 하락했습니다(중국어 0.324, 한국어 0.254). 이는 OCR의 약점을 드러냅니다.
커버리지: 일부 "에이전트형(Agentic)" 시스템은 약 20%의 샘플에 대해 출력을 생성하지 못했으며, 이는 운영 신뢰성에 있어 치명적인 요소입니다.

5. 의의 및 주장

본 논문은 PulseBench-Tab과 T-LAG를 문서 지능 분야를 발전시키기 위한 필수적인 도구로 자리매김합니다:

현실적인 평가: $k=7$ 지수와 에지 기반 매칭을 통해 위치 및 구조적 오류에 엄격한 페널티를 부과함으로써, 근사적인 추출이 기능적으로 실패와 다름없는 기업 데이터 처리의 운영 현실을 반영합니다.
재현 가능성: 저자들은 재현 가능한 평가를 지원하기 위해 전체 데이터셋, 점수 산출 코드 및 모든 제공업체의 출력물을 공개함을 강조합니다.
미래 방향: 결과는 비라틴 스크립트가 여전히 해결되지 않은 주요 과제임을 보여줍니다. 저자들은 신뢰 구간을 좁히기 위해 더 작은 언어(예: 한국어, 독일어)에 대한 추가적인 스케일링이 필요하다고 언급했습니다.
한한계점: 저자들은 이미지당 단일 표 및 페이지당 단일 표를 가정한다는 현재의 제한 사항을 겸허히 인정하며, 멀티 테이블 레이아웃 및 멀티 페이지 표는 아직 평가되지 않았음을 명시했습니다.

결론적으로, 본 논문은 현재의 표 추출 시스템이 특히 다국어 및 구조적으로 복잡한 시나리오에서 추가적인 검증 없이는 고위험 기업 애플리케이션에 사용하기에 아직 견고하지 않다고 주장합니다. PulseBench-Tab은 이러한 목표를 향한 진보를 측정하기 위한 필요한 인프라를 제공합니다.