TABVERSE: Benchmarking Cross-Format Table Understanding in LLMs and VLMs

기술 요약: TABVERSE

문제 정의

대규모 언어 모델(LLM)과 시각-언어 모델(VLM)이 표 추론 작업에 대해 점점 더 많이 평가되고 있지만, **표 표현(table representation)**의 구체적인 역할은 여전히 충분히 탐구되지 않은 상태이다. 실제 시나리오에서 동일한 표의 내용은 다양한 구조적 형식(예: HTML, Markdown, LaTeX)이나 렌더링된 이미지로 나타날 수 있다. 기존 벤치마크들은 표의 내용, 형식, 레이아웃, 모달리티가 동시에 변하는 경우가 많아, 표현 방식 자체의 효과만을 분리하여 파악하기 어렵다. 결과적으로, 성능 차이가 모델의 추론 능력 때문인지, 아니면 특정 직렬화 형식 및 입력 모달리티에 대한 민감도 때문인지 불분명하다.

방법론

저자들은 표현의 효과를 내용의 변화로부터 분리하기 위해 설계된 통제된 멀티모달 벤치마크인 TABVERSE를 소개한다.

데이터셋 구축

TABVERSE는 다섯 가지 기성 TableQA 데이터셋인 FEVEROUS, HYBRIDQA, TABFACT, SQA, WikiTableQuestions의 홀드아웃 평가 분할(held-out evaluation splits)을 통해 구축되었다.

• 정렬(Alignment): 이 벤치마크는 세 가지 구조적 텍스트 형식(HTML, LaTeX, Markdown)과 그에 대응하는 렌더링된 이미지 간에 동일한 표 내용을 정렬한다.
• 정규화(Normalization): 데이터셋의 아티팩트(예: 결측값, 특수 문자)를 처리하고 일관된 행/열 순서를 보장하기 위해 변환 유틸리티를 조정하였다. 렌더링된 이미지는 형식 간의 시각적 정렬을 보장하기 위해 표준화된 레이아웃(글꼴 크기, 패딩, 너비) 하에 생성되었다.
• 태깅(Tagging): 각 질문은 카테고리(단순 조회, 조건부 조회, 다중 항목 조회, 집계/산술, 비교/최댓값·최솟값, 단일 단계/다단계 이진 검증)와 난이도 레이블(쉬움/어려움)로 태그가 지정된다. 난이도는 렌더링된 이미지에 대한 제로샷 QA 성능을 통해 추정된다.
• 평가 세트: 난이도 수준과 질문 카테고리에 걸쳐 균등한 분포를 보장하도록 설계된 700개의 질문-표 쌍으로 구성된 균형 잡힌 세트가 선택되었다.

작업(Tasks)

TABVERSE는 세 가지 상호 보완적인 작업을 통해 모델을 평가한다:

1. 질의응답 (QA): 질문과 구조화된 텍스트 또는 렌더링된 이미지 형태의 표가 주어졌을 때 답을 예측한다.
2. 구조 이해 능력 (SUC): 경계 탐지, 크기 추정, 좌표 조회, 인덱스 기반 검색을 통해 구조 이해도를 조사한다.
3. 구조 재구성 (SR): 렌더된 이미지로부터 대상 텍스트 형식(HTML, Markdown, LaTeX)으로 표를 재구성한다.

실험 설정

본 연구는 세 가지 파이프라인을 사용하여 다양한 LLM 및 VLM(Qwen, InternVL, Gemma, LLaVA와 같은 범용 및 표 특화 모델, 그리고 GPT-5.2 및 Gemini-3와 같은 독점 모델 포함)을 평가한다:

• VLM-Image: 모델이 렌더링된 표 이미지를 받는다.
• VLM-Text: 모델이 구조화된 텍스트 표현을 받는다 (VLM 내에서의 모달리티 효과를 격리함).
• LLM-Text: 텍est 전용 모델이 구조화된 텍스트를 받는다.

평가 지표로는 QA 및 SUC를 위한 Exact-Match (EM) 정확도와, SR을 위한 GriTS (Grid Table Similarity)를 사용하며, 구문적 사용성(예: LaTeX 컴파일 성공 여부)도 함께 측정한다.

주요 기여

1. 통제된 평가 프레임 framework: 본 논문은 표의 내용은 고정하되 구조적 형식과 입력 모달리티를 변화시킴으로써, 교차 형식 및 교차 모달리티 표 이해를 통제된 문제로 정식화한다.
2. TABVERSE 벤치마크: HTML, LaTeX, Markdown 표현과 그에 대응하는 렌더링된 이미지를 특징으로 하며, 카테고리 및 난이도 태그가 포함된 700개 샘플의 균형 잡힌 평가 세트를 갖춘 정렬된 멀티모달 벤치마크를 도입한다.
3. 포괄적인 벤치마킹: 저자들은 매칭된 텍스트 전용 및 이미지 기반 입력을 통해 LLM과 VLM을 평가하여, 형식과 모달리티 선택이 모델 행동을 어떻게 변화시키는지 밝혀낸다. 특히 SR 오류가 재구성 품질과 출력 사용성으로 어떻게 구분되는지 분석한다.

결과

질의응답 (QA)

• 표현의 영향: 구조화된 텍스트가 렌더링된 이미지보다 성능이 우수한 경우가 많지만, 그 격차의 크기는 모델과 작업에 따라 다르다. 예를 들어, Gemma-3는 텍est 입력을 통해 크게 이득을 보는 반면, SmolVLM2와 InternVL3.5는 이미지에서 비슷하거나 더 나은 성능을 보인다.
• 형식 민감도: 텍스트 파이프라인에서는 기호 형식이 매우 중요하며 (HTML이 종종 가장 견고함), 렌더링된 이미지 성능은 일반적으로 HTML, LaTeX, Markdown 소스 간에 일관되게 나타난다.
• 작업 난이도: 검증 질문은 일반적으로 쉬운 편이지만, 다중 항목 조회 및 집계 작업은 여전히 어렵다. 성능은 '쉬움'에서 '어려움' 질문으로 갈수록 크게 하락한다.

구조 이해 능력 (SUC)

• 모달리티 및 형식: SUC는 렌더링된 이미지보다 구조화된 텍스트에서 일반적으로 더 강력하며, 특히 행 경계 및 헤더 처리가 포함된 작업에서 그러하다. 그러나 텍스트 입력이 병목 현상을 완전히 해결하지는 못하며, 행 검색과 셀 조회는 모든 파이프라인에서 여전히 어려운 과제로 남는다.
• 인덱싱 관례: 모델은 인덱싱 관례에 매우 민다. 헤더 제외 및 0-기반 인덱싱을 명시하는 프롬프트는 첫 번째 셀 탐지 및 표 분할 성능을 유의미하게 향상시키는데, 이는 많은 오류가 모델이 헤더를 첫 번째 데이터 행으로 취급하는 데서 기인함을 시사한다.
• 부분적 회복: Field Accuracy 지표는 낮은 Exact-Match 점수가 전체적인 구조 이해 실패보다는 불완전하거나 밀려난 로컬라이제이션(localization)을 반영할 수 있음을 보여준다.

구조 재구성 (SR)

• 위상 vs 내용: 모델은 정확한 셀 텍스트보다 표의 위상(topology, 레이아웃)을 더 안정적으로 복구한다. GriTS-Topology 점수가 GriTS-Content 점수보다 일관되게 높다.
• 사용성 과제: 높은 재구성 점수가 구문적 사용성을 보장하지는 않는다. HTML 및 Markdown 출력은 종종 유효하지만, LaTeX 재구성은 여전히 큰 병목 구간이며, 많은 모델이 구조가 부분적으로 정확하더라도 컴파일되지 않는 코드를 생성한다.
• 형식 변환: 교차 형식 변환(예: 이미지에서 LaTeX로)은 강력한 모델의 경우 동일 형식 재구성과 비교했을 때 추가적인 어려움을 거의 유발하지 않으며, 이는 오류가 변환 과정 자체가 아니라 표 이해 및 대상 형식 생성에서 발생함을 시사한다.

의의 및 주장

본 논문은 표 표현이 신뢰할 수 있는 표 평가의 핵심 요소라고 주장한다. 연구 결과는 다음과 같다:

• 스케일링만으로는 더 나은 표 이해를 보장할 수 없다. 모델의 행동은 입력 모달리티와 직렬화 형식에 따라 크게 달라진다.
• HTML은 텍스트 입력 파이프라인에서 종종 가장 견고한 텍스트 형식이지만, LaTeX 재구성은 구문적 제약으로 인해 지속적인 도전 과제로 남아 있다.
• 행 민감 작업과 구문적으로 사용 가능한 LaTeX 생성은 최첨단 모델들에게도 현재의 실패 지점이다.

저자들은 향후 연구가 TABVERSE를 더 현실적인 환경(예: 노이즈가 있는 PDF, 다중 표 문서)으로 확장하고, 형식 간 일관성 및 표현 인식 디코딩을 개선하는 방법을 탐구해야 한다고 결론짓는다. 이 벤치마크는 학술 연구에서 LLM 및 VLM의 투명하고 재현 가능한 평가를 지원하기 위해 의도되었다.