1. 문제 제기 (Problem)

기존의 테이블 이해 연구는 다음과 같은 주요 한계를 가지고 있었습니다:

• 비현실적인 시각적 표현: 대부분의 벤치마크 (MMTab 등) 는 구조화된 텍스트 (Markdown, HTML 등) 를 기반으로 합성된 이미지를 생성하여 사용합니다. 이는 실제 문서나 웹페이지에서 발견되는 테이블의 복잡한 시각적 특징 (병합된 셀, 배경색, 폰트 변형, 임베디드 이미지, 미세한 선 등) 을 손실시킵니다.
• 시각 - 텍스트 간 불일치: 합성 이미지로 학습된 모델은 실제 세계의 테이블 (Train-Test Mismatch) 에 적용될 때 성능이 급격히 저하됩니다.
• 데이터의 고정성: 기존 VTU 데이터셋은 고정된 시각화와 미리 정의된 지시문 (Instruction) 만 제공하며, 원본의 직렬화 데이터 (Serialized Data) 에 대한 접근성이 부족하여 새로운 지시문 생성이나 데이터 확장이 어렵습니다.
• 시각적 추론의 부재: 대부분의 태스크가 텍스트 내용에만 의존하며, 시각적 단서와 테이블 구조를 결합한 추론을 요구하는 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

저자들은 TABLET이라는 대규모 데이터셋을 구축하기 위해 다음과 같은 방법론을 적용했습니다:

2.1 데이터 수집 및 구성

• 규모: 총 400 만 개 이상의 예시 (4,066,851) 를 포함하며, 이는 200 만 개의 고유한 테이블에서 파생되었습니다.
• 원본 시각화 보존: 데이터의 **88%**는 원본 웹페이지 (주로 위키백과) 에서 캡처된 손실 없는 (lossless) 이미지입니다. 나머지 11.5% 는 원본을 찾을 수 없는 경우에만 합성된 이미지를 사용합니다.
• 다양한 태스크: 14 개의 시드 데이터셋 (Seed Datasets) 에서 21 가지의 다양한 테이블 이해 태스크를 통합했습니다.
  • 주요 태스크: 테이블 질문 답변 (QA), 텍스트 생성 (Table-to-Text), 사실 검증, 수치 추론, 테이블 구조 이해 (셀 추출, 병합 셀 감지 등).
• 지시문 (Instruction) 형식: 모든 예시를 통일된 지시문 형식으로 재구성하여 대규모 언어 모델 (LLM) 및 비전 - 언어 모델 (VLM) 의 인스트럭션 튜닝에 적합하도록 만들었습니다.

2.2 데이터 링크 및 확장성

• 원본 추적성: 각 예시는 원본 데이터셋의 ID, 위키백과 페이지 ID, 수정 버전 ID (oldid) 와 연결되어 있어 원본 데이터의 재사용 및 검증이 가능합니다.
• HTML 및 이미지 병행 제공: 각 테이블에 대해 시각적 이미지와 함께 HTML 직렬화 데이터를 제공합니다. 이는 모델이 시각적 특징과 구조적 정보를 동시에 학습할 수 있게 합니다.

2.3 새로운 벤치마크: VisualTableQA

• 모델이 텍스트 내용뿐만 아니라 **시각적 단서 (색상, 레이아웃, 이미지 등)**와 테이블 구조를 결합하여 추론할 수 있는지 평가하기 위해 VisualTableQA를 도입했습니다.
• 이 벤치마크는 인간이 직접 선별한 고도의 시각적 복잡성을 가진 테이블과, 시각적 정보 없이는 답할 수 없는 질문 (예: "빨간색 배경의 행에 있는 자동차 모델은 무엇인가?") 으로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. TABLET 데이터셋 공개: 200 만 개의 고유 테이블과 400 만 개의 예시를 포함하는 현재까지 가장 큰 규모의 VTU 데이터셋을 공개했습니다. 특히 원본 시각화를 최대한 보존하여 실제 세계의 복잡성을 반영합니다.
2. 강인한 학습 및 전이 학습: TABLET 로 파인튜닝된 모델은 기존 데이터셋 (MMTab 등) 으로 학습된 모델보다 보이는 (seen) 과 보이지 않는 (unseen) 태스크 모두에서 우수한 성능을 보이며, 실제 세계의 테이블에 대한 강인성이 크게 향상됨을 입증했습니다.
3. VisualTableQA 벤치마크: 시각적 지각과 테이블 이해의 결합을 평가하는 새로운 벤치마크를 제안하고, TABLET 학습이 이 같은 복합 추론 능력을 향상시킨다는 것을 증명했습니다.
4. 확장 가능한 프레임워크: HTML 직렬화, 원본 소스 링크, 메타데이터를 포함하여 향후 연구와 데이터 확장을 용이하게 합니다.

4. 실험 결과 (Results)

저자들은 Qwen2.5-VL-7B 와 Gemma 3-4B 와 같은 오픈 소스 비전 - 언어 모델 (VLM) 을 TABLET 로 파인튜닝하여 실험했습니다.

• 원본 이미지 vs 합성 이미지: 원본 시각화로 학습한 모델 (TABLET-Borg) 은 합성 이미지로 학습한 모델에 비해 실제 테이블 평가에서 성능 저하 (Degradation) 가 현저히 적었습니다. 특히 HiTab(-8.6%p) 과 TabFact(-11.0%p) 와 같은 태스크에서 원본 학습의 중요성이 부각되었습니다.
• 혼합 학습의 효과: 원본 이미지와 합성 이미지를 혼합한 학습 (TABLET-Bmix) 이 가장 높은 전체 성능을 기록하여, 현실적인 시각적 다양성과 데이터 규모의 이점을 모두 취할 수 있음을 보였습니다.
• 벤치마크 성능:
  • TABLET-L(대규모) 로 학습한 Qwen2.5-VL-7B 는 15 개 테이블 이해 벤치마크 중 11 개에서 SOTA(State-of-the-Art) 성능을 달성했습니다.
  • VisualTableQA에서 제로샷 (Zero-shot) 모델 대비 13%, MMTab 학습 모델 대비 **16%**의 상대적 성능 향상을 보였습니다. 이는 태스크별 학습 데이터 없이도 일반화된 시각적 추론 능력이 향상되었음을 의미합니다.
• 모델 및 학습 방식에 대한 강인성: Gemma 3-4B(LoRA 사용) 와 같은 다른 모델과 학습 전략에서도 유사한 성능 향상이 관찰되어, TABLET 의 효과가 모델 아키텍처나 규모에 구애받지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 시각적 테이블 이해 분야에서 다음과 같은 중요한 의의를 가집니다:

• 현실 세계 적용성 증대: 합성 데이터의 한계를 넘어, 실제 문서와 웹페이지에서 발생하는 복잡한 테이블을 이해하는 데 필수적인 시각적 특징 학습을 가능하게 합니다.
• 멀티모달 추론의 진전: 텍스트와 시각 정보를 결합한 추론 능력을 강화하여, VLM 에이전트가 화면 기반 인터페이스에서 테이블을 직접 해석하는 능력을 향상시킵니다.
• 미래 연구의 기반: 400 만 개의 대규모 데이터셋과 확장 가능한 포맷은 향후 VTU 모델 개발, 새로운 태스크 연구, 그리고 강인한 멀티모달 에이전트 구축을 위한 표준적인 자원으로 자리 잡을 것입니다.

결론적으로, TABLET 는 단순한 데이터셋의 규모 확장을 넘어, 실제 세계의 복잡성을 반영한 고품질 시각적 데이터를 통해 VLM 의 테이블 이해 능력을 근본적으로 향상시키는 획기적인 기여를 했습니다.