1. 문제 정의 (Problem)

표 구조 인식 (Table Structure Recognition, TSR) 은 문서 분석, 데이터 추출, 지식 그래프 구축 등 다양한 다운스트림 작업의 핵심 전제 조건입니다. 그러나 기존 방법론들은 다음과 같은 한계를 겪고 있습니다:

• 시각 중심 모델의 한계: 기존 시각 중심 (Visual-Centric) 모델들은 시각적 정보에만 의존하여 복잡한 레이아웃 (병합된 셀, 빈 셀 등) 에서 구조적 오류를 범하기 쉽습니다.
• 비전 - 언어 모델 (VLM) 의 한계: VLM 들은 풍부한 시맨틱 (의미) 정보를 활용하지만, 정밀한 시각적 구조 (정렬, 셀 경계 등) 를 모델링하는 데 있어 시각적 디테일을 간과하는 경향이 있습니다.
• 고품질 데이터 부족: 고품질 표 데이터는 주석 달기 (객체 감지, 텍스트 인식, 구조 레이블링) 과정이 복잡하여 부족합니다. 기존 템플릿 기반 합성 데이터는 다양성이 부족하고, 렌더링 과정에서 발생하는 '암시적 빈 행/열' (Implicit empty rows/columns) 과 같은 구조적 오류가 포함되어 있어 모델 학습에 악영향을 미칩니다.

2. 제안 방법론 (Methodology)

이 논문은 InstructTable이라는 새로운 프레임워크와 **TME(Table Mix Expand)**라는 데이터 생성 기법을 제안합니다.

가. InstructTable: 지시어 기반 다단계 학습 프레임워크

시각 정보와 지시어 (Instruction) 의존성을 결합하여 미세한 표 구조를 이해하도록 설계된 엔드 - 투 - 엔드 TSR 프레임워크입니다.

1. 다단계 학습 전략 (Multi-Stage Training):
   • 초기화 (Initialization): 고정된 지시어 ("모든 셀 인식") 로 기본 TSR 능력을 습득합니다.
   • 지시어 사전 학습 (Instruction Pre-training): 인간이 설계한 세밀한 표 이해 지시어 (예: "2 행의 셀 인식", "빈 셀 인식", "병합된 셀 인식" 등) 를 활용하여 모델의 주의를 다양한 구조적 세밀함에 집중시킵니다.
   • TSR 미세 조정 (Fine-tuning): 도메인 적응을 위해 다운스트림 벤치마크에서 시각적 표현 학습을 강화합니다.
2. 모델 구조:
   • Image Encoder: 표 최적화 CNN 인 TableResNetExtra 를 사용합니다.
   • Text Encoder: BERT 를 활용하여 지시어를 인코딩하며, 추론 시 효율성을 위해 인코딩된 벡터를 캐싱합니다.
   • Decoder: 트랜스포머 기반의 디코더는 세 가지 출력을 동시에 생성합니다: (1) 원자적 셀 행렬 (Atomic Cell Matrix), (2) 셀 바운딩 박스, (3) 빈 셀 분류.

나. TME (Table Mix Expand): 템플릿 없는 데이터 합성

고품질 표 데이터를 대규모로 생성하기 위한 혁신적인 방법입니다.

• 원리: 실제 표 데이터를 '원자적 셀 행렬 (Atomic Cell Matrix)'로 파싱한 후, 이를 조각내어 무작위로 재조합 (Splicing) 합니다.
• 프로세스:
  1. 실제 표 데이터를 행렬화하고 분할합니다.
  2. LLM(예: GPT-4o) 을 활용하여 빈 셀에 콘텐츠를 채우고, Gemini 2.5 Pro 등을 통해 생성된 표의 유효성과 문맥 일관성을 검증합니다.
  3. 무작위 CSS 증강을 거쳐 이미지로 렌더링합니다.
• 장점: 템플릿 기반의 편향을 제거하고, '암시적 빈 행' 오류를 방지하며, 임의의 크기와 구조를 가진 고품질 데이터를 대량으로 생성할 수 있습니다.

다. BCDSTab 벤치마크

TME 를 활용하여 생성된 900 개의 복잡한 표 이미지로 구성된 새로운 평가 기준입니다. 기존 공개 데이터셋이 다루지 못하는 긴 형태의 복잡한 표 (Long-form tables) 를 평가하기 위해 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. InstructTable 프레임워크: 지시어 사전 학습과 TSR 미세 조정을 통해 시맨틱 지시어와 시각 정보를 융합하여 복잡한 표 구조 인식 정확도를 획기적으로 개선했습니다.
2. TME 기법: 실제 표 데이터를 원자적 행렬로 분해하고 확장하는 템플릿 없는 합성 방법을 제안하여, 고품질 데이터 부족 문제를 해결하고 템플릿 기반 편향을 제거했습니다.
3. BCDSTab 벤치마크: 복잡한 표 시나리오를 평가하기 위한 900 개의 균형 잡힌 합성 데이터셋을 공개했습니다.

4. 실험 결과 (Results)

여러 공개 데이터셋 (FinTabNet, PubTabNet, MUSTARD) 과 새로 제안된 BCDSTab 에서 실험을 수행했습니다.

• 성능: InstructTable 은 FinTabNet, PubTabNet, MUSTARD 등 모든 데이터셋에서 기존 최첨단 (SOTA) 방법론 (시각 중심 모델 및 VLM 포함) 을 능가하는 성능을 기록했습니다.
  • 특히 MUSTARD(다국어 및 다양한 시나리오) 에서 TEDS 점수 **95.30%**를 기록하여 이전 SOTA 인 SPRINT 보다 10.11%p, 강력한 VLM 인 Gemini 2.5 Pro 보다 1.65%p 더 높은 성능을 보였습니다.
• 복잡한 표 성능: BCDSTab 벤치마크에서는 TME 데이터를 학습에 포함시켰을 때 TEDS 점수가 2.57%p 향상되어, 기존 모든 솔루션을 제치고 새로운 SOTA 를 달성했습니다.
• TME 효과 분석: TME 데이터를 추가 학습했을 때, UniTable 과 InstructTable 모두 구조 정확도 (TEDS) 와 구조-only 정확도 (S-TEDS) 에서 유의미한 향상을 보였습니다.
• Ablation Study: 지시어 사전 학습과 TME 데이터는 모두 모델 성능에 긍정적인 영향을 미치며, 특히 두 요소를 결합했을 때 시너지 효과가 발생했습니다.

5. 의의 및 결론 (Significance)

이 논문은 표 구조 인식 분야에서 시각적 정밀도와 시맨틱 이해 사이의 균형을 성공적으로 맞추었습니다.

• 기술적 혁신: 지시어 (Instruction) 를 통해 모델의 주의를 미세하게 조절하는 방식을 도입하여, 기존 모델들이 어려워하던 병합 셀이나 빈 셀과 같은 복잡한 구조를 정확하게 인식하게 했습니다.
• 데이터 생태계 개선: 템플릿의 한계를 넘어 실제 데이터의 특성을 보존하면서 대규모 합성 데이터를 생성하는 TME 기법은 향후 문서 분석 분야에서의 데이터 부족 문제를 해결할 수 있는 새로운 패러다임을 제시합니다.
• 실용성: 복잡한 금융 보고서, 학술 논문, 자연계 이미지 등 다양한 환경에서 높은 정확도의 표 파싱을 가능하게 하여, 자동화된 문서 처리 시스템의 신뢰성을 크게 높였습니다.

결론적으로, InstructTable 은 지시어 기반 학습과 고품질 합성 데이터 생성을 결합함으로써 표 구조 인식 기술의 새로운 기준을 제시한 연구입니다.