TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment

1. 문제 정의 (Problem)

문서 분석에서 테이블 인식 (Table Recognition, TR) 은 구조와 내용을 기계가 읽을 수 있는 형식 (HTML, LaTeX 등) 으로 변환하는 핵심 작업입니다. 기존 접근 방식은 다음과 같은 한계를 가지고 있습니다.

• 모듈형 파이프라인의 비효율성: 기존 시스템은 테이블 구조 인식 (TSR) 과 내용 인식 (TCR) 을 별도의 모델로 분리하여 학습한 후, 사후 처리 (Post-processing) 를 통해 결합합니다. 이는 구조와 내용 간의 상호 의존성을 무시하여 오류가 누적되고 워크플로우가 복잡해지는 문제를 야기합니다.
• 종단 간 (End-to-End) 모델의 데이터 의존성: 최근의 종단 간 모델은 구조와 내용을 하나의 모델로 통합하지만, 대규모의 테이블 - 텍스트 쌍 데이터에 크게 의존합니다. 실제 세계에서는 테이블 구조와 내용을 모두 라벨링하는 비용이 매우 높아 데이터가 부족한 상황에서 모델의 일반화 성능이 떨어집니다.
• 세부 정보 인식 부족 및 해석 가능성 부재: 기존 종단 간 모델은 테이블의 미세한 구조적 세부 사항 (세부적인 셀 경계, 병합된 셀 등) 을 충분히 인식하지 못하며, 종종 셀의 공간적 위치 (좌표) 를 명시적으로 예측하지 않아 결과의 해석 가능성과 정확도가 제한적입니다.

2. 제안 방법 (Methodology)

저자들은 TDATR (Table Detail-Aware Table Recognition) 을 제안하며, "인지 - 융합 (Perceive-then-fuse)" 전략을 통해 위 문제들을 해결합니다.

A. 아키텍처

모델은 비전 인코더 (Swin Transformer), 멀티모달 언어 디코더, 그리고 구조 유도 셀 위치 지정 모듈 (Structure-Guided Cell Localization, SGCL) 로 구성됩니다.

B. 학습 전략: "인지 - 융합" (Perceive-then-fuse)

1. 세부 정보 인지 단계 (Table Detail-Aware Learning):

   • 대규모의 다양한 문서 데이터 (웹페이지, 논문, README 등) 를 활용하여 언어 모델링 패러다임 하에 구조 이해와 내용 인식 작업을 통합적으로 수행합니다.
   • 내용 인식 태스크: 공간적 순서 텍스트 스포팅, 박스 쿼리 기반 텍스트 스포팅, 마크다운 파싱 등 다양한 OCR 태스크를 통해 텍스트 인식, 위치 파악, 읽기 순서 이해 능력을 강화합니다.
   • 구조 이해 태스크: 셀 레벨 (셀 감지, 스패닝 셀 감지) 과 행/열 레벨 (행/열 경계 감지) 태스크를 통해 테이블의 계층적 구조와 공간적 의존성을 학습합니다.
   • 이 단계는 특정 테이블 데이터에 의존하지 않고 다양한 문서 데이터를 활용하여 모델의 견고성 (Robustness) 을 확보합니다.

2. 세부 정보 융합 단계 (Table Detail Fusion):

   • 인지 단계에서 학습된 세부 정보를 바탕으로, 제한된 양의 테이블 데이터로 HTML 파싱 태스크를 수행하여 구조와 내용을 통합된 시퀀스로 생성합니다.
   • 이 과정에서 SGCL 모듈이 병렬로 학습되어, 언어 디코더의 숨은 상태 (Hidden States) 와 다중 해상도 비전 특징을 활용하여 셀의 정확한 위치 (Bounding Box) 를 예측합니다. 이는 비전 - 언어 정렬을 강화하고 해석 가능성을 높입니다.

C. 구조 유도 셀 위치 지정 (SGCL)

• 행과 열의 논리적 관계를 기반으로 셀 간의 상호작용을 강화하는 양방향 어텐션 메커니즘을 도입합니다.
• 초기 셀 표현을 행/열 특징 공간에 투영하고, 유사도 행렬을 생성하여 마스크를 통해 컨텍스트 정보를 강화합니다.
• 강화된 표현을 기반으로 초기 박스를 회귀 (Regression) 하고, 다중 해상도 비전 특징을 통해 정밀하게 보정하여 최종 셀 박스를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 전략: 대규모 라벨링된 테이블 데이터에 대한 의존도를 줄이고 종단 간 시퀀스 모델링을 단순화하는 "인지 - 융합" 전략을 제안했습니다.
2. 테이블 세부 정보 인지 학습: 언어 모델링 패러다임 하에 구조 이해와 내용 인식을 통합한 사전 학습 태스크 세트를 설계하여, 다양한 문서 데이터를 효과적으로 활용하고 모델의 견고성을 높였습니다.
3. 구조 유도 셀 위치 지정 모듈: 구조적 사전 지식과 다중 레벨 비전 특징을 활용하여 셀 박스를 정제하는 모듈을 개발함으로써, 비전 - 언어 정렬을 강화하고 TR 의 정확도와 해석 가능성을 동시에 향상시켰습니다.
4. 범용성 입증: 데이터셋별 미세 조정 (Fine-tuning) 없이 7 개의 공개 벤치마크에서 SOTA 또는 경쟁력 있는 성능을 달성하여 다양한 스타일과 시나리오에서의 강건함을 입증했습니다.

4. 실험 결과 (Results)

TDATR 은 iFLYTAB-full, TabRecSet, PubTabNet, PubTables-1M, OmniDocBench, CC-OCR, OCRBench 등 7 개의 벤치마크에서 평가되었습니다.

• 성능: iFLYTAB-full 과 TabRecSet 과 같은 실제 세계 데이터셋에서 기존 모듈형 시스템 (SEMv3+PPOCR) 과 종단 간 모델 (EDD) 을 크게 상회하는 성능을 기록했습니다. (예: iFLYTAB-full 에서 TR 성능이 15.82% 향상).
• 데이터 효율성: PubTabNet 과 PubTables-1M 에서도 SOTA 수준의 TEDS 점수를 달성했으며, 특히 데이터 양이 적어도 높은 성능을 유지하여 데이터 효율성이 뛰어남을 보였습니다.
• 비교: 일반 멀티모달 LLM (Qwen, MiniCPM 등) 과 전문 OCR-VLM 들과 비교했을 때, 훨씬 적은 리소스와 데이터로 경쟁력 있는 성능을 보여주었습니다.
• 셀 위치 지정: 기존 방법들 (Split-and-Merge, CornerNet 등) 보다 AP50 지표에서 우수한 성능을 보이며, 특히 경계가 없는 (Borderless) 테이블에서도 정확한 셀 위치를 파악했습니다.

5. 의의 및 결론 (Significance)

TDATR 은 테이블 인식 분야에서 구조와 내용의 상호 의존성을 효과적으로 활용하면서도 데이터 부족 문제를 해결하는 새로운 패러다임을 제시합니다.

• 실용성: 대규모 라벨링 데이터 없이도 다양한 문서 환경에서 강력한 성능을 발휘하므로, 실제 산업 적용 (금융 보고서, 과학 논문, 영수증 등) 에 매우 유리합니다.
• 해석 가능성: 셀의 공간적 좌표를 명시적으로 예측하여 결과의 신뢰성을 높이고, 하류 작업 (검색 증강 생성 등) 에 직접 활용하기 용이합니다.
• 확장성: 제안된 "인지 - 융합" 전략과 세부 정보 학습 패러다임은 다른 문서 이해 및 파싱 작업에 쉽게 적용 가능하여, 문서 처리 분야의 전반적인 발전에 기여할 것으로 기대됩니다.

요약하자면, TDATR 은 세부 정보에 민감한 학습과 구조 기반의 시각적 정렬을 통해 데이터 효율성과 정확도를 동시에 극대화한 차세대 종단 간 테이블 인식 프레임워크입니다.