FastTab: A Fast Table Recognizer with a Tiny Recursive Module and 1D Transformers

기술 요약: FastTab

문제 정의
테이블 구조 인식 (TSR) 은 문서 이미지에서 테이블의 논리적 구성 (행, 열, 헤더, 병합된 셀) 과 기하학적 충실도를 복원하는 것을 목표로 합니다. 이 작업은 전역 구조적 일관성 (예: 전체 행/열 수, 헤더 범위) 과 국소 공간적 정밀도 (예: 구분선 위치 파악, 테두리 없는 레이아웃) 를 조화시켜야 하므로 까다롭습니다. 기존 패러다임은 종종 이러한 요구 사항을 균형 있게 충족하는 데 어려움을 겪습니다: 구성 요소 기반 방법은 명시적 탐지와 재구성에 의존하고, 분할 - 병합 접근법은 그리드 구성에 중점을 두며, 생성 모델 (이미지-시퀀스) 은 이미지를 HTML 토큰으로 매핑합니다. 후자는 효과적이지만 자기회귀 디코딩으로 인해 높은 계산 비용이 발생하며, 시퀀스 생성 전 과정에서 전역 구문 일관성을 유지해야 합니다.

방법론
FastTab 은 자기회귀 HTML 디코딩을 피하도록 설계된 그리드 중심 TSR 모델입니다. 단일 순전파를 통해 테이블 그리드와 병합된 셀 범위를 예측합니다. 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 이미지 인코더: 완전 합성곱 네트워크 (FCN) 가 고해상도 2D 특징 지도 ($F$) 를 추출합니다. 인코더는 열 구분 정의를 위해 더 세밀한 수평 샘플링을 보존하는 이방성 스트라이드 스케줄 ($H/16, W/8$) 을 사용하여 1024 채널을 출력합니다.
2. 전역 추론 (작은 재귀 모듈 - TRM): 테이블 수준의 결정 (행/열 수, 헤더 행) 을 지원하기 위해 FastTab 은 평균 풀링을 통해 전역 기술자를 계산합니다. 이는 경량 Tiny Recursive Module 을 사용하여 $T$개의 잔차 단계 (기본값 $T=6$) 에 걸쳐 정제됩니다. TRM 은 일관된 구조적 결정에 필요한 장거리 의존성을 포착하기 위해 전역 기술자를 조건으로 하는 2 층 MLP 를 사용하여 잠재 벡터 $z$를 반복적으로 업데이트합니다.
3. 축 1D 트랜스포머 (Lines Head): 구분선을 위해 전체 2D 지도를 처리하는 대신, 모델은 직교 차원을 따라 평균화하여 $F$를 두 개의 1D 시퀀스 (행 방향 및 열 방향) 로 투영합니다. 이러한 시퀀스는 경량 1D 트랜스포머 인코더 (2 층, 4 헤더) 에 의해 처리되어 각 축을 따라 선형 계산 증가로 장거리 의존성을 포착합니다. 헤더는 다음을 예측합니다:
   • 행 및 열 수 ($R, C$).
   • 헤더 행 수 ($H_{hdr}$).
   • 구분선 위치는 정규화된 구간 길이로 매개변수화되며 누적 합을 통해 순차적 경계로 변환됩니다.
4. 스패닝 헤드: 그리드 경계가 설정되면 ROI Align 이 각 논리적 셀에 대한 특징을 풀링합니다. 다층 퍼셉트론 (MLP) 은 각 셀의 행 병합 (rowspan) 과 열 병합 (colspan) 을 분류하며, 병합 영역의 모호성을 피하기 위해 앵커 위치 (왼쪽 위 모서리) 에서만 감독됩니다.

주요 기여

• 아키텍처: 전역 컨텍스트를 위한 Tiny Recursive Module 과 효율적인 장거리 행/열 추론을 위한 축 1D 트랜스포머를 결합하여 자기회귀 디코더의 오버헤드를 피하는 FastTab 도입.
• 성능: 낮은 지연 시간 (실시간 추론) 으로 작동하면서도 네 가지 벤치마크 (PubTabNet, FinTabNet, PubTables-1M, SciTSR) 에서 경쟁력 있는 구조 복원 성능을 입증.
• 강건성 분석: 실제 제약 조건 하에서 모델 평가, 특히 픽셀 단위 익명화 (레이아웃 보존형 모호화에 대한 강건성 입증) 및 기하학적 왜곡 (회전 등) 을 처리하기 위한 곡선 구분선 확장.
• 절대 연구: $T=6$을 넘으면 TRM 을 통한 반복적 정제가 체감 수익이 감소한다는 점과 축 1D 어텐션이 최소한의 속도 패널티로 국소 합성곱 베이스라인을 크게 능가한다는 점을 체계적으로 분석하여 확인.

실험 결과
FastTab 은 구조 전용 지표 (S-TEDS, GriTSTop, CAR F1) 를 사용하여 표준 벤치마크에서 평가되었습니다:

• PubTabNet: 44.89 FPS (A100 GPU) 로 96.8% S-TEDS 를 달성하여 많은 고정밀 모델보다 속도는 빠르면서도 경쟁력 있는 정확도를 유지했습니다. CPU 전용 환경에서는 약 5 FPS 로 실행됩니다.
• FinTabNet: 41.79 FPS 로 98.2% S-TEDS 를 달성했습니다.
• PubTables-1M: 39.50 FPS 로 98.27% GriTSTop 을 달성했습니다.
• SciTSR: 35.51 FPS 로 가장 높은 보고된 정확도 (99.5% CAR F1) 와 일치했습니다.
• 익명화: 모델은 레이아웃 보존형 익명화 (예: 가우시안 블러, 픽셀화) 에 대해 강건성을 보였으나, 텍스트 영역을 균질화하는 방법 (예: 중앙값 채우기) 에는 성능이 크게 저하되었습니다.
• 곡선 구분선: 구분선에 대한 다각형 경계를 예측하는 확장은 moderate 평면 회전 (최대 $\pm 15^\circ$) 하에서도 강력한 성능을 유지했으나, 더 큰 회전에서는 성능이 감소했습니다.

의의 및 주장
이 논문은 FastTab 을 다단계 재구성 파이프라인과 자기회귀 생성 모델 모두에 대한 효율적인 대안으로 위치시킵니다. 전역 컨텍스트 추론 (TRM 을 통해) 과 축 의존성 모델링 (1D 트랜스포머를 통해) 을 분리함으로써 FastTab 은 정확도와 추론 속도 간의 유리한 균형을 달성합니다. 저자들은 이 모델이 전체 2D 자기 어텐션이나 자기회귀 디코딩의 계산적 부담 없이 전역 구조적 일관성과 국소 공간적 정밀도 사이의 긴장을 성공적으로 해결한다고 주장합니다. 이 연구는 실시간 또는 자원 제약이 있는 배포가 필요한 많은 실제 응용 분야에서 특수화된 축 모델링을 갖춘 그리드 중심 접근 방식이 높은 충실도로 복잡한 테이블 구조를 복원하기에 충분함을 시사합니다. 향후 작업은 다중 테이블 페이지로 모델을 확장하고, 심각한 원근 왜곡에 대한 강건성을 개선하며, 매우 큰 테이블을 위한 적응형 그리드 디코딩을 개발하는 것으로 식별되었습니다.