FastTab: A Fast Table Recognizer with a Tiny Recursive Module and 1D Transformers

技術概要：FastTab

問題定義
表構造認識（TSR）は、ドキュメント画像から表の論理的な構成（行、列、ヘッダー、結合セル）および幾何学的忠実度を復元することを目的としています。このタスクは、グローバルな構造的一貫性（例：行/列の総数、ヘッダーの範囲）とローカルな空間的精度（例：区切り線の位置特定、境界なしレイアウト）を調和させる必要性により、困難を伴います。既存のパラダイムは、しばしばこれらの要件のバランスを取るのに苦慮しています：コンポーネントベースの手法は明示的な検出と再構成に依存し、分割・結合アプローチはグリッド構築に焦点を当て、生成モデル（画像からシーケンスへ）は画像を HTML トークンにマッピングします。後者は効果的ですが、自己回帰的デコーディングにより高い計算コストを要し、シーケンス生成プロセス全体を通じてグローバルな構文的一貫性を維持する必要があります。

手法
FastTab は、自己回帰的 HTML デコーディングを回避するように設計されたグリッド中心の TSR モデルです。表のグリッドと結合セルのスパンを予測するために、単一のフォワードパスで動作します。アーキテクチャは、主に 3 つのコンポーネントで構成されます：

1. 画像エンコーダ： 全畳み込みネットワーク（FCN）が高解像度の 2 次元特徴マップ（$F$）を抽出します。エンコーダは、列の輪郭をより細かくサンプリングするために異方性のストライドスケジュール（$H/16, W/8$）を使用し、1024 チャンネルを出力します。
2. グローバル推論（Tiny Recursive Module - TRM）： 表レベルの決定（行/列の数、ヘッダー行）を支援するために、FastTab は平均プーリングを通じてグローバル記述子を計算します。これは、軽量な Tiny Recursive Module を使用して $T$ ステップ（デフォルト $T=6$）の残差ステップで洗練されます。TRM は、グローバル記述子を条件として、一貫した構造決定に必要な長距離依存関係を捉えるために、2 層 MLP を用いて潜在ベクトル $z$ を反復的に更新します。
3. 軸方向 1 次元トランスフォーマ（Lines Head）： 区切り線のために完全な 2 次元マップを処理する代わりに、モデルは直交次元に沿って平均化することで $F$ を 2 つの 1 次元シーケンス（行方向と列方向）に投影します。これらのシーケンスは、各軸に沿った長距離依存関係を線形な計算増加で捉えるために、軽量な 1 次元トランスフォーマエンコーダ（2 レイヤー、4 ヘッド）によって処理されます。ヘッドは以下のものを予測します：
   • 行と列の数（$R, C$）。
   • ヘッダー行数（$H_{hdr}$）。
   • 区切り線の位置。正規化された区間長としてパラメータ化され、累積和を通じて順序付けられた境界に変換されます。
4. スパンニングヘッド： グリッド境界が確立されると、ROI Align が各論理的セルの機能をプーリングします。マルチレイヤーパーセプトロン（MLP）は、結合領域の曖昧さを避けるためにアンカー位置（左上隅）でのみ教師あり学習を行い、各セルの行スパンと列スパンを分類します。

主要な貢献

• アーキテクチャ： グローバルコンテキストのための Tiny Recursive Module と、効率的な長距離の行/列推論のための軸方向 1 次元トランスフォーマを組み合わせた FastTab の導入。自己回帰デコーダのオーバーヘッドを回避。
• パフォーマンス： 4 つのベンチマーク（PubTabNet、FinTabNet、PubTables-1M、SciTSR）全体で競争力のある構造復元パフォーマンスを実証しつつ、低遅延（リアルタイム推論）で動作。
• ロバスト性分析： 実用的な制約下でのモデルの評価。具体的には、ピクセルレベルの匿名化（レイアウトを保持する隠蔽に対する耐性を示す）と、回転などの幾何学的歪みを処理するための曲線区切り線への拡張。
• アブレーション研究： TRM による反復的洗練が $T=6$ を超えると収益逓減を示すこと、および軸方向 1 次元アテンションが最小限の速度ペナルティで局所的な畳み込みベースラインを大幅に上回ることを確認する体系的な分析。

実験結果
FastTab は、構造のみの指標（S-TEDS、GriTSTop、CAR F1）を使用して標準ベンチマークで評価されました：

• PubTabNet： 44.89 FPS（A100 GPU）で 96.8% の S-TEDS を達成。多くの高精度モデルを上回る速度を維持しつつ、競争力のある精度を維持。CPU のみの環境でも約 5 FPS で動作。
• FinTabNet： 41.79 FPS で 98.2% の S-TEDS を達成。
• PubTables-1M： 39.50 FPS で 98.27% の GriTSTop を達成。
• SciTSR： 35.51 FPS で報告された最高精度（99.5% CAR F1）と一致。
• 匿名化： レイアウトを保持する匿名化（例：ガウシアンブラー、ピクセル化）に対してはロバスト性を示したが、テキスト領域を均質化する手法（例：中央値塗りつぶし）では著しく劣化。
• 曲線区切り線： 区切り線に対して多角形境界を予測する拡張は、中程度の面内回転（$\pm 15^\circ$ まで）下で強力なパフォーマンスを維持したが、より大きな回転ではパフォーマンスが低下。

意義と主張
本論文は、FastTab を多段階再構成パイプラインおよび自己回帰的生成モデルの両方に対する効率的な代替手段として位置づけています。グローバルな文脈推論（TRM を通じて）と軸方向依存関係モデリング（1 次元トランスフォーマを通じて）を分離することで、FastTab は精度と推論速度の間の有利なトレードオフを達成します。著者は、モデルが完全な 2 次元自己アテンションまたは自己回帰的デコーディングの計算負担なしに、グローバルな構造的一貫性とローカルな空間的精度の間の緊張関係に成功裏に対処していると主張しています。この研究は、リアルタイムまたはリソース制約のある展開を必要とする多くの実用的なアプリケーションにおいて、特殊な軸方向モデリングを備えたグリッド中心のアプローチが、高忠実度で複雑な表構造を復元するのに十分であることを示唆しています。今後の課題として、複数表ページへのモデル拡張、重度の透視歪みに対するロバスト性の向上、および非常に大規模な表のための適応的グリッドデコーディングの開発が挙げられています。