Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

技術要約：野生環境における複雑なレイアウト分類

問題提起
ドキュメントのレイアウト解析は、OCR、自動文字起こし、および読解順序の再構成といったダウンストリーム・タスクの前提条件である。現代のドキュメント（例：PDF、請求書）は、多くの場合、クリーンな「マンハッタン」型グリッド構造に従っているが、歴史的なドキュメント（特に中世の写本や初期の印刷本）は、極めて不規則で複雑なレイアウトを示す。これらのレイアウトは、非矩形のテキスト領域（例：L字型、C字型、O字型、および「タルムード的」な多段組み配置）を特徴とし、それらは明確な幾何学的境界によって隔てられている。

現在の最先端のレイアウト解析は、大規模なアノテーション済みベンチマーク（例：PubLayNet、DocLayNet）と、標準化された英語ドキュメントで訓練されたディープラーニングモデルに大きく依存している。これらの手法は、以下の3つの主要な理由により、リソースの乏しい歴史的設定においては苦戦する。

1. データの希少性： 歴史的なコレクションには、大規模なアノテーション済みデータセットが欠けている。
2. 構造的複雑性： 標準的なピクセルベースのセグメンテーションでは、複雑な構成（例：周囲の注釈を囲むC字型のメインテキストを分離できないなど）において、意味的に区別されるテキストブロックを識別できないことが多い。
3. 過学習： 小規模なデータセットで訓練されたモデルは、レイアウトクラスを定義するグローバルな幾何学的配置を学習するのではなく、付随的なテキストの詳細（フォント、特定の内容）に過学習する傾向がある。

手法
著者らは、テキストの内容よりもセパレーター（分離領域）の幾何学を優先する新しい訓練戦略を中心とした、低リソースのアプローチを提案している。

1. データセット・キュレーション (CLC):

   • 著者らは、イスラエル国立図書館の155ページの高品質なヘブライ語ページおよび様々な印刷本からなる専門コーパスであるCLCデータセットをキュレートした。
   • このデータセットは、セパレーター領域に基づいて8つの明確なレイアウトクラスに手動でアノテーションされている：C（およびその鏡像）、L（およびその鏡像）、U（およびその反転鏡像）、O、およびY（複雑なマルチコンポーネント・レイアウトの総称）。
   • アノテーションは、グラウンドトゥルースの正確性を保証するために、専門の古文書学者によって検証された。

2. レイアウト保存型オーグメンテーション:
   ラベルノイズを導入することなくデータ不足を克服するため、著者らは、ページの構造的な「骨格」を保持しながらテキストの詳細を抑制するように設計された、タスク特化型のオーグメンテーション・パイプラインを開発した。

   • 狭帯域異方性ガウスマスキング (Narrow Anisotropic Gaussian Masking): 多方向の異方性ガウスフィルタをドキュメント画像に適用する。狭い標準偏差 ($\sigma_x=1$) を使用し、水平方向 ($\theta=0$) および垂直方向 ($\theta=\pi/2$) の向きでフィルタリングすることで、この手法はセパレーター領域（連続した線）を強調し、高周波のテキストノイズを抑制するレスポンスマップを生成する。結果として得られるマスクは非セパレーター画素を反転させ、モデルにフォントや内容を無視させる。
   • 反射誘導型ラベル変換 (Reflection-Induced Label Transformations): 訓練分布を豊かにするために、水平および垂直の反転を適用する。決定的なことに、著者らは、反転によって非対称なクラスがその対となるクラス（例：$C \leftrightarrow \bar{C}$、$L \leftrightarrow \bar{L}$）または$Y$クラスにマッピングされるような、閉じたラベルセットを定義しており、これによりラベルの一貫性を確保している。回転およびシア（せん断）は、レイアウトの構造的意味を変化させるため、明示的に除外されている。

3. モデルアーキテクチャ:

   • システムには、セパレーター駆動の幾何学に適した帰納バイアス（局所性、移動等変性、階層的構成）を持つことを考慮し、ConvNeXt-Tinyバックボーンを採用している。
   • モデルは段階的なアプローチでファインチューニングされる。まず分類器のヘッドを訓練し、次に過学習を防ぐために低い学習率でバックボーンの凍結を解除する。
   • 入力画像は $224 \times 224$ にリサイズされ、大津の二値化法を用いて二値化される。

4. 能動学習プロトコル:
   著者らは、ラベル効率を評価するために、3つの獲得関数（ランダム、エントロピー、マージン）を用いた能動学習ループを用いて、高い性能に達するためにどれほど少ないラベル付きサンプルが必要かを判断した。

主な貢献

1. CLCデータセット： 非矩形の歴史的レイアウトに対するリソース不足に対処するため、セパレーターによって定義された8つの微細なレイアウトクラスを持つ、155ページの高品質なヘブライ語ページのコンパクトな新データセット。
2. 新しいオーグメンテーション戦略： テキストの詳細を抑制することでグローバルな幾何学的配置の学習を強制する狭帯域異方性ガウスマスキングの導入、および、訓練分布を拡大しつつ意味的一貫性を維持するための反射誘導型ラベル変換の組み合わせ。
3. 体系的な評価： バックボーンの比較、アブレーション研究、外部ブラインド・コーパス・テスト、および能動学習分析を含む、深刻なデータ不足下での包括的な評価。

結果

• バックボーン比較： 31ページのテストセットにおいて、ConvNex-Tinyは精度90%およびマクロF1スコア0.88を達成し、最高の性能を示した。これはEfficientNet-B0、VGG16、ResNet-18、およびViT-B/16（これらは精度45%以下）を大幅に上回っており、適切な帰納バイアスを持つCNNが、この低リソースかつ幾何学重視の領域においてトランスフォーマーよりも優れていることを実証している。
• アブレーション研究：
  • 二値化のみ： 精度32%（単純な二値化では不十分であることを示す）。
  • 二値化 + 反転： 精度45%。
  • 二値化 + マスキング： 精度68%（このタスクがセパレーター駆動であることを確認）。
  • フルパイプライン（マスキング + 反転）： 精度90%。
    研究により、マスキングが構造保存型の正則化として機能し、反転が必要な多様性を提供することが確認された。
• 外部ブラインド評価： イスラエル国立図書館の36,215個のブックフォルダ（未学習データ）のサブセットに対してモデルをテストした。手動で検証された高信頼度サブセット（160サンプル）において、モデルは**精度83.75%**を達成し、未整理の実際のアーカイブに対する汎化性能を示した。
• 能動学習： フルオーグメンテーション・パイプラインは、ラベル効率を大幅に向上させた。エントロピー獲得戦略の下で、フルパイプラインは、ベースライン手法の0.30に対し、マクロF1学習曲線下面積（AULC）0.61を達成した。

意義と主張
本論文は、学習の焦点をテキストの内容からグローバルな幾何学的構造へとシフトさせることで、深刻なアノテーション不足の下でも堅牢なレイアウト分類が可能であることを主張している。著者らは、標準的なデータオーグメンテーション（例：回転、ブラー）はこの領域には不十分であり、代わりに、セパレーターのトポロジーを明示的に保存するドメイン特化型のオーグメンテーションが不可欠であると論じている。

本研究は以下を実証している：

1. 歴史的ドキュメントのレイアウト分類は、テキスト認識から切り離すことができ、ダウンストリーム・パイプラインのための信頼できるルーティングステップとして機能する。
2. 提案された「セパレーター保存型」戦略により、大規模なアノテーションなしで、未知の非矩形レイアウトに汎化できる。
3. CLCデータセットと提案された手法は、非ラテン系文字や複雑な写本の構造に関する、低リソースの歴史的ドキュメント解析の将来の研究に向けたターゲットを絞ったベースラインを提供する。

著者らは現在の範囲について謙虚な姿勢を保っており、このアプローチは現在、印刷されたヘブライ語のページに限定されており、これらの手法を手書きの写本に拡張し、スクリプトタイプの認識を統合するためには今後の作業が必要であると述べている。