技術要約: DOSA – 長文ドキュメント構造解析のための木構造誘導型自己回帰フレームワーク

問題定義

ドキュメント構造解析（DSA）は、視覚的に豊かなドキュメント（PDF、スライドデッキなど）において、ページオブジェクト（ヘッダー、表、テキストブロックなど）間の論理的、空間的、および意味的な関係を明らかにし、意味ツリーを構築することを目的としている。初期の研究は視覚的特徴を用いた単一ページのドキュメントに焦点を当てていたが、現代のアプリケーションでは、長距離依存関係や不均質なレイアウトを持つマルチページ・ドキュメントを扱うことが求められている。

マルチページ・ドキュメントに対する既存のトランスフォーマーベースのアプローチは、以下の重大な課題に直面している：

1. 計算オーバーヘッド： 自己注意（self-attention）の二次関数的な複雑さにより、数千のページオブジェクトを持つドキュメントを処理することは極めて困難である。
2. アテンションの希釈化（Attention Dilution）： 長いシーケンスにおいて、アテンション機構は関連する要素に焦点を当てることができず、精度低下を招くことが多い。
3. ページ間モデリング： 多様なページレイアウトにわたる長距離依存関係を調整することは、標準的なアーキテクチャにとって非自明な課題である。

手法

著者らは、DOSA (DOcument Structure Analyzer) を提案する。これは、長文ドキュメントの構造解析を、増分的な自己回帰的意味ツリー構築問題として再定式化した統一フレームワークである。ドキュメント全体を一度に処理するのではなく、DOSAはチャンクごとに動作し、部分的に構築されたツリーを後続の予測のための構造的コンテキストとして利用する。

1. 自己回帰的意味ツリー構築

• チャンキング： ドキュメントは $M$ 個のチャンクに分割され、各チャンクにはトランスフォーマーの入力制限に一致する最大 $N$ 個のページオブジェクトが含まれる。
• 増分的更新： 最初のチャンクから開始し、モデルは階層的（親子）関係および順序（前駆者）関係を予測する。これらの予測は、部分的な意味ツリー $T_{i-1}$ を更新して $T_i$ を形成する。
• サイクル解消： 分類エラーによって引き起こされる可能性のある構造的不整合（例：サイクル）に対処するため、デサイクリング（decycling）手順により、信頼度の最も低いエッジを削除する。親子の関係と順序の予測間の競合は、バウンディングボックスに基づく空間的順序を使用して解決される。

2. 木構造誘導型コンテキスト選択

孤立したチャンク処理の限界に対処するため、DOSAはドキュメント固有の順序性を活用する。

• 最右枝不変性（Rightmost Branch Invariant）： 理論的には、新しいチャンク内のページオブジェクトが、以前に構築されたツリー内に親を持つ場合、その親はツリーの最右枝（現在の読み取り順序に対応）に存在するはずである。
• ソフトウィンドウ・メカニズム： 初期の予測エラーに対する堅牢性を高めるため、DOSAは「最右枝に基づくソフトウィンドウ」を採用している。コンテキストオブジェクトは、部分的なツリーの最右枝から取得される。コンテキストウィンドウが満たされていない場合、オブジェクトは第2の最右枝、第3の最右枝へと順次追加される。これにより、複数の構造的に妥当な候補が保持され、エラーの伝播が軽減される。

3. インチャンク・モデル・アーキテクチャ

バックボーンは、3つのコンポーネントからなる軽量なマルチモーダルモデルである。

• 特徴抽出（バックボーン）： 各ページオブジェクトに対して4種類の特徴を抽出し、融合する：
  • 視覚的： MultiScaleROIAlignを用いたResNet-50 FPN。
  • 意味的： BERTによってエンコードされたテキスト内容（またはカテゴリのフォールバック）。
  • カテゴリ： 整数ベースの埋め込み。
  • サイズ： 正規化された幅、高さ、および面積ベクトル。
    これらは結合され、MLPを通じて1024次元の融合埋め込みへと投影される。
• トランスフォーマー・エンコーダ： 6層のエンコーダが融合された埋め込みのシーケンスを処理する。これは、チャンク内の相対的なページインデックスと正規化されたバウンディングボックス座標を組み合わせたグローバル位置エンコーディングを利用し、空間的およびページを跨いだ順序を捉える。
• 関係分類器： 候補オブジェクトの表現を結合することにより、各オブジェクトの親および直接の前駆者を予測するマルチクラス分類器（MLP）。モデルは、クラス不均衡に対処するためにFocal Lossを用いて訓練される。

主な貢献

1. 統一フレームワーク： DOSAは、部分的に構築されたツリーを構造的事前分布として利用することで、長文ドキュメントのスケーラブルなパースを可能にし、DSAを増分的かつ自己回帰的なプロセスとして再定式化した。
2. 効率的なモデル設計： 本フレームワークは、大規模なドキュメント特化型基盤モデルの事前学習に依存することなく、関係を予測するために視覚、意味、カテゴリ、およびサイズの各特徴を統合している。
3. 木構造誘導型コンテキスト： （特に最右枝に基づくソフトウィンドウによる）木構造誘導型コンテキスト選択メカニズムの導入により、フルドキュメントのエンコーディングに伴う計算コストを回避しながら、長距離依存関係をモデル化できる。
4. 実証的検証： 広範な実験により、DOSAが既存の最先端手法および大規模言語モデル（LLM）のベースラインを凌駕することが示された。

実験結果

実験は5つのベンチマーク（arXivDocs、単一ページのE-Periodica、およびマルチページのHRDS、HRDH、DocHieNet）で実施された。

• マルチページ・ベンチマークにおける性能： 困難なDocHieNetベンチマークにおいて、DOSAは従来の最先端手法（DHFormer）に対し、約4 F1ポイントおよび19 TEDSポイントの向上を達成した。
• LLMとの比較： DOSAはDocHieNetにおいて、大規模言語モデルのベースライン（Gemini-2.5-ProおよびGPT-5.2）を大幅に上回り、F1スコアで81.80（GPT-5.2は69.53）、TEDSで76.81（GPT-5.2は57.82）を記録した。これは、明示的な構造モデリングが、純粋な生成的な推論よりも階層的再構築において優れていることを示唆している。
• アブレーション研究：
  • コンテキスト： コンテキストを除去したり、単純な逐次ウィンドウを使用したりすると、大幅な性能低下が見られ、木構造誘導型の検索の必要性が検証された。
  • 特徴量： カテゴリ埋め込みを除去すると劇的な性能低下（11.67 F1ポイント）が発生し、その決定的な役割が浮き彫りになった。サイズ埋め込みは、緩やかではあるが一貫した恩恵を提供した。
  • 読み取り順序： グランドトゥルース（正解）の順序ではなく、推論された読み取り順序を使用した場合でも、DOSAはDHFormer（正解の順序を必要とする）を上回っており、フレームワークの堅牢性が示された。

意義と主張

本論文は、DOSAが「シングルパス」のパラダイムから「自己回帰的かつ木構造誘導型」のアプローチへと移行することで、長文のマルチページ・ドキュメントを処理する際の決定的なボトルネックを解決すると主張している。各推論ステップを（構造的に関連する部分集合である）右側の枝のコンテキストに基づいて条件付けることで、本フレームワークは、トランスフォーマーのシーケンス長およびアテンション希釈の制限を効果的に緩和している。

著者らは、このアプローチが、フルドキュメントのアテンションや巨大な基盤モデルへの依存といった、法外な計算コストをかけることなく、スケーラブルで一貫性のあるパースを可能にすることを強調している。結果は、タスクに適したコンテキストを特定するメカニタズムが、暗黙的なアテンションパターンよりも効果的であることを示唆しており、正確なドキュメントのチャンキング、構造化抽出、および階層を考慮した要約を必要とするアプリケーションに対する実用的なソリューションを提供している。

限界

著者らは、現在のフレームワークが引用や参照関係（ツリーを超えたグラフ構造）をモデル化していないこと、およびソフトウィンドウ・メカニズムが堅牢ではあるものの、初期の予測エラーの影響を完全には排除できないことを認めている。今後の研究では、適応的なエラー修正メカニズムの探索が検討される可能性がある。