技術的サマリー：表からセルへ：TABALIGN によるより優れた推論のためのアテンション

1. 問題定義

大規模言語モデル（LLM）を用いた構造化された表上での多段階推論は、計画段階と実行段階の間に明示的なセル・グラウンディング契約が欠如しているため、頻繁に失敗します。既存のアプローチは、主に以下の 2 つのボトルネックに悩まされています。

1. 計画のボトルネック（左から右へのバイアス）: 自己回帰（AR）モデルは、左から右への因数分解を通じて計画を生成します。これは、表の置換不変性（行や列の順序が意味を変えてはならないという性質）と矛盾する順序に依存する事前分布を課します。その結果、AR プランナーは、必要な文脈（例えば集計結果など）がまだスコープされていないため、初期のフィルタリング手順が無効となる、グローバルに矛盾した計画を生成することがよくあります。
2. 実行のボトルネック（未検証のアテンション）: 既存のプロセストレワードモデル（PRM）は、通常、生成されたコンテンツ（語彙的または意味的な質）または最終回答の正しさに基づいて中間状態をスコアリングします。これらの手法は、モデルが実際に計画で指定された正しいセルに注意を払ったかどうかを見落としています。モデルは、「ショートカット」（間違ったセルに注意を払うが正しい値を導き出す）やコンテンツの幻覚によって正しい最終回答を生成することがあり、これにより忠実でない推論経路が生じます。

核心的な問題は、推論者のセルレベルのアテンションがプランナーが指定した証拠と整合していることを検証するメカニズムが存在しないことです。

2. 手法：TABALIGN

著者は、セル・グラウンディング契約を以下の 2 つの主要コンポーネントを通じて具現化する計画された表推論フレームワークTABALIGNを提案します。すなわち、マスク拡散言語モデル（DLM）プランナーとTABATTN 検証器です。

2.1 プランナー：双方向 DLM

AR 生成器の代わりに、TABALIGN は推論計画を生成するためにマスクされた DLM（具体的にはLLaDA-8B-Instruct）を採用します。

• 双方向ノイズ除去: モデルは、完全にマスクされた計画キャンバスを双方向にノイズ除去します。これにより、後続のステップの要件が先行するステップを制約し、AR モデルでは達成できないステップ間の依存関係とグローバルな整合性が強制されます。
• セルマスク生成: 計画内の各推論ステップは [target: col] タグで終了します。これらのタグはバイナリセルマスク（$m_t \in \{0, 1\}^C$）に解析され、そのステップが操作しなければならないセルを明示的に指定します。
• 根拠: パイロット研究（第 3 節）は、双方向アテンションモデルが、特に関連するセルが疎な場合、AR モデルよりも人間と整合性が高く、置換に対して安定したセルアテンションを生成することを示しました。

2.2 検証器：TABATTN

契約を履行させるため、TABALIGN は 1,600 の人間が検証したアテンション基準で訓練された軽量検証器TABATTNを導入します。

• アテンション重なりスコアリング: 各推論ステップ $t$ について、TABATTN は推論者（AR 多モーダルモデルQwen3-VL-8B）のセルごとのアテンション（$a_t$）と、計画で指定されたマスク（$m_t$）との重なりを計算します。
• 報酬信号: 報酬 $R_{attn}$ は以下のように計算されます。
  $$R_{attn}(a_t; m_t) = \frac{\sum_{c=1}^C a_t^{(c)} m_t^{(c)}}{\max(\sum_{c=1}^C a_t^{(c)}, \epsilon)}$$
  このスコアは、ループ内のフィードバック信号として機能します。重なりが低い場合、システムはそのステップをフラグ付けし、リサンプリングをトリガーするか、非生産的な反復を停止する可能性があります。
• ラベル付け可能性: 著者は、セルの関連性（このセルは必要か？）は、ステップの正しさ（このステップは正しいか？）よりもラベル付け可能な教師信号であると主張します。前者は自信を持った二値決定を許容するのに対し、後者はしばしば曖昧な「不確実」な判断を必要とするためです。

2.3 実行フロー

1. 計画: DLM が、明示的なセルマスクを備えたステップバイステップの青写真を生成します。
2. 実行: AR 推論者が計画をステップバイステップで実行し、操作に基づいてモダリティ（テキストまたは画像）を選択します。
3. 検証: 各ステップの後、TABATTN がアテンションの重なりをスコアリングします。スコアが停滞するか低い場合、システムが介入します。
4. 終了: 停滞停止メカニズムは、アテンションスコアが 2 つの連続するステップで閾値（$\delta=0.02$）以上改善されない場合、プロセスを停止し、見つけた最高スコアの回答を出力します。

3. 主要な貢献

1. セルレベルアテンションのパイロット研究: 著者は、双方向アテンションメカニズム（拡散経由）が、AR アテンションよりも人間と整合性が高く、置換に対して安定していることを示しました。また、同一の LLM-as-a-judge パイプライン下では、セルの関連性ラベル（93.0% の一致率）は、ステップの正しさラベル（73.2% の一致率）よりも著しくラベル付け可能であることを示しました。
2. TABALIGN フレームワーク: 双方向 DLM プランナーとアテンション重なり検証器（TABATTN）を組み合わせる新しいアーキテクチャ。このフレームワークは、コンテンツベースの報酬では見逃されるグラウンディングの失敗を明示的に捉え、最適化された DLM 計画を利用して列の幻覚を削減します。
3. 実証的検証: 8 つの多様な表推論ベンチマーク（表 QA と事実検証を網羅）において、同程度の 8B パラメータ規模で一貫した性能向上が達成されました。

4. 実験結果

8 つのベンチマーク（WTQ, MMQA, TabMWP, TAT-QA, HiTab, FeTaQA, TabFact, InfoTabs）で評価されました。

• 精度の向上: TABALIGN は、6 つの精度ベースのベンチマークで平均90.62%の精度を達成しました。これは、最も強力なオープンソースベースライン（Ovis2 上の TableDART、74.86%）に対して15.76 パーセントポイント（pp）の改善であり、最も強力な単一モダリティベースライン（Qwen3-VL-8B、74.27%）に対して16.35 ppの向上です。
• アブレーション研究:
  • プランナーの選択: 固定された推論バックボーンにおいて、AR プランナーを DLM プランナーに置き換えることで2.87 ppの向上が得られました。これは成功の一部が DLM の優れた計画能力に起因することを示しています。
  • 報酬信号: コンテンツベースの報酬（例：TABROUGE）に対して、TABATTN（アテンショングラウンディング）を使用すると精度が4.8 pp向上し、数値的および構造的に高密度なタスクで最大の gains が得られました。
  • 効率性: DLM 計画は遅いものの（AR 計画の 6.0 秒に対し 78.0 秒）、クリーンな計画により下流の推論実行時間が44.64%（102.6 秒から 56.8 秒へ）削減され、大幅な精度向上に対して総実時間（wall-clock time）は 24% 増加するに留まりました。
• エラーの削減: このフレームワークはスキーマの幻覚を削減し（列の幻覚発生率が 75.0% から 45.9% に低下）、経路長を 22% 圧縮しました。

5. 意義と主張

本論文は、TABALIGN が表推論における根本的な「セル・グラウンディング契約」のギャップに対処すると主張しています。計画（双方向 DLM 経由）と実行（アテンション検証付き AR 経由）を分離することで、このフレームワークは推論ステップが恣意的なコンテンツの重なりではなく、意図された証拠に基づいて行われることを保証します。

著者は以下を強調しています。

• 双方向アテンションの重要性: 表の順序不変性を処理するためには、双方向事前学習の置換安定性と人間との整合性が不可欠です。
• アテンションはより優れた教師信号: 表推論の中間ステップにおいて、モデルが「何を」言っているか（コンテンツの類似性）を検証するよりも、モデルが「どこ」を見ているか（アテンションの重なり）を検証する方が、効果的でラベル付け可能です。
• スケーラビリティ: このフレームワークは 8B スケールで効果的に機能し、大規模なパラメータスケーリングを必要とせずに、より大規模なプロプライエタリモデルや複雑な経路最適化エージェントを上回ります。

この研究は、構造化データ上でのより解釈可能で監査可能な AI 推論への一歩として位置づけられ、多段階エージェントにおける経路のドリフトと幻覚の累積を削減します。