論文「Mapping the Course for Prompt-based Structured Prediction」の技術的サマリー

この論文は、大規模言語モデル（LLM）の構造化予測タスクへの適用における課題を解決し、その性能を最大化するための包括的な研究です。著者らは、LLM の予測能力と、構造的整合性を保証する組合せ推論（combinatorial inference）を融合させるフレームワークを提案し、様々なプロンプト戦略、信頼度推定手法、および学習手法を体系的に評価しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

LLM はファインチューニングなしで多様な自然言語処理タスクで高い性能を示しますが、構造化予測（構造化オブジェクトの関連する複数のコンポーネントを同時に予測するタスク）においては以下の課題を抱えています。

• 構造的整合性の欠如: 従来のプロンプトベースのアプローチは、トークン生成を逐次的（自己回帰的）に行うため、予測された構造が論理的な制約（例：トランスitivity、排他性）を満たすことを保証できません。
• ハルシネーションと矛盾: 複雑な推論タスクにおいて、LLM は一貫性のない出力や事実と異なる内容（ハルシネーション）を生成する傾向があります。
• 信頼度スコアの導出の難しさ: 構造化推論アルゴリズム（例：整数計画法）を適用するには、各部分構造の候補に対する確実性（スコア）が必要です。しかし、LLM は特定のタスクに対して条件付き分布 $P(Y|X)$ を学習しているわけではなく、プロンプト文脈に基づいてトークンを生成する確率を出力するため、従来の分類器のような信頼度スコアを直接得ることが困難です。

2. 提案手法：プロンプトベースの構造化推論フレームワーク

著者らは、LLM の予測を「ファクターグラフ」としてモデル化し、LLM が出力するスコアを基に制約付き最適化を行うフレームワークを提案しました。

2.1 基本的な枠組み

• ファクターグラフの定義: 各予測タスクを $LLM$ベースのファクターグラフ$\Psi$として定義し、各決定$\psi_i$ に対して LLM をプロンプトしてスコア $\rho(x_i, y_i)$ を算出します。
• MAP 推論: 構造的制約 $C$ を満たす最適な構造 $y$ を、以下の式で求めます。
  $$\arg \max_{y \in Y} \sum_{\psi_i \in \Psi} \rho(x_i, y_i) \quad \text{s.t.} \quad c(x_c, y_c) \quad \forall c \in C$$
• 推論アルゴリズム: 離散変数を持つ MAP 推論問題を解くために、整数線形計画法（ILP）を使用します。これにより、任意の構造的制約（例：推移律、排他性）を線形不等式として組み込むことが可能です。

2.2 部分構造のスコアリング戦略（信頼度推定）

LLM からのスコア抽出方法として、ホワイトボックス（トークン確率にアクセス可能）とブラックボックス（生成テキストのみ利用可能）の両方のアプローチを網羅的に比較しました。

• ホワイトボックス手法:
  • True/False: タスクを真偽問題として形式化し、「True」トークンの生成確率を信頼度とする。
  • Multiple Choice: 選択肢形式でプロンプトし、正解トークンの確率を使用。
  • Generative Classification: 逆方向のプロンプト（ラベルを条件としてテキストを生成する確率）を使用。
• ブラックボックス手法:
  • Generation Sampling: 同一プロンプトを複数回実行し、特定のラベルが生成された頻度を信頼度とする。
  • Verbalized Confidence: モデルに数値（0-100）で自信度を直接回答させる。

2.3 学習戦略

プロンプトだけでなく、構造化学習目的を用いたファインチューニングも検討しました。

• Few-Shot Score Calibration: LLM の出力スコアに対して、ロジスティック回帰層を学習させて調整します。
  • Local Calibration: 部分タスクごとに個別に調整。
  • Global Calibration: 構造化推論の結果全体を用いたヒンジ損失（Structured Hinge Loss）で全体を調整。
• Local Fine-tuning: 各部分タスクに対して、標準的な次トークン予測損失で LLM をファインチューニング。
• Global Fine-tuning: 構造化ヒンジ損失を LLM 自体に逆伝播させ、全体構造の整合性を考慮してファインチューニング。

3. 評価タスクとデータセット

2 つの複雑なディスコースレベルのタスクで評価を行いました。

1. 道徳的枠組みの特定（Morality Framing）: 政治的なツイートの道徳的基盤（5 つの基礎）と、文中のエンティティが果たす道徳的役割を特定するタスク。制約：エンティティの役割はツイートの道徳的基盤と整合性があること、同一ツイート内のエンティティは異なる役割を持つこと。
2. 共参照解決（Coreference Resolution）: 文中の異なるエンティティ言及が同一の実体を指すか判定するタスク。制約：推移律（A と B が共参照、B と C が共参照なら A と C も共参照）。

4. 主要な結果

4.1 推論の重要性

• 一貫した性能向上: どの信頼度推定戦略（True/False, Multiple Choice, Sampling など）を使用しても、構造化推論（制約付き）を適用することで、プロンプト単独よりも性能が向上しました。
• 制約違反の解消: 推論を適用することで、構造的制約違反（Constraint Violations）を完全にゼロに抑えることができました。

4.2 最適なプロンプト戦略

• True/False の優位性: 信頼度スコアの推定において、「True/False 形式」のプロンプトが最も高い性能を示しました。 特に事前学習済みモデル（Few-shot）において顕著でした。
• 計算コスト: True/False や Multiple Choice は計算コストが低く、Verbalized Confidence や Generative Classification は非常に高コストでした。

4.3 学習戦略の効果

• Global Calibration/Fine-tuning: 個別のタスク（Local）ではなく、全体構造（Global）の学習目的で調整を行うことで、さらに性能が向上しました。
  • 事前学習済みモデルの場合、Global Calibration が特に効果的でした。
  • 事前学習済みモデルをローカルにファインチューニングし、さらにグローバルな構造化目的で調整（Global Fine-tuning）を行ったモデルが、最も高い性能を記録しました。
• SOTA 超越: 提案された「Local Fine-tuning + Global Fine-tuning」アプローチは、Morality Framing タスクにおいて、従来の深層構造化予測手法（Roy et al., 2021）や、すべての構造を一度に生成する「All-in-One」プロンプト手法（Llama-70B, GPT-5 など）を上回る性能を達成しました。

4.4 データ量の影響

• 少量データ（1%）の領域では、パラメータを微調整する手法（ファインチューニング）がプロンプト単独よりも大きなアドバンテージを持っていました。
• 制約を学習または推論段階で導入することで、20% のデータ量でモデルが収束する傾向が見られました。

5. 結論と意義

この研究は、LLM 時代においても構造化学習（Structured Learning）と推論が依然として極めて価値があることを示しました。

• LLM と推論の融合: LLM の汎用的な知識と推論能力を、構造的整合性を保証する組合せ推論と組み合わせることで、ハルシネーションを抑制し、一貫性のある高精度な予測が可能になります。
• プロンプト設計の指針: 構造化推論用のスコア抽出には、True/False 形式のプロンプトが最も効果的であることが実証されました。
• 学習の必要性: 単なるプロンプト（Few-shot）だけでなく、構造化目的を用いたファインチューニングを行うことで、LLM の性能をさらに引き上げられることが示されました。

将来的には、この知見をマルチエージェントワークフローや、サブタスクがオープンエンドで監督データが不足しているような複雑なシナリオへの適用が期待されます。