テクニカル・サマリー：あなたのプロンプトだけがプロンプトではない

問題提起

プロダクション環境におけるLLMアプリケーションでは、構造化出力（定義済みのJSONスキーマへのデータ格納）が、データラベリングや情報抽出の標準となっています。このパラダイムは、「スキーマのプロパティ記述」という第二の指示チャネルをもたらします。実務者は、タスクに不可欠な内容（カテゴリの定義や行動制約など）を、システム/ユーザープロンプトと、スキーマの記述フィールドのどちらに配置すべきかという、繰り返される曖昧さに直面しています。ベンダーのAPI例では、条件付きロジックやガイダンスをスキーマ記述の中に埋め込むことがよくありますが、一般的な慣行や経験的な報告によれば、これらのフィールドは単なる不活性なメタデータとして扱われるか、プロンプトベースの指示と比較して効果が低いことが示唆されています。本研究が取り組む核心的な問いは、「指示の配置（プロンプトかスキーマか）がモデルの挙動にどのように影響するか、そしてスキーマの記述は、受動的なフォーマット用メタデータではなく、能動的な指示チャネルとしてどの程度機能するのか？」という点です。

研究手法

著者は、claim_order タキソノミーに基づいた単一フィールドの分類タスクを用いて、制御実験を行いました。指示の配置による影響を、事前学習されたラベルの関連性から分離するため、本研究では意味的なカテゴリ名ではなく、ノンス（非意味的）カテゴリラベル（例：「tomil」、「varek」）を使用しました。

• データセット: 手動で検証された正解データを含む48個の評価アイテム（各カテゴリ12個）。
• モデル: OpenAIとAnthropicの2つのベンダーにわたる10の構成（GPT-4.1、GPT-5.4、GPT-5.5、Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.8を含み、推論設定［なし/中程度］を変化させたもの）。
• 実験条件:
  1. 配置のバリエーション: 同一の定義テキストを、システムプロンプト、ユーザープロンプト、およびスキーマ記述フィールドの間で移動させた。
  2. 競合プローブ: システムプロンプトに正しい定義が含まれている一方で、スキーマ記述に意図的に置換された（誤った）定義が含まれる条件を設定し、スキーマの指示がプロンプトの指示を上書きできるかをテストした。
  3. スキーマ構造の介入: 最終的なラベルフィールドの前に中間的な自由記述の推論フィールドを要求する拡張スキーマ条件を設定し、スキーマの構造自体が指示の実行に影響を与えるかをテストした。
• 指標: アイテムの順序をシャッフルした5回の繰り返し実行における平均精度。不確実性は、繰り返し標準誤差（SE）および二項SEを用いて定量化した。

主な貢献

1. 制御された指示配置の研究: 同一の定義テキストをプロンプトとスキーマの間で移動させることが、複数のモデル構成において分類精度にどのように影響するかを直接測定した最初の研究である。
2. 競合に基づくスキーマ権威の測定: スキーマの記述は受動的なメタデータではないことを示した。特定のモデルにおいては、誤ったスキーマ指示が正しいプロンプト指示を上書きし、大幅な精度低下を引き起こす。
3. モデル依存のスキーマ依存性: スキーマ指示に割り当てられる「重み」は、モデル固有の特性であることを確立した。一部のモデル（例：GPT-4.1、推論なしのGPT-5.4）はシステムプロンプトに強く依存するが、他のモデル（例：Claude Haiku 4.5、GPT-5.5）はスキーマの内容に対して非常に敏感である。
4. スキーマ構造の介入: ラベルフィールドの前に必須の中間推論フィールドを追加することで、スキーマ記述を十分に活用していないモデルのパフォーマンスを大幅に向上させられることを示した。これは、一部のケースではネイティブの推論モードによる利得を上回る。

結果

指示配置の影響

• 指示チャネルとしてのスキーマ: スキーマ記述を通じて定義を提供することは、labels_only（定義なし）のコントロール群よりも精度を大幅に向上させた。これにより、モデルがスキーマに埋め込まれた指示を利用していることが確認された。
• 配置の差異:
  • GPT-4.1 および GPT-5.4（推論なし）: 定義がスキーマにある場合よりも、システムプロンプトにある場合の方が大幅に高い精度（11〜13ポイント高い）を示した。
  • Claude Haiku 4.5: 配置に関わらず、同等だが比較的低いパフォーマンス（約52〜53%）を示した。
  • 高パフォーマンスモデル（GPT-5.5, Claude Opus 4.8）: スキーマのみ、およびシステムプロンプトのみの条件の両方で、天井性能（100%）に達した。

競合プローブ

スキーマの定義がシステムプロンプトの定義と矛盾した場合：

• 高い感受性: Claude Haiku 4.5 の精度は 52.5% から 7.1% へと急落（−45.4 ポイント）し、スキーマの指示がプロンプトを完全に上書きしたことを示した。GPT-5.5 は 100% から 73.3% へと低下（−26.7 ポイント）した。
• 低い感受性: GPT-4.1 および GPT-5.4（推論なし）は、わずかな劣化（3ポイント未満）しか示さず、これらは競合するスキーマデータよりもシステムプロンプトを優先することを示唆している。
• 示唆: スキーマの記述は、指示の階層における固定された位置を持たない。その影響力はモデルによって劇的に異なる。

スキーマ構造の介入

ラベルフィールドの前に必須の中間推論フィールドを追加することは、パフォーマンス向上の余地があるモデルに対して顕著な利得をもたらした：

• GPT-4.1: +20.8 ポイント (77.1% → 97.9%)。
• GPT-5.4 (推論なし): +20.0 ポイント (80.0% → 100.0%)。
• Claude Haiku 4.5: +23.8 ポイント (53.8% → 77.5%)。
• Claude Sonnet 4.6: 推論設定に応じて +14.6 から +17.5 ポイント。
• 観察: この構造的な変更は、ネイティブの「推論」モードが同等の利得を生み出さないモデルにおいてもパフォーマンスを向上させた。これは、スキーマのアーキテクチャが、プロンプトベースの推論とは異なる方法でモデルの計算を整理していることを示唆している。

重要性と主張

本論文は、「行動的指示（プロンプト）」と「フォーマット制約（スキーマ）」を分離するという一般的な抽象化は不完全であると主張している。著者は、スキーマの役割を明確にし、それらが不活性なメタデータでも、システムプロンプトと普遍的に等価なものでもないと断言している。むしろ、スキーマ指示の重みは、モデル固有の特性であり、経験的に測定されるべきものである。

実務的な示唆:

1. 統合された指示サーフェス: プロンプトとスキーマは、単一の指示サーフェスとして扱うべきである。最大のリスクは、スキーマの記述が無視されることではなく、それが正しいプロンプトを「静かに上書きしてしまう」ことである。定義は、乖離を防ぐために「単一の真実のソース（Single Source of Truth）」として維持されるべきである。
2. 仮定ではなく経験的検証: 指示の配置は固定されたルールではない。プロンプトの最適化に投資する前に、ターゲットとするモデルの指示階層を判断するために、軽量な診断（クリーンな条件 vs 競合する条件）を実行すべきである。
3. レバーとしてのスキーマエンジニアリング: スキーマの出力フィールドを設計すること（例：中間的な推論ステップの追加）は、プロンプトの配置を最適化することよりも、特にスキーマ記述を十分に活用していないモデルにおいて、パフォーマンスを向上させるためのより効果的なレバーとなり得る。

本研究は、信頼性の高い構造化出力システムには、利用可能な指示チャネルを特定のモデルがどのように利用しているかを理解し、それに応じてフル・インストラクション・インターフェースを設計することが必要であると結論付けている。