技術的サマリー：正解でも利用できない場合

問題定義

展開された言語モデルは、重要な信頼性のギャップに直面しています。生産環境で利用可能となるためには、出力が数学的に正しく、かつ形式準拠（例えば、特定のフィールドを持つ有効な JSON）である必要があります。標準的なベンチマークは通常、タスク精度を孤立して測定し、モデルが問題を正しく解いても要求されたスキーマに準拠できず、結果として応答が利用不能になる「構造化出力の信頼性ギャップ」を無視しています。

本論文は、数学ベンチマーク（GSM8K および MATH）を制御されたテストベッドとして用いて、このギャップを検証します。真の答えは明確であり、出力契約は厳格です（reasoning および answer フィールドを持つ JSON オブジェクト）。主要な指標は、数学的正当性と有効な JSON 構造の同時事象として定義される出力精度です。

手法

実験設定

本研究は、3 つのオープンウェイト小規模言語モデル（7–9B パラメータ）を評価します：Llama 3.1-8B Instruct、Gemma 2-9B IT、およびQwen 2.5-7B Instructです。さらに、GSM8K における一般化の探針としてGPT-4oも評価されます。モデルは以下の 5 つのプロンプト戦略でテストされます：

1. NAIVE: システムプロンプトなし；タスク入力のみ。
2. REFERENCE: 基本的な JSON 指示を含む最小限の手書き静的プロンプト（反復チューニングなし）。
3. CONSTRAINED: 構文的有效性を強制するための文法ベースの制約付きデコーディング（vLLM）。
4. REF+CONSTRAINED: REFERENCE プロンプトと制約付きデコーディングの組み合わせ。
5. ALOLAB: 以下に記述する反復型システムプロンプト最適化器。

AloLab フレームワーク

AloLabは、モデルの微調整や重みへのアクセスなしに出力精度のギャップを埋めるために設計された、反復型のブラックボックスシステムプロンプト最適化器です。

• アーキテクチャ: 分析ノードと最適化ノードの両方において、基盤 LLM としてClaude Sonnet 4.5を使用するメタエージェントパイプラインとして動作します。
• プロセス:
  1. ソルバー: 訓練/検証分割において、API を介してターゲットモデルをクエリします（ブラックボックス）。
  2. 評価器: json_valid と is_correct を決定的に計算します。
  3. 分析器: 繰り返し発生する失敗パターン（例：マークダウンフェンスのラッピング、フィールドの不一致）と成功パターンを特定し、必要に応じて「モデルカード」（アーキテクチャ、パラメータ数）を活用して知見を調整します。
  4. 最適化器: 成功した動作を維持しつつ、特定された失敗に対処するようにシステムプロンプトを書き換えます。
• コスト: 最適化には、モデル/データセットあたり約 5,000–10,000 回のターゲットモデル推論呼び出しと 30 回のメタエージェント呼び出しが必要です。展開時には、最終的に最適化されたプロンプトのみを使用するため、追加のオーバーヘッドはゼロです。

除去実験

• 履歴のみ: 分析器/最適化器から明示的なモデルプロフィール情報を削除し、反復フィードバックのみが十分かどうかをテストします。
• メタエージェントの品質: 最適化器の能力が結果を主導するかどうかをテストするため、より小規模なClaude 3 Haikuに Claude Sonnet 4.5 を置き換えます。

主要な結果

1. ベースラインにおける形式失敗

ベースラインにおいて体系的な形式失敗が顕在化します：

• NAIVE プロンプトは高いタスク精度を達成します（例：GSM8K で 77–85%）が、すべてのモデルで**出力精度は 0%**です。モデルは数学を解きますが、有効な JSON を生成できません。
• REFERENCE プロンプト（静的な手書きプロンプト）は性能が低く、MATH における Gemma と Qwen で出力精度 0%、GSM8K における Gemma でも、構文解析器を破る体系的なマークダウンフェンスのラッピング（```json）により出力精度 0% となりました。

2. AloLab の性能

AloLab はギャップを大幅に埋めます：

• GSM8K: 3 つのオープンモデル全体で**84–87%の出力精度を達成し、GPT-4o では95.2%**を達成しました。
• MATH: **34–40%**の出力精度を達成しました。
• 統計的有意性: 30 組の対比 McNemar 検定（5 回の実行 × 3 モデル × 2 データセット）のうち 29 組で、AloLab は $p < 0.05$ の水準で最良の静的プロンプト（REFERENCE）を有意に上回りました。
• レイテンシ: AloLab はベースラインに近い推論レイテンシで動作します（GSM8K において NAIVE の 0.71 倍–1.06 倍）が、制約付きデコーディングは3.6 倍–8.2 倍のレイテンシオーバーヘッドを発生させます。

3. 制約付きデコーディングのトレードオフ

制約付きデコーディングは構文的有效性を強制しますが、大幅なレイテンシの増加をもたらし、場合によっては（例：GSM8K における Gemma）、タスク性能を低下させます（出力の 52.4% が完全な重複となりました）。これは AloLab に比べ、「高レイテンシ、低出力精度」の領域に位置します。

4. 除去実験の知見

• メタエージェントの能力: Sonnet 4.5 を Haiku に置き換えると、平均出力精度は 84.15% から 61.0% に低下し、実行間の変動は 1 未満のパーセントポイントから 21.8 パーセントポイントに増加しました。これは、メタエージェントの能力が最適化品質の主要な駆動力であることを確認しており、有能な最適化器なしでは反復ループのみでは不十分であることを示しています。
• モデル知識: 最適化器から明示的なモデルプロフィール（アーキテクチャなど）を削除しても、性能低下は negligible（1.3 パーセントポイント未満）でした。これは、観察された実行パターンが最適化のための支配的なシグナルであり、事前のモデル知識ではないことを示唆しています。

5. 一般化

形式失敗は小規模なオープンモデルに限定されません。GPT-4oも、体系的なマークダウンラッピングにより、NAIVE および REFERENCE プロンプト下で出力精度 0% を示しました。AloLab はフェンスを抑制することを学習することでこれを解決し、95.2% の出力精度を達成しました。これは、失敗がサイズに関連する制限ではなく、モデル固有の生成デフォルトであることを確認しました。

6. 残余の失敗

AloLab を使用しても特定の失敗モードが持続します：形式 - 実行の不一致です。失敗の 1.5–1.8% において、JSON は有効であり、reasoning フィールドには正しい論理が含まれていますが、answer フィールドには間違った値が含まれています。独立した LLM 審判員はこの分離を検証し、これは単純な形式エラーが排除されるにつれてより顕著になる、本質的な生成特性であることを示唆しました。

意義と主張

本論文は、厳格な出力契約の下での小規模言語モデルの実用的な限界は、推論の限界（高い NAIVE タスク精度によって証明される）ではなく、構造化されたコミュニケーションの限界であると主張します。

• AloLabは、微調整なしにタスクの正しさと形式準拠の間のギャップを効果的に埋めることができる、反復的なブラックボックスプロンプト最適化を実証しています。
• 高いレイテンシと潜在的なタスク低下に悩まされる制約付きデコーディングと比較して、推論時により正確で費用対効果の高い解決策を提供します。
• この研究は、静的プロンプトが複雑な形式制約に対してしばしば不十分であり、モデル固有の生成デフォルト（マークダウンラッピングなど）を動的に特定して抑制する必要があることを浮き彫りにしています。

著者らは、AloLab が信頼性を大幅に向上させる一方で、残存する「形式 - 実行の不一致」（正しい推論、誤った answer フィールド）が将来の研究に対する具体的な方向性を表していると結論付けています。