Training with Pseudo-Code for Instruction Following

この論文は、自然言語の指示に疑似コード表現を付加してファインチューニングを行うことで、LLM の指示追従能力を大幅に向上させつつ、数学的および常識推論の性能も維持・改善できる手法を提案し、12 のベンチマークでその有効性を実証したものである。

要約

この論文は、**「AI（大規模言語モデル）に、より正確に指示を聞かせるための新しいトレーニング方法」**について書かれています。

一言で言うと、**「AI に『自然言語（普通の言葉）』で指示するのではなく、一度『擬似コード（プログラム風の簡易な手順書）』に変換させてから答えさせるように教える」**というアイデアです。

これを一般の方にもわかりやすく、いくつかのアナロジーを使って説明しましょう。

---

1. 問題：AI は「複雑な指示」に弱い

普段、私たちは AI に「この文章を要約して」「このメールを丁寧な口調で書き直して」といった指示を出します。しかし、指示が少し複雑になると、AI はうっかりルールを忘れたり、混乱したりすることがあります。

• 例え話：
  料理のレシピを「美味しいパスタを作って」と言われたら、AI はパスタを作れます。でも、「パスタを作った後、ソースをかける前に、必ず卵を 3 個割り、塩を小さじ 1 杯入れ、最後に黒胡椒を振って、皿に盛る前に 5 分間休ませてください」といった**「複数の条件が絡んだ指示」**になると、AI は「あ、塩を入れ忘れた！」とか「休ませるのを忘れてしまった！」とミスをしてしまいます。

2. 解決策：AI の頭の中で「手順書」を書く

この論文の著者たちは、AI に指示を聞かせる際、**「一度、プログラムのような『擬似コード（Pseudo-code）』に変換させてから実行する」**というトレーニングを行いました。

• アナロジー：建築家の設計図
  • 従来の方法（自然言語）： 職人（AI）に「家を建てて。2 階建てで、窓は 3 つ、屋根は赤くして」と口頭で指示する。職人は「あ、窓が 4 つになっちゃった」とミスをするかもしれません。
  • 新しい方法（擬似コード）： 職人に「まず、設計図（擬似コード）を書いてから建てて」と言います。
    • 設計図：
      1. 壁を作る
      2. 窓を 3 つ開ける（※ここ重要！）
      3. 屋根を赤く塗る
      4. 完成
    • 職人はこの**「設計図」を頭の中で確認しながら**作業を進めるので、窓の数を間違えたり、色を間違えたりしなくなります。

この「擬似コード」は、実際のプログラミング言語ではなく、**「もし〜なら、〜をする」「次に〜をする」**といった、論理的な手順を整理したものです。

3. 具体的なトレーニング方法：「生成・評価・修正」のループ

ただ「コードを書け」と言うだけでは、AI が間違ったコードを書く可能性があります。そこで、著者たちは以下のような**「自動で品質を高めるトレーニング」**を行いました。

1. 生成（Generate）： 強力な AI に「この指示を擬似コードに直して」と頼む。
2. 評価（Evaluate）： そのコードを使って実際に答えを出し、正しい答えと比べてみる。
3. 修正（Repair）： もし答えが違っていたら、「このコードは間違っているよ、直して」と AI に教えて、より良いコードに修正させる。

これを繰り返すことで、AI は**「指示を論理的な手順（コード）に変換する力」**を身につけ、最終的な答えも正確に出せるようになります。

4. 結果：AI はどう変わった？

この方法でトレーニングした AI は、以下のような劇的な変化を見せました。

• 指示遵守力が向上： 複雑なルール（「文字数は 100 字以内で、句読点は使わないで、3 つの項目を箇条書きで」など）を守れるようになりました。
• 他の能力も維持・向上： 「擬似コード」を学ぶことで、数学の問題や常識的な推理能力も落ちず、むしろ向上したケースもありました。
• ユーザー体験は変わらない： 重要なのは、ユーザーは普段通り「普通の言葉」で指示を出せばいいということです。AI の内部で「あ、これはコードに直して考えよう」という処理が自動で行われるので、ユーザーは特別なことをする必要がありません。

5. まとめ：なぜこれがすごいのか？

これまでの AI は、指示を「言葉の羅列」として受け取っていましたが、この研究では**「指示を『論理的な手順』として再構築する」**という習慣を AI に植え付けました。

• 従来の AI： 「指示を聞いて、直感で答える」→ 複雑な条件だとミスしやすい。
• 新しい AI： 「指示を聞いて、まず『手順書』を書いて、それから答える」→ ミスが激減し、複雑なタスクも完璧にこなせる。

まるで、**「慌てて走り出す前に、一度立ち止まって地図を確認する」**ような効果があるのです。これにより、AI はより頼れるパートナーになり、私たちが複雑な指示を出しても、確実に実行してくれるようになるでしょう。

技術概要

論文「Training with Pseudo-Code for Instruction Following」の技術的サマリー

この論文は、大規模言語モデル（LLM）が指示に従う能力、特に構造的な複雑さを持つ指示（構成的指示）や制約条件の多いタスクにおいて、自然言語（Natural Language: NL）のみで訓練されたモデルよりも、疑似コード（Pseudo-Code）を用いた指示チューニングを行うことで性能が向上することを示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年の LLM の能力は飛躍的に向上しましたが、以下の点で依然として課題が残っています。

• 構成的指示への対応困難: 複数の条件を組み合わせた指示や、順序・制御フローを含む複雑な指示を正しく理解・実行できない。
• 制約の遵守: 出力形式、長さ、特定のキーワードの排除など、細かい制約条件を無視してしまう。
• 推論時の限界: 既存の研究では、推論時に疑似コードを生成させるアプローチ（Code Prompting）が提案されていますが、非専門家ユーザーにとって疑似コードの記述は負担が大きく、Few-shot 学習や推論時のコード実行（Chain-of-Code など）は非効率的で、実用化の障壁となっています。

2. 提案手法 (Methodology)

著者らは、推論時ではなく訓練時に疑似コードを統合するアプローチを提案しました。モデルがユーザーの指示に応える際、まず自然言語の指示を疑似コードに変換し、その後に最終的な回答を生成するというプロセスを学習させます。

データ構築パイプライン

既存の指示チューニングデータセット（Tulu v2 など）を拡張し、高品質な「自然言語指示 ↔ 疑似コード ↔ 正解」のペアを自動生成する 3 段階のパイプラインを開発しました。

1. Generate (生成): 強力な LLM（Mixtral-8x7B）を用いて、1-shot プロンプトにより自然言語指示に対応する疑似コードプログラムを生成します。
2. Evaluate (評価): 生成された疑似コードのみで推論を行い、出力を正解（Ground Truth）と比較します。
3. Repair (修復): 疑似コードによる出力が正解と一致しない場合、LLM 判定官（LLM-judge）にフィードバックを与え、疑似コードを修正します。これを繰り返して高品質なデータセットを構築します。

学習データの特徴

• 構造: 入力として自然言語指示を受け取り、出力として [PSEUDOCODE] タグで囲まれた疑似コードと、その後の最終回答を生成するように訓練します。
• 制約: 疑似コードには「思考プロセス（Chain-of-Thought）」や「解答そのもの」を含めず、あくまで**「指示の構造化された表現」**として機能させることで、モデルが指示の構造（順序、条件分岐、制約）を明確に理解することを目的としています。
• データセット: Code Alpaca, Tulu v2 Science, SNI v2, WizardLM, GPT4-Alpaca, CoT などのデータセットを混合し、6 つのベースモデル（Llama 3.1, Mistral, Qwen2.5, Granite, Olmo など）で微調整を行いました。

3. 主要な貢献 (Key Contributions)

1. 訓練時アプローチの提案: 推論時のプロンプトに依存せず、モデル自体を「指示を疑似コードに変換して実行する」ように微調整する新しい手法を提案しました。これにより、エンドユーザーは自然言語でのみ対話でき、モデル内部で構造化された処理が行われます。
2. スケーラブルなデータ生成パイプライン: 手動での疑似コード作成を不要にする「生成 - 評価 - 修復」の自動化パイプラインを導入し、高品質な疑似コード指導データを大規模に生成可能にしました。
3. 広範なベンチマークでの検証: 6 つのベースモデルと 12 のベンチマーク（指示従順性、数学的推論、常識推論、コード生成）を用いた実験により、疑似コード訓練の有効性を実証しました。

4. 実験結果 (Results)

実験は、指示従順性、数学、常識推論、コードタスクの 4 つの分野で行われました。

• 指示従順性 (Instruction Following):

  • 全モデルにおいて、疑似コード（PC）訓練モデルは自然言語（NL）訓練モデルを凌駕しました。
  • IFEval, KCIF, ComplexBench, FollowBench などのベンチマークで、相対的に 8%〜21% の性能向上が見られました。
  • 特に、**ネストされた指示（Nested Instructions）や複雑な制約条件（Fine-grained constraints）**を持つタスクにおいて、PC モデルの優位性が顕著でした。
  • 例：KCIF（注意散漫な指示に対する頑健性）や、FollowBench（多段階の制約）において、NL モデルよりも高い遵守率を示しました。

• 数学的・常識的推論 (Math & Commonsense Reasoning):

  • 性能は維持され、多くのモデル（Granite 3.1, Mistral 7B など）では向上しました。
  • 平均して全ベンチマークで最大 30% の gain を記録しました。
  • 一部のモデル（Qwen2.5 など）では結果が混在しましたが、全体的に能力の低下は見られませんでした。

• コード生成タスク (Code Tasks):

  • HumanEvalPack などのコード生成ベンチマークでも、疑似コード訓練モデルは NL モデルを上回る傾向がありました（特に Granite 8B Code で顕著）。
  • 訓練データにコードタスクは 15% しか含まれていませんでしたが、指示を構造化して理解する能力がコード生成のロジック理解にも転移したと考えられます。

• 推論時プロンプトとの比較:

  • 推論時に疑似コードを生成させる手法（Code-Prompted baselines）と比較しても、訓練時に取り入れたアプローチの方が一貫して高い性能を示しました。

5. 意義と結論 (Significance & Conclusion)

• 構造化された指示理解の重要性: 自然言語の曖昧さを排除し、制御フローや順序を明示する疑似コード形式で指示を再表現させることで、LLM の指示従順性が劇的に向上することが示されました。
• 実用性: ユーザーは特別なプロンプト技術や外部コード実行環境を必要とせず、既存の NL 対話インターフェースのまま、より高度な指示に従うモデルを利用できます。
• 将来展望: 本手法は、より大規模なモデルやデータセットへのスケーラビリティ、マルチターン対話、ツール呼び出しなどへの展開が期待されます。また、自然言語と疑似コードを混合したハイブリッドなアプローチや、MoE（Mixture of Experts）アーキテクチャとの組み合わせも今後の研究課題として挙げられています。

結論として、 疑似コードを「思考の中間表現」として訓練に組み込むことは、LLM の指示従順性を高めるための効果的でスケーラブルな戦略であり、複雑なタスクにおけるモデルの信頼性を大幅に向上させる可能性を秘めています。