技術概要：合成関数デモンストレーションが低リソースプログラミング言語における生成を改善する

問題定義

コード上で訓練された大規模言語モデル（LLM）は、人間が注釈を付けた説明コメントを含む豊富な訓練データに支えられ、Python などの高リソースプログラミング言語（HRPL）において高い精度を達成しています。しかし、Excel 数式、ウェールズ語、あるいはニッチなドメイン固有言語（DSL）などの低リソースプログラミング言語（LRPL）では、パフォーマンスが著しく低下します。主なボトルネックは、コードと自然言語による説明を対応させた自然発生的な訓練データの不足です。

最先端（SoTA）の LLM を用いて合成コードを生成する既存のデータ拡張手法は、LRPL においては困難を極めます。なぜなら、GPT-4o などの強力なモデルでさえ、事前訓練なしにはこれらの言語で高品質なコードを生成するための十分なドメイン専門知識を欠いているからです。さらに、標準的な検索拡張生成（RAG）アプローチは、モデルが検索された情報を効果的に活用するための基礎的な理解を欠いているため、未知のドメインではわずかな改善しかもたらさないことが多くあります。

手法

著者らは、LRPL 向けに「教科書品質」の合成訓練データを生成するための新規パイプラインを提案します。このアプローチは、教師モデルが対象ドメインの専門家である必要はなく、代わりにモデルの一般的なプログラミング推論能力と特定のドメインドキュメントを組み合わせることを利用します。このパイプラインは以下の 4 つのステップで構成されます。

1. 関数ライブラリの準備: 著者らは、対象 LRPL の標準ライブラリに関するドキュメントを収集します。ケーススタディ（Excel）では、公開スプレッドシートのサンプルに基づいて最も頻繁に使用される 100 の関数を特定し、引数のベクトル、型、および玩具例（toy examples）を含むマイクロソフトの公式サポートドキュメントを収集しました。
2. 関連データコンテキストのサンプリング: 合成生成を実際のシナリオに根ざさせるため、著者らは注釈のないデータテーブル（例：Wikipedia の WikiTableQuestions データセットから）をサンプリングします。教師モデル（GPT-4o）を用いて、各関数に対して最も適切なテーブルを選択し、その特定のデータ構造上で関数が論理的に実行可能であることを保証します（例：数値関数を数値データを含むテーブルに一致させる）。
3. 合成問題の生成: 教師モデルに、各関数に対する一連の合成デモンストレーションを生成するよう指示します。重要なのは、生成プロセスが体系的であることです。各関数について、モデルは特定の引数スロット（オプションの引数を含む）の使用方法を示す一連の例を生成します。各例には以下が含まれます：
   • 自然言語による質問（クエリ）。
   • 論理のステップバイステップの説明。
   • 実行可能な Excel 数式。
   • 期待される答え。
     出力は、トレーニングカリキュラムへの自動コンパイルを容易にするため JSON 形式で構造化されます。
4. 生成物の検証: 合成データは AI によって生成されるため、誤りを含む可能性があります。著者らは 2 段階の検証プロセスを採用します：
   • 実行チェック: 生成された Excel 数式が実行に失敗するサンプルを除外します。
   • クロス言語検証: 同じ質問に対して、より信頼性の高い HRPL である Python を用いて並行した解決策を生成します。著者らは Excel と Python の両方の解決策を実行し、結果が一致するサンプルを保持します。このプロセスにより、合成生成物の約 50% が保持され、データ品質が大幅に向上します。

生成されたデータセットは、Excel 数式を用いて質問に答えるタスクにおいて、「学生」モデル（Qwen 2.5 および Llama 2 ファミリー）を微調整するために使用されます。

主要な貢献

1. 合成データ合成のためのプロトコル: 本論文は、LRPL 向けにドメインを標的とした訓練データを生成するための一般的なプロトコルを定義します。これは、ドキュメントとサンプリングされたデータコンテキストによって強化された、指示追従能力の強い教師モデルが、対象ドメインにおける深い事前専門知識を必要とせずに高品質な合成例を生成し得ることを示しています。
2. RAG に対する微調整の優位性: この研究は、合成関数デモンストレーションによる微調整が、RAG ベースのアプローチを著しく凌駕するという実証的証拠を提供します。RAG（オラクル検索された関数シグネチャを含む場合でも）は不整合で限定的な利益しか提供しませんが、微調整によりモデルは LRPL の構文と意味を内在化することができます。
3. 一般プログラミングスキルの転移: 結果は、HRPL での事前訓練が直接 Excel 生成を可能にするわけではありませんが、一般的な問題解決スキルの基盤を提供することを示しています。合成 LRPL データによる微調整は、これらの一般スキルを特定ドメインへ効果的に転移させ、テーブルベースの QA タスクにおいて 10% 以上のパフォーマンス向上をもたらします。

結果

著者らは、WikiTableQuestions（WikiTQ）と TAT-QA（金融ドメインのデータセット）の 2 つのデータセットでアプローチを評価しました。

• パフォーマンスの向上: 合成データ（FTSyn-QA）による微調整は、ほとんどの学生モデルで著しい改善をもたらしました。例えば、WikiTQ において、Qwen2.5-coder 3B モデルは、ベースラインの 15.34% から実行一致（EM）28.64% へと改善しました。14B バリアントは 46.95% から 54.93% へと改善しました。
• ベースラインとの比較: 微調整されたモデルは、ベースモデルおよび RAG によって強化されたモデル（素朴な検索およびオラクル検索の両方）を上回りました。特に、微調整されたモデルは WikiTQ サブセットにおいて GPT-4o のパフォーマンスを上回りました（58.2% のベースラインに対し、14B 微調整モデルは 54.93%、3B 微調整モデルは 15.34% のベースラインに対し 28.64% に到達）。
• エラー分析: 定性的分析により、微調整は主に「テーブルインデックス付け」（テーブルの正しい読み取り）および「数式構文」に関連するエラーを減少させたことが明らかになりました。モデルは個々の関数に対して有効な数式を構築することを学びました。しかし、単一関数のデモンストレーションに焦点を当てた合成データは、「計画論理」エラーをわずかに増加させました。これは、多段階の推論が必要となる場合でも、モデルが単一関数の解決策を生成する傾向があったためです。
• モデル規模と専門化: 一般的に、より大規模なモデルはより良いパフォーマンスを発揮しました。コード事前訓練モデル（Qwen2.5-Coder など）は、非専門的な対応モデルと比較して微調整からより大きな利益を示しました。これは、HRPL で学習された一般的なコーディングスキルが、ターゲットを絞った微調整によって LRPL へよく転移することを示唆しています。

意義と主張

本論文は、教科書品質の合成例を生成することが、LLM を低リソースプログラミング言語に適応させるための実行可能かつ効果的な戦略であると主張しています。その意義は、手法の単純さと自動化にあります。これには、公的ドキュメント、汎用教師モデル、および注釈のないデータコンテキストのみが必要であり、高価な人間の注釈付けや、すでに対象 LRPL の専門家である教師モデルを必要としません。

著者らは、このアプローチが自然データが訓練に不十分な LRPL の「ロングテール」問題に対処すると仮定しています。事前訓練モデルの一般的な推論能力を活用し、合成データを通じて特定の関数意味論に根ざすことで、この手法は新しいドメインへの迅速な適応を可能にします。本論文は、現在の手法が個々の関数デモンストレーションに焦点を当てていること（これがモデルをより単純な解決策へバイアスさせる可能性がある）を認めつつも、LLM の事前訓練および適応における合成データ生成の将来の作業のための堅固な基盤を確立したと結論付けています。