💬 NLP

AutoVecCoder: Teaching LLMs to Generate Explicitly Vectorized Code

本論文は、従来のコンパイラ最適化を上回る高性能で明示的なベクトル化コードを大規模言語モデルに生成可能にするため、データ合成パイプライン（VecPrompt）と強化学習アプローチ（VecRL）を組み合わせた新規フレームワーク「AutoVecCoder」を導入する。

原著者： Shangzhan Li, Xinyu Yin, Xuanyu Jin, Ye He, Yuxin Zhou, Yuxuan Li, Xu Han, Wanxiang Che, Qi Shi, Ting Liu, Maosong Sun

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shangzhan Li, Xinyu Yin, Xuanyu Jin, Ye He, Yuxin Zhou, Yuxuan Li, Xu Han, Wanxiang Che, Qi Shi, Ting Liu, Maosong Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な工場（コンピュータのプロセッサ）を想像してください。そこには、8 台の車を同時に正確に組み立てるように設計された、超効率的な組立ラインが備わっています。これはSIMD（Single Instruction, Multiple Data：単一命令複数データ）と呼ばれます。この工場から最大限の成果を引き出すためには、労働者に対して「8 台の車を同時に組み立てる」よう指示する命令を与える必要があります。

しかし、問題があります：

ボス（コンパイラ）： 通常、工場のための命令を作成する標準的な「ボス」ソフトウェアは非常に慎重です。複雑なタスクを見ると、「これを 8 台同時に行えるとは 100% 確信できないので、安全のために 1 台ずつ行うことにする」と言います。これでは工場の潜在能力が浪費されてしまいます。
人間の専門家： 人間のプログラマーは、intrinsics（組み込み関数）と呼ばれる特殊で難解な言語を使って、完璧な「8 台同時」命令を書くことができます。しかし、これは人間に手作業でロケットの取扱説明書を書くよう頼むようなもので、非常に難しく、ミスが発生しやすく、時間がかかりすぎます。
AI（LLM）： 私たちは、これらの命令を書くよう賢い AI に教えることを試みました。しかし、その AI は工場で働いた経験は全くないのに、多くの本を読んできた学生のようなものでした。正しく見える命令を書いても実際には機能しなかったり、実用になるほど速くなかったりしました。

AUTOVECCODER の登場：
この論文は、AI（具体的には 80 億パラメータのモデル）のための新しいトレーニングシステムを紹介し、それを熟練した工場監督に育てることを目指しています。これにより、AI は自動的に完璧な「8 台同時」命令を書くことを学びます。

彼らがどのように行なったか、2 つの主要なツールを用いて説明します。

1. 「知識注入」（VECPROMPT）

AI が最適化を学ぶ前に、工場のルールを学ぶ必要がありました。

問題： AI は、工場の機械（ハードウェア命令）に関する具体的で難解なルールを知らなかったのです。
解決策： 研究者たちは、スーパー司書のようなシステムを構築しました。AI がコードを書くよう求められたとき、そのシステムは必要な特定の機械部品に関する正確な公式マニュアル（ドキュメント）を即座に引き出します。
結果： AI は正しいマニュアルを見ながらコードを書く練習をします。何千もの練習問題を作成し、コードが実際にコンパイル（動作）するかを確認し、不良品を破棄します。これにより、AI が学ぶための高品質な「教科書」が作成されます。

2. 「スピードコーチ」（VECRL）

AI がルールを学んだ後、速くなる方法を学ぶ必要がありました。

問題： 動作するコードを書くだけでは不十分です。慎重な「ボス」ソフトウェアよりも速くなければなりません。
解決策： 彼らは AI を**バーチャルジム（サンドボックス）**に入れました。AI がコードの断片を書くたびに、システムはそれを実際の CPU で実行して速度を測定します。
- コードがクラッシュするか、間違った答えを返せば、AI は「ゼロ」のスコアを受けます。
- コードが動作すれば、AI は基本スコアを受けます。
- コードが元のものより速い場合、AI はボーナスを受けます。
魔法： AI は何千ものバリエーションを試します。「この小さな部分を変えれば、車の組み立てが 2 倍速くなる！」と学習します。慎重な「ボス」ソフトウェアが決して考えつかなかったショートカットを見つけるために、スピードコーチに導かれながら試行錯誤を繰り返して学習します。

結果

この論文は、この新しい AI、AUTOVECCODER-8Bがスターであることを主張しています：

巨人たちへの勝利： 比較的小さなモデル（80 億パラメータ）であるにもかかわらず、この特定のタスクにおいて、GPT-5、Claude、Gemini などの巨大で有名な AI モデルを上回りました。
ボスへの勝利： 多くの場合、それが書いたコードは、業界標準の「ボス」ソフトウェア（コンパイラ最適化レベル -O3）が生成したコードよりも実際に速いものでした。
信頼性： 高速だがクラッシュするコードを書く他のモデルとは異なり、この AI は速くかつ正確なコードを書きます。

なぜこれが重要なのか（論文によると）

この論文は、深層学習や科学的計算のような非常に具体的で高性能なタスクにおいては、単に「賢い」AI が必要なのではなく、特定の知識と現実世界の速度フィードバックでトレーニングされた AI が必要であると論じています。

彼らは、標準的なソフトウェアではできなかったことを AI が学んだことを発見しました：

項目数が動的に変化する厄介なループの処理。
組立ラインを稼働させ続けるために、メモリからのデータ取得方法を再編成すること。
全体のラインを停止させることなく、不良データをスキップするために「マスク」を使用すること。

要するに、彼らは AI に推測を止めさせ、コンピュータチップのための完璧で高速な命令を書くように教え、この特定の仕事において、慎重な標準ソフトウェアと最大の汎用 AI モデルの両方を打ち破りました。

技術的概要：AUTOVECCODER

問題定義

単一命令多重データ（SIMD）アーキテクチャによるベクトル化は、複数のデータ要素を同時に処理することで大幅な性能向上を可能にするため、高性能計算の基盤となっています。しかし、効率的なベクトル化コードの生成は依然として困難な課題です。現在の開発慣行は、二項対立に直面しています：

暗黙的ベクトル化：コンパイラによる自動ベクトル化に依存します。自動化されていますが、保守的な静的解析によって制約され、特にデータ依存性を伴う複雑なループにおいて、非最適な命令列を生み出す傾向があります。
明示的ベクトル化：開発者が命令セットアーキテクチャ（ISA）固有のイントリンシックを使用してハードウェアを直接制御することを可能にします。これは性能を保証しますが、学習曲線が急峻で、コーディングプロセスが煩雑であり、移植性が限定的という欠点があります。

大規模言語モデル（LLM）は一般的なコード生成において能力を示していますが、高品質なコーパスの不足と低レベルハードウェア命令の厳密な意味的制約により、明示的ベクトル化においては苦戦しています。このプロセスを自動化しようとする既存の試みは、しばしば意味的に正しくかつ特定の命令セットに対して最適化されたコードを生成できず、専門的な SIMD 意味論を注入するための体系的なトレーニング手法が欠如していることが多々あります。

手法

本論文は、LLM に自動化された明示的ベクトル化の能力を付与するために設計された新しいトレーニングフレームワーク、AUTOVECCODERを提案します。このフレームワークは、2 つの中核コンポーネントで構成されます：

1. VECPROMPT：知識強化型データ合成

高品質なトレーニングデータの不足に対処するため、著者らは自動化されたデータ合成パイプラインを開発しました。

シードプログラム構築：多様なスカラー C/C++ 関数セットを、二重ソース戦略を用いて構築します：
- 合成スキーマ：ベクトル化要件（演算子タイプ、データタイプ、次元）を形式化し、通常コンパイラの自動ベクトル化を破る複雑な制御フロー（例：条件分岐）と組み合わせたもの。
- 実世界コレクション：MBPP や XLCoST などのベンチマークから収集された C/C++ スニペットを、エンジニアリングの互換性のために正規化したもの。
RAG による蒸留：検索拡張生成（RAG）メカニズムがドメイン固有の知識を注入します。公式の SIMD イントリンシックドキュメントから専門的な知識ベース（ $K$ ）を構築します。各スカラー関数に対して、システムは関連するイントリンシック定義のトップ- $k$ を検索し、コンテキストとして提供することで、モデルが中間推論ステップを伴ってベクトル化コードを生成するよう導きます。この「ループ内の知識」アプローチは、ISA 固有の制約に関する幻覚を軽減します。
実行ベースの品質管理：生成された候補は、コンパイル可能性、機能的同等性（スカラー出力との一致）、および複雑性の制約について厳格にフィルタリングされます。その結果得られる高忠実度データセットは、教師あり微調整（SFT）に使用されます。

2. VECRL：性能駆動型強化学習

構文的に正しいコードと計算的に最適なコードの間のギャップを埋めるため、フレームワークは強化学習段階を採用します。

正しさに制約された報酬設計：著者らは、性能フィードバックの重い裾分布を処理するために、階層的な報酬関数を設計します。総報酬（ $R_{total}$ ）は以下のように定義されます：
$R_{total} = I(\text{correct}) \cdot (\beta_{base} + \beta_{perf} \cdot \tanh(\alpha \cdot \Delta))$
ここで、 $I(\text{correct})$ は機能しないコードにゼロ報酬を与えることを保証し、 $\beta_{base}$ は正しい実装に対するベースラインのインセンティブを提供し、 $\tanh$ スケーリングされた相対的改善（ $\Delta$ ）は、極端な外れ値が更新を支配するのを防ぐために、有界範囲内で性能向上に対して報酬を与えます。
GRPO による最適化：モデルは、グループ相対方策最適化（GRPO）を用いて洗練されます。各スカラー関数に対して、ベクトル化された候補のグループが生成されます。各候補のアドバンテージは、その報酬をグループ統計に対して正規化することで計算され、モデルが「より高性能なコード」に向けて最適化しつつ、KL 発散ペナルティを通じてトレーニングの安定性を維持することを可能にします。

主要な貢献

VECPROMPT：RAG を活用して SIMD イントリンシック知識を注入し、ベクトル化プログラミングのための高品質トレーニングデータを構築する自動化データ合成パイプライン。
VECRL：コードの正しさと実行性能の両方を最適化するように特別に設計された、結合報酬機構を備えた GRPO ベースの強化学習アルゴリズム。
AUTOVECCODER-8B：このフレームワークでトレーニングされた 80 億パラメータモデルで、SimdBench の SSE および AVX サブセットにおいて最先端（SOTA）の性能を達成します。特に、特定のシナリオでは、標準的なコンパイラの -O3 最適化を超えて明示的にベクトル化されたコードを生成します。

実験結果

著者らは、AUTOVECCODER-8B を、DeepSeek-R1、Gemini-2.5-Pro、GPT-5 などを含む広範な先進的なオープンソースおよびクローズドソース LLM に対して、厳密なゼロショット設定で SimdBench スイート（SSE および AVX サブセット）上で評価しました。

正しさと性能における優位性：AUTOVECCODER-8B は、両方の命令セットにおいて、最高の機能的正しさ、速度向上が 1 を超える正しいサンプルの割合（fast1）、および中央値の速度向上（P50）を達成しました。fast1 指標において、はるかに大規模なモデル（例：DeepSeek-R1、GPT-5）を大幅に上回りました。
相乗的最適化：より高いピーク速度向上（P75）を達成する代わりに正しさが低下するいくつかの大規模モデルとは異なり、AUTOVECCODER-8B は、デフォルトの -O3 コンパイラ最適化よりも信頼性が高く高速なコードを一貫して生成しました。
トレーニングダイナミクス：VECRL 段階の分析は、2 段階の進化を明らかにしました。初期段階は「機能的グラウンディング」（正しさを急速に向上させること）に焦点を当て、その後「性能最適化」段階に移行し、モデルは有効な解空間内で効率性を最適化するように遷移しました。
アブレーション研究：
- VECPROMPT：SFT 段階が重要な初期化を提供し、報酬密度を大幅に増加させ、意味的に妥当な部分空間に探索空間を制約することで、RL 収束を加速することを示しました。
- 報酬設計：提案された階層的報酬は、単純な速度向上のみの報酬（NSR）を上回りました。NSR アプローチは「コールドスタート」の搾取につながり、モデルは最初に脆弱で過度に特化したパターンを介して一時的な性能向上を達成した後、正しさと安定性の低下を招きました。

意義と主張

本論文は、AUTOVECCODER が従来の自動化ベクトル化の固有のボトルネックと、低レベルハードウェアプログラミングにおける現在の LLM の限界を効果的に克服すると主張しています。知識強化型蒸留と性能駆動型強化学習を統合することで、このフレームワークは高レベルコードの意味論と低レベルハードウェアの効率性の間のギャップを埋めます。

著者らは、低レベルの明示的ベクトル化タスクにおいて、性能を考慮したトレーニング目標と実行ループ内のフィードバックが、生のパラメータ規模よりも決定的な要因であると主張しています。この研究は、専門的な 80 億パラメータモデルが、巨大な汎用最先端モデルのドメイン固有の熟練度を達成し、さらに超えることができることを実証しています。これは、LLM を専門的な高性能計算ドメインで活用するための実現可能な道筋を提供し、ターゲットを絞ったデータパイプラインと強化学習が、従来のコンパイラヒューリスティックを超えたコードを生成できることを証明しています。