💬 NLP

Regression Language Models for Code

原著者： Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

原著者： Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが Python、C++、あるいはグラフィックカード用の専用言語など、数十もの異なる言語で書かれた膨大なコンピュータプログラムの図書館を持っていると想像してください。通常、あるプログラムがどれだけのメモリを消費するか、実行にどれだけの時間がかかるか、あるいはニューラルネットワークの精度がどれほどになるかを知りたい場合、実際にコンピュータでそのプログラムを実行して確認する必要があります。これは遅く、費用がかかり、ハードウェア尚未構築の場合は不可能です。

長年、専門家たちはコードを実行せずにこれらの数値を予測するための特別な「水晶玉」の構築を試みました。しかし、これらの水晶玉はカスタムメイドの道具のようでした。Python のメモリを予測するには一つの道具が必要で、グラフィックカードの速度を予測するには全く異なる道具が必要でした。これらは人間が手動でコードを掘り起こし、特定の命令を数え、計算機に入力するためにコードを複雑なチャートやグラフに変換することを要求しました。コードが少し変わっただけで、道具はしばしば機能しなくなりました。

コードのための新しい「万能翻訳機」

この論文は、回帰言語モデル（RLM）と呼ばれる新しい種類の AI を紹介しています。これを計算機ではなく、「コンピュータコード」と「数値」の両方を話すスーパー翻訳機として考えてください。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「凍結された脳」と「創造的な作家」

このモデルは、二人組のチームのように構成されています。

凍結された脳（エンコーダ）： この部分は、T5Gemma というモデルに基づいた事前学習済み AI で、すでに数百万冊の本と数百万行のコードを読んでいます。これは文やコードの構造を完璧に理解しています。研究者たちはこの部分を「凍結」しました。つまり、新しいことを教えることはしませんでした。これは単に、コードが何を言っているかを理解する賢い読者として機能します。
創造的な作家（デコーダ）： これが実際に訓練された部分です。物語を書く代わりに、この作家の仕事は、「脳」が読んだコードを見て、文の次の単語として数値を書くことです。

比喩： あなたがレシピ（コード）を読んでいると想像してください。通常の AI は材料リストを推測しようとするかもしれません。しかし、この新しい AI はレシピを見て、「このテキストに基づくと、次の単語は『500』（カロリー）です」と言います。これは、メモリ使用量や速度のような数値の予測を、文を完成させることと全く同じように扱います。

2. すべてを扱う一つの道具

最大の画期的な点は、この単一の「万能翻訳機」がすべてを一度に処理できることです。

Pythonのコードを読み、使用するメモリ量を推測できます。
**C++**のコードを読み、実行にかかる時間を推測できます。
ニューラルネットワークの設計（ONNX という形式で記述されたもの）を読み、特定のチップ上での精度や実行速度を推測できます。

以前は、これらの各タスクごとに異なる「専門家」が必要でした。このモデルは、テキストを見るだけでメモリ専門家、速度専門家、精度専門家へと切り替えることができるスイスアーミーナイフのようです。

3. 数学なしで「数える」方法

このモデルが数値を出力する際の巧妙なトリックの一つは、数値の出力方法にあります。複雑な数学を行って「72.5」を出力する代わりに、デジタルロックのように、数値を小さな断片に分解します。

「72.5」とは言いません。
「プラス記号... 7... 2... 小数点... 5」と言います。
比喩： 子供に数を教えることを想像してください。「50 + 25」を解くよう頼む代わりに、答えを桁ごとに書かせるのです。「5... 0... プラス... 2... 5... イコール... 7... 2... 5」。これにより、AI は数百万バイトのような巨大な数値や、非常に小さな数値を混乱することなく処理しやすくなります。

4. なぜ古い方法より優れているのか

手作業不要： 古い方法は、人間が手動で特徴を設計する必要がありました（例：「ループの数を数える」など）。このモデルは、人間が本を読むのと同じように、生のテキストを直接読みます。
ランキング能力の向上： この論文は、このモデルに同じコードの 10 種類の異なるバージョンを与えると、「最速」から「最遅」へ、あるいは「最小メモリ」から「最大メモリ」へと並べ替えるのが非常に得意であることを示しています。ストップウォッチがなくても、10 人のランナーを見て瞬時に勝者を知ることができる審判のようです。
コスト： 研究者たちは、このモデルを使用することが、数値を推測するために巨大な汎用 AI チャットボット（GPT-5 など）を使用するよりもはるかに安価であることを発見しました。チャットボットは、ナットを割るために金槌を使うようなもので、高価でしばしば誤っています。このモデルは、ペンス単位で仕事を完了させる専門的で軽量な道具です。

彼らが実際に証明したこと

この論文は以下のものに対してこのモデルをテストしました。

CodeNet： 37 の異なる言語で書かれた数百万のコードスニペットを含む巨大なデータセット。このモデルは、それらすべてにわたってメモリ使用量を正常に予測しました。
APPS： コーディング課題のセット。このモデルは、解答を見てそのメモリ使用量を非常に高い精度（現実との相関 90% 以上）で予測できました。
ニューラルネットワーク： 複雑なグラフ図を使用した従来の最先端の方法よりも、AI 設計の速度と精度を予測できました。

まとめ：
この論文は、コードのパフォーマンスを予測するために複雑でカスタムメイドのツールを構築する必要はないと主張しています。代わりに、コードを物語のように扱い、数値をその物語の次の単語のように扱うことができます。これを行うために単一の統合された AI を訓練することで、ほぼあらゆるプログラミング言語や AI 設計に対して、単にテキストを読むだけでメモリ、速度、精度を予測できます。これは、難しい数学の問題を、単純な「次は何が来る？」というゲームに変えるものです。

技術概要：コードのための回帰言語モデル

問題定義

本論文は、コードの実行結果（メモリフットプリント、レイテンシ、精度など）の数値的アウトカムを、ソースコードまたは計算グラフ表現から直接予測する「コードから指標への回帰」の課題に取り組む。歴史的に、このタスクはプログラミング言語の開放的な性質と、重くドメイン固有の「特徴量エンジニアリング」への依存によって阻害されてきた。従来の手法は、コードを構文木や隣接行列などの硬直的なグラフ表現、またはコマンドの手動カウントによる表形式のベクトルへ変換することを要求することが多く、これにより新しいタスク、言語、またはカーネルタイプへの転移性が制限されていた。核心的な難しさは、多様なドメインにわたる汎化能力を失うことなく、高度に非表形式のグラフベースデータ上で正確な回帰モデルを学習することにある。

手法

著者は、コードから指標への回帰を標準的な次のトークン予測問題として扱い、現代の大規模言語モデル（LLM）のパラダイムに整合させる統合フレームワークである「回帰言語モデル（RLM）」を提案する。

構造と学習

統合エンコーダ・デコーダ: RLM は、入力テキストを処理するために凍結されたエンコーダ（具体的には T5Gemma-S）と、数値出力を生成するために学習可能なデコーダを利用する。エンコーダは標準的な言語データで事前学習されており、バックプロパゲーションを受けるのはデコーダのみであるため、学習コストが大幅に削減される。
テキストからテキストへの回帰: 入力を固定長のベクトルにマッピングする従来のアプローチとは異なり、RLM はコードの生テキスト表現（Python、C++、ONNX グラフなど）を受け入れ、数値値をトークンの系列として出力する。
専門的な数値トークン化: 正規化なしで指標の広い動的範囲（ $10^{-2}$ から $10^6$ ）を処理するために、モデルは「明示的な桁ごとのトークン化」を使用する。数字は、符号、指数、仮数用の特殊トークンを用いて表現される（例：$72.5$ に対して <+><-><1><7><2><5>）。これにより数値的不安定性とデータセット固有のスケーリングの必要性が回避される。
多目的モデリング: デコーダの自己回帰性を利用し、モデルは複数の指標を条件付きで逐次的に予測できる（例： $p(y_{latency} | y_{accuracy}, x)$ ）。これにより、精度とハードウェアのレイテンシなどの目的間の内在的な相関を捉えることができる。

データソース

モデルは、以下の多様で統合されたデータセットで学習される：

高レベルプログラミング: APPS（LeetCode 問題）、CodeNet（37 言語にわたる 1400 万サンプル）、KernelBook（Triton GPU カーネル）からのコード。
ニューラルアーキテクチャ検索（NAS）: NASBench-101/201、FBNet、Once-for-All などのベンチマークからの 52 万のユニークなアーキテクチャで、ONNX 中間表現として表現されている。

主要な貢献

統合汎用モデル: 単一の RLM が、Python、C++ などの複数の言語にわたるメモリ使用量、GPU カーネルのレイテンシ、ニューラルネットワークの精度/レイテンシを同時に予測できることを実証し、タスク固有の特徴量エンジニアリングの必要性を排除した。
グラフベース手法への優位性: 高密度な ONNX テキスト表現を読み取るにもかかわらず、RLM は NAS ベンチマークにおいて最先端のグラフニューラルネットワーク（GNN）ベースラインを上回った（GNN が以前支配していた設計空間において、Kendall-Tau 0.46 を達成）。
効率性とスケーラビリティ: 凍結されたエンコーダの使用により、コスト効果の高い学習が可能となる。著者は、比較的小さな 3 億パラメータのモデルが高い性能を達成し、6 億パラメータにスケーリングすることでさらなる向上が得られることを示した。
正規化不要な予測: 桁ごとのトークン化戦略により、モデルは手動の正規化なしで桁違いの値を予測可能であり、MSE ベースの回帰ヘッドに対する大きな利点である。

実験結果

コード性能: APPS データセットにおいて、RLM はメモリ予測で Spearman 順位相関（ $\rho$ ）0.93 を達成した。CodeNet では、17 言語全体で平均 $\rho > 0.5$ を達成し、C++ では 0.748 に達した。
NAS 性能: RLM は、5 つの古典的な NAS 設計空間全体で平均 Kendall-Tau 0.46 を達成し、FLANT や GNN ベースのエンコーダなどの以前の最先端手法を上回った。精度とハードウェア固有のレイテンシ（Pixel3、Eyeriss、Intel CPU、Nvidia GPU など）を同時に予測することに成功した。
アブレーション研究:
- 凍結エンコーダ: 事前学習されたエンコーダは、ランダム初期化と比較して収束と最終性能を大幅に向上させる。
- デコーダ対回帰ヘッド: デコーダベースの出力（Spearman $\rho$ 0.800）は、明示的な回帰ヘッド（正規化なしで 0.478、正規化ありで 0.717）を大幅に上回る。
- トークン化: ONNX グラフ用のカスタムでコンパクトなトークナイザは性能を向上させる（デフォルトのトークナイザでは 0.533 に対し、0.723）。
- コンテキスト内学習（ICL）: 大規模モデル（GPT-5 など）を用いた ICL は、ショット数が増えるにつれて改善するが、一貫して重み内で学習された RLM よりも低く、コンテキストウィンドウの制限により推論コストが大幅に高くなる。

意義と主張

本論文は、計算グラフ回帰を汎用的な次のトークン予測問題へと簡素化する道を開くと主張している。言語モデルがコードとグラフの純粋なテキスト表現上で効果的に回帰できることを実証することで、この研究は、硬直的で手作りの特徴量エンジニアリングから、より柔軟で統合されたアプローチへと分野を移行させる可能性を示唆している。

著者はこれを以下の分野における有用なツールとして位置づけている：

プログラム検索: 効率的なコードソリューションの選択を加速する。
ハードウェア・ソフトウェア協調設計: 多様なハードウェアプラットフォームにわたるレイテンシを予測する。
コンパイラ最適化: コンパイラパスのパフォーマンス指標を推定する。

本論文は、より広範な含意については控えめであり、生コードから数値的アウトカムを予測する手法は有望であるが、科学実験全体のアウトカムを予測することへの拡張は今後の研究における未解決の課題であると指摘している。主な貢献は、ポストプロセッシングや専門的な特徴抽出なしに、コードと計算グラフのための汎用回帰器として機能する言語モデルの一般的能力を確立することにある。