💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

本論文は、連分数に着想を得た新しいアーキテクチャファミリーである CoFrGeNets を導入し、標準的な Transformer 構成要素をパラメータ効率の高い代替手段に置き換えることで、大幅に少ないパラメータ数と短い事前学習時間で大規模言語モデルにおいて競争力のある、あるいは優れた性能を達成することを示す。

原著者： Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で非常に賢いロボットが物語を書き、質問に答え、問題を解決すると想像してください。このロボットは「トランスフォーマー」と呼ばれる特定の設計図に基づいて構築されています。長年、この設計図は黄金標準でしたが、重く、実行コストが高く、機能するには膨大な量の「脳力」（パラメータ）を必要としていました。

共有された論文は、「コフルゲネット（CoFrGeNet）」と呼ばれる新しい設計図を紹介しています。これは、ロボットを「連分数（Continued Fractions）」と呼ばれるより効率的な数学的なトリックを用いて、異なる方法で再構築する方法と考えることができます。

彼らの発見の概要を、わかりやすく解説します。

1. 問題：ロボットが重すぎる

現在の AI モデル（有名な GPT-2 や Llama など）は、思考のために 2 つの主要なエンジンに依存しています。

アテンションエンジン： これはロボットが前の単語を振り返って文脈を理解するのを助けます（5 文前に何と言ったかを覚えているようなものです）。
フィードフォワードエンジン： ここがロボットが実際に情報を処理し、意思決定を行う場所です。

これらのエンジンは強力ですが重く、回転させるために数百万個の歯車（パラメータ）を必要とします。その結果、ロボットは遅く、構築コストも高くなります。

2. 解決策：「壁」ではなく「梯子」

著者たちは、「連分数」と呼ばれる古い数学的概念に目を向けました。これは、単に終わるのではなく、梯子のように下へ下へと続く分数だと想像してください。
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

過去、人々はこの「梯子」のアイデアを単純な数学問題に適用しようとしました。しかし、この論文は問いかけます。「この梯子を使って、新しいロボット全体を構築できるでしょうか？」

彼らは「コフルゲネット（CoFrGeNets：連分数生成ネットワーク）」を作成しました。重く標準的なエンジンを使う代わりに、これらを数学的な梯子に置き換えました。

魔法： これらの梯子は、重いエンジンと同じ仕事ができますが、歯車の数が少ないのです。
結果： 彼らは、元の巨大モデルよりも33% から 50% 小さい（パラメータが少ない）モデルを構築しましたが、それでも同じ、あるいはそれ以上の性能を発揮しました。

3. 「割り算」のボトルネック（そして彼らがそれをどう解決したか）

一つ注意点がありました。これらの梯子を計算するには、多くの割り算（数を分割すること）が必要です。コンピュータハードウェアにおいて、割り算は重い岩を丘の上へ押し上げるようなもので、乗算に比べて非常に遅く、エネルギーを多く消費します。

100 段の深い梯子があり、各段で割り算を行うと、ロボットは信じられないほど遅くなります。

イノベーション：
著者たちは、数学的なショートカット（**連項（Continuants）**と呼ばれるもの）を使って、梯子全体を一度に計算できることに気づきました。

古い方法： 答えを得るために 100 回の割り算を行う。
新しい方法： 数学を一度行い、最後にたった 1 回の割り算だけを行う。

これは、梯子の頂上に行くためにすべての段を登る必要はないと気づいたようなもので、計算されたショートカットを使って大ジャンプができるのです。これにより、モデルの学習と実行がはるかに高速になりました。

4. どのようにテストしたか

彼らは単に構築しただけでなく、巨人たちと対決させてテストしました。

テスト対象： GPT-2-xl（15 億パラメータモデル）とLlama3（32 億パラメータモデル）の一部を置き換えました。
学習： これらの新しいモデルを、膨大な量のインターネットテキスト（OpenWebText、GneissWeb、および文書の混合物）で学習させました。
結果：
- 小型化： 新しいモデルは著しく小さくなりました。
- 高速化： 学習も実行も速くなりました。
- 賢さ（または同等）： 読解力、質問への回答、推論タスクでテストされた際、より小さいコフルゲネットモデルは、はるかに大きな元のモデルの性能と同等か、それ以上を達成しました。

5. 「学習スケジュール」のトリック

彼らはまた、ロボットのすべてのノブを一度に回すことはできないことも発見しました。彼らは特別な「学習スケジュール」（段階的な学習計画）を考案しました。

比喩： 子供に自転車に乗ることを教えることを想像してください。1 日目からペダルを漕ぎ、ハンドルを切り、バランスを取ることを同時にさせてはいけません。まずは補助輪から始め、次にハンドルを切ることを覚えさせ、最後にペダルを漕がせます。
結果： 梯子の「最も深い」部分を最初に更新し、他の部分をゆっくりと解放することで、モデルはより安定して学習し、より良いパフォーマンスを発揮しました。

まとめ

この論文は、AI モデルの標準的な「重い」部分を、巧妙で数学に基づいた「梯子」構造に置き換えることで、現在の巨大なモデルと同じように書き出しや思考ができるより小さく、速く、安価な AI モデルを構築できると主張しています。

彼らが主張しなかったこと：

医療診断や臨床用途にこれが機能すると主張したわけではありません。
これが AI の安全性の問題を解決すると主張したわけではありません（実際、他のモデルと同様に、これらのモデルは依然として「幻覚」を見せたり、間違いを犯したりし得ると指摘しています）。
すぐに商用利用が可能であると主張したわけではありません。むしろ、将来の研究や産業ワークフローに向けた有望な新しいアーキテクチャであると述べています。

技術的概要：CoFrGeNet – 言語生成のための連分数アーキテクチャ

問題定義

トランスフォーマーは、マルチヘッドアテンションと大規模な隠れ層を備えたフィードフォワードネットワーク（FFN）に依存し、言語生成における支配的なアーキテクチャとなっています。しかし、これらのコンポーネントは、パラメータ数とトレーニング時間の点で、著しい計算オーバーヘッドをもたらします。効率向上のためにスパースアテンションや線形アテンションなどの近似が提案されてきましたが、これらのコアコンポーネントを置き換えつつ、性能を維持または向上させることのできる、根本的に異なる関数クラスの必要性は依然として残されています。

先行研究では、連分数に着想を得た梯子状の構造を利用した、教師あり学習向けのCoFrNets（連分数ネットワーク）が導入されました。しかし、このアーキテクチャを生成モデルに適応させるには、以下の 3 つの具体的な課題が存在します：

多次元出力：生成モデルは、教師あり設定でよく見られるスカラー出力とは異なり、高次元の出力を生成する必要があります。
豊かな関数学習：このアーキテクチャは、シーケンスモデリングに適した複雑な表現を学習できなければなりません。
因果的制約：一貫した生成を確保するため、モデルは過去のトークンのみに依存するパラメータを学習しなければなりません。
計算的非効率性：連分数における標準的な $1/x$ 非線形性は、深さ $d$ の梯子に対して $d$ 回の除算を必要とします。現代のハードウェアでは除算が乗算よりも著しく遅いため、深さ ( $d$ ) と梯子の数 ( $L$ ) が増加するにつれ、トレーニングおよび推論の両方においてボトルネックとなります。

手法

1. 連分数生成ネットワーク（CoFrGeNets）

著者らは、トランスフォーマーブロック内のアテンションおよび/または FFN レイヤーを、連分数に基づくコンポーネントに置き換えるアーキテクチャのファミリーであるCoFrGeNetsを提案します。核心となる関数クラスは以下のように定義されます：
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
ここで、 $x$ は入力、 $w_k$ は学習可能なパラメータベクトルです。

2. アーキテクチャコンポーネント

本論文では、因果的制約を維持しつつトランスフォーマーコンポーネントを置き換えるための具体的な設計を導入します：

因果的アテンション置換（CAttnU および CAttnM）：
- CAttnU：トークン間で次元を混合するために転置された入力を使用する、単変量 CoFrNet 梯子を使用します。因果性（将来のトークンの漏洩防止）を強制するため、アンサンブル内で上三角線形層を採用します。2 つのアンサンブルからの出力の要素ごとの乗算により交差項を生成し、因果フローを侵害することなく表現能力を強化します。
- CAttnM： $L$ 個の CoFrNet 梯子を使用して入力をシーケンス長さの埋め込みへマッピングし、これをアテンション重みとして使用します。因果性は、値行列に重み付けを行う前に、因果的ソフトマックス（過去のトークンのみによる凸結合）を適用することで維持されます。
FFN 置換（Cffn）：
- FFN はトークン混合ではなく特徴混合を必要とするため、このアーキテクチャは入力を転置することなく、 $p$ -変量梯子（ $p$ は埋め込み次元）のアンサンブルを使用します。
- 末尾の線形層が出力を目標次元へ投影します。
- 重要なのは、これらの梯子への入力が、パラメータの爆発を回避するゲート化された非拡張表現（ $\alpha=1$ ）であることです。これは、通常拡張係数 $\alpha \gg 1$ を使用する標準的なトランスフォーマー FFN とは対照的です。

3. 連続項（Continuants）による効率的な実装

繰り返し除算の計算的非効率性に対処するため、著者らは連続項（多項式 $K_k$ ）に基づく独自の実装を導出します。

フォワードパス： $d$ 回の除算でレイヤーごとに分数を計算する代わりに、連分数を 2 つの多項式の比として計算します： $\tilde{f}(a) = K_{d-1} / K_d$ 。これには、乗算と加算のみを使用して多項式を再帰的に計算し、その後単一の除算（ $1/K_d$ ）を行うことが必要です。
バックワードパス：著者らは、連続項の性質を用いて勾配の閉形式式を導出します。勾配 $\frac{\partial \tilde{f}}{\partial a_k}$ は、連続項の二乗の比として表現されます。
最適化： $K_d$ を 1 回計算し、すべての勾配計算で $1/K_d$ を再利用することで、除算回数を $d$ から1に削減します。これにより、トレーニングおよび推論が大幅に高速化されます。

4. カスタムトレーニングスケジュール

トレーニングを安定させるため、著者らは二進パラメータ更新スケジュールを提案します。すべてのパラメータを同時に更新するのではなく：

線形コンポーネントは最初から更新されます。
より深い深さのパラメータは、当初は凍結されます。
深さ $i$ のパラメータの更新は、 $t/2^i$ 回の反復（ここで $t$ は総反復数）後にのみ開始されます。
この段階的なアプローチは、トレーニングの初期段階における不安定性を防ぎます。

主要な貢献

新規アーキテクチャ：トランスフォーマーにおけるアテンションおよび FFN レイヤーのプラグイン型置換としての CoFrGeNet コンポーネントの導入。生成モデルのための新たな関数クラスを提供します。
効率的な勾配定式化：連続項を使用したカスタム勾配式の導出により、梯子あたりの除算操作回数を $d$ から 1 に削減し、ハードウェア効率を劇的に向上させます。
トレーニングの安定性：深層連分数アーキテクチャのトレーニングを安定させるカスタム二進トレーニングスケジュールの開発。
実証的検証：大規模モデル（GPT2-xl および Llama3）での事前トレーニングと評価により、削減されたパラメータ数で競争力のある性能を実証しました。

実験結果

設定

モデル：OpenWebText および GneissWeb で事前トレーニングされたGPT2-xl (1.5B) と、docling データミックス（2T トークン）で事前トレーニングされたLlama3 (3.2B) 上で実験を行いました。
ベースライン：比較対象には、元のトランスフォーマー、Dense Synthesizer、スパースアテンションが含まれます。
バリエーション：FFN を置換した CoFrGeNet-F、アテンションを置換した CoFrGeNet-A、両方を置換した CoFrGeNet。

性能

ダウンストリームタスク（GLUE）：CoFrGeNet モデルは、元のモデルのパラメータ数の 2/3 から 1/2でありながら、分類、Q&A、推論タスクにおいて競争力のある、あるいは優れた精度を達成しました。例えば、CoFrGeNet-F（985M）は、ほとんどの GLUE ベンチマークで 1.5B の GPT2-xl を上回りました。
パープレキシティ：言語モデリングベンチマーク（PTB、Wikitext、Lambada）において、CoFrGeNet バリエーションは、ベースラインのトランスフォーマーおよび他の効率的なアテンションベースラインよりも一般的に低いパープレキシティを達成しました。
効率性：
- トレーニング時間：連続項を使用しない「リテラル」実装（CoFrGeNetB）と比較して、連続項ベースの実装はトレーニング時間を大幅に削減しました。GPT2-xl の場合、トレーニング時間は約 203 時間（B）から約 178 時間（CoFrGeNet）に低下しました。
- 推論時間：連続項ベースのバージョンは、リテラル実装と比較して、推論速度がほぼ 1 桁向上しました。
- スループット：Llama3 において、CoFrGeNet バリエーションは高いトークン/日スループットを示し、総トレーニング時間を削減しました（例：CoFrGeNet-F は 6.6 日でトレーニング完了、ベースラインは 8.5 日）。

意義と主張

本論文は、CoFrGeNets が標準的なトランスフォーマーコンポーネントに対する実用的でパラメータ効率の高い代替手段であると主張しています。連分数の数学的性質を活用し、連続項による実装を最適化することで、著者らは以下のことを実証しています：

著しく少ないパラメータ数で高性能な言語モデルを構築できる。
連分数における除算操作の計算ボトルネックを効果的に緩和でき、このアーキテクチャは大規模な産業ワークフローにおいて実用的である。
このアプローチは「プラグアンドプレイ」であり、既存のトレーニングおよび推論パイプラインへの最小限の変更で済む。

著者らは、この研究が連分数に着想を得た生成アーキテクチャの基礎を築き、リソースの少ない主体が高品質なモデルを事前トレーニング可能にすることで AI の民主化を促進する可能性があると結論付けています。ただし、これらのモデルは本質的に安全性のガードを備えておらず、幻覚や敵対的攻撃に対して脆弱であることに留意しており、今後の研究は特定の関数形式内でこれらの課題に対処することに焦点を当てるべきであると指摘しています。