Seq vs Seq: An Open Suite of Paired Encoders and Decoders

この論文は、パラメータ数や学習データが同一の条件でトレーニングされたエンコーダ型とデコーダ型のモデルのペア「Ettin」を公開し、それぞれのタスク（分類・検索対生成）において専用モデルが他方への転用学習よりも優れていることを実証するとともに、すべての学習アーティファクトをオープンソース化しています。

要約

論文の解説：「ETTIN」プロジェクト（シーケンス対シーケンス）

この論文は、人工知能（AI）の「脳」の作り方を比較した、非常に面白い研究です。

簡単に言うと、「文章を作るのが得意な AI（デコーダー）」と「文章を理解するのが得意な AI（エンコーダー）」は、本当に違う種類の生き物なのか？それとも、同じ土台で育てればどちらも万能になるのか？ を、公平な条件で徹底的に検証した報告書です。

以下に、難しい専門用語を排して、日常の例え話を使って解説します。

---

1. 背景：なぜこの研究が必要だったのか？

これまでの AI 界隈では、2 つの大きな派閥がありました。

• デコーダー（GPT 系）： 「次に来る言葉は？」と予測して、小説やメールを書き続けるのが得意な AI。
  • 例：「おはよう」→「ございます」→「今日は」→「いい天気ですね」
  • 今、ChatGPT などがこれに該当します。
• エンコーダー（BERT 系）： 文章全体を一度に読み込んで、意味を理解したり分類したりするのが得意な AI。
  • 例：「このレビューはポジティブかネガティブか？」と即座に判断する。
  • 検索エンジンやスパムフィルタで使われています。

問題点：
これまで、この 2 つを比較する研究は「不公平な試合」でした。

• 「デコーダーは最新の超高性能モデル、エンコーダーは古いモデル」
• 「デコーダーは大量のデータで訓練、エンコーダーは少ないデータ」
• 「デコーダーは巨大、エンコーダーは小さい」

これでは、「どちらが強いのか」がわかりません。

2. この研究のすごいところ：「双子の兄弟」実験

研究者たちは、**「同じ親（データ）、同じ食事（学習レシピ）、同じ教育方針」で育てた、「双子の AI」**を作りました。

• 名前： 「ETTIN（エティン）」
• 特徴： 1700 万パラメータ（小さな子）から 10 億パラメータ（大きな子）まで、6 種類のサイズを用意。
• 実験内容：
  • 双子の兄は「文章理解（エンコーダー）」の訓練をする。
  • 双子の弟は「文章生成（デコーダー）」の訓練をする。
  • 重要： 中身（パラメータ数）や使ったデータは完全に同じです。

これにより、「AI の能力の違い」が「訓練方法の違い」によるものなのか、「モデルの構造の違い」によるものなのか、はじめて**公平に（りんご対りんごで）**比較できました。

3. 実験結果：驚きの結論

結果は、直感的な感覚と一致しましたが、重要な発見がありました。

① 得意不得意は「生まれつき」

• エンコーダー（理解型）： 分類や検索、意味の理解が圧倒的に得意。
• デコーダー（生成型）： 物語を作ったり、次の言葉を予測したりするのが圧倒的に得意。

② 「後から方向転換」しても限界がある

ここが今回の最大の発見です。
「デコーダー（生成型）を、後から『エンコーダー（理解型）』としてさらに訓練したら、得意になるのではないか？」という仮説がありました。

• 実験： 生成 AI に、理解タスク（例：文章が正しいか判断する）を 500 億語分も追加で学習させました。
• 結果： ダメでした。
  • 最初から「理解型」として育てた AI（4 億パラメータ）の方が、後から方向転換した巨大な AI（10 億パラメータ）よりもずっと上手でした。
  • 例え話： 「プロのサッカー選手（デコーダー）に、急に野球の練習を 5000 時間させても、元から野球選手として育てられた選手（エンコーダー）には勝てない」ということです。

③ サイズの魔法は効かない

「デコーダーを巨大にすれば、理解タスクも得意になるのでは？」という説もありましたが、これも誤りでした。

• 10 億パラメータの「方向転換デコーダー」は、4 億パラメータの「純粋なエンコーダー」に負けてしまいました。
• 結論： 目的に合わせた「専門職」を育てる方が、万能選手を無理やり育てるより効率的です。

4. その他の発見：バイアス（偏見）の話

同じデータで育てたのに、性格（バイアス）は少し違いました。

• エンコーダー： 性別の偏見（「看護婦＝女性」など）に対して、より中立的な答えを選ぶ傾向がありました。
• デコーダー： 男性への偏見が少し強かったです。
  これは、AI が「何を目的に学習するか」によって、世界の捉え方が微妙に変わることを示しています。

5. この研究の意義：なぜ重要なのか？

1. 公平な比較の基準を作った： これまで「どっちがすごい」という議論は、条件がバラバラで意味がありませんでした。この研究は、初めて「同じ条件」で比較できる基準（ETTIN スイート）を公開しました。
2. 無駄な学習を防ぐ： 「デコーダーを無理やりエンコーダーとして使う」のは、計算資源の無駄だと証明しました。タスクに合わせて、最初から正しいモデルを選ぶべきです。
3. オープンソース化： 彼らはすべてのデータ、コード、学習中のチェックポイントを公開しました。これにより、世界中の研究者が「AI はどうやって学ぶのか」をさらに深く研究できるようになりました。

まとめ

この論文は、**「AI も人間と同じで、得意分野に合わせて育てるのが一番良い」**と教えてくれました。

• 文章を書かせたいなら「生成 AI（デコーダー）」
• 文章を分析させたいなら「理解 AI（エンコーダー）」

無理やり両方の役割を 1 つの AI にさせようとするのは、非効率で、結果も芳しくないことが、科学的に証明されました。また、この研究で使われた「双子の AI」のデータは、未来の AI 研究のための宝庫として、誰でも自由に使えるようになっています。

技術概要

論文「SEQ VS SEQ: AN OPEN SUITE OF PAIRED ENCODERS AND DECODERS」の技術的サマリー

この論文は、大規模言語モデル（LLM）コミュニティにおいて、テキスト生成に特化した「デコーダ専用モデル」が主流となっている一方、分類や検索タスクでは依然として「エンコーダ専用モデル」が使用されている現状に焦点を当てています。既存の研究では、異なるアーキテクチャ、データ、トレーニング手法を持つモデル間での比較が避けられず、公平な評価が困難でした。

本研究は、ETTIN（Two-headed mythological Norse giant に由来）と呼ばれる、同じトレーニングレシピ、同じデータ、同じアーキテクチャ設計で訓練された、ペアになったエンコーダ専用モデルとデコーダ専用モデルのスイートを開発・公開しました。これにより、パラメータ数やトレーニング条件を統制した「公平な比較（Apples-to-apples comparison）」を可能にし、両者の特性と限界を明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義を詳細にまとめます。

---

1. 問題定義 (Problem)

• アーキテクチャ間の不公平な比較: 従来の研究では、エンコーダ（BERT 系）とデコーダ（GPT 系）を比較する際、モデルサイズ、事前学習データ、学習スケジュールなどが異なっていたため、どちらが優れているかを明確に断定できませんでした。
• デコーダ万能論への疑問: 近年、大規模なデコーダモデルが分類や埋め込みタスクでも高い性能を発揮し、「デコーダを分類タスク用に微調整（または継続学習）すればエンコーダは不要」という見方が広まっています。しかし、この仮説を検証するための、同じ条件で訓練された対照実験が存在しませんでした。
• オープンデータの不足: 最先端のエンコーダモデル（ModernBERT など）は性能が高いものの、トレーニングデータが非公開であり、再現性や詳細な分析が困難でした。

2. 手法 (Methodology)

本研究は、以下の要素を統制した大規模な実験スイート「ETTIN」を構築しました。

• モデルスイート:

  • 規模: 17M から 1B パラメータまでの 5 段階（17M, 32M, 68M, 150M, 400M, 1B）のモデルペア。
  • アーキテクチャ: 両モデルとも同じ構造（レイヤー数、隠れ次元、アテンションヘッド数など）を使用。
    • エンコーダ: 双方向アテンション + 隠れ言語モデル（MLM）目的関数。
    • デコーダ: 因果アテンション + 因果言語モデル（CLM）目的関数。
  • トレーニングデータ: ModernBERT のレシピをオープンデータで再現。DCLM、Dolma v1.7、Olmo 2 などの高品質なオープンデータセットを混合。
  • トレーニング量: 最大 2 兆トークン（1B モデルは計算リソースの制約により 6670 億トークンまで）。
  • フェーズ: 事前学習（Base Pre-training）、文脈拡張（Mid-training）、減衰フェーズ（Decay Phase）の 3 段階。

• クロス目的トレーニング（Cross-Objective Training）:

  • 一方のアーキテクチャを他方の目的関数で継続学習させる実験を行いました。
    • Decoder-from-Encoder: エンコーダを CLM で追加学習。
    • Encoder-from-Decoder: デコーダを MLM（実際には MNTP: Masked Next Token Prediction）で追加学習。
  • これにより、「異なる目的関数への適応」がどの程度有効かを検証しました。

• 評価:

  • エンコーダタスク: GLUE、MTEB v2（分類、クラスタリング、検索）、CodeSearchNet、MLDR（長文脈検索）。
  • デコーダタスク: ARC, HellaSwag, LAMBADA, TriviaQA などの生成タスク（Eleuther AI Harness 使用）。
  • バイアス分析: WinoGender データセットを用いた性別バイアスの分析。

3. 主要な貢献 (Key Contributions)

1. ETTIN スイートの公開: エンコーダとデコーダの公平な比較を可能にする、同じレシピで訓練された 10 個のモデル（5 ペア）と、トレーニングデータ、チェックポイント、学習順序を含むすべてのアーティファクトをオープンソース化しました。
2. 最先端性能（SOTA）の達成: 公開データモデルとして、それぞれのサイズにおいて ModernBERT（エンコーダ）や Llama 3.2/SmolLM2（デコーダ）と同等かそれ以上の性能を達成しました。
3. クロス目的トレーニングの限界の解明: 「デコーダを MLM で追加学習すれば分類タスクでエンコーダに勝る」という仮説を否定。追加学習を行っても、本来の目的関数で訓練されたモデルには及ばないことを実証しました。
4. 学習プロセスの可視化: チェックポイントごとのデータ順序を公開し、モデルがどのように学習するか（性別バイアスの変化など）を詳細に分析できる基盤を提供しました。

4. 結果 (Results)

A. 個別タスクの性能比較

• 分類・検索タスク: エンコーダモデルがデコーダモデルを圧倒的に上回ります。
  • 例：MNLI（自然言語推論）において、400M パラメータのエンコーダは、1B パラメータのデコーダよりも高い精度を達成しました。
  • デコーダを MLM で追加学習（Encoder-from-Decoder）しても、純粋なエンコーダには勝てませんでした。
• 生成タスク: デコーダモデルがエンコーダモデルを圧倒的に上回ります。
  • 例：HellaSwag や TriviaQA などの生成タスクでは、デコーダの性能がモデルサイズが大きくなるにつれて急激に向上しました。
  • 逆に、エンコーダを CLM で追加学習（Decoder-from-Encoder）しても、生成タスクでの性能はデコーダには追いつきませんでした。

B. スケーリングとクロス目的学習の非効率性

• 非対称性: 目的関数の違いは、単なる「追加学習」では埋められない根本的な差であることを示しました。
  • 「400M のエンコーダ > 1B のデコーダ（分類タスク）」
  • 「1B のデコーダ > 400M のエンコーダ（生成タスク）」
• クロス学習の限界: 500 億トークンの追加学習を行っても、逆の目的関数に特化したモデルの性能には到底及びませんでした。これは、デコーダを分類タスクに転用する際、大規模なモデル（7B 以上）が必要になる現状のリーダーボード事情を説明する要因となります（小規模なエンコーダの方が効率的だが、大規模デコーダの転用が主流になっているため）。

C. 性別バイアス分析

• エンコーダとデコーダは、同じデータから学習してもバイアスの現れ方が異なります。
• エンコーダモデルは、性別中立の代名詞（Neutral）を選ぶ傾向が強く、デコーダは男性代名詞（Male）へのバイアスがやや強い傾向が見られました。
• モデルサイズが大きくなるにつれ、両モデルとも女性代名詞の使用が増加する傾向がありましたが、その挙動はモデルタイプによって異なりました。

5. 意義と結論 (Significance & Conclusion)

• アーキテクチャ選択の指針: 分類や検索タスクには「エンコーダ」、生成タスクには「デコーダ」が本質的に適していることを、公平な条件下で実証しました。
• 転移学習の限界: 既存の巨大なデコーダモデルを分類タスク用に微調整するアプローチは、小規模な専用エンコーダモデルには勝てない可能性が高いことを示唆しています。ただし、大規模モデルのリーダーボード（MTEB など）では、7B 以上のデコーダが上位を占めていますが、これは「3B 程度のエンコーダがそれより優れているはず」という推測を裏付ける結果です。
• 研究基盤の提供: 学習データ、チェックポイント、学習順序の公開により、将来の研究において「モデルがどのように学習するか」「バイアスがどのように形成されるか」を詳細に分析する道を開きました。

結論として、LLM の開発において「デコーダ万能」の潮流がありますが、タスクの性質（生成 vs 理解/分類）に応じて最適なアーキテクチャは異なり、それを無理やり変換するよりも、目的に特化したモデルを訓練する方が効率的であるという知見が得られました。また、ETTIN スイートは、今後の大規模言語モデル研究における重要なベンチマークおよび分析ツールとなります。