H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code

本論文は、組み込みシステム分野の専門知識に特化した継続的事前学習パイプライン「H2LooP Spark Preview」を導入し、70 億パラメータのオープンモデルを低レベルコード生成において 300 億パラメータ級の大規模モデルや最先端モデルと同等以上の性能を発揮させることに成功したことを報告しています。

要約

この論文は、**「AI に『組み込みシステム（電子機器の頭脳）を作るための特殊な言語』を教える実験」**について書かれたものです。

普通の AI（大規模言語モデル）は、インターネット上の一般的な文章やコードを大量に読んで勉強していますが、電子機器の制御コード（マイコンのレジスタ操作やハードウェア固有の仕様など）については、まるで「宇宙人の言語」を聞かされているように、ほとんど理解できていませんでした。

この研究では、**「H2LooP Spark Preview」**という新しい AI を作って、その問題を解決しました。以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 問題：AI は「料理の天才」だが、「和食の職人」にはなれていない

想像してください。
ある天才シェフ（既存の AI）がいます。このシェフは、世界中のあらゆる料理（Python や JavaScript などの一般的なプログラミング）を完璧に作れます。しかし、「日本の伝統的な懐石料理」（組み込みシステムのコード）を作るよう頼むと、どうなるでしょう？

• 食材の扱い方が違う（ハードウェアの仕様が違う）。
• 道具の使い方が特殊（メーカーごとのマニュアルが違う）。
• 失敗すると、料理屋自体が壊れてしまう（電子機器が壊れる）。

このシェフは、懐石料理のレシピ本（データ）をほとんど見たことがないため、適当に推測して「嘘のレシピ」を捏造してしまいます。これでは、精密な電子機器を作ることはできません。

2. 解決策：専門学校の「集中講座」を開く

そこで研究者たちは、この天才シェフに**「懐石料理の専門学校」**（継続的学習：Continual Pretraining）に通わせました。

• 教材の質： 単にネットから拾った料理本ではなく、「料理の教科書（データシート）」と「実際の料理動画（コード）」をセットにした教材を使いました。
  • 例：「このスイッチの仕様書（データシート）」と「それを使った実際の回路図（コード）」を紐付けて教えることで、AI は「なぜこのコードを書くのか」という理屈まで理解しました。
• 生徒の規模： 巨大な AI ではなく、**「70 億パラメータ」**という、比較的手頃なサイズの AI（OLMo-3-7B）を選びました。これは、巨大なスーパーコンピューター（Claude Opus や Qwen3-30B）よりも小さく、安上がりで、どこでも動かせる「小型の天才シェフ」です。

3. 実験方法：1,400 回以上の「試行錯誤」

この専門学校の授業方法（ハイパーパラメータ）を最適化するために、研究者たちは1,400 回以上のテストを行いました。

• 何を変えたか？
  • 「どのくらい深く勉強させるか」（LoRA のランク）
  • 「どの部分を重点的に教えるか」（アテンション層だけか、全部か）
  • 「教え方のスピード（学習率）」
• 発見したベストな方法：
  • **「深く、幅広く、ゆっくり」**が正解でした。
  • 急いで教えすぎると混乱する（学習率を低く設定）。
  • 表面的な知識だけでなく、脳の奥深くまで変化させる（高いランクと全層への適用）ことが重要でした。

4. 結果：小さな AI が、巨大な AI に勝った！

実験の結果、驚くべきことが起こりました。

• 成績の向上： 勉強前の AI は、専門用語を間違えることが多かったですが、勉強後は**「70% 以上」**も正解率が上がりました。
• 巨人との対決： 勉強させた小さな AI（70 億パラメータ）は、「Claude Opus 4.6」や「Qwen3-Coder-30B」といった、桁違いに巨大で高性能な AI を、「電子機器の制御」という分野で8 割以上の項目で打ち負かしました。

なぜ勝てたのか？
巨大な AI は「何でも知っているが、専門知識は浅い」のに対し、この小さな AI は「電子機器の制御に特化して、その分野の専門家になったから」です。

5. この研究のすごいところ（まとめ）

1. データの魔法： 単にコードをコピーするのではなく、「仕様書」と「コード」をセットにして教えることで、AI の理解度が劇的に上がりました。
2. 小さな AI の可能性： 巨大な AI がいなくても、**「適切な勉強法」と「質の高い教材」**があれば、小さくて安価な AI でも、特定の分野では世界最高峰の性能を発揮できることを証明しました。
3. オープンソース： この「勉強させた AI」のモデルを公開したので、誰でも無料で使って、電子機器の開発を助けることができます。

結論

この論文は、**「AI に特定の分野の専門家になるためには、巨大な脳みそが必要なのではなく、正しい教科書と、その分野に特化した『集中講座』が必要だ」**ということを教えてくれました。

これにより、今後、家電や自動車、産業機械の制御コードを AI が自動生成する時代が、もっと身近で安価に訪れるかもしれません。

技術概要

H2LooP Spark Preview: 低レベル組込みシステム用大規模言語モデルの継続的事前学習に関する技術的サマリー

本論文は、H2LooP.ai が提案する「H2LooP Spark Preview」について詳述しています。これは、OLMo-3-7B（70 億パラメータ）というオープンウェイトの言語モデルを、低レベルの組込みシステム（Embedded Systems）ドメインに特化させるための継続的事前学習（Continual Pretraining, CPT）パイプラインです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は汎用的なプログラミング言語におけるコード生成において卓越した能力を示していますが、低レベルの組込みシステムプログラミングという専門分野では根本的な限界に直面しています。

• ドメインの特殊性: 組込みコードは、ハードウェアレジスタの直接操作、ベンダー固有の SDK パターン、リアルタイム OS API、ハードウェア抽象化レイヤー（HAL）などで構成されます。
• データ不足: 標準的な事前学習コーパス（Web クロールデータなど）には、これらの専門的なパターンが極めて不足しています。
• 既存モデルの失敗: Claude Opus 4.6 や Qwen3-Coder-30B などの最先端モデルでも、組込みコード生成においては、レジスタ名の誤り、初期化シーケンスの誤り、ベンダー固有の API 規約の混同、ハードウェア固有のタイミング制約の違反などの「ハルシネーション（幻覚）」が頻発します。
• 原因: 推論能力の欠如ではなく、事前学習段階でのドメイン接触不足が原因です。

2. 手法と方法論 (Methodology)

本研究は、大規模なドメイン固有データを用いた継続的事前学習（CPT）と、パラメータ効率の良い微調整（PEFT）を組み合わせたパイプラインを構築しました。

2.1 データセット構築 (Training Corpus)

• データソース: 117 社のメーカー、19 のコンポーネントカテゴリ、61 のコンポーネントクラスにわたる818 のリポジトリ - データシートペアから構成されます。
• データ量: 生データ 76.4 GB、処理済みトークン数約 235 億トークン。
• SpecMap 手法: 単なる Web クロールではなく、「SpecMap（Nipane et al., 2026）」という階層的なマッピング手法を採用。データシートの仕様とコードの実装をリンクさせ、構造化されたトレーニングペアを生成しました。これにより、散在するアーティファクトを統合し、高品質な学習データを確保しました。
• 前処理: 品質フィルタリング、セクション認識によるチャンキング、コードインジケーター（#include, struct など）の存在確認などを行い、学習データの質を担保しました。

2.2 モデルと学習設定

• ベースモデル: OLMo-3-1025-7B（70 億パラメータ、オープンウェイト）。
• 微調整手法: **LoRA (Low-Rank Adaptation) を採用。特に、高ランク LoRA における学習率の減衰を防ぐためのRSLoRA **(Rank-Stabilized LoRA) を使用。
• ハイパーパラメータ探索: ベイズ最適化を用いた大規模な探索（1,400 回以上の試行、約 4,240 GPU 時間）により、以下の最適設定を特定しました。
  • LoRA Rank: 512（高ランクが重要）。
  • ターゲットモジュール: 全モジュール（Attention + MLP + Embedding）。
  • 学習率: 保守的な値（1.5 × 10^-5）。
  • データ混合: ドメインデータのみ（一般コードとの混合は不要）。
• ハードウェア: 8 基の NVIDIA H100 80GB GPU（NVLink 接続）。BF16 精度、Flash Attention 2、TF32 演算などを活用し、最大限の効率化を図りました。
• 学習規模: 約 86 億トークン（1 エポックの約 36%）を学習。

3. 主要な貢献 (Key Contributions)

1. 大規模な組込みシステム学習コーパスの構築: SpecMap 手法を用いた、データシートとコードの対応付けを可能にした大規模なトレーニングデータセット（117 メーカー、76.4 GB）。
2. 体系的なハイパーパラメータ探索: 1,400 回以上の実験を通じて、組込みドメインの CPT において「高ランク LoRA（r=512）＋RSLoRA＋全モジュールターゲット＋保守的学習率」が最適であることを実証。
3. 包括的な評価フレームワーク: 13 の専門的な組込みドメインにおいて、困惑度（Perplexity）、教師強制完了精度、自由生成タスクを評価。
4. 小型モデルによる最先端モデルの凌駕: 70 億パラメータのモデルが、1000 億パラメータ級と推定される Claude Opus 4.6 や 300 億パラメータの Qwen3-Coder-30B を、13 カテゴリ中 8 カテゴリで上回る性能を発揮。
5. オープンソース化: 学習済みチェックポイント（spark-cpt-base-ckpt）を Research Only License で公開。

4. 結果 (Results)

4.1 学習の安定性と性能向上

• 困惑度（Perplexity）:
  • ドメイン内データ：4.06 → 1.20（70.4% 改善）。
  • 学習未見のリポジトリ（Held-out）：3.92 → 1.33（66.1% 改善）。
  • 学習中の NaN 発生はゼロであり、極めて安定した学習が達成されました。
• トークン精度: 教師強制完了タスクにおいて、多くのカテゴリで Top-1 精度が 90% 以上、Top-5 精度が 97% 以上を達成しました（例：Infineon AURIX で Top-1 99.8%）。

4.2 生成タスクでの比較評価

13 の組込みドメインにおける自由生成（Greedy decoding）のトークン精度比較：

• **H2LooP Spark Preview **(7B) 13 カテゴリ中 8 カテゴリで最高精度を記録。
• Claude Opus 4.6: 3 カテゴリで勝利（主に Linux カーネル、無線スタックなど汎用性の高い分野）。
• Qwen3-Coder-30B: 2 カテゴリで勝利。
• 勝敗の要因: Spark Preview は、ベンダー固有の SDK（STM32, AURIX, NXP）、ハードウェア固有フォーマット（Device Tree, レジスタ定義、ARM アセンブリ）において圧倒的に優れています。一方、汎用性の高い分野では大規模モデルが有利でした。

4.3 汎用能力の維持（忘却の回避）

• 一般 C++ プログラミングベンチマーク（FullStackBench）での評価により、ドメイン特化学習による壊滅的な忘却（Catastrophic Forgetting）は確認されませんでした。
• コンパイル成功率は -3.8%、テスト通過率は -2.8% のわずかな低下にとどまり、汎用能力は維持されています。

5. 意義と結論 (Significance)

• 専門特化モデルの有効性: 組込みシステムのような高度に専門化された分野では、汎用的な巨大モデルよりも、ドメイン固有データで継続学習された小型オープンモデルの方が、特定タスクにおいて高性能かつ効率的であることが実証されました。
• コストとデプロイの柔軟性: 70 億パラメータモデルは、API 依存なしでオンプレミス環境やエッジデバイスでのデプロイが可能であり、コスト効率と制御性において優位です。
• データ構築の重要性: 単なる Web クロールではなく、仕様書とコードを構造的にリンクさせたデータセット（SpecMap）の構築が、モデル性能向上に決定的な役割を果たしました。
• 将来展望: 学習を 1000 億トークンまで完了させること、コンパイルベースの評価の導入、SFT（教師あり微調整）や RL（強化学習）によるさらなる最適化、CI/CD への統合などが今後の課題として挙げられています。

本論文は、組込みシステム開発における AI の可能性を示すとともに、ドメイン特化型 LLM の開発における「高ランク LoRA」と「構造化データ」の重要性を明確に示す重要な成果です。