論文要約：Samsung Galaxy 向けマルチ LoRA 対応「One-for-All」基盤 LLM のエッジ展開とオンデバイス加速

本論文は、Samsung Research Institute Bangalore および Samsung Electronics によって提出されたもので、Samsung Galaxy S24/S25（Qualcomm SM8650/SM8750 チップセット搭載）において、単一の基盤モデル（Foundation Model）から複数のユースケースを動的に切り替えながら、効率的に推論を行うためのハードウェア意識型フレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

大規模言語モデル（LLM）をスマートフォンなどのエッジデバイスに展開することは、プライバシー、遅延、オフラインアクセスの面で大きな利点をもたらしますが、以下の技術的課題に直面しています。

• リソース制約: メモリ容量、レイテンシ、実行時の柔軟性に対する厳格な制約。
• 動的適応性の欠如: サーバー側ではモデルの微調整（Fine-tuning）や再コンパイルが容易ですが、オンデバイスでは「凍結された推論グラフ（Frozen Inference Graph）」で動作する必要があり、パラメータ効率型微調整（PEFT）手法である LoRA（Low-Rank Adaptation）を柔軟に適用することが困難です。
• マルチタスクの非効率性: 従来のアプローチでは、タスクごとにモデルを切り替えるために再コンパイルやメモリオーバーヘッドが発生するか、複数のモデルを保持する必要があり、ストレージとメモリを圧迫します。

2. 提案手法

本研究では、単一の凍結された推論グラフに対して、実行時（Runtime）に LoRA 重みを「入力」として渡すことで、再コンパイルなしでタスクを動的に切り替えるフレームワークを構築しました。

2.1 マルチ LoRA 対応と実行時スイッチング

LoRA をモデルにマージするのではなく、推論グラフへの入力として扱う 3 つのアプローチを検討し、以下の「LoRA 重み入力方式」を採用しました。

• 手法: 基盤 LLM のグラフに LoRA 重みのプレースホルダーを設け、トークンとともに LoRA 重みを入力として渡します。
• 利点: 異なるタスク間でグラフを再構築せず、メモリ使用量を最小化しつつ、プラグアンドプレイ型のユースケースをサポートします。

2.2 モデル最適化（オンデバイス向け）

Qualcomm NPU などのハードウェア特性に合わせたアーキテクチャ変換と量子化を行いました。

• Attention の並列化: マルチヘッドアテンション（MHA）を並列なシングルヘッドアテンション（SHA）に分解し、ハードウェアコアでの並列処理を可能にしました。
• 線形層から畳み込み層への変換: 全結合層（Linear Layer）を 1x1 畳み込みとして再解釈し、モバイル NPU/GPU が最適化している畳み込み演算（Winograd アルゴリズム等）を再利用してレイテンシとエネルギー消費を削減しました。
• 量子化: 重みを INT4（4 ビット）、活性化値を INT8 に量子化し、混合精度戦略を採用して精度と圧縮率のバランスを取りました。

2.3 同時トークン生成（Concurrent Token Generation: CTG）

スタイル変換（例：丁寧、フォーマル、陽気なトーン）など、1 つの入力に対して複数の出力バリエーションを生成するユースケースに対応する新手法です。

• 仕組み: 従来のように 8 つのスタイルを順次生成するのではなく、1 つのフォワードパス内でマスク付きサンプリングを用いて、共有された KV キャッシュとテンソルレイアウト上で 8 つの異なる出力を同時に生成します。
• 効果: スタイル生成におけるレイテンシとメモリ使用量を最大 6 倍 削減しました。

2.4 動的自己仮説的デコーディング（Dynamic Self-Speculative Decoding: DS2D）

デコード時間のボトルネックを解消するため、ドラフトモデルを必要としない仮説的デコーディング手法を提案しました。

• 仕組み: プレフィックスチューニング（Prefix Tuning）を用いて基盤モデル自体を微調整し、1 回のステップで自己回帰的なトークンに加えて複数の「予測トークン」を生成できるようにします（半自己回帰的、SAR）。
• 木構造による検証: 生成されたドラフトトークンを木構造で検証し、受け入れられたもののみを確定します。
• 効果: 追加のメモリを必要とせず、デコード時間を最大 2.3 倍 高速化しました。

3. 主要な結果

Samsung Galaxy S24（1B パラメータモデル）および S25（3B パラメータモデル）での実機評価結果は以下の通りです。

• パフォーマンス向上:
  • メモリとレイテンシ: 全体として 4〜6 倍 の改善を達成。
  • トークン生成速度: DS2D により、非仮説的デコーディングと比較して 2 倍 以上のトークン/秒（Tokens/sec）の向上。
  • スタイル生成: 同時生成により、8 つのスタイルを生成する際のレイテンシを大幅に削減（最大 6 倍の効率化）。
• 精度の維持:
  • 9 言語（韓国語、英語、ドイツ語など）および 8 つのタスク（校正、スタイル変換、スマートリプライ、要約など）において、量子化（INT4）および LoRA 適用後も高精度を維持しました。
  • G-Eval による評価では、フル精度モデルと比較して相対精度（Relative Accuracy）が 97%〜109% の範囲にあり、実用上の精度低下はほとんど見られませんでした。
• 実用性:
  • Galaxy S25 ファミリーでの実世界展開（Commercial Deployment）に成功しました。

4. 論文の意義と貢献

• One-for-All モデルの実現: 単一の基盤モデルで複数のタスクと言語をカバーし、実行時に LoRA を動的に切り替えることで、エッジデバイスにおけるモデルの肥大化とメモリ不足を解決しました。
• クラウド非依存の Generative AI: 高度な LLM 機能をクラウドに依存せず、完全にオンデバイスで動作させることを実証し、プライバシーとオフライン利用の可能性を大きく広げました。
• 新規デコーディング手法: ドラフトモデル不要の「自己仮説的デコーディング（DS2D）」と、マルチスタイル同時生成（CTG）は、エッジ AI における新しい最適化の基準（ベンチマーク）を確立しました。
• 商用化への道筋: 本フレームワークは、メモリ集約型の基盤モデルをエッジデバイスに展開するためのベストプラクティスを提供し、Generative AI の商業的実現可能性を前進させました。

5. 限界と今後の課題

• LoRA の次元制約: 現在の「LoRA 入力方式」は、すべての LoRA が同じ次元を持つことを前提としており、異なるサイズの LoRA への対応には動的グラフ構築が必要となります。
• 静的な予測埋め込み: DS2D における予測埋め込みは実行ステップ間で静的であり、入力シーケンスの文脈変化に適応できないため、長期的な依存関係がある場合の受け入れ率が低下する可能性があります。
• スタイルの固定: 同時生成されるスタイルはコンパイル時に定義された固定セットに限られ、ユーザーが動的に定義したスタイルへの対応には再コンパイルが必要です。

---

総括:
本論文は、Samsung Galaxy 端末において、高度に最適化された単一 LLM が、複数のタスクとスタイルをリアルタイムで処理できることを実証しました。量子化、アーキテクチャ最適化、そして独自に開発されたデコーディング手法を組み合わせることで、エッジデバイスにおける Generative AI の実用性とスケーラビリティを大きく前進させた画期的な研究です。