技術要約: YouZhi-LLM

問題提起

大規模言語モデル（LLM）はデジタル金融に大きな革新をもたらしたが、モバイルバンキングなどの実世界の高並列シナリオにおける展開には、KVキャッシュのメモリオーバーヘッドという決定的なボトルネックが存在する。既存の金融特化型LLM（例：BloombergGPT、FinGPT）は、事前学習や教師あり微調整（SFT）を通じてドメイン知識を向上させているが、通常は標準的なGrouped-Query Attention（GQA）またはMulti-Head Attention（MHA）アーキテクチャを維持している。これらの構造は推論時のメモリ消費量が多く、スケーラビリティを制限し、インフラコストを増大させる。さらに、既存のアプローチはモデルの能力とサービングの効率性を個別の問題として扱うことが多く、理論的なパフォーマンスとプロダクションへのデプロイ可能性との間の構造的な断絶に対処できていない。

手法

著者らは、Huawei Ascendエコシステム上にネイティブに構築された高効率な金融LLMであるYouZhi-LLMを提案している。このソリューションは、以下の3つのコアコンポーネントで構成される。

1. 層適応型 GQAからMLAへの移行

KVキャッシュのオーバーヘッドを削減するために、本論文ではモデルアーキテクチャをGQAから**Multi-Head Latent Attention (MLA)**へと移行させる。しかし、単純な変換（例：一様な構成を用いたTransMLAフレームワークの使用）は、大幅なパープレキシティ（perplexity）の低下を引き起こす。

• 観察: 著者らは、異なるTransformerレイヤーが、移行時に相反する劣化特性を示すことを発見した。浅いレイヤーはより大きな圧縮（より大きなFreqFoldサイズ）の恩益を受ける一方で、中間レイヤーはRotary Position Embedding (RoPE) の周波数情報を保持するために最小限の圧縮（より小さなFreqFoldサイズ）を必要とする。
• アルゴリズム: すべてのレイヤーに一様なFreqFoldサイズを適用する代わりに、著者らは層適応型移行フレームワークを提案している。彼らはFreqFoldサイズの選択を組合せ最適化問題として定式化し、これを多ラウンドの逐次決定プロセスを通じて解決する。これにより、各レイヤーに最適なFreqFoldサイズを動的に割り当て、パープレキシティの低下を最小限に抑えつつ、KVキャッシュの圧縮を最大化する。

2. 包括的なポストトレーニング・パイプライン

構造的移行によって失われた表現能力を回復し、ドメイン専門知識を注入するために、Ascendクラスター上で2段階のポストトレーニング・パイプラインを実施する。

• ステージ1：汎用知識蒸留 (GKD): 元のGQAモデルが、変換されたMLA学生モデルに対する教師として機能する。混合オフラインデータセットを用いたフォワードKLダイバージェンスとオフポリシー戦略を使用し、このステージではアーキテクチャ変更によって低下した一般的な言語モデリング能力を回復させる。
• ステージ2：金融ドメイン特化型SFT: 主要な金融サブドメインをカバーする97万件の高品質な指示応答ペアのキュレーションデータセットを用いて、モデルを微調整する。

3. 高度なデータ構築

トレーニングデータのパイプラインは、構造的移行とドメイン要件によって導入される特定の課題に対処するように設計されている。

• 層別データ圧縮: 3段階の手法（タグ付け、層別フィルタリング、クラスター内エントロピー圧縮）により、汎用データと金融データのバランスを取り、カテゴリの完全性と難易度のバランスを確保しながら冗長性を削減する。
• ドメイン拡張: 不足している能力（例：特定の金融推論、不完全なデータに対する拒絶処理）に対し、プログレッシブな多様性データ生成、回答不能な質問に対するロジックツリーモデリング、および能力特化型のデータ増幅のためのSelf-Instruct/Evol-Instructを用いて対処する。
• 指示追従: 金融アプリケーションで求められる構造化フォーマット（JSON、Markdown）の出力能力を強化するために、特定のテンプレートを使用する。

主な貢献

1. レイヤー単位の分析: 本論文は、GQAからMLAへの移行において、浅いレイヤーと深いレイヤーが異なる劣化パターンを示すことを明らかにし、一様な変換戦略が最適であるという仮定に異を唱えた。
2. 層適応型アルゴリズム: 各レイヤーにFreqFoldサイズを動的に割り当てる新しいアルゴリズムにより、複数のLLMバックボーンにおいて、一様なベースライン（TransMLA）と比較してパープレキシティの低下を最大**35%**抑制した。
3. 統合トレーニング・パイプライン: GKDと金融SFTを組み合わせた包括的なポストトレーニング戦略を提案。これは変換されたMLAモデルに特化しており、失われた能力を回復し、金融性能を向上させる。
4. Ascendネイティブな展開: vLLM-Ascendフレームワークを用い、Huawei Ascend NPU上でのYouZhi-LLMの実装を行い、本アプローチのプロダクション環境における実用的な実現可能性を実証した。

実験結果

評価は、vLLM-Ascend推論フレームワークを用い、Huawei Ascend A3クラスター上で実施された。

• 言語モデリング: 層適応型アプローチはパープレキシティの低下を大幅に抑制した。例えば、Llama3-8Bにおいて、TransMLAベースラインと比較して劣化を**65%**削減した。
• 金融ベンチマーク:
  • YouZhi-7B（OpenPangu-7Bベース）は、ベースモデルと比較して平均金融ベンチマークスコアで**12.3%**の向上を達成した。
  • YouZhi-14B（Qwen2.5-14Bベース）は、**7.0%**の精度向上を達成した。
  • 両モデルとも、強力な金融特化型ベースライン（例：YiZhao-12B-Chat、DianJin-R1-7B）や最新の汎用モデル（Qwen3/3.5）を上回った。
• 高並列効率:
  • KVキャッシュ削減: YouZhi-7BはKVキャッシュサイズを**72%**削減した（2,048要素から576要素へ）。
  • 並列数: この削減により、YouZhi-7Bの最大同時リクエスト数は（95から256へ）2.69倍、YouZhi-14Bでは2.43倍に増加した。
  • スループット: YouZhi-7Bのピークスループットは1.76倍向上した。
• 実世界への応用: モバイルバンキングのシナリオ（意図認識およびスロットフィリング）において、YouZhi-7Bはベースモデルと同等の性能（意図認識で平均精度〜97.7%、スロットフィリングで〜99.0%）を維持しつつ、優れた並列性を提供した。

重要性

本論文は、コスト効率が高く、スループットの高い金融推論のための新しいパラダイムを確立することを主張している。アーキテクチャの効率性（適応型MLA移行による）とドメイン能力（ターゲットを絞ったポストトレーニングによる）の架け橋となることで、YouZhi-LLMは、高い精度と高い並列性の両方の「パレートの境界（Pareto frontier）」を達成できることを示している。本研究は、実世界の金融サービスに求められる低レイテンシ、高並列、高タスク完了率という重要な運用制約に対処し、Huawei Ascendエコシステム上でネイティブに動作する業界特化型LLMの展開経路を検証している。