Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

技術要約：Tailscale を介した 2 ノード NVIDIA DGX Spark

問題提起
コンパクトな AI システムがローカルな大規模言語モデル（LLM）の実験を民主化している一方で、デスクトップクラスのアクセラレータを用いたマルチノード分散学習に関する実践的なドキュメントは不足しています。既存の文献は、成熟したスケジューラと高性能なインターコネクトを備えたデータセンター環境を前提としていることがほとんどです。さらに、小規模な研究室やセキュリティに敏感なプロジェクトでは、研究および教育の両面において、リモートのハードウェアに安全にアクセスするためのインフラストラクチャが欠如していることが多々あります。本レポートは、2 台のコンパクトな NVIDIA DGX Spark システムを、信頼性が高く再現可能な分散学習テストベッドとして構成し、リモートからアクセス可能にできるか、また、そのようなインフラストラクチャがドメイン特化型のファインチューニングと教育ワークフローを同時にサポートできるかという課題を調査することで、このギャップに対処します。

手法
本研究では、グラムブリング州立大学において、以下のアーキテクチャと手順を用いた 2 ノードの概念実証（PoC）クラスターをデプロイしました。

• ハードウェア: 各ノードに GB10 Grace Blackwell SoC と 128 GB のユニファイドメモリを搭載した 2 台の NVIDIA DGX Spark システム。
• ネットワーク・トポロジ: 管理トラフィックとトレーニングデータを分離するため、デュアルプレーン・アーキテクチャを採用しました。
  • 管理プレーン: リモート管理（SSH）は、Tailscale メッシュ VPN を介して行われました。
  • トレーニングプレーン: 専用の 200 Gb/s QSFP56 ダイレクトファイバーリンクを使用し、プライベートな非ルーティングサブネット（192.168.100.0/24）上のインターフェース enp1s0f1np1 を介してノード間を接続しました。ジャンボフレーム（MTU 9000）を使用しています。
• ソフトウェア・スタック: ホストネットワークへの直接アクセスを確保するため、NVIDIA NGC PyTorch コンテナ（バージョン 25.10）を使用しました。トレーニングフレームワークは、PyTorch torchrun、Distributed Data Parallel (DDP)、および NCCL に依存しています。
• 構成: 実験では、コンテキスト長 2,048 トークンの深度 20 の NanoChat モデルを訓練しました。各ノードはローカルバッチとして 32 個のシーケンスを処理し、結果としてグローバルバッチサイズは 64 シーケンス（1 ステップあたり 131,072 トークン）となりました。
• 運用の調整: アップストリームの NanoChat リポジトリに対して重要なパッチを適用しました。具体的には、初期化時の NCCL ウォッチドッグ・タイムアウトを防ぐために、ステップゼロの評価ロジックを修正しました。安定性を確保するため、永続的なネットワーク構成（nmcli/netplan 経由）およびコンテナのメモリ制限（memlock, stack）を強制しました。
• ダウンストリーム・タスク:
  • サイバー脅威インテリジェンス (CTI): CISA のアドバイザリ 77 件を MITRE ATT&CK の識別子にマッピングしたデータセットを構築し、338 件の訓練用および 37 件の検証用会話を生成しました。これは、教師ありファインチューニング（SFT）に使用されました。
  • 教育: 本クラスターは、400 レベルの AI コース（CS 426）および CompTIA Security+ POGIL（プロセス指向型誘導学習）クエリエンジン（CBS 255）をサポートしました。これらは、Ollama でホストされた LLM を介した推論のために同じノードを利用しました。

主な結果

• 学習パフォーマンス: 2 ノードの実行により、ステップタイムは約 69.4 秒を維持し、集約スループットは約 1,890 トークン/秒を達成しました。4 日間で、システムは約 6 億 5,300 万トークンを処理しました。
• スケーリングの観察: 著者は、単一ノードの投影値（14 日 vs 4 日と推定）と比較して、ウォールクロックタイムが 3.5 倍短縮されたと述べています。ただし、単一ノードのベースラインは、条件を一致させた測定ではなく推定値であり、ノード数に応じてグローバルバッチサイズも倍増しているため、これは制御されたスケーリング効率の主張ではないことを明示しています。
• CTI ファインチューニング評価: LLM-as-a-judge（Ollama ホストの llama3.1:8b）を用いた自動評価により、ベースラインのチェックポイントと CTI 拡張後のチェックポイントを 17 件の保持済みプロンプトで比較しました。
  • CTI 特有のカテゴリ（手法の検索、名称から手法へ、脅威アクター）では改善が見られました（例：「名称から手法へ」で +1.33）。
  • 一般的な知識カテゴリでは低下しました（例：「一般的概念」で -1.67）。
  • 全体的なスコアは、0–10 のスケールで 2.06 から 2.29 へと緩やかに変化しました。著者は、これを強力な事実的モデルの証拠ではなく、ドメイン語彙の変化であると解釈しています。
• 教育的統合: このインフラストラクチャは、研究と教育ワークロードの同時実行を正常にサポートしました。学生は Tailscale を介してリモートでクラスターにアクセスし、学習成果物や AI 生成の練習クイズの直接的な検査を行うことができました。

意義および主張
本論文は、新しい学習アルゴリズムや決定的なスケーリング効率の研究としてではなく、主にシステムの概念実証および再現性のためのリファレンスとして位置づけられています。

• 実現可能性: 本研究は、コンパクトなデスクトップクラスの AI システムを、専用ファイバーで接続し、メッシュ VPN を介してリモート管理することで、機能的な分散学習環境を構築できることを確立しています。
• 運用の教訓: 管理プレーンとデータプレーンの分離の必要性、NCCL タイムアウトの処理、永続的なネットワーク構成、およびランク監視戦略（「ランクの沈黙はランクの失敗ではない」との注記）など、ハイレベルな報告では省略されがちな重要なエンジニアリングの詳細を記録しています。
• デュアルユース・インフラストラクチャ: 本研究は、控えめなローカルクラスターが、分散事前学習研究、ドメイン適応、および資格試験に準拠した指導という、従来は分離されていた複数の機能を果たすことができることを示しています。
• 主張の慎重さ: 著者は、性能を過大に主張することを明確に避けています。単一ノードのベースラインは推定値であり、CTI 評価は単一の判定モデルと少数のサンプルサイズ（17 プロンプト）を使用しており、深度 20 モデルのパラメータ数は独立して計算されたものではなく、設定された深度として報告されていることを明記しています。結論として、この概念実証を制御された性能研究に変換するには、一致したベンチマークが必要であるとしています。

要約すると、本論文は、小規模な研究室が、消費者向けの高性能ハードウェアを使用して、安全でリモートアクセス可能な分散 LLM 学習テストベッドを構築するための、文書化された再現可能なブループリントを提供しており、理論的なスケーリング限界よりも実践的なデプロイメントに重点を置いています。