Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

기술 요약: Tailscale 기반의 듀얼 노드 NVIDIA DGX Spark

문제 정의
소형 AI 시스템이 로컬 언어 모델 실험을 대중화했음에도 불구하고, 데스크톱급 가속기를 활용한 멀티 노드 분산 학습에 관한 실질적인 문서화는 부족한 실정이다. 기존 문헌은 주로 성숙한 스케줄러와 고성능 인터커넥트를 갖춘 데이터 센터 환경을 가정한다. 또한, 소규모 연구실이나 보안이 중요한 프로젝트는 연구 및 교육을 위해 원격 하드웨어에 안전하게 접속할 수 있는 인프라가 부족한 경우가 많다. 본 보고서는 두 대의 컴팩트한 NVIDIA DGX Spark 시스템을 신뢰할 수 있고 재현 가능한 분산 학습 테스트베드로 구성할 수 있는지, 그리고 이러한 인프라가 도메인 특화 미세 조정(fine-tuning)과 교육 워크플로우를 동시에 지원할 수 있는지 조사함으로써 이 간극을 해결하고자 한다.

방법론
본 연구는 다음의 아키텍처와 절차를 사용하여 Grambling State University에 2노드 개념 증명(PoC) 클러스터를 구축하였다:

• 하드웨어: GB10 Grace Blackwell SoC와 128GB의 통합 메모리를 각각 탑재한 두 대의 NVIDIA DGX Spark 시스템.
• 네트워크 토폴로지: 관리 트래픽과 학습 데이터를 분리하기 위해 이중 평면(dual-plane) 아키텍처를 활용하였다:
  • 관리 평면(Management Plane): 원격 관리(SSH)는 Tailscale 메쉬 VPN을 통해 수행되었다.
  • 학습 평면(Training Plane): 전용 200 Gb/s QSFP56 다이렉트 파이버 링크를 사용하여, 프라이빗하고 라우팅 불가능한 서브넷(192.168.100.0/24) 상에서 인터페이스 enp1s0f1np1를 통해 노드들을 연결하였다(Jumbo frames, MTU 9000 적용).
• 소프트웨어 스택: 배포에는 호스트 네트워킹을 사용하는 NVIDIA NGC PyTorch 컨테이너(버전 25.10)를 사용하여 파이버 인터페이스에 직접 접근할 수 있도록 하였다. 학습 프레임워크는 PyTorch torchrun, Distributed Data Parallel (DDP), 그리고 NCCL에 의존하였다.
• 구성: 실험에서는 2,048 토큰 컨텍스트를 가진 depth-20 NanoChat 모델을 학습시켰다. 각 노드는 로컬 배치로 32개의 시퀀스를 처리하여, 결과적으로 글로벌 배치는 64개의 시퀀스(단계당 131,072 토큰)가 되었다.
• 운영 조정: 초기화 단계에서 발생하는 NCCL 워치독 타임아웃을 방방지하기 위해 업스트림 NanoChat 저장소에 특정 패치를 적용(step-zero 평가 로직 수정)하였다. 안정성을 보장하기 위해 지속적인 네트워크 설정(nmcli/netplan)과 컨테이너 메모리 제한(memlock, stack)을 강제하였다.
• 다운스트림 작업:
  • 사이버 위협 인텔리전스(CTI): CISA 권고안 77개를 MITRE ATT&CK 식별자에 매핑하여 구축된 데이터셋을 사용하여 338개의 학습 및 37개의 검증 대화를 생성하였다. 이는 지도 미세 조정(SFT)에 사용되었다.
  • 교육: 해당 클러스터는 400단위 AI 과정(CS 426)과 CompTIA Security+ POGIL(Process Oriented Guided Inquiry Learning) 쿼리 엔진(CBS 255)을 지원하였으며, Ollama로 호스팅된 LLM을 통해 동일한 노드를 추론에 활용하였다.

주요 결과

• 학습 성능: 듀얼 노드 실행은 약 69.4초의 스텝 타임을 유지하며 약 1,890 tokens/second의 총 처리량을 달ей했다. 4일 동안 시스템은 약 6억 5,300만 개의 토큰을 처리했다.
• 스케일링 관찰: 저자는 단일 노드 투영치(14일 대비 4일로 추정)와 비교했을 때 벽시계 시간(wall-clock time)이 3.5배 감소했다고 언급했다. 그러나 단일 노드 기준점이 동일한 조건에서 측정된 것이 아니라 추정된 것이며, 노드 수와 함께 글로벌 배치 크기도 두 배가 되었기 때문에, 이를 통제된 스케일링 효율성 주장으로 보아서는 안 된다고 명시적으로 밝혔다.
• CTI 미세 조정 평가: LLM-as-a-judge(Ollama 호스팅 llama3.1:8b)를 이용한 자동 평가를 통해 베이스라인 체크포인트와 CTI 증강 체크포인트를 17개의 홀드아웃 프롬프트로 비교하였다.
  • CTI 특화 카테고리(Technique lookup, Name to technique, Threat actor)는 개선을 보였다(예: "Name to technique"에서 +1.33).
  • 일반 지식 카테고리는 퇴보하였다(예: "General concept"에서 -1.67).
  • 전체 점수는 0–10 척도에서 2.06에서 2.29로 완만하게 이동했다. 저자는 이를 강력한 사실적 모델이라기보다 도메인 어휘의 변화(domain-vocabulary shift)의 증거로 해석한다.
• 교육적 통합: 인프라는 연구와 교육 워크로드를 병행하여 성공적으로 지원하였다. 학생들은 Tailscale을 통해 원격으로 클러스터에 접속하여 학습 아티팩트와 AI 생성 연습 퀴즈를 직접 확인할 수 있었다.

의의 및 주장
본 논문은 새로운 학습 알고리즘이나 확정적인 스케일링 효율성에 관한 연구라기보다는, 일차적으로 시스템 개념 증명(PoC) 및 재현성 참조로서 자리매김한다.

• 타당성: 본 연구는 컴팩트한 데스크톱급 AI 시스템을 전용 파이버로 연결하고 메쉬 VPN을 통해 원격 관리함으로써 기능적인 분산 학습 환경을 구축할 수 있음을 입증한다.
• 운영적 교훈: 관리 평면과 데이터 평면의 분리 필요성, NCCL 타임아웃 처리, 지속적인 네트워크 구성, 랭크 모니터링 전략("랭크 침묵은 랭크 실패가 아니다"라는 점 등)을 포함하여 고수준 보고서에서 흔히 누락되는 핵심적인 엔지니어링 세부 사항을 기록한다.
• 이중 용도 인프라: 본 작업은 적절한 규모의 로컬 클러스터가 분산 사전 학습 연구, 다운스트림 도메인 적응, 자격증 연계 교육과 같이 서로 격리될 수 있는 여러 기능을 동시에 수행할 수 있음을 보여준다.
• 겸손한 주장: 저자는 성능을 과장하지 않도록 주의를 기울였다. 단일 노드 기준점이 추정치였음을 명시했고, CTI 평가가 단일 판사 모델과 작은 샘플 크기(17개 프롬프트)를 사용했음을 밝혔으며, depth-20 모델의 파라미터 수는 독립적으로 계산된 것이 아니라 설정된 깊이로 보고되었음을 명시했다. 보고서는 이 개념 증명을 통제된 성능 연구로 전환하기 위해서는 일치된 벤치마크가 필요하다고 결론짓는다.

요약하자면, 본 논문은 소규모 연구실이 소비자용 고성능 하드웨어를 사용하여 보안이 유지되고 원격 접속이 가능한 분산 LLM 학습 테스트베드를 구축할 수 있는, 문서화되고 재현 가능한 청사진을 제공하며, 이론적인 스케일링 한계보다는 실질적인 배포에 중점을 두고 있다.