Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

Technische Samenvatting: Dual-Node NVIDIA DGX Spark via Tailscale

Probleemstelling
Hoewel compacte AI-systemen de experimentatie met lokale taalmodellen hebben gedemocratiseerd, is er een gebrek aan praktische documentatie over multi-node gedistribueerde training op desktop-klasse versnellers. Bestaande literatuur gaat grotendeels uit van datacenteromgevingen met volwassen schedulers en hoogwaardige interconnects. Bovendien missen kleine laboratoria en beveiligingsgevoelige projecten vaak de infrastructuur om op afstand veilig toegang te krijgen tot hardware voor zowel onderzoek als instructie. Dit rapport adresseert deze kloof door te onderzoeken of twee compacte NVIDIA DGX Spark-systemen kunnen worden geconfigureerd als een betrouwbare, reproduceerbare gedistribueerde trainingstestomgeving, en of dergelijke infrastructuur simultaan kan dienen voor domeinspecifieke fine-tuning en educatieve workflows.

Methodologie
De studie implementeerde een twee-node proof-of-concept cluster bij Grambling State University met behulp van de volgende architectuur en procedures:

• Hardware: Twee NVIDIA DGX Spark-systemen, elk uitgerust met een GB10 Grace Blackwell SoC en 128 GB unified memory.
• Netwerktopologie: Het systeem maakte gebruik van een dual-plane architectuur om het managementverkeer te scheiden van het trainingsdataverkeer:
  • Management Plane: Remote administratie (SSH) werd uitgevoerd via een Tailscale mesh VPN.
  • Training Plane: Een dedicated 200 Gb/s QSFP56 direct fiber link verbond de nodes via interface enp1s0f1np1 op een privaat, niet-routeerbaar subnet (192.168.100.0/24) met Jumbo frames (MTU 9000).
• Software Stack: De implementatie gebruikte NVIDIA NGC PyTorch containers (versie 25.10) met host networking om directe toegang tot de fiber interface te garanderen. Het trainingsframework vertrouwde op PyTorch torchrun, Distributed Data Parallel (DDP) en NCCL.
• Configuratie: Het experiment trainde een depth-20 NanoChat model met een context van 2.048 tokens. Elke node verwerkte een lokale batch van 32 sequenties, wat resulteerde in een globale batch van 64 sequenties (131.072 tokens per stap).
• Operationele Aanpassingen: Kritieke patches werden toegepast op de upstream NanoChat-repository, specifal het wijzigen van de step-zero evaluatielogica om NCCL watchdog-timeouts tijdens initialisatie te voorkomen. Persistente netwerkconfiguraties (via nmcli/netplan) en container geheugenlimieten (memlock, stack) werden afgedwongen om stabiliteit te waarborgen.
• Downstream Taken:
  • Cyber-Threat-Intelligence (CTI): Een dataset werd geconstrueerd uit 77 CISA-adviezen gekoppeld aan MITRE ATT&CK-identifiers, wat resulteerde in 338 training en 37 validatiegesprekken. Dit werd gebruikt voor Supervised Fine-Tuning (SFT).
  • Educatie: De cluster ondersteunde een 400-niveau AI cursus (CS 426) en een CompTIA Security+ POGIL (Process Oriented Guided Inquiry Learning) query-engine (CBS 255), waarbij dezelfde nodes werden gebruikt voor inferentie via een Ollama-gehoste LLM.

Belangrijkste Resultaten

• Trainingsprestaties: De dual-node run handhaafde een step-tijd van ongeveer 69,4 seconden, met een geaggregeerde throughput van ~1.890 tokens/seconde. Over vier dagen verwerkte het systeem ongeveer 653 miljoen tokens.
• Schaalobservatie: De auteur merkt een 3,5× reductie op in wall-clock tijd op tegenover een single-node projectie (geschat op 14 dagen versus 4 dagen). Echter, de auteur stelt expliciet dat dit geen gecontroleerde schalingsefficiëntie-claim is, aangezien de single-node baseline geschat is in plaats van gemeten onder identieke condities, en de globale batchgrootte verdubbelde met het aantal nodes.
• CTI Fine-Tuning Evaluatie: Een geautomatiseerde evaluatie met behulp van een LLM-as-a-judge (Ollama-gehoste llama3.1:8b) vergeleek een baseline checkpoint met een CTI-geaugmenteerde checkpoint op 17 held-out prompts.
  • CTI-specifieke categorieën (Technique lookup, Name to technique, Threat actor) vertoonden verbeteringen (bijv. +1,33 voor "Name to technique").
  • Algemene kenniscategorieën vertoonden regressie (bijv. -1,67 voor "General concept").
  • De algemene score verschoof bescheiden van 2,06 naar 2,29 op een schaal van 0–10. De auteur interpreteert dit als bewijs van een domein-vocabulaire verschuiving in plaats van een sterke feitelijke modelverbetering.
• Educatieve Integratie: De infrastructuur ondersteunde succesvol gelijktijdige research en onderwijstaken, waarbij studenten via Tailscale op afstand toegang kregen tot de cluster voor hands-on inspectie van trainingsartefacten en AI-gegenereerde oefentoetsen.

Betekenis en Claims
Het papier positioneert zichzelf primair als een systems proof of concept en een reproduceerbaarheid-referentie voor kleine laboratoria, in plaats van een studie naar nieuwe leeralgoritmen of definitieve schalingsefficiëntie.

• Haalbaarheid: De studie stelt vast dat compacte, desktop-klasse AI-systemen via dedicated fiber kunnen worden verbonden en op afstand beheerd kunnen worden via mesh VPN's om een functionele gedistribueerde trainingomgeving te creëren.
• Operationele Lessen: Het documenteert kritieke engineering-details die vaak worden weggelaten in high-level rapporten, waaronder de noodzaak om management en data planes te scheiden, het afhandelen van NCCL-timeouts, persistente netwerkconfiguratie en rank-monitoring strategieën (waarbij wordt opgemerkt dat "rank silence is not rank failure").
• Dual-Use Infrastructuur: Het werk demonstreert dat een bescheiden lokale cluster meerdere, anders gesiloiseerde functies kan dienen: gedistribueerde pretraining research, downstream domein adaptatie en certificerings-gealigneerde instructie.
• Bescheidenheid van Claims: De auteur vermijdt expliciet het overschatten van prestaties. Er wordt verduidelijkt dat de single-node baseline geschat was, de CTI-evaluatie een enkele judge-model met een kleine steekproef (17 prompts) gebruikte, en dat het aantal parameters voor het depth-20 model werd gerapporteerd als geconfigureerde diepte in plaats van onafhankelijk berekend. Het rapport concludeert dat een gematchte benchmark vereist is om deze proof of concept om te zetten in een gecontroleerde prestatie-studie.

Samenvattend biedt het papier een gedocumenteerd, reproduceerbaar blauwdruk voor kleine labs om veilige, op afstand toegankelijke gedistribueerde LLM training testbeds te bouwen met consumentenwaardige high-performance hardware, waarbij de nadruk ligt op praktische implementatie boven theoretische schalinglimieten.