Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

Resumo Técnico: Dual-Node NVIDIA DGX Spark via Tailscale

Declaração do Problema
Embora sistemas de IA compactos tenham democratizado a experimentação de modelos de linguagem locais, há uma falta de documentação prática sobre treinamento distribuído multi-nó em aceleradores de classe desktop. A literatura existente assume, em grande parte, ambientes de datacenter com escalonadores maduros e interconexões de alto desempenho. Além disso, pequenos laboratórios e projetos sensíveis à segurança muitas vezes carecem de infraestrutura para acessar remotamente o hardware para pesquisa e instrução. Este relatório aborda essa lacuna investigando se dois sistemas NVIDIA DGX Spark compactos podem ser configurados como um ambiente de teste de treinamento distribuído confiável e reprodutível, acessível remotamente, e se tal infraestrutura pode suportar simultaneamente o ajuste fino (fine-tuning) de domínio específico e fluxos de trabalho educacionais.

Metodologia
O estudo implementou uma prova de conceito de dois nós na Grambling State University utilizando a seguinte arquitetura e procedimentos:

• Hardware: Dois sistemas NVIDIA DGX Spark, cada um equipado com um SoC GB10 Grace Blackwell e 128 GB de memória unificada.
• Topologia de Rede: O sistema utilizou uma arquitetura de plano duplo para separar o tráfego de gerenciamento do tráfego de dados de treinamento:
  • Plano de Gerenciamento: A administração remota (SSH) foi conduzida através de uma VPN mesh Tailscale.
  • Plano de Treinamento: Um link direto de fibra QSFP56 dedicado de 200 Gb/s conectou os nós via interface enp1s0f1np1 em uma sub-rede privada e não roteável (192.168.100.0/24) com Jumbo frames (MTU 9000).
• Stack de Software: A implantação utilizou contêineres NVIDIA NGC PyTorch (versão 25.10) com rede de host para garantir o acesso direto à interface de fibra. O framework de treinamento baseou-se em PyTorch torchrun, Distributed Data Parallel (DDP) e NCCL.
• Configuração: O experimento treinou um modelo NanoChat de profundidade 20 com um contexto de 2.048 tokens. Cada nó processou um lote local de 32 sequências, resultando em um lote global de 64 sequências (131.072 tokens por passo).
• Ajustes Operacionais: Patches críticos foram aplicados ao repositório upstream do NanoChat, especificamente modificando a lógica de avaliação do passo zero para evitar timeouts do watchdog do NCCL durante a inicialização. Configurações de rede persistentes (via nmcli/netplan) e limites de memória do contêiner (memlock, stack) foram impostos para garantir a estabilidade.
• Tarefas Downstream:
  • Inteligência de Ameaças Cibernéticas (CTI): Um conjunto de dados foi construído a partir de 77 avisos da CISA mapeados para identificadores MITRE ATT&CK, gerando 338 conversas de treinamento e 37 de validação. Isso foi utilizado para Supervised Fine-Tuning (SFT).
  • Educação: O cluster suportou um curso de IA de nível 400 (CS 426) e um motor de consulta POGIL (Process Oriented Guided Inquiry Learning) para CompTIA Security+ (CBS 255), utilizando os mesmos nós para inferência via um LLM hospedado no Ollama.

Principais Resultados

• Desempenho de Treinamento: A execução em dois nós sustentou um tempo de passo de aproximadamente 69,4 segundos, alcançando um throughput agregado de ~1.890 tokens/segundo. Ao longo de quatro dias, o sistema processou aproximadamente 653 milhões de tokens.
• Observação de Escalonamento: O autor observa uma redução de 3,5× no tempo de execução (wall-clock time) em comparação com uma projeção de um único nó (estimada em 14 dias vs. 4 dias). No entanto, ele afirma explicitamente que esta não é uma alegação de eficiência de escalonamento controlada, pois a linha de base de um único nó foi estimada em vez de medida sob condições equivalentes, e o tamanho do lote global dobrou com o número de nós.
• Avaliação de Fine-Tuning de CTI: Uma avaliação automatizada usando um LLM-como-juiz (Ollama-hosted llama3.1:8b) comparou um checkpoint de baseline contra um checkpoint aumentado com CTI em 17 prompts retidos.
  • Categorias específicas de CTI (Busca de técnica, Nome para técnica, Ator de ameaça) mostraram melhorias (ex: +1,33 para "Nome para técnica").
  • Categorias de conhecimento geral regrediram (ex: -1,67 para "Conceito geral").
  • A pontuação geral mudou modestamente de 2,06 para ,29 em uma escala de 0 a 10. O autor interpreta isso como evidência de um deslocamento de vocabulário de domínio, em vez de um modelo factual forte.
• Integração Educacional: A infraestrutura suportou com sucesso cargas de trabalho de pesquisa e ensino simultâneas, com alunos acessando o cluster remotamente via Tailscale para inspeção prática de artefatos de treinamento e questionários de prática gerados por IA.

Significância e Alegações
O artigo posiciona-se primariamente como uma prova de conceito de sistemas e uma referência de reprodutibilidade para pequenos laboratórios, em vez de um estudo de novos algoritmos de aprendizado ou eficiência de escalonamento definitiva.

• Viabilidade: O estudo estabelece que sistemas de IA compactos, de classe desktop, podem ser vinculados via fibra dedicada e gerenciados remotamente via VPN mesh para criar um ambiente de treinamento distribuído funcional.
• Lições Operacionais: Documenta detalhes de engenharia críticos frequentemente omitidos em relatórios de alto nível, incluindo a necessidade de separar os planos de gerenciamento e de dados, lidar com timeouts de NCCL, configuração de rede persistente e estratégias de monitoramento de rank (notando que "silêncio de rank não é falha de rank").
• Infraestrutura de Uso Dual: O trabalho demonstra que um cluster local modesto pode servir múltiplas funções, de outra forma isoladas: pesquisa de pré-treinamento distribuído, adaptação de domínio downstream e instrução alinhada a certificações.
• Modéstia de Alegações: O autor evita explicitamente superestimar o desempenho. Ele esclarece que a linha de base de um único nó foi estimada, que a avaliação de CTI usou um único modelo juiz com uma pequena amostra (17 prompts) e que a contagem de parâmetros para o modelo de profundidade 20 foi reportada como profundidade configurada, em vez de computada independentemente. O relatório conclui que um benchmark correspondente é necessário para converter esta prova de conceito em um estudo de desempenho controlado.

Em resumo, o artigo fornece um blueprint documentado e reprodutível para que pequenos laboratórios construam testbeds de treinamento de LLM distribuídos, seguros e acessíveis remotamente, utilizando hardware de alto desempenho de nível consumidor, enfatizando o deployment prático sobre limites teóricos de escalonamento.