Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

Resumen Técnico: Dual-Node NVIDIA DGX Spark sobre Tailscale

Declaración del Problema
Si bien los sistemas de IA compactos han democratizado la experimentación con modelos de lenguaje locales, existe una falta de documentación práctica sobre el entrenamiento distribuido multinodo en aceleradores de clase de escritorio. La literatura existente asume mayoritariamente entornos de centros de datos con planificadores maduros e interconexiones de alto nivel. Además, los laboratorios pequeños y los proyectos sensibles a la seguridad carecen a menudo de la infraestructura para acceder de forma segura al hardware remoto tanto para la investigación como para la instrucción. Este informe aborda esta brecha investigando si dos sistemas NVIDIA DGX Spark compactos pueden configurarse como un banco de pruebas de entrenamiento distribuido fiable y reproducible, accesible de forma remota, y si dicha infraestructura puede soportar simultáneamente flujos de trabajo de ajuste fino (fine-tuning) específicos de un dominio y flujos de trabajo educativos.

Metodología
El estudio implementó un banco de pruebas de prueba de concepto de dos nodos en Grambling State University utilizando la siguiente arquitectura y procedimientos:

• Hardware: Dos sistemas NVIDIA DGX Spark, cada uno equipado con un SoC GB10 Grace Blackwell y 128 GB de memoria unificada.
• Topología de Red: El sistema utilizó una arquitectura de plano dual para separar el tráfico de gestión del tráfico de datos de entrenamiento:
  • Plano de Gestión: La administración remota (SSH) se realizó a través de una VPN de malla Tailscale.
  • Plano de Entrenamiento: Un enlace directo de fibra QSFP56 de 200 Gb/s dedicados conectó los nodos a través de la interfaz enp1s0f1np1 en una subred privada no enrutable (192.168.100.0/24) con tramas Jumbo (MTU 9000).
• Stack de Software: El despliegue utilizó contenedores NVIDIA NGC PyTorch (versión 25.10) con red del host para asegurar el acceso directo a la interfaz de fibra. El marco de entrenamiento se basó en torchrun de PyTorch, Distributed Data Parallel (DDP) y NCCL.
• Configuración: El experimento entrenó un modelo NanoChat de profundidad 20 con un contexto de 2,048 tokens. Cada nodo procesó un lote local de 32 secuencias, lo que resultó en un lote global de 64 secuencias (131,072 tokens por paso).
• Ajustes Operativos: Se aplicaron parches críticos al repositorio upstream de NanoChat, específicamente modificando la lógica de evaluación del paso cero para evitar tiempos de espera (timeouts) del watchdog de NCCL durante la inicialización. Se impusieron configuraciones de red persistentes (vía nmcli/netplan) y límites de memoria de contenedor (memlock, stack) para garantizar la estabilidad.
• Tareas de Flujo Descendente (Downstream):
  • Inteligencia de Amenazas Cibernéticas (CTI): Se construyó un conjunto de datos a partir de 77 avisos de CISA mapeados con identificadores de MITRE ATT&CK, generando 338 conversaciones de entrenamiento y 37 de validación. Esto se utilizó para el Ajuste Fino Supervisado (SFT).
  • Educación: El clúster soportó un curso de IA de nivel 400 (CS 426) y un motor de consultas POGIL (Aprendizaje Guiado por Indagación Orientado a Procesos) de CompTIA Security+ (CBS 255), utilizando los mismos nodos para inferencia mediante un LLM alojado en Ollama.

Resultos Clave

• Rendimiento de Entrenamiento: La ejecución de dos nodos mantuvo un tiempo por paso de aproximadamente 69.4 segundos, logrando un rendimiento agregado de ~1,890 tokens/segundo. Durante cuatro días, el sistema procesó aproximadamente 653 millones de tokens.
• Observación de Escalamiento: El autor señala una reducción de 3.5× en el tiempo de ejecución (wall-clock time) en comparación con una proyección de un solo nodo (estimada en 14 días frente a 4 días). Sin embargo, declara explícitamente que esto no es una afirmación de eficiencia de escalamiento controlada, ya que la línea base de un solo nodo fue estimada en lugar de medida bajo condiciones idénticas, y el tamaño del lote global se duplicó con el número de nodos.
• Evaluación de Ajuste Fino de CTI: Una evaluación automatizada utilizando un LLM como juez (Ollama-hosted llama3.1:8b) comparó un checkpoint de línea base contra un checkpoint aumentado con CTI en 17 prompts de prueba.
  • Las categorías específicas de CTI (Búsqueda de técnica, Nombre a técnica, Actor de amenaza) mostraron mejoras (ej. +1.33 para "Nombre a técnica").
  • Las categorías de conocimiento general retrocedieron (ej. -1.67 para "Concepto general").
  • La puntuación general se desplazó modestamente de 2.06 a 2.29 en una escala de 0 a 10. El autor interpreta esto como evidencia de un cambio en el vocabulario del dominio más que como un modelo factual sólido.
• Integración Educativa: La infraestructura soportó con éxito cargas de trabajo de investigación y enseñanza concurrentes, permitiendo a los estudiantes acceder al clúster de forma remota vía Tailscale para la inspección práctica de artefactos de entrenamiento y cuestionarios de práctica generados por IA.

Significancia y Reivindicaciones
El documento se posiciona principalmente como una prueba de concepto de sistemas y una referencia de reproducibilidad, más que como un estudio de algoritmos de aprendizaje novedosos o de eficiencia de escalamiento definitiva.

• Viabilidad: El estudio establece que los sistemas de IA compactos de clase de escritorio pueden vincularse mediante fibra dedicada y gestionarse remotamente mediante VPNs de malla para crear un entorno de entrenamiento distribuido funcional.
• Lecciones Operativas: Documenta detalles de ingeniería críticos que suelen omitirse en informes de alto nivel, incluyendo la necesidad de separar los planos de gestión y de datos, el manejo de timeouts de NCCL, la configuración de red persistente y las estrategias de monitoreo de rango (notando que "el silencio del rango no es un fallo del rango").
• Infraestructura de Doble Uso: El trabajo demuestra que un clúster local modesto puede servir para múltiples funciones, de otro modo aisladas: investigación de preentrenamiento distribuido, adaptación de dominio descendente y la instrucción alineada con certificaciones.
• Modestia de las Reivindicaciones: El autor evita explícitamente sobreestimar el rendimiento. Aclara que la línea base de un solo nodo fue estimada, que la evaluación de CTI utilizó un único modelo juez con un tamaño de muestra pequeño (17 prompts) y que el conteo de parámetros para el modelo de profundidad 20 se reportó como profundidad configurada en lugar de computada independientemente. El informe concluye que se requiere un benchmark emparejado para convertir esta prueba de concepto en un estudio de rendimiento controlado.

En resumen, el documento proporciona un plano documentado y reproducible para que laboratorios pequeños construyan bancos de pruebas de entrenamiento de LLM distribuidos, seguros y accesibles remotamente, utilizando hardware de alto rendimiento de grado de consumo, enfatizando el despliegue práctico sobre los límites teóricos de escalamiento.