Detecting Hidden ML Training With Zero-Overhead Telemetry

Resumen Técnico: Detección de Entrenamiento de ML Oculto con Telemetría de Cero Sobrecarga

Planteamiento del Problema
La gobernanza efectiva del cómputo de IA depende de la capacidad de verificar cuándo y dónde ocurre el entrenamiento de modelos a gran escala. Las propuestas actuales de regulación (por ejemplo, umbrales de FLOPs, registro y auditorías) asumen que los reguladores pueden distinguir de manera fiable las cargas de trabajo de entrenamiento de las de inferencia o tareas no relacionadas con el ML. Sin embargo, estos esquemas son vulnerables si los desarrolladores pueden evadir la detección disfrazando el entrenamiento como otras cargas de trabajo. Si bien trabajos previos han demostrado que el cómputo de ML y el no-ML pueden distinguirse en entornos no adversarios, no se ha realizado una evaluación sistemática de si la detección sigue siendo robusta cuando un adversario intenta activamente ofuscar las señales de entrenamiento. Además, las soluciones de monitoreo basadas en perfiles existentes suelen incurrir en sobrecargas de tiempo de ejecución prohibitivas o requieren acceso a datos de modelos sensibles, lo que plantea preocupaciones operativas y de privacidad.

Metodología
Los autores investigan la robustez adversaria de los clasificadores de carga de trabajo de GPU utilizando únicamente telemetría de cero sobrecarga y preservadora de la privacidad de la NVIDIA Management Library (NVML).

• Recolección de Datos: El estudio utilizó 9 modelos de GPU NVIDIA que abarcan cuatro generaciones de arquitectura (Pascal a Blackwell), incluyendo hardware de consumo (RTX 4050, 5080, 5090) y de centros de datos (A100, H100, H200, B200). El conjunto de datos comprende 1,404 ejecuciones de 162 cargas de trabajo distintas, totalizando aproximadamente 117 horas de GPU y más de 445,000 lecturas de telemetría. Las cargas de trabajo incluyeron 93 tareas de entrenamiento de ML (supervisado, distribuido, LoRA), 40 tareas de inferencia y 16 tareas de no-ML (HPC, minería, renderizado).
• Señales de Telemetría: El clasificador opera sobre nueve contadores brutos de NVML muestreados a 1 Hz: utilización de la GPU, utilización de memoria, memoria usada, consumo de energía, temperatura, reloj SM, reloj de memoria y ancho de banda de PCIe TX/RX. Estas señales son agnósticas al contenido, observando solo los efectos físicos de la computación sin acceder a pesos, datos o hiperparámetros.
• Arquitectura del Clasificador: Se seleccionó un clasificador de Bosque Aleatorio (Random Forest) como el modelo óptimo. Emplea un pipeline de extracción de características de dos etapas:
  1. Capa Estructural: Identifica cargas de trabajo en una región operativa similar al entrenamiento mediante la intensidad aritmética (potencia media frente a utilización media).
  2. Capa Temporal: Resuelve ambigüedades utilizando características en el dominio del tiempo (autocorrelación, coeficiente de variación, periodicidad).
• Evaluación Adversaria (Red-Teaming): Los autores realizaron una iteración de cinco rondas "monitor–evasor". En cada ronda, los atacantes introdujeron nuevas estrategias de evasión dirigidas a las debilidades del clasificador, y los defensores reentrenaron el clasificador para endurecerse contra ellas. Este proceso generó 20 familias de estrategias de evasión, incluyendo modulación de utilización, minimización de memoria, mimetismo de carga de trabajo (ej. FFT, minería), dilución de entrenamiento-como-inferencia, estructuración multi-GPU y ataques de caja blanca donde el adversario tenía acceso a la mecánica interna del clasificador.

Contribuciones Clave

1. Detección de Cero Sobrecarga: El artículo demuestra que es posible lograr una clasificación de alta precisión entre cargas de trabajo de entrenamiento y no-entrenamiento utilizando únicamente la telemetría estándar y siempre disponible de NVML, eliminando la necesidad de herramientas de perfilado costosas como Nsight Compute.
2. Benchmark de Robustez Adversaria: A través de cinco rondas de iteración, los autores sometieron a pruebas de estrés al clasificador contra un conjunto exhaustivo de 20 familias de estrategias de evasión, estableciendo un punto de referencia para la dinámica de "el gato y el ratón" en la gobernanza de la IA.
3. Generalización de Hardware: El estudio valida que un clasificador entrenado en un conjunto diverso de hardware puede generalizarse a modelos de GPU no vistos (evaluación Leave-One-GPU-Out) sin reajuste, apoyando el despliegue agnóstico al sitio.
4. Mecanismo Preservador de la Privacidad: El enfoque confirma que las preguntas relevantes para la gobernanza pueden responderse sin inspeccionar los pesos de los modelos propietarios o los datos de entrenamiento, abordando barreras legales y éticas clave para el monitoreo en la nube.

Resultados

• Desempeño Base: En cargas de trabajo no adversarias a través de los 9 modelos de GPU, el clasificador logró una precisión binaria del 98.2% (macro-F1 = 0.982) al distinguir el entrenamiento de lo no-entrenamiento.
• Desempeño Adversario:
  • Multi-GPU: El clasificador detectó todas las estrategias de evasión multi-GPU con una precisión ≥99.6%.
  • Single-GPU: Contra las estrategias de evasión de una sola GPU más desafiantes (excluyendo caja blanca), las tasas de detección se mantuvieron altas. En una evaluación de "dejar una estrategia fuera" (leave-one-strategy-out), el clasificador alcanzó una precisión media del 95.2% en estrategias externas no vistas.
  • Ataques de Caja Blanca: Incluso cuando los adversarios tenían acceso a los componentes internos del clasificador (Ronda 5), el clasificador endurecido mantuvo una precisión del 43–87% contra estrategias de caja blanca no vistas. Solo un tipo específico de evasión (white-box LoRA) cayó por debajo de la tasa de detección del 50%.
• Importancia de las Características: Las características basadas en la física, específicamente la energía acumulada, la correlación potencia-memoria y las características de meseta de pre-asignación de memoria, resultaron críticas para detectar los intentos de evasión más sofisticados. Los autores señalan que la restricción física fundamental del entrenamiento (que requiere ~2× los FLOPs y la energía de la inferencia) proporciona una señal que es difícil de suprimir sin abortar el proceso de entrenamiento.

Significancia y Reivindicaciones
El artículo afirma que el enfoque de telemetría de cero sobrecarga propuesto proporciona una base viable y empíricamente realizable para la gobernanza de la computación de IA. Los autores argumentan que los defensores están estructuralmente favorecidos porque los requisitos físicos de energía del paso hacia atrás (backward pass) imponen una restricción fundamental que las estrategias de evasión no pueden eliminar completamente sin sacrificar la capacidad de entrenar el modelo.

La significancia del trabajo radica en desplazar el desafío de la gobernanza de un problema puramente de aprendizaje automático a un problema de seguridad de hardware. Los autores aseveran que, si bien su clasificador de nivel de software es robusto, su eficacia en el mundo real es condicional a la implementación de Mecanismos Habilitados por Hardware (HEMs) que aseguren la integridad de los datos de telemetría (por ejemplo, rutas de lectura resistentes a la manipulación y canales autenticados). Si se cumplen estas garantías de hardware, el artículo concluye que los costos económicos y técnicos de la evasión (como la dilución y el relleno de inactividad) se vuelven inviables en escalas de frontera, haciendo que la detección de entrenamientos no autorizados sea factible para los reguladores y proveedores de la nube.