Detecting Hidden ML Training With Zero-Overhead Telemetry

Resumo Técnico: Detecção de Treinamento de ML Oculto com Telemetria de Overhead Zero

Definição do Problema
A governança eficaz do computo de IA depende da capacidade de verificar quando e onde ocorre o treinamento de modelos em larga escala. As propostas atuais de regulamentação (ex: limiares de FLOPs, registro e auditorias) assumem que os reguladores podem distinguir de forma confiável cargas de trabalho de treinamento de cargas de trabalho de inferência ou tarefas não relacionadas a ML. No entanto, esses esquemas são vulneráveis se os desenvolvedores puderem evitar a detecção ao disfarçar o treinamento como outras cargas de trabalho. Embora trabalhos anteriores tenham mostrado que o computo de ML e não-ML pode ser distinguido em ambientes não adversariais, não houve uma avaliação sistemática de se a detecção permanece robusta quando um adversário tenta ativamente ofuscar os sinais de treinamento. Além disso, as soluções existentes de monitoramento baseadas em perfilamento (profiling) frequentemente impõem sobrecargas de tempo de execução proibitivas ou exigem acesso a dados sensíveis de modelos, levantando preocupações operacionais e de privacidade.

Metodologia
Os autores investigam a robustez adversarial de classificadores de carga de trabalho de GPU utilizando apenas telemetria de overhead zero e preservadora de privacidade da NVIDIA Management Library (NVML).

• Coleta de Dados: O estudo utilizou 9 modelos de GPU NVIDIA abrangendo quatro gerações de arquitetura (Pascal a Blackwell), incluindo hardware de consumo (RTX 4050, 5080, 5090) e de datacenter (A100, H100, H200, B200). O conjunto de dados compreende 1.404 execuções de 162 cargas de trabalho distintas, totalizando aproximadamente 117 horas de GPU e mais de 445.000 leituras de telemetria. As cargas de trabalho incluíram 93 tarefas de treinamento de ML (supervisionado, distribuído, LoRA), 40 tarefas de inferência e 16 tarefas não-ML (HPC, mineração, renderização).
• Sinais de Telemetria: O classificador opera sobre nove contadores brutos da NVML amostrados a 1 Hz: utilização da GPU, utilização de memória, memória usada, consumo de energia, temperatura, clock do SM, clock de memória e largura de banda de transmissão/recepção (TX/RX) do PCIe. Esses sinais são agnósticos ao conteúdo, observando apenas os efeitos físicos da computação sem acessar pesos, dados ou hiperparâmetros.
• Arquitetura do Classificador: Um classificador de Floresta Aleatória (Random Forest) foi selecionado como o modelo ideal. Ele emprega um pipeline de extração de características de duas etapas:
  1. Camada Estrutural: Identifica cargas de trabalho em uma região operacional semelhante ao treinamento baseando-se na intensidade aritmética (potência média vs. utilização média).
  2. Camada Temporal: Resolve ambiguidades usando características no domínio do tempo (autocorrelação, coeficiente de variação, periodicidade).
• Avaliação Adversarial (Red-Teaming): Os autores conduziram cinco rodadas de iteração "monitor–evadidor". Em cada rodada, os atacantes introduziram novas estratégias de evasão visando as fraquezas do classificador, e os defensores retreinaram o classificador para endurecer contra elas. Esse processo gerou 20 famílias de estratégias de evasão, incluindo modulação de utilização, minimização de memória, mimetismo de carga de trabalho (ex: FFT, mineração), diluição de treinamento-como-inferência, estruturação multi-GPU e ataques de caixa branca (white-box), onde o adversário tinha acesso à mecânica interna do classificador.

Principais Contribuições

1. Detecção de Overhead Zero: O artigo demonstra que a classificação de alta precisão entre cargas de trabalho de treinamento e não-treinamento é alcançável usando apenas a telemetria padrão e sempre disponível da NVML, eliminando a necessidade de ferramentas de perfilamento caras como o Nsight Compute.
2. Benchmark de Robustez Adversarial: Através de cinco rodadas de iteração, os autores testaram o estresse do classificador contra um conjunto abrangente de 20 famílias de estratégias de evasão, estabelecendo um benchmark para a dinâmica de "gato e rato" na governança de IA.
3. Generalização de Hardware: O estudo valida que um classificador treinado em um conjunto diversificado de hardware pode generalizar para modelos de GPU não vistos (avaliação Leave-One-GPU-Out) sem necessidade de novo ajuste (re-fitting), apoiando a implantação agnóstica de localidade.
4. Mecanismo Preservador de Privacidade: A abordagem confirma que questões relevantes para a governança podem ser respondidas sem inspecionar pesos de modelos proprietários ou dados de treinamento, abordando barreiras legais e éticas fundamentais para o monitoramento em nuvem.

Resultados

• Desempenho Base: Em cargas de trabalho não-adversariais em todos os 9 modelos de GPU, o classificador alcançou 98,2% de acurácia binária (macro-F1 = 0,982) ao distinguir treinamento de não-treinamento.
• Desempenho Adversarial:
  • Multi-GPU: O classificador detectou todas as estratégias de evasão multi-GPU com ≥99,6% de acurácia.
  • Single-GPU: Contra as estratégias de evasão de GPU única mais desafiadoras (excluindo caixa branca), as taxas de detecção permaneceram altas. Em uma avaliação "leave-one-strategy-out", o classificador alcançou uma acurácia média de 95,2% em estratégias externas não vistas.
  • Ataques de Caixa Branca (White-Box): Mesmo quando os adversários tinham acesso aos internos do classificador (Rodada 5), o classificador endurecido manteve 43–87% de acurácia contra estratégias de caixa branca não vistas. Apenas um tipo específico de evasão (LoRA de caixa branca) caiu abaixo de 50% de taxa de detecção.
• Importância das Características: Características baseadas na física, especificamente energia cumulativa, correlação potência–memória e características de platô de pré-alocação de memória, provaram ser críticas para detectar as tentativas de evasão mais sofisticadas. Os autores observam que a restrição física fundamental do treinamento (que requer ~2× os FLOPs e a energia da inferência) fornece um sinal que é difícil de suprimir sem abortar o processo de treinamento.

Significância e Alegações
O artigo alega que a abordagem de telemetria de overhead zero proposta fornece uma base viável e empiricamente realizável para a governança de computo de IA. Os autores argumentam que os defensores são estruturalmente favorecidos porque os requisitos físicos de energia para o backward pass impõem uma restrição fundamental que as estratégias de evasão não podem eliminar totalmente sem sacrificar a capacidade de treinar o modelo.

A significância do trabalho reside em deslocar o desafio da governança de um problema puramente de aprendizado de máquina para um problema de segurança de hardware. Os autores afirmam que, embora seu classificador de nível de software seja robusto, sua eficácia no mundo real é condicional à implementação de Mecanismos Habilitados por Hardware (HEMs) que garantam a integridade dos dados de telemetria (ex: caminhos de leitura resistentes a adulteração e canais autenticados). Se essas garantias de hardware forem atendidas, o artigo conclui que os custos econômicos e técnicos da evasão (como diluição e preenchimento de ociosidade/idle-padding) tornam-se inviáveis em escalas de fronteira, tornando a detecção de treinamento não autorizado viável para reguladores e provedores de nuvem.