Resumo Técnico: O Treinamento Distribuído Minera a Governança de Computação?

Declaração do Problema

Os quadros de governança de computação atuais e propostos (por exemplo, a Ordem Executiva dos EUA 14110, o Ato de IA da UE, o SB 53 da Califórnia e a proposta de Scher et al. de 2025) baseiam-se na premissa de que o treinamento de modelos de IA de fronteira requer clusters de datacenter grandes e centralizados. Essas regulamentações tipicamente exigem relatórios e monitoramento para clusters que excedam limiares específicos de computação (por exemplo, de $10^{24}$ a $10^{26}$ FLOPS) ou configurações de hardware (por exemplo, clusters maiores que 16 equivalentes a H100).

O problema central identificado é que avanços recentes em algoritmos de treinamento distribuído, especificamente a família DiLoCo (Distributed Low-Communication), podem permitir que desenvolvedores evadem essas regulamentações. Ao dividir uma execução de treinamento em escala de fronteira em milhares de nós menores e geograficamente dispersos — cada um ficando abaixo dos limiares de relatórios regulatórios — os desenvolvedores poderiam, teoricamente, realizar treinamentos em grande escala sem acionar mecanismos de detecção baseados em consumo de energia, pegada física ou tamanho do cluster. Este artigo investiga se tal "treinamento distribuído ilícito" é viável sob restrições estritas (internet de nível de consumidor, hardware abaixo do limiar) e avalia a eficácia de contramedidas atuais e propostas.

Metodologia

Os autores desenvolveram um modelo de eficiência e simulador interativo abrangentes para avaliar a viabilidade da evasão de treinamento distribuído. A metodologia envolve:

1. Modelo de Ameaça: A simulação assume um desenvolvedor bem-resourced tentando treinar modelos comparáveis ao Llama 3.1-405B ou DeepSeek-V3 sob condições restritivas:

   • Hardware: Nós limitados a $\le$ 16 equivalentes a H100 (o limiar proposto por Scher et al., 2025).
   • Rede: Internet de nível de consumidor com largura de banda de 100 Mbps e latência de 100 ms (ordens de magnitude mais lenta que interconexões de datacenter).
   • Tempo: Uma duração máxima de treinamento de dois anos (740 dias), derivada de suposições de taxa de crescimento em um cenário de governança restritiva.
   • Detecção: O órgão governante monitora ativamente energia, térmica, imagens de satélite e tráfego de rede.

2. Métricas de Eficiência: O simulador calcula duas métricas principais:

   • Computação Equivalente Local ($C_{local}$): A vazão de computação nominal ajustada para ineficiências distribuídas ($\eta$).
   • Computação Ajustada por Qualidade ($C_{quality}$): $C_{local}$ further ajustada por uma penalidade ótima Chinchilla ($\chi$) para contabilizar dimensionamento de modelo subótimo devido a restrições de memória e supertreinamento.

3. Fatores de Ineficiência ($\eta$): O modelo contabiliza quatro penalidades específicas inerentes ao treinamento distribuído:

   • Penalidade de Intervalo de Sincronização ($\eta_H$): Perda de réplicas executando passos locais ($H$) antes de sincronizar, causando deriva de gradiente.
   • Qualidade de Compressão ($\eta_{comp}$): Perda de comprimir gradientes para economizar largura de banda (modelada em compressão de 150$\times$ baseada em resultados do Covenant-72B).
   • Divergência de Réplica ($\eta_{rep}$): Perda de média de gradientes entre réplicas treinadas em diferentes subconjuntos de dados.
   • Penalidade de Qualidade de Ativação ($\eta_{act}$): Perda de comprimir ativações ao usar paralelismo de pipeline entre nós.

4. Seleção de Hardware: O modelo avalia várias configurações abaixo do limiar, incluindo NVIDIA A100 80GB, GH200 e várias configurações de TPU/Ascend, favorecendo hardware com altas razões de memória para computação para minimizar sobrecarga de comunicação.

Principais Contribuições e Resultados

1. Viabilidade de Evasão

A simulação demonstra que o treinamento distribuído pode alcançar computação em escala de fronteira ($>10^{24}$ FLOPS) usando configurações de hardware que permanecem abaixo dos limiares regulatórios propostos.

• Custo da Evasão: O artigo estima que um desenvolvedor poderia evadir:
  • O limiar de Scher et al. (2025) ($10^{24}$ FLOPS) por aproximadamente $1,6 milhão.
  • O limiar do Ato de IA da UE ($10^{25}$ FLOPS) por aproximadamente $31 milhões.
  • O limiar do SB 53 da Califórnia ($10^{26}$ FLOPS) por aproximadamente $3,8 bilhões.
• Contagens de Nós: Alcançar o nível de computação do GPT-4 ($10^{25}$ FLOPS) requer aproximadamente 101 nós abaixo do limiar, enquanto o Llama 3.1-405B ($10^{25}$ FLOPS) requer 625 nós.
• Restrições de Rede: Mesmo com baixa largura de banda (100 Mbps), o treinamento distribuído permanece viável. Embora os custos aumentem aproximadamente 3$\times$ em comparação ao treinamento centralizado, isso não é uma barreira proibitiva para atores determinados.

2. Otimização de Hardware e Arquitetura

O estudo identifica que a razão memória para computação é um fator crítico para evasão. Nós com alta memória (por exemplo, 50 $\times$ A100 80GB) permitem modelos maiores por nó, reduzindo a necessidade de paralelismo de pipeline e as penalidades associadas de compressão de ativação. O simulador mostra que o uso de DiLoCo com Paralelismo de Pipeline (PP) torna-se necessário em escalas muito grandes para ajustar modelos à memória, embora isso introduza penalidades de eficiência.

3. Avaliação de Contramedidas

O artigo avalia várias contramedidas para detectar ou prevenir evasão:

• Medidas Ineficazes:
  • Limites de Largura de Banda: Inviável de fazer cumprir globalmente; o custo da internet de alta velocidade é negligenciável em comparação aos custos de hardware.
  • Monitoramento de Tráfego de Internet: O tráfego DiLoCo é de baixo volume (<40 Mbps) e facilmente disfarçado via jitter, streaming de taxa variável e VPNs.
• Medidas Eficazes:
  • Rastreamento de Chips e Registros: Relatórios obrigatórios de posse e transferência de chips. Como o treinamento distribuído requer mais hardware total do que o treinamento centralizado para alcançar a mesma computação, um registro que rastreia uma alta fração de chips torna a evasão difícil.
  • Programas de Denunciantes: Operações distribuídas exigem forças de trabalho significativamente maiores para aquisição, instalação e manutenção em centenas de locais, aumentando a "superfície de ataque" para denúncias internas.
  • Limiares de Memória: O artigo propõe emendar definições de cluster para incluir limiares de memória de acelerador (por exemplo, 1.280 GB HBM) além dos limiares de computação. Isso força os evasores a usar modelos menores (causando supertreinamento severo) ou fragmentar modelos em mais nós, aumentando custos e complexidade operacional em ~50%.
  • Inspeções de Desafio e Inteligência: Inspeções financeiras e físicas convencionais permanecem viáveis, particularmente quando combinadas com as medidas técnicas acima.

Significado e Alegações

O artigo alega que o treinamento distribuído mina fundamentalmente as propostas atuais de governança de computação que dependem apenas de tamanho de cluster ou limiares de vazão de computação. Os autores argumentam que, sem contramedidas específicas, as regulamentações criarão uma "lacuna de aplicação" onde modelos de fronteira podem ser desenvolvidos illicitamente.

O significado do trabalho reside em:

1. Identificar a Vulnerabilidade: Demonstrar que avanços algorítmicos (DiLoCo) superaram as premissas estáticas dos quadros de governança atuais.
2. Quantificar o Risco: Fornecer estimativas de custos concretas e configurações de hardware necessárias para contornar regulamentações específicas e reais.
3. Propor Soluções Robustas: Argumentar que uma combinação de registros de chips, limiares baseados em memória e programas de denunciantes é necessária para fechar a lacuna. Os autores enfatizam que, embora nenhuma medida única seja perfeita, sua combinação eleva o custo e a complexidade da evasão a um nível que restaura a monitorabilidade.

O artigo conclui que, embora os custos aumentados da evasão distribuída sejam atualmente "economicamente indigestos", eles podem se tornar aceitáveis se os gargalos regulatórios se apertarem. Portanto, os padrões de governança devem ser projetados para serem robustos contra tal evasão imediatamente, em vez de esperar que a ameaça se materialize totalmente.