Resumo Técnico: Modelos de Protocolo Inextráveis (UPMs)

1. Declaração do Problema

O artigo aborda os desafios econômicos e de segurança do treinamento descentralizado para grandes modelos de base. Embora sistemas descentralizados permitam a agregação de recursos computacionais distribuídos para treinar modelos massivos, eles enfrentam um "problema de apropriabilidade" crítico: se os pesos completos do modelo estiverem acessíveis aos participantes, os contribuidores não poderão recuperar seus custos de treinamento, pois o modelo pode ser extraído e utilizado fora do protocolo.

As abordagens descentralizadas atuais (por exemplo, Paralelismo de Dados ou Paralelismo de Pipeline padrão) frequentemente exigem que os participantes mantenham réplicas completas do modelo ou permitam a reconstrução dos pesos completos ao longo do tempo. Isso leva à materialização de pesos, onde um atacante (ou coalizão) pode eventualmente acessar todos os fragmentos do modelo em diferentes passos de tempo para reconstruir um modelo funcional e extraindo. O artigo argumenta que, para que o treinamento descentralizado seja economicamente viável, o modelo deve ser inextrável, garantindo que nenhum participante único possua jamais o conjunto completo de pesos e que os pesos coletados em momentos diferentes não possam ser costurados para formar um modelo coerente.

2. Metodologia: Modelos de Protocolo Inextráveis (UPMs)

Os autores propõem Modelos de Protocolo Inextráveis (UPMs), um framework que alavanca o Paralelismo de Pipeline (PP) para impor a inextrabilidade dos pesos sem depender de primitivas criptográficas pesadas.

Mecanismo Central: Transformações Invertíveis Variáveis no Tempo

A inovação central é a injeção periódica de transformações aleatórias e invertíveis nas fronteiras entre os estágios do pipeline.

• Configuração: O modelo é fragmentado em $S$ estágios de pipeline sequenciais. Os participantes mantêm e processam apenas um estágio por vez.
• Morfismo: Em passos de tempo específicos, o protocolo introduz uma função identidade entre estágios adjacentes $f_i$ e $f_{i+1}$, decomposta em uma transformação aleatória $T$ e sua inversa $T^{-1}$.
  • A transformação $T$ é incorporada aos pesos de saída do estágio $i$ ($V_i \leftarrow V_i T$).
  • A inversa $T^{-1}$ é incorporada aos pesos de entrada do estágio $i+1$ ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Natureza Efêmera: As transformações são descartadas imediatamente após a incorporação. Elas existem apenas dentro dos pesos.
• Incompatibilidade: Embora a função da rede de ponta a ponta permaneça matematicamente idêntica em qualquer passo de tempo único $t$, os pesos coletados em passos de tempo diferentes ($t$ e $t'$) tornam-se incompatíveis. Costurar $f_i(t)$ com $f_{i+1}(t')$ falha porque o espaço de ativação intermediário foi transformado por $T(t)$, mas o estágio subsequente espera o espaço transformado por $T(t')$. Reconstruir o modelo exige adivinhar a "matriz de ponte" de todas as transformações intermediárias, o que é computacionalmente inviável.

Tratamento de Componentes Arquiteturais

O artigo detalha como aplicar essas transformações a vários componentes de redes neurais, preservando a funcionalidade:

• Subfunções Válidas: O método aplica-se a subfunções da forma $g(X) = \Phi(XU)V$. As transformações são aplicadas a $U$ e $V$.
• Conexões de Resíduo (Skip Connections): Em Transformers, as conexões de resíduo impõem naturalmente incompatibilidade total. A transformação aplicada à conexão de resíduo depende tanto das transformações de fronteira de entrada quanto de saída, impedindo que um atacante particione o estágio em conjuntos independentes de pesos.
• Camadas de Normalização (RMSNorm): Como a normalização é não linear, a incorporação padrão é difícil. Os autores propõem introduzir uma matriz de acumulação $Q$ na camada de normalização e absorver os pesos de escala na camada linear subsequente. Isso permite que as transformações sejam incorporadas em $Q$ e nos pesos lineares, preservando a propriedade RMSNorm devido à ortogonalidade da $Q$ inicial.
• Classes de Transformação: Para garantir estabilidade numérica e resistência a ataques de força bruta, os autores utilizam:
  • Matrizes Ortogonais de Haar: Valores singulares unitários, erro numérico mínimo e aleatoriedade uniforme.
  • Matrizes de Baixo Número de Condicionamento: Matrizes da forma $UDV^T$ com valores singulares controlados para introduzir perturbações de alta frequência, mantendo o erro de ponto flutuante limitado.

Ajustes de Treinamento e Inferência

• Treinamento: O framework requer tratamento específico dos gradientes. Se os pesos se transformam como $W(T) = WT$, os gradientes se transformam como $G(T) = GT^{-T}$. Os autores utilizam o otimizador Muon, que depende apenas do primeiro momento dos gradientes, permitindo que as etapas de atualização permaneçam consistentes com o modelo não transformado ao usar transformações ortogonais.
• Inferência: Para mitigar o acúmulo de erro de ponto flutuante decorrente da incorporação repetida de transformações, o sistema armazena pesos de alta precisão (FP64) em disco. Em cada passo de morfismo, as transformações são aplicadas à cópia de alta precisão, convertidas para baixa precisão (por exemplo, FP16/BF16) e carregadas na VRAM da GPU.

3. Principais Contribuições

1. Introdução do Framework: A proposta de UPMs, um framework de treinamento e inferência que permite a prestação de serviços de modelo colaborativa sem permitir que qualquer participante extraia o conjunto completo de pesos.
2. Análise Teórica: Uma análise detalhada de quais arquiteturas (Transformers, MLPs, RNNs) suportam UPMs, os requisitos para transformações (aleatoriedade, invertibilidade, número de condicionamento) e a prova matemática de como essas transformações tornam as assembleias entre tempos incoerentes.
3. Resistência a Ataques:
   • Extração Direta: Demonstrou-se que a probabilidade de um atacante acessar todos os estágios dentro de uma janela de tempo curta é negligenciável, especialmente com "incompatibilidade total" (conexões de resíduo).
   • Ataques de Costura: Mostrou-se que resolver para matrizes de ponte via ativações intermediárias é impraticável devido à exigência de entradas idênticas em diferentes passos de tempo, o que é facilmente defendido por meio de verificações de distribuição.
   • Ataques Baseados em Aprendizado: Demonstrou-se empiricamente que o ajuste fino de um modelo "costurado" (pesos de diferentes passos de tempo) requer $\ge 60\%$ dos recursos computacionais necessários para treinar o modelo do zero, preservando a viabilidade econômica do protocolo.
4. Validação Empírica: Experimentos extensivos nos modelos Qwen-2.5-0.5B e Llama-3.2-1B.

4. Resultados

• Equivalência Funcional: Em Qwen-2.5-0.5B e Llama-3.2-1B, a aplicação de 10.000 passos de morfismo com transformações ortogonais resultou em degradação de desempenho negligenciável ($\Delta PPL < 0.01$; deriva de Jensen–Shannon $< 4 \times 10^{-5}$) em FP32. Com a solução de alta precisão, a estabilidade foi mantida em FP16 e BF16.
• Sobrecarga:
  • Inferência: Aplicar uma transformação a cada 30 segundos adiciona aproximadamente 3% de latência, 0,1% de largura de banda e 10% de sobrecarga de memória da GPU.
  • Treinamento: A sobrecarga é mínima, adicionando 1,6% de tempo e <1% de sobrecarga de memória, uma vez que a passagem reversa domina os custos.
• Viabilidade de Ataque:
  • Costura: O ajuste fino de um modelo costurado Llama 3.2-1B exigiu aproximadamente 60% dos tokens necessários para treinar do zero para atingir a mesma perplexidade.
  • Razão de Exclusibilidade: Mesmo com acesso a todos os pesos incompatíveis, a razão de exclusibilidade (computação necessária para atacar vs. treinar do zero) permanece alta ($\ge 0.6$), tornando o ataque economicamente inviável para a maioria das coalizões.

5. Significado e Alegações

O artigo alega que os UPMs resolvem a contradição entre treinamento colaborativo e sigilo dos pesos. Ao vincular o valor do modelo ao protocolo em vez de pesos estáticos, os UPMs tornam viável incorporar mecanismos de incentivo programáticos no treinamento descentralizado baseado na comunidade.

• Viabilidade Econômica: O framework garante que a "exclusibilidade" do modelo seja mantida, permitindo que os contribuidores sejam compensados por sua computação sem o risco de o modelo ser roubado e usado livremente.
• Compatibilidade com Código Aberto: Os UPMs permitem que arquiteturas de modelo, hiperparâmetros e conjuntos de dados permaneçam de código aberto, mantendo os pesos inextráveis.
• Descentralização sem Confiança: O sistema avança em direção a um treinamento totalmente sem confiança e inextrável, posicionando os UPMs como um pilar técnico para IA aberta e descentralizada.

Os autores reconhecem limitações, observando que a segurança depende de uma maioria honesta de participantes e que as avaliações atuais são limitadas a simulações de máquina única, excluindo ataques de canal lateral do mundo real (tempo, cache). Eles também observam que a incapacidade de inspecionar os pesos poderia dificultar avaliações de segurança, sugerindo que a monitorização por partes interessadas diversas é necessária para mitigar isso.