Resumo Técnico: LightSplit

Declaração do Problema

O Aprendizado Dividido (Split Learning - SL) permite o treinamento colaborativo de Redes Neurais Profundas (DNNs) ao particionar um modelo entre clientes com recursos limitados e um servidor poderoso. Embora isso preserve a localidade dos dados brutos, introduz dois desafios críticos na "camada de corte", onde ativações intermediárias (dados esmagados) são transmitidas:

1. Sobrecarga de Comunicação: A transmissão de tensores de ativação de alta dimensão (por exemplo, 4.096 dimensões para ResNet-18 no CIFAR-10) cria um gargalo significativo de largura de banda, escalando linearmente com a dimensionalidade da ativação e o número de clientes.
2. Vulnerabilidade de Privacidade: Os dados esmagados contêm informações ricas e específicas de instância. Sob um modelo de ameaça semi-honesta (honesto, mas curioso), um servidor pode explorar essas representações para realizar ataques de reconstrução (por exemplo, SDAR, UnSplit, FORA), recuperando as entradas do cliente com alta fidelidade.

Defesas existentes geralmente abordam esses problemas de forma isolada. Métodos focados em privacidade (por exemplo, injeção de ruído, perturbação) frequentemente falham em reduzir as cargas de comunicação, enquanto técnicas de compressão (por exemplo, esparsificação top-k, codecs aprendidos) frequentemente preservam os próprios sinais específicos de instância explorados por ataques de reconstrução ou introduzem sobrecarga computacional proibitiva no lado do cliente.

Metodologia: LightSplit

Os autores propõem o LightSplit, um framework que simultaneamente reduz a sobrecarga de comunicação e limita a exposição de informações através de uma projeção aleatória ortogonal fixa e leve aplicada na camada de corte.

Mecanismo Central

1. Projeção Ortogonal Fixa:

   • Cada cliente projeta sua ativação esmagada $d$-dimensional $z$ em um subespaço de menor dimensão $k$ ($k \ll d$) usando uma matriz ortonormal aleatória fixa $R \in \mathbb{R}^{d \times k}$.
   • A projeção é derivada via decomposição QR de uma matriz aleatória gaussiana, garantindo $R^\top R = I_k$.
   • Esta projeção é não treinável e fixa durante todo o treinamento, não requerendo parâmetros aprendíveis adicionais no lado do cliente.
   • Base Teórica: O método aproveita o lema de Johnson-Lindenstrauss (JL), que garante que as distâncias euclidianas entre pares (e, portanto, a separabilidade de classes) são aproximadamente preservadas no espaço de menor dimensão.

2. Reconstrução no Servidor (Lift-Back):
   Para manter a compatibilidade com arquiteturas SL existentes, o servidor deve reconstruir uma entrada $d$-dimensional para sua rede principal. O LightSplit oferece dois modos:

   • LIGHTSPLIT-F (Fixo): Utiliza uma reconstrução linear sem parâmetros ($\hat{z} = R\tilde{z}$), efetivamente projetando o vetor recebido de volta no subespaço $k$-dimensional. Isso é computacionalmente mínimo.
   • LIGHTSPLIT-L (Aprendido): Emprega uma pequena Rede Neural Perceptron Multicamada (MLP) treinável para mapear a projeção $k$-dimensional de volta para $d$ dimensões. Isso permite que o servidor se adapte à distribuição projetada, compensando a perda de informações, ao custo de parâmetros adicionais no lado do servidor.

3. Regularizador de Compactação Dentro da Classe (WCC):
   Para abordar a limitação de que a projeção aleatória sozinha pode reter sinais residuais específicos de instância, o LightSplit introduz um termo de regularização no lado do cliente.

   • Objetivo: Minimizar a variância intraclasse das representações projetadas $\tilde{z}$.
   • Mecanismo: O cliente calcula a média $\mu_c$ das amostras projetadas para cada classe $c$ e minimiza a distância euclidiana ao quadrado entre as amostras e seu centróide de classe: $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$.
   • Efeito: Isso incentiva que amostras da mesma classe formem clusters compactos, descartando efetivamente variações específicas de instância nas quais os ataques de reconstrução dependem, enquanto preserva a estrutura discriminativa de classes.

Contribuições Principais

1. Privacidade e Eficiência Conjuntas: O LightSplit é o primeiro método a reduzir simultaneamente a carga de dados por amostra (comunicação) e limitar a exposição de informações (privacidade) sem exigir componentes treináveis adicionais no lado do cliente.
2. Gargalo de Informação Irreversível: Ao descartar o complemento ortogonal da projeção, o método cria um mapeamento inverso subdeterminado para o servidor, tornando matematicamente impossível a reconstrução exata da entrada original.
3. Design Leve no Cliente: O cliente realiza apenas uma única multiplicação de matriz com uma matriz fixa, preservando a premissa de baixo custo computacional do Aprendizado Dividido para dispositivos de borda.
4. Preservação de Estrutura ao Nível de Classe: A combinação de projeção JL e regularização WCC desloca a representação de um descritor de instância para um protótipo de classe, aumentando a robustez contra ataques de reconstrução.

Resultados Experimentais

Os autores avaliaram o LightSplit em CIFAR-10, CIFAR-100, Fashion-MNIST e GTSRB sob configurações IID e Non-IID, comparando com transmissão bruta e baselines de compressão aprendida (Learned 1x1).

• Desempenho de Privacidade:

  • O LightSplit degrada significativamente o desempenho de ataques de reconstrução de última geração (SDAR, FORA, UnSplit).
  • Contra o SDAR, as pontuações SSIM caíram até 58,3% (com compressão 32×) em comparação com a transmissão bruta.
  • Contra o FORA, as pontuações LPIPS aumentaram em ~36%, indicando menor similaridade perceptual com a imagem original.
  • Contra o UnSplit, o LightSplit aumentou o Erro Quadrático Médio (MSE) das reconstruções em até 1,27× no MNIST, efetivamente impedindo a recuperação pixel-perfect.
  • O método reduz a capacidade de reconstrução dos ataques em até 7× em comparação com as baselines.

• Utilidade e Eficiência:

  • Retenção de Precisão: O LightSplit retém >95% da precisão da baseline na maioria dos cenários. Por exemplo, no CIFAR-10 com compressão 32×, a precisão cai apenas ~6% (vs. ~13% para algumas baselines).
  • Redução de Comunicação: O método alcança até 32× de redução na dimensionalidade transmitida.
  • Estabilidade: A dinâmica de treinamento permanece estável em diferentes taxas de compressão e escalas de clientes (até 100 clientes).
  • Detecção de Backdoor: O método não interfere nos mecanismos de detecção de backdoor no lado do servidor; clientes maliciosos permanecem identificáveis via assinaturas de similaridade cosseno.

Significado e Alegações

O artigo afirma que o LightSplit aborda uma lacuna crítica no Aprendizado Dividido, onde soluções existentes forçam um trade-off entre privacidade e eficiência. Ao utilizar uma projeção ortogonal fixa e um regularizador redutor de variância, o LightSplit:

• Mitiga Vazamento de Privacidade: Limita as informações disponíveis para um servidor curioso a protótipos ao nível de classe, em vez de instâncias de entrada específicas, elevando efetivamente a dificuldade dos ataques de reconstrução.
• Reduz Sobrecarga: Reduz drasticamente os custos de comunicação sem a sobrecarga de treinamento no lado do cliente associada a codecs aprendidos.
• Mantém Compatibilidade: Integra-se perfeitamente às arquiteturas de Aprendizado Dividido em formato U existentes, sem modificar a estrutura da rede subjacente ou exigir alterações na rede principal do servidor (no modo fixo).

Os autores afirmam explicitamente que o LightSplit não fornece garantias formais de privacidade (por exemplo, Privacidade Diferencial), mas demonstra resistência empírica robusta contra ataques de reconstrução adaptativos e de última geração sob um modelo de ameaça semi-honesta. Eles posicionam o método como uma solução prática e leve para implantar Aprendizado Dividido em ambientes de borda sensíveis à privacidade e com restrições de largura de banda.