ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning

Este artigo propõe o framework ASFL, uma solução adaptativa para Aprendizado Federativo Dividido que otimiza a convergência do modelo e reduz significativamente o atraso e o consumo de energia em redes sem fio através da divisão dinâmica do modelo e da alocação conjunta de recursos, resolvida por um algoritmo de otimização online.

O essencial

Imagine que você e seus amigos estão tentando resolver um quebra-cabeça gigante juntos, mas ninguém pode mostrar a imagem completa do quebra-cabeça para ninguém (para manter o segredo dos dados de cada um). Esse é o conceito de Aprendizado Federado.

No entanto, no mundo real, seus "amigos" são celulares ou sensores com baterias fracas e processadores lentos. Se cada um tentar montar a parte difícil do quebra-cabeça sozinho, vai demorar muito, gastar muita bateria e o processo todo vai travar.

Este artigo apresenta uma solução inteligente chamada ASFL (Split Federated Learning Adaptativo). Vamos usar uma analogia de uma Cozinha Comunitária para explicar como funciona:

1. O Problema: A Cozinha Sobrecarregada

Imagine que você tem uma receita complexa (o modelo de IA).

• O jeito antigo (Federated Learning tradicional): Cada cozinheiro (cliente) tenta cozinhar a receita inteira na sua própria cozinha pequena. O fogão é fraco, a bateria do micro-ondas acaba rápido e demora horas.
• O jeito intermediário (Split Learning): Você corta a receita em duas partes. Você faz o preparo inicial (lavar e cortar) e manda para o restaurante central. O restaurante (servidor) faz o cozimento final. O problema aqui é que os cozinheiros têm que esperar um pelo outro, criando filas e tempo ocioso.

2. A Solução: O ASFL (A Cozinha Inteligente)

O ASFL é como um Gerente de Cozinha Superinteligente que usa o melhor dos dois mundos:

• Divisão Adaptativa (O Corte Mágico): Em vez de cortar a receita no mesmo lugar toda vez, o Gerente olha para a situação.
  • Se o fogão do cliente está fraco hoje, ele manda fazer mais no restaurante (que tem fogões industriais potentes).
  • Se o cliente tem energia sobrando, ele faz mais em casa.
  • O corte da receita muda a cada rodada de treinamento para se adaptar à realidade.
• Trabalho em Paralelo: Ao contrário do jeito antigo onde os cozinheiros esperavam na fila, no ASFL, todos os cozinheiros trabalham ao mesmo tempo em suas partes, e o restaurante trabalha em paralelo também. Ninguém fica parado esperando.
• Gerenciamento de Recursos (O Caminhão de Entrega): O Gerente também decide quem usa qual estrada (canal de rádio) e com que velocidade (potência de transmissão) para enviar os ingredientes (dados) para o restaurante. Se a estrada está cheia ou com buracos (interferência), ele muda a rota ou a velocidade para evitar que o ingrediente chegue estragado.

3. O Desafio: A Tempestade na Estrada

O mundo real é bagunçado. Às vezes, a conexão cai, os dados chegam com erros (como um pacote de farinha molhado).

• O ASFL é projetado para lidar com isso. Ele calcula matematicamente como ajustar o corte da receita e a velocidade de entrega para que, mesmo com erros, o aprendizado continue rápido e não gaste bateria à toa.

4. O Resultado: Mais Rápido e Mais Barato

Os autores testaram essa ideia com dados reais (imagens de carros, animais, etc.) e compararam com 5 outros métodos famosos. Os resultados foram impressionantes:

• Velocidade: O sistema aprendeu até 75% mais rápido do que os outros métodos.
• Economia: Gastou até 80% menos bateria nos celulares dos clientes.
• Precisão: O modelo final ficou tão bom quanto (ou até melhor) que os outros, mesmo com menos recursos.

Resumo em uma frase

O ASFL é como um maestro que, em vez de pedir para cada músico tocar a sinfonia inteira sozinho, divide a música dinamicamente: quem tem um violino fraco toca apenas a melodia simples, enquanto o maestro (servidor) toca a parte complexa, tudo isso ajustando o ritmo em tempo real para que a orquestra termine a música antes que as baterias dos instrumentos acabem.

Em suma: É uma maneira de treinar Inteligência Artificial de forma colaborativa, sem gastar a bateria do seu celular e sem demorar, adaptando-se inteligentemente às limitações de cada dispositivo e da rede.

Resumo técnico

Resumo Técnico: ASFL (Split Federated Learning Adaptativo)

1. Problema e Motivação

O Federated Learning (FL) tradicional permite o treinamento colaborativo de modelos sem compartilhar dados brutos, mas enfrenta desafios significativos em dispositivos com recursos limitados (como smartphones e sensores):

• Custo Computacional e Energético: O treinamento do modelo completo no cliente consome muita energia e gera alta latência.
• Subutilização do Servidor: O servidor central no FL tradicional apenas agrega parâmetros, desperdiçando sua capacidade computacional (ex: GPUs potentes).
• Limitações do Split Learning (SL) e Split Federated Learning (SFL) existentes:
  • O SL sequencial causa "esquecimento catastrófico" e tempos de espera longos.
  • O SFL existente geralmente assume canais sem erros, ignora a adaptação dinâmica do ponto de corte do modelo (onde o modelo é dividido entre cliente e servidor) e não otimiza conjuntamente a alocação de recursos de rede (banda e potência) com a divisão do modelo.
  • A falta de adaptação a condições de canal dinâmicas e erros de pacote degrada o desempenho de aprendizado.

Objetivo: Desenvolver um framework que otimize conjuntamente o desempenho de aprendizado (taxa de convergência) e a eficiência (atraso e consumo de energia) em redes sem fio, permitindo a divisão adaptativa do modelo e a alocação de recursos.

2. Metodologia Proposta: Framework ASFL

O artigo propõe o ASFL (Adaptive Split Federated Learning), um framework que opera em três estágios por rodada de treinamento:

1. Divisão Adaptativa do Modelo:

   • O modelo é dividido dinamicamente a cada rodada de treinamento. O vetor de decisão $\lambda^r$ determina quais camadas pertencem ao cliente e quais ao servidor.
   • Se a divisão mudar em relação à rodada anterior, apenas as camadas do meio (parâmetros do modelo) são transmitidas entre cliente e servidor para sincronização, reduzindo a sobrecarga de comunicação.
   • Garante-se que pelo menos a primeira camada permaneça no cliente para privacidade.

2. Treinamento e Transmissão:

   • Cliente: Realiza a propagação direta (FP) com seus dados locais e envia a saída intermediária para o servidor.
   • Servidor: Realiza a propagação direta (FP) e a retropropagação (BP) com o restante do modelo.
   • Consideração de Erros: O framework modela explicitamente erros de pacote devido ao desvanecimento do canal. Se um pacote de saída intermediária for perdido, o servidor descarta esse dado para aquele cliente naquela rodada, afetando a atualização do modelo.

3. Otimização de Recursos:

   • O sistema otimiza a alocação de Blocos de Recursos (RBs) e a potência de transmissão dos clientes para minimizar o erro e o atraso, considerando as condições do canal em tempo real.

3. Formulação do Problema e Algoritmo

O problema é formulado como uma otimização conjunta para minimizar as discrepâncias de longo prazo do modelo (o que impede a convergência), sujeito a restrições de atraso médio e consumo de energia.

• Desafios: O problema é não convexo, acoplado (decisões de divisão de modelo e recursos interagem) e envolve restrições de longo prazo em um ambiente estocástico (canais variáveis).
• Solução Proposta: OOE-BCD (Online Optimization Enhanced Block Coordinate Descent):
  • O problema é decomposto em três subproblemas resolvidos iterativamente a cada rodada:
    1. Divisão do Modelo: Resolvido usando Otimização Online baseada em Lyapunov. Utiliza filas virtuais para garantir que as restrições de atraso e energia de longo prazo sejam satisfeitas, decidindo onde cortar o modelo sem precisar conhecer o futuro do canal.
    2. Alocação de RBs: Resolvido como um problema de programação inteira (convexo em relação às variáveis fixas), utilizando ferramentas de otimização convexa.
    3. Alocação de Potência: Resolvido através de um algoritmo iterativo que introduz variáveis auxiliares para linearizar as restrições não convexas de atraso e energia.

4. Análise Teórica

• Convergência: Os autores derivaram um limite superior para a taxa de convergência do ASFL sob funções de perda não convexas. A análise mostra que a taxa de convergência depende das discrepâncias do modelo (causadas pela divisão dinâmica e erros de pacote) e que o algoritmo proposto minimiza essas discrepâncias.
• Estabilidade: Foi provado que o algoritmo de otimização online garante que as violações das restrições de atraso e energia sejam limitadas e que o gap de desempenho em relação à solução ótima é limitado.

5. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados CIFAR-10 e CIFAR-100 com modelos VGG-19 e ResNet-50, comparando o ASFL com cinco baselines (FedAvg, SL, SFL, ACC-SFL, EPSL).

• Desempenho de Aprendizado: O ASFL convergiu mais rápido e alcançou maior precisão de teste em comparação com todos os baselines.
• Eficiência (Atraso e Energia):
  • Redução de até 75% no atraso total de treinamento.
  • Redução de até 80% no consumo total de energia.
  • Para atingir uma precisão de 0,5, o ASFL foi significativamente mais eficiente em tempo e energia do que os métodos concorrentes.
• Robustez: O framework demonstrou robustez em cenários com dados não-IID (distribuição heterogênea de dados entre clientes) e em ambientes com erros de pacote reais (usando dados de canal medidos em campo).
• Impacto da Divisão Adaptativa: A sobrecarga introduzida pela troca dinâmica dos pontos de corte do modelo foi pequena (apenas ~20% do atraso total no final do treinamento), justificando o ganho de desempenho.

6. Significado e Contribuições

Este trabalho é significativo por:

1. Integração de Camadas: É uma das primeiras abordagens a integrar a otimização física (canal sem fio, erros de pacote, alocação de recursos) com a otimização de aprendizado de máquina (divisão de modelo, convergência) no contexto de SFL.
2. Adaptabilidade Dinâmica: Diferente de trabalhos anteriores que fixam o ponto de corte do modelo antes do treinamento, o ASFL adapta essa divisão a cada rodada, respondendo às condições do canal e ao estado do aprendizado.
3. Eficiência Prática: Demonstra que é possível reduzir drasticamente o custo de energia e tempo em dispositivos de borda sem sacrificar a precisão do modelo, tornando o SFL viável para aplicações reais em redes sem fio com recursos limitados.
4. Garantias Teóricas: Oferece uma análise de convergência rigorosa e garantias de estabilidade para as restrições de longo prazo, algo raro em trabalhos de otimização de recursos para FL.

Em resumo, o ASFL representa um avanço crucial na viabilidade de Split Federated Learning em redes sem fio reais, equilibrando inteligência artificial e eficiência de comunicação.