Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

Resumo Técnico: Incentivando o Aprendizado Federado Dividido Multi-Locatário para Modelos de Fundação na Borda da Rede

Definição do Problema
Modelos de Fundação (FMs) como GPT-4, BERT e LLaMA requerem um ajuste fino extensivo em dados específicos de domínio para alcançar alto desempenho em tarefas subsequentes. No entanto, dispositivos locais (ex: smartphones, smartwatches) frequentemente carecem de recursos computacionais para lidar com o ajuste fino de parâmetros totais do FM, enquanto preocupações com privacidade impedem que os dados saiam do dispositivo. O Aprendizado Federado Dividido (Split Federated Learning - SFL) aborda isso ao realizar o descarregamento de computações parciais para servidores de borda, permitindo um ajuste fino sinérgico entre dispositivo e borda.

Embora a pesquisa atual em SFL foque em cenários de locatário único, redes de borda práticas hospedam cada vez mais múltiplos locatários de SFL competindo pelo mesmo conjunto de dispositivos locais para suportar diversas tarefas subsequentes (ex: classificação de imagens, análise de sentimento, conversão de fala em texto). Este ambiente multi-locatário introduz três desafios críticos:

1. Participação Independente de Dispositivos: Dispositivos locais autointeressados selecionam tarefas com base em incentivos, causando potencialmente um viés de dados onde tarefas específicas são dominadas por um subconj conjunto de dispositivos.
2. Avaliação de Contribuição de Dispositivos: É difícil prever como o nível de participação de um dispositivo impacta o desempenho final do FM antes que o processo de treinamento seja concluído, dificultando o design de estratégias de incentivo eficazes.
3. Competição Inter-Locatário: Múltiplos locatários competem por dispositivos de alta qualidade, exigindo um mecanismo para equilibrar a participação e garantir um desempenho justo entre todos os locatários.

Os mecanismos de incentivo atuais são amplamente projetados para Aprendizado Federado (FL) de locatário único ou SFL padrão e carecem das estratégias personalizadas necessárias para coordenar dispositivos autointeressados em tarefas de ajuste fino de FM multi-locatário concorrentes.

Metodologia
Os autores propõem o PRINCE (Mecanismo de Incentivo de Preço), um novo framework projetado para guiar múltiplos locatários de SFL na oferta de incentivos de preço estratégicos para solicitar a participação de dispositivos de alta qualidade. A metodologia é construída sobre três componentes principais:

1. Agregação Global de SFL Resiliente ao Viés:
   Para abordar a participação independente de dispositivos, o artigo introduz um esquema de agregação de modelo global não enviesado. Diferente do FedAvg padrão, que assume participação total, este esquema repondera as atualizações de modelo de dispositivos participantes pelo inverso de suas probabilidades de participação ($1/q_{i,j}$). Isso garante que o modelo global de FM permaneça não enviesado em relação ao cenário de participação total de dispositivos, mesmo quando os dispositivos aderem às tarefas probabilisticamente.

2. Limite de Convergência de SFL para Avaliação de Contribuição:
   Para resolver o desafio de avaliar as contribuições dos dispositivos sem completar o treinamento, os autores derivam um limite rigoroso de convergência de SFL. Este limite relaciona analiticamente a perda global esperada do FM aos níveis de participação dos dispositivos ($q_{i,j}$), heterogeneidade de dados locais e magnitudes de gradiente. Este limite teórico serve como um substituto para a perda global esperada, permitindo que os locatários de SFL estimem o impacto de diferentes estratégias de preço no desempenho do FM antes da execução.

3. Modelagem de Jogo de Stackelberg e Congestionamento:
   A interação entre locatários de SFL e dispositivos locais é modelada como um Jogo de Stackelberg de Múltiplos Líderes e Múltiplos Seguidores:

• Líderes (Locatários de SFL): Determinam estratégias de preços ideais ($P_i$) para minimizar sua perda global esperada do FM dentro de um orçamento de pagamento.
• Seguidores (Dispositivos Locais): Respondem selecionando níveis de participação ($q_{i,j}$) para várias tarefas para maximizar sua utilidade (pagamento menos custo de computação).
• Competição Inter-Locatário: A competição entre locatários por dispositivos compartilhados é modelada como um Jogo de Congestionamento. Os locatários ajustam iterativamente suas estratégias de preço para melhorar sua perda global, convergindo para um Equilíbrio de Nash (NE) dentro do jogo de congestionamento, o qual corresponde ao Equilíbrio de Stackelberg (SE) do sistema geral.

Um algoritmo descentralizado é proposto para implementar este jogo, onde locatários e dispositivos atualizam iterativamente as estratégias até que o SE seja alcançado.

Principais Contribuições

• Primeira Exploração de SFL Multi-Locatário para FMs: O artigo é o primeiro a explorar mecanismos de incentivo eficazes para SFL multi-locatário especificamente adaptados para o ajuste fino de Modelos de Fundação através de diversas modalidades de dados (texto, imagens, áudio).
• Design Resiliente ao Viés: Introduz um esquema de agregação global que elimina vieses de modelo causados pela participação independente e probabilística de dispositivos.
• Limite de Convergência Teórica: A derivação de um limite rigoroso de convergência de SFL fornece uma ferramenta analítica para que os locatários avaliem as contribuições dos dispositivos e desenhem estratégias de preço sem conhecimento prévio do desempenho final do modelo.
• Mecanismo PRINCE: O desenvolvimento de um algoritmo de incentivo de preço descentralizado baseado na teoria de jogos de Stackelberg e congestionamento que alcança convergência em tempo finito para um equilíbrio ótimo, equilibrando a competição inter-locatário e os incentivos de dispositivos.

Resultados Experimentais
Os autores avaliaram o PRINCE usando simulações com quatro locatários representativos de SFL (ViT para classificação de imagens, BERT para análise de sentimento, Whisper para conversão de fala em texto e LLaMA para resposta a perguntas) através de 100 dispositivos locais.

• Aceleração de Desempenho: O PRINCE acelerou o ajuste fino de FM em até 3,07x em comparação com abordagens de estado da arte (FedPEFT, FAIR e MSDA).
• Precisão Alvo: O PRINCE atingiu consistentemente as metas de desempenho para todas as tarefas subsequentes. Em contraste, benchmarks como FAIR e MSDA falharam em atingir as precisões alvo para tarefas específicas (ex: Resposta a Perguntas e Conversão de Fala em Texto) dentro de prazos razoáveis.
• Comparação com FL: Comparado ao FL clássico (FedPEFT), o PRINCE alcançou a precisão alvo 31,36% mais rápido em média, destacando a eficiência da sinergia dispositivo-borda no SFL para cargas de trabalho de FM com recursos limitados.
• Robustez: O mecanismo manteve a otimização equilibrada entre locatários e demonstrou convergência em tempo finito (média de 42 iterações), independentemente da escala do sistema.

Significância
O artigo afirma que o PRINCE fornece uma base sólida para a adoção generalizada do SFL em redes de borda para o ajuste fino de Modelos de Fundação. Ao abordar as complexidades específicas de ambientes multi-locatários — especificamente o comportamento independente de dispositivos, avaliação de contribuição e competição inter-locatário — o mecanismo proposto garante que diversas tarefas subsequentes possam ser executadas de forma eficiente e justa, preservando a privacidade dos dados. O trabalho preenche a lacuna entre o design de incentivo teórico e os requisitos práticos de implantar IA de larga escala e preservação de privacidade na borda da rede.