Accelerating Heterogeneous Agent Collaboration in Dynamic Edge Networks

Resumo Técnico: Acelerando a Colaboração de Agentes Heterogêneos em Redes de Borda Dinâmicas

Definição do Problema
A implantação de Grandes Modelos de Linguagem (LLMs) na borda da rede é limitada por seus imensos custos computacionais e de comunicação, enquanto Modelos de Linguagem Pequenos (SLMs) em dispositivos de borda carecem da qualidade de raciocínio necessária para tarefas complexas. Embora a colaboração heterogênea (descarregamento de etapas de SLMs de borda para um servidor LLM) ofereça uma solução teórica, os métodos existentes falham em ambientes dinâmicos realistas devido a três obstáculos primários:

1. Natureza Dinâmica e de Múltiplas Etapas: Tarefas de raciocínio desenrolam-se via geração autorregressiva onde o contexto cresce ao longo do tempo, tornando as decisões passo a passo interdependentes.
2. Acoplamento de Recursos Multiusuário: Chegadas estocásticas de usuários criam competição por concorrência de servidor ($M$) e largura de banda total ($B$) finitas. Uma decisão de descarregamento para um usuário altera os estados de fila e a disponibilidade de largura de banda para todos os outros.
3. Compromisso entre Qualidade e Latência: O descarregamento melhora a precisão, mas incorre em uma "penalidade de atraso tripla" (comunicação, fila e computação do servidor), enquanto a execução local é rápida, mas corre o risco de menor qualidade.

Abordagens existentes ou tomam decisões de roteamento grosseiras ao nível do problema (ignorando a dificuldade variável por etapa) ou utilizam Modelos de Recompensa de Processo (PRMs) online para decisões ao nível da etapa. Estas últimas introduzem um overhead proibitivo de latência e memória em configurações multiusuário, pois os PRMs são tipicamente tão grandes quanto os LLMs que eles guiam.

Metodologia: O Framework PRADA
O artigo propõe o PRADA (aceleração desacoplada em dois estágios auxiliada por PRM), um framework que desacopla o problema de decisão global em dois estágios para lidar com restrições dinâmicas de forma eficiente.

1. Arquitetura Desacoplada:

   • Estágio 1 (Triagem de Borda Descentralizada): Cada usuário de borda executa uma rede de política leve ($\pi_\theta$) para tomar uma decisão binária: manter a etapa de raciocínio atual local ou indicá-la para descarregamento no servidor. Crucialmente, esta decisão é tomada usando apenas o contexto local; nenhum contexto é enviado para a borda para fins de tomada de decisão. Isso reduz o conjunto de candidatos para o servidor em uma ordem de magnitude.
   • Estágio 2 (Escalonamento de Servidor Centralizado): O servidor recebe apenas os candidatos indicados. Ele resolve um problema de otimização com restrição de recursos para atribuir ações finais (execução imediata, enfileiramento ou rejeição) com base na concorrência atual do servidor e largura de banda. Este estágio utiliza um escalonador baseado em Lagrangiano para derivar uma política estruturada por limiares.

2. PRM como Professor Offline:
   Em vez de invocar um PRM pesado online (o que paralisa sistemas multiusuário), o PRADA utiliza o PRM exclusivamente durante o treinamento offline. O PRM atua como um professor para fornecer sinais de recompensa densos, destilando sua avaliação de qualidade de raciocínio "prospectiva" na rede de triagem leve ($\pi_\theta$). No momento da implantação, o PRM nunca é consultado, eliminando sua latência de inferência do caminho crítico.

3. Modelagem Precisa de Latência:
   O framework emprega um modelo de latência unificado que decompõe o atraso em comunicação, fila e computação. O atraso de computação é rigorosamente modelado usando a caracterização de FLOPs da inferência de Transformer (separando as fases de prefill e decode), contabilizando o comprimento do contexto e a contagem de tokens gerados. Isso permite uma otimização consistente do objetivo composto: maximizar a qualidade do raciocínio ($U$) enquanto minimiza a latência de ponta a ponta ($\Delta$), equilibrado por um parâmetro $\beta$.

Principais Contribuições

• Formulação: O artigo fornece a primeira formulação rigorosa da colaboração de agentes heterogêneos em redes de borda dinâmicas como um problema de decisão sequencial restrito (MDP), capturando explicitamente chegadas estocásticas, crescimento de contexto e competição de recursos acoplados.
• Design de Algoritmo: O framework PRADA introduz uma abordagem desacoplada de dois estágios. Ele prova que uma decisão local de permanecer local (baseada em uma recompensa grosseira que ignora fila/comunicação) permanece globalmente ótima mesmo quando essas penalidades são reintroduzidas, justificando a separação da triagem de borda e do escalonamento de servidor.
• Destilação Offline: Demonstra que um PRM pode servir como um supervisor offline para treinar uma política leve, removendo o fardo computacional do PRM do loop online, enquanto preserva sua capacidade de identificar oportunidades de descarregamento de alto valor.
• Insights Estruturais: O trabalho identifica claros efeitos de limiar para a capacidade de processamento paralelo do servidor e largura de banda total. O desempenho satura além de níveis críticos de recursos, após os quais o gargalo do sistema muda (por exemplo, de fila para computação, ou de comunicação para contenção).

Resultados Experimentais
Simulações foram conduzidas utilizando modelos Qwen2.5-Math (SLM de 1.5B e LLM de 7B) através de três benchmarks de raciocínio: gsm8k, gaokao2023en e mmlu_stem.

• Compromisso entre Precisão e Latência: O PRADA retém a maior parte dos ganhos de precisão alcançáveis ao usar sempre o LLM (ex: 90,3% de precisão no gsm8k vs. 85,2% para uso exclusivo de SLM) enquanto reduz substancialmente a latência de ponta a ponta em comparação com estratégias de descarregamento ingênuas.
• Sensibilidade de Recursos:
  • Capacidade do Servidor ($M$): Aumentar $M$ melhora significamente a precisão e reduz o atraso de fila até um ponto crítico (ex: $M \approx 9$), após o qual os ganhos saturam.
  • Largura de Banda ($B$): Um comportamento de limiar semelhante é observado. Abaixo de uma largura de banda crítica, a comunicação domina a latência; acima dela, o gargalo muda para a contenção do servidor e computação.
• Comparação: O PRADA supera as linhas de base como "All-SLM", "All-LLM" e métodos de nível de etapa existentes (ex: RSD) ao alcançar um equilíbrio superior de alta precisão e baixa latência sem o overhead da inferência de PRM online.

Significância e Alegações
O artigo afirma que o PRADA fornece orientação acionável para o provisionamento conjunto de recursos de computação e comunicação. Ao revelar que o desempenho satura além de limiares de recursos específicos, os autores argumentam que os designers de sistemas devem visar um escalonamento coordenado e moderado de recursos, em vez de um superprovisionamento de uma única dimensão. Além disso, a metodologia de usar um modelo professor pesado exclusivamente para supervisão offline para treinar orquestradores online leves é apresentada como um princípio amplamente aplicável para sistemas multiagentes com restrição de recursos, indo além do contexto específico da colaboração LLM/SLM.