CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Resumo Técnico: CR2 – Roteamento Controlado por Risco e Consciente de Custo para Inferência de LLM em Dispositivos Móveis e Borda

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Porte (LLMs) migram de nuvens centralizadas para ambientes de borda móvel, o atendimento eficiente exige equilibrar latência, consumo de energia e precisão sob recursos restritos de dispositivo-borda. Embora o roteamento ao nível de consulta entre modelos leves locais e modelos de borda mais robustos ofereça um mecanismo flexível para navegar nesse trade-off, os métodos de roteamento existentes são projetados principalmente para configurações de nuvem centralizada. Essas abordagens anteriores otimizam custos ao nível de token ou trade-offs estáticos entre qualidade e custo, falhando em capturar as sobrecargas dinâmicas de latência e energia inerentes às implantações de borda sem fio.

Existe uma lacuna crítica na estrutura de decisão em dois estágios exigida por sistemas dispositivo-borda:

1. Decisão Local (UE): O equipamento de usuário (UE) deve decidir se executa uma consulta localmente ou a adia para a borda usando apenas informações disponíveis localmente (embedding da consulta e preferência de custo), sem acesso a pontuações de modelos de borda ou estado da borda em tempo real.
2. Decisão de Borda: Apenas consultas adiadas são roteadas entre os modelos de borda disponíveis com base no estado completo do sistema.

Os métodos existentes frequentemente assumem conhecimento global dos estados da borda ou tratam o roteamento como uma seleção única, ignorando o risco de decisão assimétrico: a adiamento desnecessário incorre em latência de comunicação e energia, enquanto a aceitação local falsa irreversivelmente abre mão de melhores modelos de borda, degradando a experiência do usuário. Além disso, os roteadores padrão não controlam explicitamente o risco de aceitação local falsa sob informações parciais.

Metodologia: O Framework CR2
Os autores propõem o CR2, um framework de roteamento dispositivo-borda em dois estágios que decompõe o problema de roteamento em um gate de aceitação local implantável e um seletor de borda consciente de estado.

1. Modelagem de Sistema e Custo:

   • O sistema modela a latência ponta a ponta e o consumo de energia, incorporando condições estocásticas de rede sem fio (ganhos de canal de enlace de subida/descida), cargas de trabalho computacionais (estágios de prefill e decodificação) e perfis de energia de dispositivo/borda.
   • Um custo de implantação é definido como uma soma ponderada de latência e energia normalizadas, em relação a um modelo de referência.
   • O objetivo de roteamento é formulado como maximizar a precisão sujeita a um orçamento de custo de implantação, parametrizado por uma função de utilidade escalarizada $u_m = y_m - \lambda c_m$, onde $\lambda$ é um peso de custo.

2. Arquitetura em Dois Estágios:

   • Estágio 1: Aceitação Local UE (Gate de Margem): Um módulo leve no dispositivo calcula uma "margem de utilidade" para estimar se a execução local é competitiva com a melhor alternativa de borda.
     • Utiliza um encoder de consulta congelado e uma cabeça de pontuação leve.
     • Recebe como entrada o embedding da consulta e o peso de custo especificado pelo operador $\lambda$.
     • Não acessa utilidades de modelos de borda ou estado de tempo de execução $\xi$ antes de tomar a decisão.
   • Estágio 2: Seletor de Utilidade de Borda: Para consultas adiadas, o servidor de borda seleciona o modelo ótimo do pool de borda com base na estimativa completa de utilidade (incorporando o estado de tempo de execução $\xi$).

3. Treinamento e Calibração:

   • Distilação Professor-Aluno: Um seletor "professor" é treinado em dados de informação completa (consulta + estado + rótulos de correção) para estimar a correção do modelo e as margens de utilidade. O gate no dispositivo é treinado para distilar a margem de utilidade induzida pelo professor ($\Delta$) entre a execução local e a de borda.
   • Funções de Perda: O gate é otimizado usando uma combinação de:
     • Perda de Sinal: Alinhando o sinal da margem prevista com a preferência professor (local vs. borda).
     • Perda de Margem: Regredindo a margem prevista em direção à margem contínua do professor (usando perda de Huber).
     • Regularizador de Monotonicidade: Enforçando que a margem prevista seja não decrescente em relação ao peso de custo $\lambda$, refletindo a propriedade estrutural de que pesos de custo mais altos favorecem a execução local.
   • Controle de Risco Conformal (CRC): Para abordar o risco assimétrico de aceitação local falsa, os autores introduzem um procedimento de calibração CRC.
     • Para um nível de risco alvo $\alpha$, o CRC mapeia a pontuação aprendida para um limiar de aceitação calibrado $\tau^*(\lambda; \alpha)$.
     • Isso garante que o risco marginal de aceitação falsa (a probabilidade de aceitar localmente quando um modelo de borda é estritamente melhor) seja limitado por $\alpha$ sob a suposição de trocabilidade entre dados de calibração e teste.

Principais Contribuições

1. Framework Restrito por Implantação: O artigo estabelece um framework de roteamento em dois estágios que respeita explicitamente as restrições de informação da implantação móvel-borda, separando a aceitação local UE da seleção de modelo de borda.
2. Algoritmo CR2: Os autores desenvolvem o CR2, que apresenta:
   • Um gate de margem observável pelo UE que distila margens de utilidade de informação completa em uma pontuação implantável no dispositivo.
   • Um regularizador de monotonicidade para garantir decisões coerentes em diferentes pontos operacionais de peso de custo.
   • Uma regra de calibração CRC por $\lambda$ que fornece controle explícito sobre o risco marginal de aceitação falsa sem exigir pontuações de modelos de borda no UE.
3. Desempenho Empírico: A avaliação em uma tarefa de roteamento derivada de benchmark (usando modelos Qwen e custos de implantação perfilados) demonstra que o CR2 alcança a melhor fronteira de Pareto de precisão-custo implantável. Reduz o custo de implantação normalizado em até 16,9% em precisão correspondida em comparação com bases fortes ao nível de consulta (KNN, MLP, EmbedLLM, LLM-Rank).

Resultados

• Trade-off Precisão-Custo: O CR2 supera consistentemente as bases no plano precisão-custo. Em regiões operacionais ampliadas, forma a fronteira mais forte entre métodos implantáveis.
• Redução de Custo: Em níveis fixos de precisão (por exemplo, 0,81 e 0,82), o CR2 reduz o custo de implantação normalizado em 16,9% e 16,2%, respectivamente, em comparação com o KNN.
• Controle de Risco: Os limiares calibrados pelo CRC controlam com sucesso a taxa marginal de aceitação falsa empírica, mantendo-a dentro dos limites especificados (por exemplo, $\alpha=0,01$) enquanto mantém precisão competitiva.
• Eficiência: O gate de margem no dispositivo é computacionalmente leve (aprox. 105k parâmetros, 207k FLOPs), significativamente menor que referências de informação completa ou outros roteadores paramétricos como o LLM-Rank.
• Decomposição de Erro: A análise mostra que a lacuna de desempenho restante entre o CR2 implantável e o oráculo de informação completa é impulsionada principalmente por "adiamentos falsos" (super-escalada) em custos mais baixos, enquanto a aceitação local falsa permanece baixa (<1,5%).

Significado e Alegações
O artigo alega que o CR2 preenche a lacuna entre o roteamento ao nível de consulta e o atendimento de LLM na borda ao formular a seleção de modelos sob uma implantação dispositivo-borda em dois estágios. Seu significado reside em:

• Desacoplamento: Desacoplar com sucesso a decisão local (que deve ser tomada com informações parciais) da decisão de borda (que possui informações completas).
• Controle de Risco: Fornecer um mecanismo rigoroso e livre de distribuição (via CRC) para regular explicitamente o risco de aceitação local falsa, um requisito crítico para inferência de borda confiável onde a sobrecarga de comunicação é custosa.
• Praticidade: Demonstrar que um gate leve baseado em encoder congelado pode aproximar estreitamente um oráculo de informação completa, permitindo roteamento eficiente e consciente de custo em cenários reais de borda sem fio sem exigir coordenação densa entre camadas ou conhecimento de estado global no dispositivo.

Os autores concluem que o CR2 oferece uma solução robusta para inferência colaborativa móvel-borda, equilibrando os trade-offs entre latência, energia e precisão enquanto adere às restrições estritas de informação das implantações de borda sem fio.