Resumo Técnico: Roteamento Consciente de Emissões (GAR) para Inferência de LLM

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em escala exige arquiteturas de roteamento que equilibrem qualidade de resposta, latência de cauda e custo computacional em pools de modelos heterogêneos. Embora os frameworks de roteamento existentes otimizem para precisão e latência (frequentemente tratando o custo monetário como secundário), eles ignoram amplamente o impacto ambiental. Esta é uma lacuna crítica porque:

• Variabilidade da Intensidade de Carbono da Rede: A intensidade de carbono varia significativamente (até 10×) entre regiões e períodos devido à disponibilidade de energia renovável e dependências de combustíveis fósseis.
• Heterogeneidade de Modelos: O consumo de energia varia drasticamente com base em escolhas arquitetônicas, escalonamento de parâmetros e padrões de geração de tokens.
• Desalinhamento de Objetivos: Otimizar apenas por custo monetário ou latência pode direcionar sistematicamente o tráfego para períodos de alta carbono ou regiões intensivas em carbono, mesmo quando múltiplos modelos oferecem precisão equivalente.

Sistemas atuais geralmente lidam com emissões de carbono apenas por meio de medição e relatórios post-hoc, carecendo de decisões de roteamento em tempo real, por solicitação, que tratem a minimização de carbono como um objetivo de otimização primário ao lado de garantias formais de nível de serviço.

2. Metodologia: Roteamento Consciente de Emissões (GAR)

O artigo introduz o GAR, um framework de otimização multiobjetivo com restrições projetado para minimizar as emissões de CO2 por solicitação, satisfazendo simultaneamente pisos de precisão explícitos e Objetivos de Nível de Serviço (SLOs) de latência p95.

2.1 Formulação do Problema

Para uma consulta $x$ chegando no tempo $t$, o roteador gerencia um pool de modelos $\mathcal{M}$. Antes da inferência, o sistema gera previsões leves para:

• Correção ($\hat{p}_m$): Probabilidade de uma resposta correta.
• Latência ($\hat{\ell}_{m,p95}$): Tempo de resposta estimado p95.
• Emissões ($\hat{c}_m$): CO2 estimado, calculado como $energy(m, tokens) \times grid\_intensity(t, region)$.

O framework define um conjunto viável $F(x, t)$ contendo todos os modelos que satisfazem o piso de precisão específico do conjunto de dados $\tau_d(x)$ e a meta de latência p95 $L$. Dentro deste conjunto, o roteador seleciona o modelo que minimiza as emissões previstas. Para garantir robustez, margens de segurança são aplicadas às estimativas de carbono e latência.

2.2 Orçamentos de Carbono Rolantes

Para cargas de trabalho de streaming, o GAR mantém uma janela deslizante de emissões realizadas sobre as últimas $W$ solicitações. Isso garante que as emissões médias permaneçam dentro de um orçamento por solicitação $B$, prevenindo o acúmulo de dívida de carbono de longo prazo, ao mesmo tempo que permite flexibilidade de curto prazo.

2.3 Algoritmos e Políticas

O artigo propõe várias estratégias para operacionalizar este framework:

• GAR-PD (Primal-Dual Online): Um algoritmo inspirado em Shalev-Shwartz & Singer (2007) que trata o roteamento consciente de carbono como um problema de Lagrange online. Ele usa uma variável dual $\lambda_t$ (preço sombra) para equilibrar a satisfação de restrições com a otimização ambiental. O objetivo de seleção minimiza uma soma ponderada de perda de qualidade, latência e emissões de carbono, atualizada dinamicamente com base na soma da janela rolante de emissões realizadas.
• GAR-Fixed: Impõe um limite rígido de carbono por solicitação. Se o limite tornar o conjunto viável vazio, ele recua para o modelo de menor carbono disponível.
• GAR-$\epsilon$: Preserva a precisão dentro de uma tolerância $\epsilon$ do melhor desempenho do modelo no conjunto viável, enquanto minimiza o carbono.
• GAR-Target: Define pisos de precisão alvo por conjunto de dados via busca binária para corresponder a níveis de precisão macro desejados, roteando para o modelo de menor carbono que atenda a esses alvos.

2.4 Detalhes de Implementação

O framework depende de estimadores pré-roteamento leves treinados em dados históricos (usando regressão logística para precisão, regressão quantílica para latência e modelos lineares para carbono). Esses preditores rodam em paralelo, completando em menos de 1 milissegundo por consulta, permitindo tomada de decisão em tempo real sem passagens de inferência adicionais.

3. Contribuições Principais

1. Formalização: O artigo formaliza o roteamento consciente de carbono como um problema de otimização multiobjetivo com restrições, fornecendo o primeiro framework principiado para minimização de CO2 por solicitação em serviço de LLM com garantias formais de qualidade.
2. Desenvolvimento de Algoritmos: Desenvolve o GAR-PD, um algoritmo de roteamento primal-dual online prático para orçamentos de carbono rolantes, juntamente com variantes heurísticas (GAR-Fixed, GAR-$\epsilon$, GAR-Target) para cenários de implantação diversos.
3. Otimização Adaptativa: Os autores estabelecem técnicas de otimização de restrições adaptativas que alcançam alta cobertura de viabilidade enquanto limitam a degradação da precisão, permitindo reduções substanciais de emissões sem comprometer a experiência do usuário.
4. Validação Empírica: Experimentos abrangentes em benchmarks padrão de PLN (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) com pools heterogêneos de LLMs (7B–70B) demonstram a eficácia do framework.

4. Resultados Experimentais

A avaliação compara o GAR contra baselines baseadas em regras (Maior/Menor LLM), baselines de otimização de precisão (AccMax) e um limite superior de Oráculo.

• Compensações de Desempenho: O GAR-PD alcança uma precisão macro de 0,737 com 0,712 g de CO2/solicitação.
  • Comparado ao Maior LLM (0,741 de precisão, 2,750 g/solicitação), o GAR-PD reduz as emissões em 74% enquanto mantém precisão comparável.
  • Comparado ao Menor LLM (0,592 de precisão, 0,476 g/solicitação), o GAR-PD melhora a precisão em 15 pontos percentuais para um aumento modesto de carbono.
  • O GAR-PD alcança pelo menos 97% da solução ótima (Oráculo-Viável).
• Estudos de Ablação: A remoção de componentes degrada significativamente o desempenho:
  • Remover o estimador de carbono aumenta as emissões em 152% (1,794 g/solicitação).
  • Remover os portões de viabilidade causa uma queda de 9,5 pontos na precisão e um aumento de 23% no CO2.
  • Remover o estimador de latência faz a latência média saltar 147%, violando os SLOs.
• Optimalidade de Pareto: O GAR-PD ocupa uma posição forte na fronteira de compensação precisão-CO2, rastreando de perto a fronteira de Pareto enquanto permanece prático.

5. Significado e Alegações

O artigo afirma que o GAR fornece uma abordagem prática e teoricamente fundamentada para inferência sustentável de LLM. Ao tratar o carbono como um objetivo de otimização primário, em vez de um pensamento tardio, o framework demonstra que reduções significativas na pegada de carbono da infraestrutura de IA podem ser alcançadas sem sacrificar a qualidade ou a confiabilidade do serviço.

Os autores posicionam este trabalho como pesquisa fundamental. Eles reconhecem explicitamente limitações, observando que sua modelagem de intensidade de carbono depende de dados de rede publicamente disponíveis, que podem ficar defasados em relação às condições em tempo real por várias horas, e que o framework atual exclui considerações de custo financeiro. Trabalhos futuros são propostos para integrar APIs de carbono em tempo real, estender o framework para cenários de tempo de treinamento e investigar a gestão dinâmica de ensembles de modelos.