Resumo Técnico: Green SARC

Declaração do Problema

O centro de custo da inteligência artificial deslocou-se do treinamento de design fixo para trajetórias de inferência estocástica em sistemas de agentes. Diferente das chamadas de API clássicas com custos limitados, os fluxos de trabalho de agentes envolvem sequências dinâmicas de chamadas de modelos, invocações de ferramentas e tentativas de reexecução (retries), fazendo com que o consumo de tokens e os custos financeiros/de carbono associados variem em ordens de magnitude mesmo para tarefas idênticas.

As estratégias de mitigação atuais — auditoria post-hoc e política como código avaliadas paralelamente ao loop do agente — sofrem de um defeito fundamental: elas avaliam restrições depois ou ao lado da execução. Um estouro de orçamento detectado no final do mês não pode "desgastar" tokens; um excesso de carbono registrado em um dashboard não pode "desemitir" carbono. O artigo argumenta que a governança eficaz exige que as restrições sejam aplicadas dentante do loop de execução, prevendo os custos antes que as ações sejam comprometidas.

Metodologia: Arquitetura Green SARC

O Green SARC aplica o framework SARC (governança por arquitetura) ao FinOps e GreenOps. Ele trata as restrições de custo e carbono como objetos de especificação de primeira classe, aplicando-as em quatro locais específicos dentro do loop do agente:

1. Portão Pré-Ação (Pre-Action Gate): A inovação central. Em vez de uma regra estática, este local utiliza uma previsão aprendida e calibrada para prever o custo de tokens e o carbono de uma ação proposta. Ele admite uma ação apenas se a previsão se ajustar ao orçamento restante com um nível de confiança especificado ($1-\delta$).
2. Monitor de Tempo de Ação (Action-Time Monitor): Impõe limites rígidos em contagens de loop e custos marginais (disjuntores/circuit breakers) para interromper loops de tentativa ou replanejamento descontrolados.
3. Auditor Pós-Ação (Post-Action Auditor): Registra os custos previstos versus reais para fornecer uma trilha de auditoria e gerar sinais de treinamento para o estimador.
4. Roteador de Escalação (Escalation Router): Direciona tarefas que esgotam orçamentos ou tetos de carbono para revisão humana ou fallbacks determinísticos.

Fundamentos Teóricos

• Teorema da Bola de Neve de Estado (State Snowball Theorem): O artigo formaliza que loops multi-agentes ingênuos, onde cada etapa reenvia o contexto acumulado completo, incorrem em um custo de prompt cumulativo de $\Theta(n^2)$. O coeficiente principal é $p/2$, onde $p$ é o incremento de tokens por salto (hop).
• Portão Preditivo e Calibração: O portão utiliza um estimador $\hat{f}_\theta$ treinado em resíduos históricos. Para garantir a segurança sem assumir uma distribuição específica de resíduos, o artigo emprega predição de conformal dividida (split-conformal prediction). Isso fornece uma garantia de cobertura marginal de amostra finita e livre de distribuição: a probabilidade de uma violação de orçamento para uma ação admitida é limitada por $\delta$.
• Segurança Válida a Qualquer Momento (Anytime-Valid Safety): Usando a desigualdade de Ville e suposições sub-Gaussianas (ou limites de Bernstein empíricos para dados reais de cauda pesada), o framework fornece um limite uniforme no tempo para o gasto excessivo cumulativo em qualquer prefixo de trajetória.
• Desacoplamento: A arquitetura desacple explicitamente a governança de custo da governança de correção. Um sistema pode ser seguro, mas caro, ou barato, mas inseguro; o Green SARC governa o primeiro de forma independente.

Principais Contribuições

1. Teorema da Bola de Neve de Estado: Uma prova formal e confirmação empírica de que a acreção de contexto sem controle leva ao crescimento quadrático de custos, e que limitar o incremento por salto (via um Nó Adaptador) colapsa isso para um crescimento linear.
2. Portão Preditivo Calibrado: Um portão de tempo de execução que generaliza a contabilidade baseada em regras para previsões aprendidas, oferecendo uma garantia de segurança livre de distribuição via calibração de conformal dividida.
3. Dominância da Fronteira de Pareto: Evidência empírica mostrando que o portão arquitetural domina as abordagens de penalidade suave (Lagrangiana). Enquanto penalidades suaves ajustadas para corresponder a um orçamento em expectativa violam esse orçamento em cerca de 91,5% das sementes (seeds), o portão arquitetural viola em 0% das s seeds enquanto maximiza o trabalho concluído.
4. Validação em Traços Reais: A validação de cobertura em dados reais do ShareGPT (resíduos não Gaussianos) demonstra que os portões Normal-$\sigma$ padrão subcoberturam em níveis de risco estreitos, enquanto a calibração de conformal dividida mantém a cobertura nominal.
5. Implementação Open-Source: Uma biblioteca Python sem dependências (Fase 1) implementando a arquitetura de quatro locais, incluindo um portão Normal-$\sigma$ e um calibrador de conformal dividida opcional.

Resultados Experimentais

Avaliação Sintética (Carga de Trabalho IBP)

• Ablação: Decomposição das economias por alavanca (Escopo, Roteamento, Disjuntor).
  • Escopo (Nó Adaptador): Impulsiona a redução de tokens (~43-55%) ao limitar o crescimento do contexto.
  • Roteamento: Converte economia de tokens em USD e economia de carbono ao alternar para modelos eficientes, sem reduzir adicionalmente a contagem de tokens.
  • Disjuntor (Circuit Breaker): Adiciona economias incrementais de tokens ao terminar loops descontrolados.
• Orçamentos Vinculados: Sob orçamentos apertados (25% da linha de base), o portão admite 90% das etapas com 0% de incidência de estouro de orçamento, enquanto penalidades suaves falham em completar trajetórias sem violar o orçamento.
• Qualidade da Previsão: O estimador aprendido reduz o Erro Médio Absoluto (MAE) de 4.000 tokens (partida a frio) para o nível de ruído (34 tokens) em cerca de 20 observações.

Validação de Traço Real

• ShareGPT (Tráfego de Chat): Conversas reais exibem uma curvatura negativa de prompt cumulativo (côncava), o que significa que a "bola de neve" $\Theta(n^2)$ é um artefato de orquestração ingênua, não algo inerente ao chat. No entanto, o portão Normal-$\sigma$ subcobertura em resíduos reais (assimétricos, de cauda pesada), enquanto o conformal dividido mantém a cobertura nominal.
• BurstGPT (Tráfego de Produção): Em 50.000 requisições reais da Azure OpenAI, a ordem das alavancas (Escopo $\to$ Tokens, Roteamento $\to$ USD/Carbono) se mantém. O disjuntor permaneceu latente (sem tempestades de tentativas), confirmando que é um salvaguarda para cenários de estresse de múltiplos passos.
• SWE-rebench (Agentes de Múltiplos Passos): Em 3.000 planos de agentes resolvendo problemas do GitHub:
  • A Bola de Neve de Estado se mantém: 100% dos planos mostraram curvatura quadrática positiva ($\hat{c}_2 > 0$), com uma mediana de curvatura (216) excedendo a previsão linear (134).
  • O Disjuntor está ativo: Ele disparou em 11,4% das trajetórias, fornecendo a economia marginal de tokens para todo o conjunto.
  • Compromisso Custo-Utilidade: A truncagem agressiva de contexto economiza tokens, mas arrisca a resolução da tarefa. Um limite "seguro" (2$\times$ a mediana) economizou apenas 2,3% dos tokens, enquanto um limite agressivo (0,5$\times$) economizou 55%, mas truncou 100% dos planos na análise de pior caso.

Robustez Adversária

• Padding consciente do escopo: Atacantes podem adicionar preenchimento (padding) aos prompts para ficar logo abaixo do limite para maximizar o trabalho legítimo; o portão admite esses casos (limitação fundamental da governança de prompt limitado).
• Ataques de derrota de previsão: Ataques que inflam a conclusão ou relatam incorretamente os custos do modelo são detectados post-hoc pelo Auditor, que registra discrepâncias e aciona a escalação. A arquitetura depende do loop "prever-agir-registrar-retreinar" em vez de uma rejeição perfeita no momento da admissão.

Significância e Alegações

O artigo afirma que o Green SARC fornece uma mudança arquitetural necessária para a governança de IA de agentes. Sua significância reside em:

1. Mudar do Post-Hoc para o Preditivo: Deslocar o controle de custo da reconciliação para a previsão pré-ação com garantias de segurança calibradas.
2. Restrições Rígidas vs. Penalidades Suaves: Demonstrar que penalidades finitas (relaxação Lagrangiana) não podem substituir restrições de tempo de execução rígidas em ambientes estocásticos; apenas um portão arquitetural pode garantir a adesão ao orçamento.
3. Segurança Livre de Distribuição: Provar que a predição de conformal é essencial para implantações no mundo real onde os resíduos não são Gaussianos, garantindo que a promessa de segurança se mantenha mesmo quando a distribuição dos dados subjacentes muda.
4. Modularidade: O framework é ortogonal à governança de correção (SARC) e pode ser implantado independentemente para gerenciar contas de nuvem e pegadas de carbono sem alterar a lógica central do agente.

Os autores explicitamente observam as limitações: a implementação atual (Fase 1) usa um orçamento de processo único e um portão Normal-$\sigma$ por padrão (com o conformal como opcional). A "Bola de Neve de Estado" é confirmada como um modo de falha de orquestração ingênua, não uma propriedade intrínseca da conversação. O artigo apresenta essas descobertas com modéstia, reconhecendo que a economia de tokens via limitação de escopo é dependente de política e faz um compromisso (trade-off) com a utilidade da tarefa.