Riepilogo Tecnico: Green SARC

Definizione del Problema

Il centro di costo dell'intelligenza artificiale si è spostato dal training a design fisso alle traiettorie di inferenza stocastica nei sistemi agentici. A differenza delle classiche chiamate API con costi limitati, i workflow agentici comportano sequenze dinamiche di chiamate al modello, invocazioni di strumenti e tentativi di riproposizione (retry), causando un consumo di token e i relativi costi finanziari e di carbonio che variano di ordini di grandezza anche per compiti identici.

Le attuali strategie di mitigazione — l'auditing post-hoc e la policy-as-code valutata parallelamente al loop dell'agente — soffrono di un difetto fondamentale: valutano i vincoli dopo o accanto all'esecuzione. Un superamento del budget rilevato a fine mese non può "dis-spendere" i token; un eccesso di emissioni di carbonio registrato su una dashboard non può "dis-emettere" carbonio. Il documento sostiene che una governance efficace richiede che i vincoli siano applicati dentro il loop di esecuzione, prevedendo i costi prima che le azioni vengano confermate.

Metodologia: Architettura Green SARC

Green SARC applica il framework SARC (governance-by-architecture) alla FinOps e alla GreenOps. Tratta i vincoli di costo e di carbonio come oggetti di specifica di prima classe, applicandoli attraverso quattro siti specifici all'interno del loop dell'agente:

1. Pre-Action Gate (Cancello di Pre-Azione): L'innovazione principale. Invece di una regola statica, questo sito utilizza una previsione appresa e calibrata per predire il costo dei token e del carbonio di una proposta d'azione. Ammette un'azione solo se la previsione rientra nel budget rimanente con un livello di confidenza specificato ($1-\delta$).
2. Action-Time Monitor (Monitor in Tempo di Azione): Impone limiti rigidi sul numero di iterazioni del loop e sui costi marginali (circuit breakers) per interrompere loop di retry o di ri-pianificazione incontrollati.
3. Post-Action Auditor (Auditor Post-Azione): Registra i costi previsti rispetto a quelli effettivi per fornire una traccia di audit e generare segnali di addestramento per lo stimatore.
4. Escalation Router (Router di Escalation): Instrada i compiti che esauriscono i budget o i limiti di carbonio verso la revisione umana o verso fallback deterministici.

Fondamenti Teorici

• State Snowball Theorem (Teorema della Valanga di Stato): Il documento formalizza che i loop multi-agente ingenui, dove ogni passaggio risottomette l'intero contesto accumulato, incorrono in un costo cumulativo di prompt pari a $\Theta(n^2)$. Il coefficiente principale è $p/2$, dove $p$ è l'incremento di token per salto (per-hop).
• Predictive Gate & Calibration (Cancello Predittivo e Calibrazione): Il cancello utilizza uno stimatore $\hat{f}_\theta$ addestrato sui residui storici. Per garantire la sicurezza senza assumere una specifica distribuzione dei residui, il documento impiega la split-conformal prediction. Questa fornisce una garanzia di copertura marginale a campioni finiti e indipendente dalla distribuzione: la probabilità di un superamento del budget per un'azione ammessa è limitata da $\delta$.
• Anytime-Valid Safety (Sicurezza Valida in Qualsiasi Momento): Utilizzando l'ineguaglianza di Ville e assunzioni sub-gaussiane (o limiti empirici di Bernstein-Bernstein per dati reali a coda pesante), il framework fornisce un limite uniforme nel tempo sul superamento cumulativo della spesa attraverso qualsiasi prefisso di traiettoria.
• Decoupling (Disaccoppiamento): L'architettura disaccoppia esplicitamente la governance dei costi dalla governance della correttezza. Un sistema può essere sicuro ma costoso, o economico ma insicuro; Green SARC governa il primo indipendentemente dal secondo.

Contributi Chiave

1. State-Snowball Theorem: Una prova formale e una conferma empirica che l'accrescimento incontrollato del contesto porta a una crescita quadratica dei costi, e che limitare l'incremento per salto (tramite un Adapter Node) riduce questa crescita a una progressione lineare.
2. Calibrated Predictive Gate (Cancello Predittivo Calibrato): Un cancello a runtime che generalizza la contabilità basata su regole alle previsioni apprese, offrendo una garanzia di sicurezza indipendente dalla distribuzione tramite calibrazione split-conformal.
3. Dominanza della Frontiera di Pareto: Evidenza empirica che mostra come il cancello architettonico domini gli approcci a penalità morbida (Lagrangiana). Mentre le penalità morbide, ottimizzate per corrispondere a un budget in media, violano tale budget in circa il 91,5% dei seed, il cancello architettonico viola il budget nello 0% dei seed massimizzando al contempo il lavoro completato.
4. Validazione su Tracce Reali: La validazione della copertura su dati reali ShareGPT (residui non gaussiani) dimostra che i cancelli Normal-$\sigma$ standard sottostimano la copertura in presenza di code pesanti, mentre la calibrazione split-conformal mantiene la copertura nominale.
5. Implementazione Open-Source: Una libreria Python senza dipendenze (Fase 1) che implementa l'architettura a quattro siti, incluso un gate Normal-$\sigma$ e un calibratore split-conformal opzionale.

Risultati Sperimentali

Valutazione Sintetica (Carico di lavoro IBP)

• Ablation (Analisi per Scomposizione): Decomposizione del risparmio per leva (Scope, Routing, Circuit Breaker).
  • Scope (Adapter Node): Riduce i token (circa 43-55%) limitando la crescita del contesto.
  • Routing: Converte il risparmio di token in USD e carbonio passando a modelli più efficienti, senza ridurre ulteriormente il numero di token.
  • Circuit Breaker: Aggiunge risparmi incrementali di token terminando i loop incontrollati.
• Binding Budgets (Budget Vincolati): Sotto budget stretti (25% del baseline), il cancello ammette il 90% dei passaggi con lo 0% di incidenza di superamento del budget, mentre le penalità morbide non riescono a completare le traiettorie senza violare il budget.
• Qualità della Previsione: Lo stimatore appreso riduce l'Errore Assoluto Medio (MAE) da circa 4.000 token (cold start) al livello del rumore (~34 token) entro circa 20 osservazioni.

Validazione su Tracce Reali

• ShareGPT (Traffico Chat): Le conversazioni reali mostrano una curvatura negativa del prompt cumulativo (concava), il che significa che lo "snowball" $\Theta(n^2)$ è un artefatto di un'orchestrazione ingenua, non una proprietà intrinseca della chat. Tuttavia, il gate Normal-$\sigma$ sottostima la copertura sui residui reali (skewed, heavy-tailed), mentre lo split-conformal mantiene la copertura nominale.
• BurstGPT (Traffico di Produzione): Su 50.000 richieste reali di Azure OpenAI, l'ordine delle leve (Scope $\to$ Tokens, Routing $\to$ USD/Carbonio) è confermato. Il circuit breaker è rimasto inattivo (nessun tempesta di retry), confermando che si tratta di una salvaguardia per scenari di stress multi-step.
• SWE-rebench (Agenti Multi-step): Su 3.000 piani di agenti reali per la risoluzione di problemi GitHub:
  • Lo State Snowball è confermato: il 100% dei piani ha mostrato una curvatura quadratica positiva ($\hat{c}_2 > 0$), con una mediana di curvatura (216) superiore alla previsione lineare (134).
  • Il Circuit Breaker è attivo: è scattato sull'11,4% delle traiettorie, fornendo il risparmio marginale di token per l'intero stack.
  • Tradeoff Costo-Utilità: Il troncamento aggressivo del contesto risparmia token ma rischia la risoluzione del compito. Un limite "sicuro" (2× la mediana) ha risparmiato solo il 2,3% dei token, mentre un limite aggressivo (0,5×) ha risparmiato il 55% ma ha troncato il 100% dei piani nell'analisi del caso peggiore.

Robustezza Adversariale

• Padding consapevole dello Scope: Gli attaccanti possono aggiungere padding ai prompt fino a poco sotto il limite per massimizzare il lavoro legittimo; il cancello ammette questi casi (limitazione fondamentale della governance dei prompt limitati).
• Attacchi per ingannare la previsione: Gli attacchi che gonfiano il completamento o riportano erroneamente i costi del modello sono intercettati post-hoc dall'Auditor, che registra le discrepanze e attiva l'escalation. L'architettura si basa sul ciclo "predici-agisci-registra-riaddestra" piuttosto che sul rifiuto perfetto al momento dell'ammissione.

Significato e Rivendicazioni

Il documento afferma che Green SARC fornisce un cambiamento architettonico necessario per la governance dell'IA agentica. La sua importanza risiede in:

1. Dal Post-Hoc al Predittivo: Spostare il controllo dei costi dalla riconciliazione alla previsione pre-azione con garanzie di sicurezza calibrate.
2. Vincoli Rigidi vs Penalità Morbide: Dimostrare che le penalità finite (rilassamento Lagrangiano) non possono sostituire i vincoli rigidi a runtime in ambienti stocastici; solo un cancello architettonico può garantire l'osservanza del budget.
3. Sicurezza Indipendente dalla Distribuzione: Provare che la conformal prediction è essenziale per il deployment nel mondo reale dove i residui sono non-gaussiani, assicurando che la promessa di sicurezza sia mantenuta anche quando la distribuzione dei dati sottostanti cambia.
4. Modularità: Il framework è ortogonale alla governance della correttezza (SARC) e può essere implementato indipendentemente per gestire i conti cloud e l'impronta di carbonio senza alterare la logica core dell'agente.

Gli autori notano esplicitamente le limitazioni: l'attuale implementazione (Fase 1) utilizza un budget a processo singolo e un gate Normal-$\sigma$ di default (con il conformal come opzione). Lo "State Snowball" è confermato come un modo di fallimento dell'orchestrazione ingenua, non una proprietà intrinseca della conversazione. Il documento presenta queste scoperte con modestia, riconoscendo che il risparmio di token tramite il capping dello scope è dipendente dalle policy e si contrappone all'utilità del compito.