🤖 AI

Green SARC: Predictive Cost and Carbon Governance for Agentic AI Systems

Het artikel introduceert Green SARC, een architecturaal governance-framework dat voorspellende kosten- en koolstofcontroles direct in agentic AI-loops inbedt om budgetoverschrijdingen te voorkomen en aanzienlijke besparingen op tokens, financiën en koolstof te realiseren, waarbij de superieure betrouwbaarheid ervan wordt afgezet tegen monitoring achteraf en methoden met zachte sancties.

Oorspronkelijke auteurs: Gaston Besanson

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaston Besanson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer enthousiaste, hooggeschoolde assistent inhuurt (een "Agentic AI") om een complexe baan te doen voor je. Deze assistent voert niet slechts één taak uit; het breekt de baan op, gebruikt tools, vraagt hulp aan andere assistenten en gaat door totdat de klus geklaard is.

Het probleem? Deze assistent heeft geen concept van een budget of een energielimiet. Het kan per ongeluk je hele creditcardlimiet verbruiken of genoeg elektriciteit gebruiken om een kleine stad van stroom te voorzien, terwijl het probeert een simpel probleem op te lossen.

Dit paper introduceert Green SARC, een nieuw "governance-systeem" ontworpen om deze financiële en milieutechnische ongecontroleerde uitloop te stoppen voordat het gebeurt. Hier is hoe het werkt, uitgelegd aan de hand van alledaagse analogieën.

1. Het Probleem: De "Sneeuwbal" en het "Dashboard"

Momenteel beheren bedrijven AI-kosten op twee manieren:

Het Dashboard: Ze bekijken een factuur nadat de maand voorbij is. Tegen die tijd is het geld al weg en is de koolstof al uitgestoten. Het is alsof je je bankrekening controleert nadat je je creditcard al hebt overschreden.
De Zachte Straf: Ze vertellen de AI: "Probeer alsjeblieft goedkoop te zijn." Maar de AI is slechts een optimizer; als de AI denkt dat meer geld uitgeven een beter resultaat oplevert, zal het met plezier overbesteden. Het is alsof je een hongerig persoon vertelt om "matig te eten" terwijl diegene voor een all-you-can-eat buffet staat.

De "State Snowball": Het paper ontdekte een specifieke reden waarom kosten exploderen. Als een AI een lopende lijst bijhoudt van alles wat het tot nu toe heeft gedaan (de "context") en dit aan elk nieuw bericht toevoegt, wordt het bericht steeds langer.

Analogie: Stel je voor dat je een brief schrijft. In de eerste paragraaf schrijf je 10 woorden. In de tweede kopieer je de eerste paragraaf en voeg je 10 woorden toe. In de derde kopieer je de eerste twee en voeg je 10 woorden toe. Bij de 20e paragraaf ben je duizenden woorden aan het kopiëren, alleen maar om "Hallo" te zeggen.
Het paper bewijst wiskundig dat dit zorgt voor kosten die kwadratisch (exponentieel snel) groeien. Real-world data laat zien dat dit zelfs sneller gebeurt dan de wiskunde voorspelt.

2. De Oplossing: De "Pre-Action Gate"

Green SARC installeert een Gatekeeper direct vóórdat de AI een actie onderneemt. Dit is geen dashboard; het is een uitsmijter bij de deur.

Hoe het werkt: Voordat de AI een bericht verzendt, vraagt de Gatekeeper: "Als je dit verzendt, hoeveel zal het kosten? Hebben we nog genoeg geld over in het budget?"
De Voorspelling: De Gatekeeper raadt niet; het gebruikt een geleerde voorspelling. Het kijkt naar de context en voorspelt de kosten.
Het Veiligheidsnet: Het paper gebruikt een statistische truc genaamd Conformal Prediction. Zie dit als een "veiligheidsmarge". Als de AI een kost voorspelt van $10, voegt de Gatekeeper een buffer toe (bijv. $5) om veilig te zijn. Het laat de actie alleen door als $15 minder is dan het resterende budget.
Het Resultaat: Het paper laat zien dat deze Gatekeeper het budget nooit laat overschrijden (0% foutpercentage in hun tests), terwijl "zachte straffen" (de AI simpelweg vragen om voorzichtig te zijn) 91,5% van de tijd falen.

3. De Vier "Guard Posts"

Het systeem gebruikt vier specifieke controlepunten (geleend uit een framework genaamd SARC) om de AI in het gareel te houden:

De Pre-Action Gate (De Uitsmijter): Stopt dure acties voordat ze plaatsvinden.
De Action-Time Monitor (De Stopwatch): Als de AI in een loop terechtkomt (steeds dezelfde fout herhaalt), verbreekt dit direct de stroom.
De Post-Action Auditor (De Accountant): Na de actie controleert het: "Viel de kost overeen met onze voorspelling?" Als de AI loog of de voorspelling onjuist was, leert het hiervan om het de volgende keer beter te doen.
De Escalation Router (De Manager): Als het budget volledig leeg is, draagt het de taak over aan een mens of een eenvoudiger, goedkoper systeem.

4. De Resultaten: Enorme Besparingen

De auteurs hebben dit getest op echte wereldgegevens en synthetische scenario's. Dit is wat ze vonden:

Enorme Besparingen: Door de Gatekeeper en de andere tools te gebruiken, hebben ze de kosten (geld, tokens en koolstof) verminderd met 47% tot 55%.
De "Scope" Knop: De grootste bespaarder was simpelweg het beperken van hoeveel geschiedenis de AI onthoudt (het stoppen van de "Snowball"). Dit is als tegen de AI zeggen: "Kijk alleen naar de laatste 5 minuten van het gesprek, niet naar de hele dag."
De "Routing" Knop: Als de AI een simpele taak moet uitvoeren, stuurt het systeem de taak automatisch naar een goedkoper, kleiner model. Als het een moeilijke taak is, wordt het dure model gebruikt. Dit bespaart geld zonder het aantal gebruikte woorden te veranderen.
Veiligheid Eerst: Het systeem garandeert dat het budget nooit wordt overschreden. Het is geen "misschien"; het is een harde regel die door de architectuur wordt afgedwongen.

5. Wat het NIET is

Het is geen wondermiddel voor kwaliteit: Het paper geeft toe dat als je de context te agressief inkort (om geld te besparen), de AI fouten kan maken. Het systeem bespaart geld, maar de menselijke operator moet beslissen hoeveel kwaliteit men bereid is in te ruilen voor die besparing.
Het is niet alleen voor "Groene" doelen: Hoewel het koolstof bijhoudt, is de primaire drijfveer financieel (FinOps). Het besparen van geld en het besparen van koolstof gaan hier hand in hand.
Het is niet perfect tegen leugenaars: Als een AI wordt misleid om te denken dat een taak goedkoop is wanneer deze in werkelijkheid duur is (een adversarial attack), kan de Gatekeeper het doorlaten. De "Auditor" zal deze fout echter achteraf opmerken en registreren, zodat het systeem leert om de volgende keer niet meer bedrogen te worden.

Samenvatting

Green SARC is een nieuwe manier om AI-agents te beheren. In plaats van te wachten tot de rekening binnenkomt of te hopen dat de AI zich gedraagt, plaatst het een slim, wiskundig bewezen uitsmijter bij de deur. Deze uitsmijter voorspelt de kosten, voegt een veiligheidsbuffer toe en laat de AI alleen handelen als het binnen het budget past. Het resultaat is een systeem dat bijna de helft van het geld en de koolstof bespaart, terwijl het garandeert dat je nooit je limiet overschrijdt.

Technische Samenvatting: Green SARC

Probleemstelling

Het kostencentrum van kunstmatige intelligentie is verschoven van vast ontworpen training naar stochastische inferentie-trajecten in agentische systemen. In tegenstelling tot klassieke API-aanroepen met begrensde kosten, bevatten agentische workflows dynamische sequenties van modelaanroepen, tool-invocaties en retries, waardoor het verbruik van tokens en de daarmee gepaard gaande financiële en koolstofkosten met ordes van grootte kunnen varien, zelfs voor identieke taken.

Huidige mitigatiestrategieën—post-hoc auditing en policy-as-code geëvalueerd naast de agent-loop—lijden aan een fundamenteel defect: ze evalueren beperkingen na of naast de uitvoering. Een budgetoverschrijding die aan het einde van de maand wordt gedetecteerd, kan niet "on-spend" tokens terugdraaien; een koolstofoverschrijding die in een dashboard wordt gelogd, kan niet "on-emit" koolstof ongedaan maken. Het artikel betoogt dat effectieve governance vereist dat beperkingen binnen de executie-loop worden afgedwongen, door kosten te voorspellen voordat acties worden gecommitteerd.

Methodologie: Green SARC Architectuur

Green SARC past het SARC-framework (governance-by-architecture) toe op FinOps en GreenOps. Het behandelt kosten- en koolstofbeperkingen als eersteklas specificatie-objecten, die worden afgedwongen over vier specifieke locaties binnen de agent-loop:

Pre-Action Gate: De kerninnovatie. In plaats van een statische regel gebruikt deze locatie een geleerde, gekalibreerde voorspelling om de tokenkosten en koolstof van een voorgestelde actie te voorspellen. Het staat een actie alleen toe als de voorspelling binnen het resterende budget past met een gespecificeerd betrouwbaarheidsniveau ( $1-\delta$ ).
Action-Time Monitor: Handhaaft harde limieten op loop-aantallen en marginale kosten (circuit breakers) om ongecontroleerde retry- of re-plan-loops te stoppen.
Post-Action Auditor: Logt voorspelde versus werkelijke kosten om een audit trail te bieden en trainingssignalen te genereren voor de estimator.
Escalation Router: Routeert taken die budgetten of koolstofplafonds overschrijden naar menselijke beoordeling of deterministische fallbacks.

Theoretische Fundamenten

State Snowball Theorem: Het artikel formaliseert dat naïeve multi-agent loops, waarbij elke stap de volledige geaccumuleerde context opnieuw indient, een cumulatieve promptkosten van $\Theta(n^2)$ veroorzaken. De leidende coëfficiënt is $p/2$ , waarbij $p$ de per-hop token-increment is.
Predictive Gate & Calibration: De gate gebruikt een estimator $\hat{f}_\theta$ getraind op historische residuen. Om veiligheid te garanderen zonder een specifieke residu-distributie te veronderstellen, maakt het papier gebruik van split-conformal prediction. Dit biedt een distributievrije, finite-sample marginal coverage garantie: de kans op een budgetoverschrijding voor een toegelaten actie wordt begrensd door $\delta$ .
Anytime-Valid Safety: Door gebruik te maken van de ongelijkheid van Ville en sub-Gaussiaanse aannames (of empirische-Bernstein bounds voor heavy-tailed real data), biedt het framework een tijd-uniforme grens op cumulatieve overbesteding over elk traject-prefix.
Ontkoppeling: De architectuur ontkoppelt kosten-governance expliciet van correctheid-governance. Een systeem kan veilig maar duur zijn, of goedkoop maar onveilig; Green SARC beheert het eerste onafhankelijk van het tweede.

Belangrijkste Bijdragen

State-Snowball Theorem: Een formeel bewijs en empirische bevestiging dat ongecontroleerde context-accumulatie leidt tot kwadratische kostengroei, en dat het begrenzen van de per-hop increment (via een Adapter Node) dit reduceert tot lineaire groei.
Gekalibreerde Predictive Gate: Een runtime gate die rule-based accounting generaliseert naar geleerde voorspellingen, met een distributievrije veiligheidsgarantie via split-conformal kalibratie.
Pareto Frontier Dominance: Empirisch bewijs dat de architecturale gate de soft-penalty (Lagrangiaanse) benadering domineert. Terwijl soft penalties, getuned om een budget in verwachting te matchen, het budget in ongeveer 91,5% van de seeds overschrijden, overschrijdt de architecturale gate het budget in 0% van de seeds terwijl het voltooide werk wordt gemaximaliseerd.
Real-Trace Validatie: Coverage validatie op echte ShareGPT-data (niet-Gaussiaanse residuen) laat zien dat standaard Normal- $\sigma$ gates onder-coveren bij strikte risiconiveaus, terwijl split-conformal kalibratie de nominale coverage behoudt.
Open-Source Implementatie: Een dependency-vrije Python-bibliotheek (Fase 1) die de vier-site architectuur implementeert, inclusief een Normal- $\sigma$ gate en een opt-in split-conformal calibrator.

Experimentele Resultaten

Synthetische Evaluatie (IBP Workload)

Ablatie: Decompositie van besparingen per hefboom (Scope, Routing, Circuit Breaker).
- Scope (Adapter Node): Drijft token-reductie aan (~43-55%) door contextgroei te begrenzen.
- Routing: Zet token-besparingen om in USD en koolstofbesparingen door over te schakelen naar efficiëntere modellen, zonder de token-aantallen verder te reduceren.
- Circuit Breaker: Voegt incrementele token-besparingen toe door runaway loops te termineren.
Binding Budgets: Onder strikte budgetten (25% van de baseline) laat de gate 90% van de stappen toe met 0% incidentie van over-budget overschrijding, terwijl soft penalties er niet in slagen trajecten te voltooien zonder het budget te schenden.
Forecast Kwaliteit: De geleerde estimator vermindert de Mean Absolute Error (MAE) van ~~4.000 tokens (cold start) naar de noise floor (~~34 tokens) binnen ~20 observaties.

Real-Trace Validatie

ShareGPT (Chatverkeer): Echte conversaties vertonen een negatieve cumulatieve prompt-kromming (concaaf), wat betekent dat de $\Theta(n^2)$ snowball een artefact is van naïeve orchestratie, niet inherent aan chat. Echter, de Normal- $\sigma$ gate onder-covert op echte residuen (scheef, heavy-tailed), terwijl split-conformal de nominale coverage behoudt.
BurstGPT (Productieverkeer): Op 50.000 echte Azure OpenAI-verzoeken houdt de volgorde van de hefbomen (Scope $\to$ Tokens, Routing $\to$ USD/Koolstof) stand. De circuit breaker bleef inactief (geen retry storms), wat bevestigt dat het een safeguard is voor multi-step stressscenario's.
SWE-rebench (Multi-Step Agents): Op 3.000 echte agent-plannen voor het oplossen van GitHub issues:
- De State Snowball houdt stand: 100% van de plannen vertoonde positieve kwadratische kromming ( $\hat{c}_2 > 0$ ), met een mediane kromming (216) die de lineaire voorspelling (134) overtrof.
- De Circuit Breaker is actief: Deze werd geactiveerd bij 11,4% van de trajecten, wat de marginale token-besparingen voor de volledige stack opleverde.
- Kosten-Utiliteit Tradeoff: Agressieve context-truncatie bespaart tokens maar brengt taakresolutie in gevaar. Een "veilige" cap (2 $\times$ mediaan) bespaarde slechts 2,3% van de tokens, terwijl een agressieve cap (0,5 $\times$ ) 55% bespaarde maar 100% van de plannen in de worst-case analyse afbrak.

Adversariële Robuustheid

Scope-aware padding: Aanvallers kunnen prompts opvullen tot net onder de cap om legitiem werk te maximaliseren; de gate staat dit toe (fundamentele beperking van bounded-prompt governance).
Forecast-defeating aanvallen: Aanvallen die voltooiing opblazen of modelkosten foutief rapporteren, worden post-hoc door de Auditor gevangen, die discrepanties logt en escalatie triggert. De architectuur vertrouwt op de "predict-act-log-retrain" loop in plaats van perfecte toelatingsweigering op het moment van actie.

Betekenis en Claims

Het artikel claimt dat Green SARC een noodzakelijke architecturale verschuiving biedt voor de governance van agentische AI. De significantie ligt in:

Van Post-Hoc naar Predictief: Het verschuiven van kostencontrole van reconciliatie naar pre-actie voorspelling met gekalibreerde veiligheidsgaranties.
Hard Constraints vs. Soft Penalties: Het aantonen dat eindige penalties (Lagrangiaanse relaxatie) niet kunnen vervangen door harde runtime-constraints in stochastische omgevingen; alleen een architecturale gate kan budgetnaleving garanderen.
Distributievrije Veiligheid: Bewijzen dat conformal prediction essentieel is voor real-world deployment waar residuen niet-Gaussiaans zijn, wat zorgt dat de veiligheidsbelofte standhoudt zelfs wanneer de onderliggende datadistributie verschuift.
Modulariteit: Het framework is orthogonaal aan correctheid-governance (SARC) en kan onafhankelijk worden ingezet om cloudfacturen en koolstofvoetafdrukken te beheren zonder de kernlogica van de agent te wijzigen.

De auteurs merken expliciet de beperkingen op: de huidige implementatie (Fase 1) gebruikt een single-process budget en een Normal- $\sigma$ gate als standaard (met conformal als opt-in). De "State Snowball" wordt bevestigd als een faalmodus van naïeve orchestratie, niet een intrinsiek kenmerk van conversatie. Het artikel presenteert deze bevindingen met bescheidenheid, waarbij erkend wordt dat token-besparingen door scope capping policy-afhankelijk zijn en afwegen tegen de utiliteit van de taak.