🤖 AI

Green SARC: Predictive Cost and Carbon Governance for Agentic AI Systems

이 논문은 예산 초과를 방지하고 토큰, 재무 및 탄소 절감을 달성하기 위해 예측적 비용 및 탄소 제어를 에이전트형 AI 루프에 직접 내장하는 아키텍처 거버넌스 프레임워크인 Green SARC를 소개하며, 이는 사후 실행 모니터링 및 소프트 페널티 방식 대비 우수한 신뢰성을 대조하여 보여준다.

원저자: Gaston Besanson

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gaston Besanson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 열정적이고 숙련된 비서(에이전트 AI)를 고용하여 복잡한 업무를 맡겼다고 상상해 보십시오. 이 비서는 단순히 한 가지 작업만 수행하는 것이 아니라, 업무를 세분화하고, 도구를 사용하며, 다른 비서에게 도움을 요청하고, 일이 끝날 때까지 계속해서 작업을 진행합니다.

문제는 무엇일까요? 이 비서는 예산이나 에너지 제한에 대한 개념이 없습니다. 단순한 문제를 해결하려고 노력하는 과정에서 실수로 당신의 신용카드 한도를 모두 써버리거나, 작은 도시 하나를 가동할 만큼의 전력을 소비할 수도 있습니다.

이 논문은 이러한 재정적, 환경적 폭주를 방지하기 위해 설계된 새로운 "거버넌스 시스템"인 Green SARC를 소개합니다. 일상적인 비유를 통해 이 시스템이 어떻게 작동하는지 설명하겠습니다.

1. 문제점: "스노볼(눈덩이)"과 "대시보드"

현재 기업들은 두 가지 방식으로 AI 비용을 관리합니다:

대시보드: 한 달이 다 지나간 후에 청구서를 확인합니다. 그때는 이미 돈은 다 써버렸고, 탄소는 이미 배출된 후입니다. 이는 마치 신용카드를 이미 한도 초과로 사용한 후에 은행 계좌를 확인하는 것과 같습니다.
소프트 페널티(Soft Penalty): 기업이 AI에게 "가급적 저렴하게 해달라"고 부탁하는 방식입니다. 하지만 AI는 그저 최적화 도구일 뿐입니다. 만약 더 많은 돈을 쓰는 것이 더 나은 결과를 가져온다고 판단하면, AI는 기꺼이 과다 지출을 할 것입니다. 이는 배고픈 사람 앞에 '무한 리필 뷔페'를 차려놓고 "적당히 드세요"라고 말하는 것과 같습니다.

"상태 스노볼(State Snowball)": 논문은 비용이 왜 폭발적으로 증가하는지에 대한 구체적인 이유를 발견했습니다. 만약 AI가 지금까지 수행한 모든 작업 목록(이것을 "컨텍스트"라고 합니다)을 유지하면서 매 메시지에 이를 추가한다면, 메시지는 점점 더 길어집니다.

비유: 편지를 쓴다고 상상해 보십시오. 첫 번째 문단에는 10단어를 씁니다. 두 번째 문단에서는 첫 번째 문단을 그대로 복사하고 10단어를 더 추가합니다. 세 번째 문단에서는 앞선 두 문단을 모두 복사하고 다시 10단어를 더합니다. 20번째 문단에 이르면, 단지 "안녕"이라고 말하기 위해 수천 단어를 복사하게 됩니다.
논문은 이것이 비용을 **이차 함수적(quadratically)**으로, 즉 기하급수적으로 빠르게 증가시킨다는 것을 수학적으로 증명합니다. 실제 데이터에 따르면 이 현상은 수학적 예측보다 훨씬 더 빠르게 발생합니다.

2. 해결책: "프리 액션 게이트(Pre-Action Gate)"

Green SARC는 AI가 어떤 행동을 취하기 직전에 **게이트키퍼(문지기)**를 설치합니다. 이것은 사후에 확인하는 대시보드가 아니라, 문 앞에 서 있는 보안 요원입니다.

작동 방식: AI가 메시지를 보내기 전, 게이트키퍼는 다음과 같이 묻습니다: "이 메시지를 보내면 비용이 얼마나 들까? 남은 예산 안에 들어오는가?"
예측: 게이트키퍼는 단순히 추측하는 것이 아니라, 학습된 예측 모델을 사용합니다. 컨텍스트를 살펴보고 비용을 예측합니다.
안전망: 논문은 **컨포멀 예측(Conformal Prediction)**이라는 통계적 기법을 사용합니다. 이것을 "안전 마진"이라고 생각하십시오. 만약 AI가 비용을 10달러로 예측한다면, 게이트키퍼는 안전을 위해 버퍼(예: 5달러)를 추가합니다. 그리고 15달러가 남은 예산보다 적을 때만 해당 동작을 허용합니다.
결과: 논문은 이 게이트키퍼가 예산을 절대 위반하지 않는다는 것을 보여줍니다(테스트 결과 실패율 0%). 반면, "소프트 페널티"(AI에게 조심하라고 요청하는 것)는 91.5%의 확률로 실패했습니다.

3. 네 가지 "감시 초소"

시스템은 AI를 통제하기 위해 네 가지 특정 체크포인트(SARC라는 프레임워크에서 빌려온 것)를 사용합니다:

프리 액션 게이트 (보안 요원): 비싼 작업이 발생하기 전에 차단합니다.
액션 타임 모니터 (스톱워치): 만약 AI가 루프(같은 실수를 반복하는 것)에 빠지면, 즉시 전원을 차단합니다.
포스트 액션 오디터 (회계사): 작업이 끝난 후, "실제 비용이 예측과 일치하는가?"를 확인합니다. 만약 AI가 거짓말을 했거나 예측이 틀렸다면, 다음번에는 더 잘하도록 이로부터 학습합니다.
에스컬레이션 라우터 (매니저): 예산이 완전히 바닥나면, 해당 작업을 인간이나 더 단순하고 저렴한 시스템으로 넘깁니다.

4. 결과: 실질적인 절감 효과

저자들은 실제 데이터와 합성 시나리오를 통해 테스트를 진행했습니다. 결과는 다음과 같습니다:

막대한 절감: 게이트키퍼와 기타 도구들을 사용하여 비용(돈, 토큰, 탄소)을 47%에서 55%까지 줄였습니다.
"스코프(Scope)" 노브: 가장 큰 절감 요인은 AI가 기억하는 히스토리의 양을 제한하는 것이었습니다(스노볼 현상을 멈추는 것). 이는 AI에게 "하루 전체가 아니라 지난 5분간의 대화만 참고하라"고 말하는 것과 같습니다.
"라우팅(Routing)" 노브: AI가 간단한 작업을 수행해야 할 경우, 시스템은 자동으로 더 저렴하고 작은 모델로 경로를 지정합니다. 어려운 작업이 필요할 때만 비싼 모델을 사용합니다. 이는 사용되는 단어 수를 바꾸지 않고도 비용을 아낍니다.
안전 우선: 이 시스템은 예산이 절대 깨지지 않음을 보장합니다. 이는 "그럴 수도 있다"는 가능성이 아니라, 아키텍처에 의해 강제되는 엄격한 규칙입니다.

5. 이것이 아닌 것 (한계점)

품질을 위한 마법 지팡이가 아닙니다: 논문은 만약 비용을 아끼기 위해 컨텍스트를 너무 공격적으로 자른다면, AI가 실수를 할 수도 있음을 인정합니다. 즉, 시스템은 돈을 아껴주지만, 인간 운영자는 그 절감액을 위해 어느 정도의 품질을 포기할 것인지 결정해야 합니다.
단순히 "친환경"만을 위한 것이 아닙니다: 탄소를 추적하긴 하지만, 주요 동력은 재무적 관리(FinOps)입니다. 여기서 돈을 아끼는 것과 탄소를 줄이는 것은 서로 맞물려 돌아갑니다.
속임수에 완벽하지는 않습니다: 만약 AI가 어떤 작업이 저렴하다고 믿도록 속임을 당한다면(적대적 공격), 게이트키퍼는 이를 통과시킬 수도 있습니다. 하지만 "오디터(Auditor)"가 사후에 이 실수를 포착하여 기록하므로, 시스템은 다음에 속지 않도록 학습하게 됩니다.

요약

Green SARC는 AI 에이전트를 관리하는 새로운 방법입니다. 청구서가 도착하기를 기다리거나 AI가 알아서 잘해주길 바라는 대신, 문 앞에 똑똑하고 수학적으로 증명된 보안 요원을 배치합니다. 이 보안 요원은 비용을 예측하고, 안전 버퍼를 더하며, 예산 범위 내에 있을 때만 AI의 행동을 허용합니다. 그 결과, 예산을 절대 초과하지 않으면서도 돈과 탄소를 거의 절반 가까이 아낄 수 있는 시스템을 구축할 수 있습니다.

기술 요약: Green SARC

문제 정의

인공지능의 비용 중심축이 고정된 설계 기반의 학습에서 에이전트 시스템의 확률적 추론 궤적으로 이동했습니다. 경계가 정해진 비용을 갖는 고전적인 API 호출과 달리, 에이전트 워크플로우는 모델 호출, 도구 호출, 재시도(retry)의 동적인 시퀀스를 포함하며, 이로 인해 동일한 작업에 대해서도 토큰 소비량과 그에 따른 재무적/탄소 비용이 수십 배까지 차이가 날 수 있습니다.

현재의 완화 전략—사후 감사(post-hoc auditing) 및 실행 루프와 병행하여 평가되는 정책 기반 코드(policy-as-code)—은 근본적인 결함을 가지고 있습니다. 즉, 제약 조건을 실행 이후 또는 실행 옆에서 평가한다는 점입니다. 월말에 감지된 예산 초과는 이미 사용된 토큰을 "되돌릴" 수 없으며, 대시보드에 기록된 탄소 초과량은 이미 배출된 탄소를 "회수"할 수 없습니다. 본 논문은 효과적인 거버넌스를 위해 제약 조건이 실행 루프 내부에서, 즉 행동이 확정되기 전에 비용을 예측하여 강제되어야 한다고 주장합니다.

방법론: Green SARC 아키텍처

Green SARC는 SARC(아키텍처에 의한 거버넌스) 프레임워크를 FinOps 및 GreenOps에 적용합니다. 이 모델은 비용 및 탄소 제약 조건을 일급 명세 객체(first-class specification objects)로 취급하며, 에이전트 루프 내의 네 가지 특정 지점에서 이를 강제합니다:

Pre-Action Gate (실행 전 게이트): 핵심 혁신 요소입니다. 정적인 규칙 대신, 이 지점은 제안된 행동의 토큰 비용과 탄소를 예측하는 **학습된 교정 예측치(learned, calibrated forecast)**를 사용합니다. 예측치가 지정된 신뢰 수준( $1-\delta$ ) 내에서 남은 예산에 부합하는 경우에만 해당 행동을 허용합니다.
Action-Time Monitor (실행 시 모니터): 무한 재시도나 재계획 루프를 차단하기 위해 루프 횟수 및 한계 비용에 대한 하드 리밋(circuit breakers)을 강제합니다.
Post-Action Auditor (실행 후 감사): 예측값 대비 실제 비용을 기록하여 감사 추적을 제공하고, 추정치를 위한 학습 신호를 생성합니다.
Escalation Router (에스컬레이션 라우터): 예산이나 탄소 상한선을 소진한 작업을 인간의 검토 또는 결정론적 폴백(fallback)으로 전달합니다.

이론적 기초

State Snowball Theorem (상태 스노볼 정리): 본 논문은 각 단계마다 전체 누적 컨텍스트를 다시 제출하는 나이브한 멀티 에이전트 루프가 $\Theta(n^2)$ 의 누적 프롬프트 비용을 발생시킨다는 것을 정형화합니다. 선행 계수는 $p/2$ 이며, 여기서 $p$ 는 호프(hop)당 토큰 증가량입니다.
Predictive Gate & Calibration (예측 게이트 및 교정): 게이트는 과거 잔차(historical residuals)를 통해 학습된 추정기 $\hat{f}_\theta$ 를 사용합니다. 특정 잔차 분포를 가정하지 않고도 안전성을 보장하기 위해, 본 논문은 **분할 컨포멀 예측(split-conformal prediction)**을 채택합니다. 이는 분포를 가정하지 않는 유한 샘플 주변 피복(marginal coverage) 보장을 제공하며, 허용된 행동에 대한 예산 위반 확률은 $\delta$ 로 제한됩니다.
Anytime-Valid Safety (상시 유효 안전성): Ville의 부등식과 서브 가우시안(sub-Gaussian) 가정(또는 헤비 테일 데이터를 위한 경험적-Bernstein 부등식)을 사용하여, 임의의 궤적 접두사에 대해 누적 초과 지출에 대한 시간-균등 경계(time-uniform bound)를 제공합니다.
Decoupling (디커플링): 이 아키텍처는 비용 거버넌스와 정확성 거버넌스를 명시적으로 분리합니다. 시스템은 안전하지만 비쌀 수 있고, 저렴하지만 부정확할 수 있으며, Green SARC는 전자를 독립적으로 관리합니다.

주요 기여

State-Snowball Theorem: 무제한적인 컨텍스트 축적이 이차 함수적 비용 성장을 초래한다는 공식적인 증명과 경험적 확인을 제공하며, 어댑터 노드(Adapter Node)를 통해 호프당 증가량을 제한함으로써 이를 선형 성장으로 축소할 수 있음을 보여줍니다.
Calibrated Predictive Gate: 규칙 기반 회계를 학습된 예측으로 일반화하여, 분할 컨포멀 교정을 통한 분포 불변(distribution-free) 안전 보장을 제공하는 런타임 게이트를 구현합니다.
Pareto Frontier Dominance (파레토 프런티어 우위): 아키텍처 게이트가 소프트 페널티(Lagrangian) 접근 방식보다 우월함을 입증하는 경험적 증거를 제시합니다. 예산 기대치에 맞추도록 튜닝된 소프트 페널티는 약 91.5%의 시드에서 예산을 위반하는 반면, 아키텍처 게이트는 완료된 작업을 최대화하면서도 위반율 0%를 달 기록했습니다.
Real-Trace Validation (실제 트레이스 검증): 실제 ShareGPT 데이터(비가우시안 잔차)에 대한 커버리지 검증을 통해, 표준 Normal- $\sigma$ 게이트는 엄격한 리스크 수준에서 커버리지가 미달되는 반면, 분할 컨포멀 교정은 명목상의 커버리지를 유지함을 보여줍니다.
Open-Source Implementation: 네 가지 지점 아키텍처(Normal- $\sigma$ 게이트 및 옵트인 분할 컨포멀 교정 포함)를 구현한 의존성 없는 파이썬 라이브러리(Phase 1)를 제공합니다.

실험 결과

합성 평가 (IBP 워크로드)

Ablation (절제 연구): 레버(Scope, Routing, Circuit Breaker)별 절감 효과 분석.
- Scope (Adapter Node): 컨텍스트 성장을 제한함으로써 토큰 감소(~43-55%)를 유도합니다.
- Routing: 토큰 수를 더 줄이지 않고도 효율적인 모델로 전환하여 토큰 절감을 USD 및 탄소 절감으로 전환합니다.
- Circuit Breaker: 폭주하는 루프를 종료함으로써 추가적인 토큰 절감을 제공합니다.
Binding Budgets (제한된 예산): 타이트한 예산(베이스라인의 25%) 하에서, 게이트는 90%의 단계를 허용하면서도 **예산 초과 발생률 0%**를 달성했습니다. 반면 소프트 페널티는 예산을 위반하지 않고 궤적을 완료하는 데 실패했습니다.
Forecast Quality (예측 품질): 학습된 추정기는 MAE(평균 절대 오차)를 콜드 스타트 시의 ~~4,000 토큰에서 약 20번의 관측 내에 노이즈 플로어(~~34 토큰)까지 감소시킵니다.

Real-Trace Validation (실제 트레이스 검증)

ShareGPT (채팅 트래픽): 실제 대화는 음의 누적 프롬프트 곡률(오목함)을 보입니다. 즉, $\Theta(n^2)$ 스노볼은 대화 자체의 고유 특성이 아니라 나이브한 오케스트레이션의 산물입니다. 그러나 Normal- $\sigma$ 게이트는 실제 잔차(왜곡되고 헤비 테일인 데이터)에서 커버리지가 부족한 반면, **분할 컨포멀(split-conformal)**은 명목 커버리지를 유지합니다.
BurstGPT (프로덕션 트래픽): 50,000개의 실제 Azure OpenAI 요청에 대해, 레버 순서(Scope $\to$ Tokens, Routing $\to$ USD/Carbon)가 유효함을 확인했습니다. 서킷 브레이커는 작동하지 않았으며(재시도 폭풍 없음), 이는 다단계 스트레스 시나리오를 위한 안전장치임을 확인시켜 줍니다.
SWE-rebench (다단계 에이전트): GitHub 이슈를 해결하는 3,000개의 실제 에이전트 플랜에 대한 분석:
- State Snowball 현상 확인: 100%의 플랜이 양의 이차 곡률( $\hat{c}_2 > 0$ )을 보였으며, 중앙값 곡률(216)이 선형 예측(134)을 초과했습니다.
- Circuit Breaker 활성화: 11.4%의 궤적에서 작동하여 전체 스택에 대한 한계 토큰 절감을 제공했습니다.
- 비용-효용 트레이드오프: 공격적인 컨텍스트 절단은 토크를 절약하지만 작업 해결을 저해할 수 있습니다. "안전한" 캡(중앙값의 2배)은 토큰을 2.3%만 절약했지만, "공격적인" 캡(0.5배)은 55%를 절약했으나 최악의 경우 분석에서 100%의 플랜을 중단시켰습니다.

Adversarial Robustness (적대적 강건성)

Scope-aware padding: 공격자가 캡 바로 아래까지 프롬프트를 패딩하여 정당한 작업을 최대화할 수 있습니다(Bounded-prompt 거버넌스의 근본적 한계).
Forecast-defeating attacks: 완료량을 부풀리거나 모델 비용을 허위 보고하는 공격은 **사후(post-hoc)**에 감사자(Auditor)에 의해 포착됩니다. 아키텍처는 완벽한 승인 시점의 거절보다는 "예측-실행-로그-재학습" 루프에 의존합니다.

의의 및 주장

본 논문은 Green SARC가 에이전트 AI 거버넌스를 위한 필수적인 아키텍처적 전환을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

사후 대응에서 예측으로의 전환: 비용 통제를 정산(reconciliation)에서 실행 전 예측과 교정된 안전 보장으로 전환합니다.
하드 제약 vs 소프트 페널티: 확률적 환경에서는 유한한 페널티(Lagrangian relaxation)가 하드 런타임 제약을 대체할 수 없으며, 오직 아키텍처 게이트만이 예산 준수를 보장할 수 있음을 입증합니다.
분포 불변 안전성: 실제 데이터에서 잔차가 비가우시안(non-Gaussian)인 경우 컨포멀 예측이 필수적임을 증명하여, 데이터 분포가 변하더라도 안전성 약속이 유지됨을 보여줍니다.
모듈성: 이 프레임워크는 정확성 거버넌스(SARC)와 직교하며, 에이전트의 핵심 로직을 변경하지 않고도 클라우드 비용과 탄소 발자국을 관리하기 위해 독립적으로 배포될 수 있습니다.

저자들은 현재 구현(Phase 1)이 단일 프로세스 예산을 사용하며 기본적으로 Normal- $\sigma$ 게이트를 사용한다는 점(컨포멀은 옵트인 방식)을 명시하며 한계를 인정합니다. 또한 "State Snowball"은 나이브한 오케스트레이션의 실패 모드이지 대화의 본질적 특성이 아님을 확인했습니다. 본 논문은 토큰 절감이 정책에 따라 달라지며 작업 효용과 트레이드오프 관계에 있음을 인정하며 겸허하게 결과를 제시합니다.