기술 요약: 신뢰할 수 없는 AI 에이전트를 위한 인증된 투기적 실행 (Certified Speculative Execution)

1. 문제 정의

학습된 정책(learned policies)과 동결된 대규모 언어 모델(LLMs)을 포함한 현대적 AI 시스템은 낮은 계산 비용으로 결정 시퀀스(초안, drafts)를 생성할 수 있습니다. 그러나 이러한 "신뢰할 수 없는(untrusted)" 에이전트를 하드 제약 조건이 있는 순차적 의사결정 시스템(예: 에너지 관리, 발전 계획/unit commitment)에 배포하는 것은 근본적인 딜레마를 제시합니다:

• 직접 실행 (Direct Execution): AI 초안에 따라 직접 행동하는 것은 안전 보장을 포기하는 것입니다. 예를 들어, 동결된 12B 파라미터 LLM은 배터리 관리 작업에서 에피소드의 98%에서 제약 조건을 위반하는 행동을 제안했습니다.
• 단계별 위임 (Stepwise Delegation): 매 단계마다 신뢰할 수 있는 고비용 솔버(예: LP/MILP 최적화 도구)를 호출하는 것은 안전을 보장하지만, 솔버가 크리티컬 패스(critical path)에 머물게 되어 AI가 제공하는 속도와 효율성을 상실하게 됩니다.

LLM의 투기적 디코딩(speculative decoding)과 같은 기존 방식은 확률 분포에 대해 토큰을 검증하지만, 제어 환경에서의 **하드 피지빌리티 제약(hard feasibility constraints)**이나 의사결정 품질(후회, regret) 문제는 해결하지 못합니다. 따라서 속도를 위해 신뢰할 수 없는 AI 초안을 활용하면서도 엄격한 안전성과 감사 가능한 성능 보장을 유지할 수 있는 계층이 필요합니다.

2. 방법론: 인증된 프리픽스 수용 (Certificate-Gated Prefix Acceptance, CGPA)

본 논문은 안전성, 후회, 속도를 분리하도록 설계된 인증된 투기적 실행 계약인 **인증된 프리픽스 수용(CGPA)**을 제안합니다. 이 시스템은 얇은 신뢰 코어(trusted core)와 신뢰할 수 없는 제안 소스(untrusted proposal source)로 구성됩니다.

2.1 시스템 아키텍처

CGPA 컨트롤러는 튜플 $(D, \text{Verify}, \hat{V}, \pi_F)$로 정의됩니다:

1. 신뢰할 수 없는 제안 소스 ($D$): 규칙 기반, 학습 기반 또는 LLM 기반 에이전트가 될 수 있습니다. 이는 길이 $K$의 행동 프리픽스 $u_{0:K-1}$를 제안합니다.
2. 신뢰할 수 있는 검증기 (Trusted Verifier): 제안된 프리픽스를 시스템 역학 및 하드 제약 조건에 대해 시뮬레이션합니다. 피지빌리티를 위반하는 모든 전이를 거부합니다.
3. 신뢰할 수 있는 가치 경계 ($\hat{V}$): 미래 비용(cost-to-go)을 추정하는 경량화된 학습 가치 함수(예: 5분위수 MLP)입니다. 이는 제안된 프리픽스가 안전할 뿐만 아니라 경제적으로도 타당한지 확인하는 "가치 가드(value guard)" 역할을 합니다.
4. 신뢰할 수 있는 오라클 ($\pi_F$): 제안이 거부되었을 때 안전한 복구 행동을 제공하는 폴백 솔버(예: MILP)입니다.

2.2 수용/보류 메커니즘 (Accept/Defer Mechanism)

각 상태 $s_t$에서 시스템은 다음 로직을 실행합니다:

• 소스 $D$가 $K$개의 행동을 제안합니다.
• 검증기가 피지빌리티를 확인합니다. 만약 어떤 단계라도 안전하지 않다면, 프리픽스는 마지막 안전한 상태까지 잘립니다(truncated).
• 가치 가드는 다음 조건을 만족하는 가장 긴 검증된 안전 프리픽스 $k$를 선택합니다:
  $$g(s_t, u_{0:k-1}) + \hat{V}(s_{t+k}) \leq \hat{V}(s_t) + \tau |\hat{V}(s_t)|$$
  여기서 $g$는 실현된 프리픽스 비용이며, $\tau$는 허용 오차 파라미터입니다.
• 확정 (Commitment): 만약 $k > 0$이면, 시스템은 전체 $k$-단계 프리픽스를 확정합니다. 만약 $k=0$이면, 단일 단계를 위해 오라클에 위임(defer)합니다.

2.3 이론적 보장

본 논문은 제안 소스 $D$와 무관하게 CGPA가 두 가지 구조적 불변성을 제공함을 입증합니다:

1. 적용된 안전성 (Proposition 1): 실행되는 모든 전이는 피지블(feasible)합니다. 안전성은 제안 소스가 아닌 신뢰할 수 있는 검증기와 오라클에 의존합니다.
2. 후회 인증서 (Certificate 2): 시스템은 단계별 오라클 대비 초과 비용(후회)을 제한합니다. 후회 경계는 다음과 같습니다:
   $$J_{CGPA} - J_F \leq \sum_{i \in A} \tau_i |V(s_i)| + (2 + \tau_{\max})\epsilon |A| + \sum_{j \in R} \rho_j$$
   결정적으로, 경계 오차 $\epsilon$은 단계당 한 번이 아니라 수용된 세그먼트당 한 번 부과됩니다. 이를 통해 시스템은 여러 단계에 걸쳐 비싼 오라클의 비용을 분할 상환(amortize)할 수 있습니다.

2.4 컨포멀 캘리브레이션 (Conformal Calibration)

학습된 가치 경계 $\hat{V}$의 불확실성을 처리하기 위해, 저자들은 **스플릿 컨포멀 캘리브레이션(split-conformal calibration)**을 사용합니다. 이들은 중앙 밴드와 꼬리 레벨을 출력하는 분위수 회귀 모델을 학습시킵니다. 오차 경계 $\epsilon(s)$는 이 분위수들($\hat{V}_{0.9} - \hat{V}_{0.1}$)의 확산으로부터 유도되며 홀드아웃 데이터에서 캘리브레이션됩니다. 이는 분포 변화(distribution shift)가 발생하는 상황에서도 후회 인증서가 높은 확률(예: 95% 신뢰 수준)로 유지되도록 보장합니다.

3. 주요 기여

1. 인증된 투기적 실행 계약: CGPA는 하드 제약 조건이 있는 제어에 투기적 실행 원칙을 적용하여 "지능"(신뢰할 수 없는 소스)과 "보장"(신뢰할 수 있는 코어)을 분리한 최초의 프레임워크입니다.
2. 구조적 분리: 본 논문은 안전성과 후회를 분리할 수 있음을 증명합니다. 안전성은 검증기가 소유하며, 후회는 학습 가능하고 캘리브레이션된 가치 경계에 의해 관리됩니다.
3. 제어를 위한 컨포멀 캘리브레이션: 가치 경계에 컨포멀 예측을 통합함으로써, 단순한 가정이 아닌 측정된 오차 경계 $\epsilon$을 제공하여 전방향적인 후회 보장을 가능하게 합니다.
4. 적대적 소스에 대한 강건성: 이 프레임워크는 안전을 해치지 않으면서 임의의 제안 소스(적대적 에이전트 및 이질적인 LLM 포함)를 처리할 수 있도록 설계되었습니다.

4. 실험 결과

저자들은 EMS(배터리 에너지 관리), CityLearn(HVAC), UC(발전 계획)의 세 가지 도메인에서 CGPA를 평가했습니다.

4.1 안전성 및 제로 위반

• 적대적 및 LLM 소스: 적대적 드래프터와 6개의 이질적인 동결 LLM(Gemma-4-12B 포함, 직접 롤아웃 시 제약 위반율 98%)을 대상으로 테스트했을 때, CGPA는 **제로 적용 위반(zero applied violations)**을 달성했습니다.
• 화이트박스 적대자: 검증기 및 역학에 대한 완전한 지식을 가진 화이트박스 적응형 적대자를 상대로도, CGPA는 오라클로 위임함으로써 (감소된 호출 횟수로 흡수됨으로써) 제로 위반을 유지하며 안전 위반 대신 아마티제이션 감소를 나타냈습니다.

4.2 후회 감소

• 학습된 경계: 학습된 경계를 사용하면 Unguarded Acceptance(예: EMS에서 0.445)에 비해 평균 후회를 3개 차수(orders of magnitude) 줄일 수 있었습니다(0.0002로 감소).
• 오라클 근접성: CGPA의 평균 후회는 단계별 오라클의 샘플링 노이즈 범위 내에 있었으며(95% CI가 0을 포함), 비싼 솔버 호출을 대부분 건너뛰면서도 오라클의 성능을 효과적으로 따라잡았습니다.
• 분포 변화: 캘린더 변화(CityLearn) 상황에서, 학습된 제안 소스는 18일 중 15일 동안 단계별 오라클보다 우수한 성능을 보였으며, 이는 시스템이 우수한 신뢰할 수 없는 소스를 활용하여 베이스라인을 능가할 수 있음을 보여줍니다.

4.3 속도 및 아마티제이션

• 벽시계 시간(Wall-Clock) 가속: 배포 규모의 Unit Commitment 인스로(48-step horizon, MILP 오라클)에서, 동결된 Qwen3-8B LLM을 사용한 CGPA는 2.96배의 에피소드당 벽시계 가속을 달면서 2.1%의 후개를 달성했습니다.
• 비교: 이는 도메인 휴리스틱(1.79배)과 안전한 재귀적 수평선(safe receding-horizon) 베이스라인(1.07배)보다 뛰어난 성능입니다.
• 확장성: 가속도는 오라클 비용에 따라 확장됩니다. 호출당 오라클 비용이 증가함에 따라 CGPA의 가속도는 최대 2.67배까지 성장한 반면, 이벤트 트리거 및 무브 블로킹(move-blocking) 컨트롤러는 1.0배 근처에 머물렀습니다.

5. 의의 및 주장

본 논문은 CGPA가 신뢰할 수 없는 AI를 안전 필수 시스템에 배포하기 위한 일반화 가능하고 인증된 계층을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 신뢰할 수 없는 AI의 활용 가능성: 강력하고 이질적이며 잠재적으로 결함이 있는 AI 모델(LLM 포함)을 하드 안전 보장을 희생하지 않고 사용할 수 있게 합니다.
• 타협 없는 성능: 단계별 솔버 호출을 건너뛰면서도 최적의 솔버와 유사한 후회 수준을 유지하며 속도 향상을 달상합니다.
• 강건성: 보장은 구조적이며 제안 소스의 품질에 의epend하지 않습니다. 시스템은 실패하는 대신 (오라클을 더 자주 호출함으로써) 우아하게 성능이 저하됩니다.
• 실제 배포: 실제 규모의 문제(Unit Commitment)에서 검증되었으며, "신뢰할 수 없는 소스가 더 유능할수록, 인증된 시스템이 더 빨라진다"는 것을 보여줍니다 (단, 안전 코어가 유지되는 한).

저자들은 안전은 절대 신뢰할 수 없는 소스에 묻지 않으며, 후회는 측정 가능하고 컨포멀하게 캘리브레이션된 인증서에 의해 제한된다는 점을 강조하며, 이것이 인증된(certified) 접근 방식임을 명시합니다.