🤖 AI

ProbGuard: Probabilistic Runtime Monitoring for LLM Agent Safety

이 논문은 LLM 에이전트의 확률적 의사결정으로 인한 안전 위험을 사전에 예측하고 개입하기 위해 실행 추적을 기반으로 한 확률적 마르코프 체인을 학습하고 실시간 위험 임계값을 적용하는 프로액티브 런타임 모니터링 프레임워크인 'ProbGuard'를 제안하고, 자율주행 및 가정용 로봇 에이전트 환경에서 안전 사고를 효과적으로 예방하면서도 작업 완료율을 유지하는 것을 입증합니다.

원저자: Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

ProbGuard: AI 비서에게 붙이는 '예측형 안전벨트'

이 논문은 거대 언어 모델 (LLM) 기반의 AI 에이전트가 실수하지 않고 안전하게 일할 수 있도록 도와주는 새로운 시스템, ProbGuard를 소개합니다.

기존의 안전 장치들이 "사고가 나기 직전"이나 "사고가 난 후"에야 경고했다면, ProbGuard 는 **"사고가 날 것 같은 징후를 미리 감지"**하여 미리 막아줍니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "사고가 나기 전에 왜 몰랐지?"

기존의 AI 안전 시스템 (예: AgentSpec) 은 **반응형 (Reactive)**입니다.

비유: 운전 중 앞차가 갑자기 브레이크를 밟아 차가 들이받기 직전이 되거나, 이미 들이받은 후에야 "위험하다!"라고 경보가 울리는 상황입니다.

AI 는 스스로 판단하고 행동하지만, 그 결정 과정이 확률적이고 예측 불가능할 때가 많습니다. 특히 자율주행차나 로봇 청소기처럼 물리적인 위험이 있는 곳에서, AI 가 "아직 멀쩡해"라고 생각하다가 갑자기 위험한 상황에 처할 수 있습니다.

2. 해결책: ProbGuard (확률적 예측 감시자)

ProbGuard 는 예측형 (Proactive) 시스템입니다.

비유: ProbGuard 는 운전자가 차를 몰고 있을 때, 앞으로 30 초 뒤의 상황을 미리 시뮬레이션하는 '초능력의 내비게이션'과 같습니다.
"지금 속도를 유지하면 30 초 뒤에 신호등이 빨간불이 될 확률이 80% 이니, 지금 미리 브레이크를 밟아야 해!"라고 알려주는 것입니다.

3. ProbGuard 가 어떻게 작동할까요? (3 단계)

1 단계: 과거 기록을 분석하여 '행동 지도' 그리기 (학습)

AI 가 과거에 어떤 일을 했는지 (예: "식탁에 있는 우유를 전자레인지에 넣음") 를 기록합니다. 그리고 이 기록들을 바탕으로 **확률 지도 (DTMC)**를 그립니다.

비유: 운전자가 과거에 어떤 길로 갔을 때 사고가 났는지, 안전했는지를 기록해서 **"이 길로 가면 사고 날 확률이 30% 이다"**라는 지도를 만듭니다.

2 단계: 현재 상황을 '기호'로 단순화 (추상화)

AI 가 보는 복잡한 세상의 모든 정보를 다 분석하는 게 아니라, 안전과 관련된 핵심 정보만 뽑아냅니다.

비유: 운전자가 "구름, 나무, 새 소리"까지 다 분석할 필요 없이, **"앞차 거리", "신호등 색상", "속도"**만 보고 판단하는 것처럼요.

3 단계: 미래를 예측하고 경고 (실시간 감시)

AI 가 지금 행동을 하려고 할 때, ProbGuard 는 "지금 이 행동을 하면, 앞으로 30 초 뒤에 사고가 날 확률이 얼마나 될까?"를 계산합니다.

비유: AI 가 "가속을 하려고" 할 때, ProbGuard 가 **"아니야! 가속하면 30 초 뒤에 사고 날 확률이 90% 다! 멈춰!"**라고 미리 경고합니다.

4. 실제 효과: 얼마나 잘할까요?

논문은 두 가지 분야에서 실험했습니다.

자율주행차:
- 교통법규 위반이나 충돌 사고를 최대 38 초 전에 미리 예측했습니다.
- 기존 시스템은 사고가 나기 직전 (0 초) 에야 경고했지만, ProbGuard 는 충분히 미리 경고해서 운전자가 안전하게 대처할 시간을 줍니다.
가정용 로봇 (예: 주방 로봇):
- 로봇이 "포크를 전자레인지에 넣으면 안 돼" 같은 위험한 행동을 하려 할 때, 65% 이상 줄였습니다.
- 중요한 점은, 안전만 챙긴다고 해서 로봇이 일을 못 하는 게 아닙니다. 일 (작업 완료) 을 80% 이상 성공시키면서도 안전을 지켰습니다.

5. 왜 이것이 중요한가요?

기존의 방법은 "규칙을 정해두고 규칙을 어기면 멈춰라"였는데, ProbGuard 는 **"앞으로 어떻게 될지 확률로 계산해서 위험해지기 전에 멈춰라"**입니다.

창의적인 비유:
- 기존 시스템: "불이 나면 소화기를 꺼라" (화재 후 대응).
- ProbGuard: "연기가 피어오르기 시작하면, 불이 날 확률이 높으니 미리 소화기를 준비하고 대피하라" (화재 예방).

요약

ProbGuard는 AI 가 실수하기 전에 **"아, 지금 가면 위험할 것 같아"**라고 미리 알려주는 예측형 안전벨트입니다. 복잡한 수학 공식 대신, 과거 데이터를 바탕으로 미래를 확률적으로 계산하여 AI 가 더 똑똑하고 안전하게 일할 수 있게 도와줍니다.

이 기술은 자율주행차, 가정용 로봇, 그리고 앞으로 등장할 다양한 AI 비서들이 우리 삶에 안전하게 정착하는 데 큰 역할을 할 것입니다.

1. 문제 정의 (Problem Definition)

배경: 대규모 언어 모델 (LLM) 기반 에이전트는 로봇공학, 가상 비서, 웹 자동화 등 다양한 분야에서 자율적으로 작동하고 있습니다.
핵심 문제: LLM 에이전트의 의사결정은 확률적 (stochastic) 성격을 띠며, 실행 중 예측하기 어려운 안전 위험을 초래합니다.
기존 접근법의 한계:
- 기존 런타임 모니터링 프레임워크 (예: AgentSpec, GuardAgent) 는 주로 반응형 (Reactive) 입니다.
- 이들은 안전 규칙 위반이 임박했거나 이미 발생한 시점에 감지하여 대응합니다.
- 장기적 의존성 (Long-horizon dependencies) 을 다루기 어렵습니다. 예를 들어, 자율주행 차량이 충돌 직전이 되어야 경고하는 경우, 개입할 시간이 부족하여 사고를 막기 어렵습니다.
목표: 안전 위반이 발생하기 전에 위험을 예측하고 사전에 개입할 수 있는 적극적 (Proactive) 런타임 모니터링 프레임워크가 필요합니다.

2. 방법론 (Methodology)

ProbGuard 는 에이전트의 실행을 확률적으로 모델링하여 미래의 안전 위반 가능성을 사전에 예측하는 3 단계 파이프라인을 제공합니다.

가. 도메인 특화 추상화 (Domain-specific Abstraction)

에이전트의 복잡한 구체적 상태 (Concrete State) 를 안전과 관련된 핵심 속성만 추출한 기호 상태 (Symbolic State) 로 매핑합니다.
도메인 전문가가 정의한 불리언 예측자 (Boolean Predicates) 집합을 사용하여 상태를 벡터화합니다.
- 예: is_inside(fork, microwave), microwave.status == on 등.
의미적으로 유효하지 않은 상태 조합은 제거하여 상태 공간을 축소합니다.

나. DTMC 기반 행동 모델링 (DTMC Modeling)

수집된 실행 궤적 (Execution Traces) 을 기반으로 이산 시간 마르코프 체인 (Discrete-Time Markov Chain, DTMC) 을 학습합니다.
라플라스 스무딩 (Laplace Smoothing) 을 적용하여 희소하거나 관찰되지 않았지만 유효한 전이에 대해 확률을 부여함으로써 모델의 일반화 능력을 향상시킵니다.
PAC (Probably Approximately Correct) 분석을 도입하여 학습된 모델이 실제 시스템 동역학을 얼마나 정확하게 근사하는지에 대한 통계적 보장을 제공합니다. 즉, 학습된 모델과 실제 모델 간의 편차가 특정 오차 범위 ( $\epsilon$ ) 이내일 확률이 $1-\delta$ 이상임을 보장합니다.

다. 런타임 위험 예측 및 개입 (Runtime Risk Prediction & Intervention)

예측: 실행 중 현재 기호 상태를 기반으로 학습된 DTMC 를 사용하여, 미래에 안전 속성 (CTL 로 정의됨, 예: $AG \neg unsafe$ ) 을 위반할 확률을 계산합니다.
개입: 예측된 위험 확률이 사용자가 정의한 임계값 ( $\theta$ $θ$ ) 을 초과하면, 에이전트에 사전 경고를 보내거나 개입을 수행합니다.
- 개입 방식: 에이전트의 프롬프트에 위험 관련 맥락 (안전 규칙, 예측 근거, 위험 수준) 을 추가하여 에이전트가 스스로 행동을 수정하도록 유도하거나, 실행을 일시 중단합니다.
구현: LangChain 에이전트 프레임워크 및 Apollo 자율주행 플랫폼에 통합되어 있으며, 오픈소스로 제공됩니다.

3. 주요 기여 (Key Contributions)

적극적 확률적 런타임 모니터링 프레임워크: LLM 에이전트의 안전 위반을 DTMC 모델을 통해 확률적으로 예측하고, 임계값 초과 시 사전 개입하는 새로운 패러다임을 제시했습니다.
안전 필수 도메인에서의 실증적 평가: 자율주행 및 물리적 환경 (Embodied Agents) 에서의 실험을 통해, 안전 위반을 사전에 경고하면서도 작업 완료율을 유지함을 입증했습니다.
실용적 구현 및 오픈소스: LangChain 기반의 확장 가능한 런타임 모니터를 구현하고 오픈소스로 공개하여 재현성을 보장했습니다.
통계적 보장: 학습된 모델에 대해 PAC 스타일의 보장을 제공하여, 위험 예측의 신뢰성을 수학적으로 뒷받침했습니다.

4. 실험 결과 (Results)

두 가지 주요 도메인 (자율주행, 물리적 에이전트) 에서 평가되었습니다.

가. 자율주행 (Autonomous Driving)

선제 경고 시간 (Advance Warning Time, AWT): ProbGuard 는 안전 위반 발생 최대 38.66 초 전에 경고를 발생시켰습니다.
성능: 모든 평가 시나리오에서 100% 탐지율을 보였으며, 기존 반응형 방식 (REDriver) 보다 훨씬 일찍 위험을 감지했습니다.
해석 가능성: 확률 기반의 점수 (0~1) 를 제공하여 위험의 정도를 직관적으로 설명할 수 있었습니다.

나. 물리적 에이전트 (Embodied Agents)

**안전성 향상:**unsafe 행동 발생률을 최대 65.37% 감소시켰습니다.
작업 완료율 유지: 안전성을 강화하면서도 80.4% 까지 작업 완료율을 유지했습니다.
- Stop 전략: 위험 감지 시 즉시 중단 (안전성 극대화, 작업 완료율 감소).
- Reflect 전략: 위험 시 프롬프트를 수정하여 재추론 (안전성과 작업 완료율의 균형).
비교: 기존 규칙 기반 프레임워크 (AgentSpec) 대비 LLM 토큰 사용량을 약 12% 절감하고, 수동 규칙 작성 없이 데이터 기반으로 안전 사양을 자동 생성했습니다.
오버헤드: 런타임 오버헤드는 매우 낮았습니다 (물리적 에이전트: 5~30ms, 자율주행: 약 100ms).

5. 의의 및 결론 (Significance)

패러다임 전환: LLM 에이전트 안전 관리가 "위반 후 대응 (Reactive)"에서 "위험 예측 및 사전 예방 (Proactive)"으로 전환될 수 있음을 입증했습니다.
신뢰성 있는 자율성: 확률적 모델링과 통계적 보장을 결합하여, 불확실성이 높은 환경에서도 LLM 에이전트의 신뢰할 수 있는 배포를 가능하게 합니다.
실용성: 낮은 오버헤드와 프레임워크 통합 (LangChain, Apollo) 을 통해 실제 산업 환경에 적용 가능한 솔루션을 제시했습니다.
미래 방향: 추상화 과정의 한계 (마르코프 가정 위반 가능성) 와 런타임 개입으로 인한 모델 - 정책 불일치 문제를 해결하기 위해, 온라인 학습 및 적응형 추상화 기법을 향후 연구 과제로 제시했습니다.

이 논문은 LLM 에이전트가 복잡한 환경에서 안전하게 작동할 수 있도록 하는 핵심 기술인 확률적 런타임 모니터링의 새로운 기준을 제시했다는 점에서 의의가 큽니다.