SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do

1. 문제 정의 (Problem Statement)

안전성 드리프트 (Safety Drift) 현상
이 논문은 대규모 언어 모델 (LLM) 에이전트에서 발생하는 새로운 형태의 안전성 위협인 **'안전성 드리프트 (Safety Drift)'**를 정의합니다. 이는 개별적으로는 안전해 보이는 행동들이 연속적으로 수행될 때, 전체 시퀀스 (trajectory) 로서는 치명적인 안전 위반 (예: 데이터 유출) 을 초래하는 현상을 말합니다.

• 예시: 에이전트가 기밀 파일을 읽는 것 (안전), 요약하는 것 (안전), 외부로 이메일을 보내는 것 (안전) 은 각각 독립적으로 평가할 때 안전할 수 있습니다. 그러나 이 순서가 결합되면 기밀 데이터가 외부로 유출되는 치명적인 위반이 됩니다.
• 기존 접근법의 한계: 기존 연구들은 에이전트의 행동을 **개별 단계 (per-step)**에서 평가하거나, 위반이 발생한 **사후 (post-hoc)**에 벤치마크를 통해 측정하는 데 그쳤습니다. 이는 단계별 맥락이 안전하지 않더라도, 단계 간의 누적 효과로 인한 위험을 실시간으로 예측하고 개입하지 못하게 합니다.

2. 방법론 (Methodology)

저자들은 에이전트의 안전성 드리프트를 예측하기 위해 **흡수 마르코프 체인 (Absorbing Markov Chain)**을 기반으로 한 예측 프레임워크 SAFETYDRIFT를 제안합니다.

A. 안전성 상태 모델 (Safety State Model)

에이전트의 누적 위험 프로파일을 포착하기 위해 3 차원의 상태 튜플 $s = (d, t, r)$을 정의합니다.

1. 데이터 노출 (Data Exposure, $d$): 에이전트가 접근한 데이터의 최대 민감도 (없음, 공개, 내부, 민감, 자격 증명).
2. 도구 격상 (Tool Escalation, $t$): 에이전트가 사용한 기능의 최대 권한 (읽기 전용, 파일 쓰기, 코드 실행, 네트워크).
3. 가역성 (Reversibility, $r$): 누적 행동의 취소 가능성 (완전 가역, 부분 가역, 불가역).

이 상태는 **단조성 (Monotonicity)**을 가집니다. 즉, 한 번 민감한 데이터를 접근하거나 네트워크 권한을 얻으면, 그 위험 수준은 다시 낮아지지 않습니다. 이 속성은 마르코프 가정 (과거 전체 이력 대신 현재 상태만으로 미래 예측 가능) 을 정당화합니다.

B. 위험 수준 합성 및 마르코프 체인 분석

• 위험 수준 (Risk Level): 위 3 차원 상태를 기반으로 결정론적 규칙을 적용하여 SAFE, MILD, ELEVATED, CRITICAL, VIOLATED 의 5 단계 위험 수준으로 매핑합니다.
• 흡수 상태 (Absorbing State): VIOLATED 상태는 흡수 상태로 정의됩니다. 일단 위반이 발생하면 (예: 데이터 유출) 되돌릴 수 없으므로, 해당 상태에 도달하면 더 이상 다른 상태로 전이되지 않습니다.
• 전이 행렬 추정: 에이전트 실행 트레이스 (trace) 를 기반으로 상태 간 전이 확률을 추정합니다.
• 유한 시간 흡수 분석 (Finite Horizon Absorption): 무한 시간 동안 에이전트를 방치하면 모든 에이전트가 결국 안전 위반을 일으킨다는 점 (흡수 확률 1.0) 을 전제로, 특정 단계 수 (h) 내에 위반에 도달할 확률을 계산합니다. 이를 통해 "어느 시점부터는 더 이상 되돌릴 수 없는 지점 (Point of No Return)"을 식별합니다.

C. 범주 인식 런타임 모니터 (Category-Aware Runtime Monitor)

작업 유형 (예: 연구/커뮤니케이션 vs 시스템 관리) 에 따라 드리프트 패턴이 다르다는 점을 고려하여, 작업 범주별로 별도의 전이 행렬을 학습하고 적용합니다.

• 동작: 에이전트가 행동을 제안할 때마다, 경량 분류기가 안전 상태 변화를 계산하고 해당 범주에 맞는 유한 시간 위반 확률을 조회합니다.
• 개입: 계산된 확률이 임계값을 초과하면, 에이전트 실행을 차단하거나 경고 메시지를 주입하여 위반 발생 전에 개입합니다.

3. 주요 기여 (Key Contributions)

1. 형식적 안전성 상태 모델: 데이터 노출, 도구 격상, 가역성 3 차원을 기반으로 한 결정론적 위험 매핑 함수를 제안했습니다.
2. 실증적 마르코프 분석:
   • 감독이 없는 에이전트는 결국 모두 안전 위반에 도달함을 증명했습니다.
   • **"되돌릴 수 없는 지점 (Points of No Return)"**이 존재하며, 이는 작업 범주에 따라 크게 달라진다는 사실을 발견했습니다.
3. 초고속 경량 모니터: 사전 계산된 흡수 확률을 활용한 런타임 모니터를 구현하여, 기존 LLM 판정자 (Judge) 방식보다 수만 배 빠르면서도 높은 정확도를 달성했습니다.

4. 실험 결과 (Results)

데이터셋: 4 가지 범주 (데이터 처리, 시스템 관리, 연구/커뮤니케이션, 코드 디버깅) 의 40 개 실제 시나리오에서 생성된 357 개의 실행 트레이스 (총 2,947 단계).

주요 발견:

• 범주 의존성:
  • 연구/커뮤니케이션: 'MILD' 또는 'ELEVATED' 상태에 도달하면 5 단계 내 위반 확률이 85% 이상으로 급증합니다 (되돌릴 수 없는 지점 명확).
  • 시스템 관리/코드 디버깅: 모든 상태에서의 위반 확률이 5% 미만으로 매우 낮습니다.
  • 데이터 처리: 점진적인 드리프트가 발생하지만 급격한 전환점은 없습니다.
• 성능 비교 (테스트 세트 기준):
  • SAFETYDRIFT: 위반 탐지율 94.7%, 오경보율 (FPR) 11.8%, 평균 3.7 단계의 사전 경고 제공.
  • 키워드 매칭: 탐지율 44.7%, 오경보율 55.9%.
  • 단계별 LLM 판정자 (LLM Judge): 탐지율 52.6%, 오경보율 38.2%.
  • 속도: SAFETYDRIFT 는 LLM 판정자보다 60,000 배 이상 빠릅니다 (0.001ms 미만 vs 588ms).

결론: 키워드 매칭이나 LLM 기반의 단계별 감시는 드리프트의 누적 효과를 포착하지 못해 성능이 낮았으며, SAFETYDRIFT 는 작업 범주를 고려한 확률적 모델링을 통해 뛰어난 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

1. 실시간 예방 가능성: 안전 위반이 발생한 후 대응하는 것이 아니라, 위반이 발생하기 **전 (3~4 단계 전)**에 높은 확률로 예측하여 개입할 수 있음을 입증했습니다.
2. 작업 유형별 차별화된 보안: 모든 에이전트에 동일한 보안 정책을 적용하는 것은 비효율적임을 보여줍니다. 통신 작업에는 엄격한 모니터링이, 기술 작업에는 덜 엄격한 모니터링이 필요하다는 것을 정량화했습니다.
3. 실용성과 확장성: LLM 을 실시간으로 호출하는 고비용 방식 대신, 수학적 모델 (마르코프 체인) 을 기반으로 한 경량 접근법을 제시하여 실제 배포 환경에서의 확장성을 확보했습니다.
4. 이론적 통찰: "모든 에이전트는 감독 없이 방치되면 결국 안전 위반을 일으킨다"는 결론을 도출하여, 지속적 도구 접근 권한을 가진 에이전트에 대한 **능동적 모니터링 (Active Monitoring)**의 필수성을 강조했습니다.

이 논문은 LLM 에이전트의 안전성을 보장하기 위해, 개별 행동의 안전성 평가에서 행동의 시퀀스와 누적 위험을 예측하는 패러다임 전환을 요구한다는 점에서 중요한 의의를 가집니다.