기술 요약: 거절에서 회복으로: 생성형 AI 가드레일을 위한 제어 이론적 접근

문제 제기

현재 생성형 모델, 특히 대규모 언어 모델 (LLM) 에이전트를 위한 AI 가드레일은 주로 레이블이 지정된 데이터셋과 인간이 명시한 기준에 기반한 출력 분류에 의존합니다. 이러한"플래그 및 차단 (flag-and-block)"메커니즘은 새로운 위험 상황에 취약하며, 회복의 경로를 제공하지 못합니다. 안전하지 않은 상태가 감지되면 표준적인 대응은 거절 (출력 차단) 입니다. 그러나 자율 주행이나 전자 상거래와 같이 AI 가 물리적 세계나 복잡한 디지털 환경과 상호작용하는 에이전트 환경에서는 거절 자체가 위험할 수 있습니다. 예를 들어, 고속으로 장애물에 접근하는 자율 주행 차량을 조종하는 것을 AI 에이전트가 거절할 경우, 불작동으로 인해 사고가 발생할 수 있습니다.

저자들은 생성형 AI 안전성이 근본적으로 순차적 의사결정 문제라고 주장합니다. 해로운 결과는 고립된 텍스트 출력에서 비롯되는 것이 아니라, AI 에이전트와 환경 간의 진화하는 상호작용과 그 파생 결과 (예: 재정적 손실, 물리적 충돌) 에서 발생합니다. 기존 가드레일은 이러한 장기적, 다단계 결과를 고려하지 못하며, 종종 실제 세계 상태를 포착하지 못하는 텍스트 대리 변수나 1 단계 시뮬레이션 레이블에 의존합니다.

방법론

본 논문은 AI 안전성을 위한 제어 이론적 접근을 제안하며, 가드레일을 AI 에이전트의 잠재적 (텍스트 기반) 세계 표현 내에서 작동하는 예측 안전 필터로 형식화합니다.

1. 순차적 의사결정 문제로서의 형식화

저자들은 LLM 에이전트와 환경 간의 상호작용을 **부분 관측 마르코프 의사결정 과정 (POMDP)**으로 모델링합니다:

• 상태 ($s$): 실제 세계 상태 (예: 물리적 기하학, 은행 잔고).
• 행동 ($a_{AI}$): 에이전트의 출력으로, 토큰 시퀀스로 표현됨.
• 관측 ($o_{AI}$): 에이전트의 텍스트 기반 세계 관점 (예: HTML, 장면 설명).
• 실패 여유도 ($\ell_F$): 결과 공간 (토큰 공간이 아님) 에서 실패 집합 $\mathcal{F}$ (예: 충돌, 파산) 까지의 거리를 인코딩하는 함수.

목표는 무한히 실패를 피할 수 있는 정책이 존재하는 잠재 상태 집합인 **최대 잠재 안전 집합 ($\Omega^*$)**을 정의하는 것입니다. 이는 주어진 상태에서 에이전트가 달성할 수 있는 최상의 안전 여유도를 나타내는 **안전 가치 함수 ($V^\star$)**로 특징지어집니다.

2. 예측 가드레일을 안전 필터로

제안된 가드레일인 ReGuard는 안전 필터 튜플 $(\pi_{\text{rec}}, \Delta, \phi)$로 기능합니다:

• 안전 모니터 ($\Delta$): 후보 행동이 미래의 안전 위반으로 이어질지 평가하는 예측 메커니즘. 이는 안전 가치 함수 $Q^\star$에서 유도됩니다.
• 폴백 정책 ($\pi_{\text{rec}}$): 모니터가 안전하지 않은 후보를 감지할 때 안전한 대체 행동을 처방하는 교정 정책.
• 개입 체계 ($\phi$): 기본 에이전트 정책과 폴백 정책 사이를 전환하는 메커니즘.

중요하게도, 이 프레임워크는 LLM 의 잠재 공간에서 작동하여 모델 중립적입니다. 기본 모델의 가중치나 학습 데이터에 접근할 필요가 없으므로 동일한 가드레일을 다양한 LLM 에 감싸 적용할 수 있습니다.

3. 안전 중심 강화 학습을 통한 훈련

이러한 가드레일을 대규모로 계산하기 위해 저자들은 **이중 심층 Q-네트워크 (DDQN)**를 사용하는 안전 중심 강화 학습 (RL) 프레임워크를 제안합니다:

• 목적: 모델은 최적 안전 가치 함수를 근사화하기 위해 시간 할인된 안전 벨만 방정식을 최소화하도록 훈련됩니다.
• 훈련 대 추론:
  • 훈련: 모델은 안전 목표를 극대화하기 위해 안전 중심 Q-함수에서 직접 토큰을 생성합니다.
  • 추론: 시스템은 일관성을 위한 기본 모델의 로짓과 안전을 위한 학습된 안전 Q-값을 혼합합니다. 이를 통해 에이전트는 안전 제약 조건을 준수하면서도 다양하고 일관된 텍스트를 생성합니다.
• 결과 인식: 보상 신호는 즉각적인 텍스트 분류가 아닌 하류 결과 (예: 실제 충돌 또는 예산 초과) 에서 파생되므로, 가드레일이 장기 안전 전략을 학습할 수 있게 합니다.

주요 기여

1. 형식화: 본 논문은 생성형 AI 안전성을 순차적 의사결정 문제로 형식화하고, LLM 기반 표현으로의 제어 이론적 안전 필터 일반화로서 예측 가드레일을 도입합니다.
2. 확장 가능한 훈련 레시피: 안전 중심 RL 을 통한 LLM 가드레일 훈련을 위한 실용적인 방법을 제안하며, 기본 LLM 에이전트들을 재훈련하지 않고도 여러 에이전트에 배포 가능한 단일 안전 메커니즘을 제공합니다.
3. 실증적 검증: 시뮬레이션된 자율 주행, 에이전트 전자 상거래, AI 운전자 지원 실험을 통해 저자들은 결과 인식 가드레일이 안전 집행과 작업 성능 모두에서 기존"플래그 및 차단"기준보다 우수함을 입증했습니다.

실험 결과

저자들은 ReGuard 를 세 가지 영역에서 평가했습니다:

1. 에이전트 주행

• 설정: LLM 에이전트가 장애물을 피하기 위해 평면 차량을 조종합니다.
• 결과: ReGuard 는 77.3% 의 성공률과 18.8% 의 실패율을 달성하여 제로샷 기준 (예: GPT-4o: 31.7% 성공, 68.2% 실패) 및 근시안적 기준을 크게 능가했습니다.
• 주요 발견: ReGuard 의 모니터는 더 정확 (Value F1: 0.99) 하고 보수적이지 않아, 다른 모델들이 놓친 회복 가능한 안전하지 않은 상태를 정확히 식별했습니다.

2. 에이전트 커머스

• 설정: LLM 에이전트가 $50 예산을 초과하지 않도록 장바구니를 관리합니다.
• 결과: ReGuard 는 87.5% 의 성공률을 달성하여 GPT-4o 의 성능과 일치했고, 더 작은 Llama 모델 (62.5%) 보다 크게 우수했습니다.
• 주요 발견: ReGuard 는 예산 내에서 유지하기 위해 특정 고가 품목을 제거하는 방법을 성공적으로 학습한 반면, 기본 모델들은 최종 합계를 고려하지 않고 품목을 제거하여 예산 위반을 초래했습니다.

3. 뒷좌석 AI 운전자

• 설정: LLM 에이전트가 자동차를 조종하는 인간 (다른 LLM 으로 시뮬레이션됨) 에게 조언을 제공하는 어드바이저 역할을 합니다. 에이전트는 안전을 보장하기 위해 텍스트 조언을 제공해야 합니다.
• 결과: 방패 역할을 할 때 ReGuard 는"none"페르소나의 성공률을 44.9% 에서 **64.2%**로, "urgent"페르소나의 성공률을 26.4% 에서 **41.6%**로 향상시켰습니다.
• 주요 발견: ReGuard 는 단순히 행동을 거절하는 대신, 회의적인 인간에게 긴박성을 강조하는 등 맥락을 인식한 회복 조언을 생성하는 방법을 학습했습니다.

중요성과 주장

본 논문은 제어 이론적 가드레일이 현재 AI 안전 분야에서 지배적인 정적"플래그 및 차단"패러다임에 대한 원칙적이고 역동적인 대안이라고 주장합니다. 안전하지 않은 텍스트를 차단하는 데 초점을 맞추는 대신 안전하지 않은 궤적을 예측하고 수정하는 것으로 초점을 이동시킴으로써, 제안된 접근법은 다음과 같습니다:

• 회복 가능: 에이전트가 이미 위험한 상태에 진입했을 때도 안전으로 이어지는 경로를 제공하며, 실행 불가능하거나 위험할 수 있는 강압적 거절을 피합니다.
• 성능 보존: 종종 작업 성능을 저하시키는 거절 기반 시스템과 달리, ReGuard 는 안전을 보장하면서도 높은 작업 성공률을 유지합니다.
• 일반화: 가드레일의 모델 중립적 성격은 기본 모델을 재훈련하지 않고도 다양한 LLM 아키텍처와 작업에 적용할 수 있게 합니다.

저자들은 그들의 접근 방식이 훈련을 위해 시뮬레이터 접근에 의존한다는 점 (현재의 한계) 이지만, 안전을 이진 출력 분류가 아닌 순차적 의사결정의 연속적이고 회복 가능한 속성으로 취급하는 새로운 AI 안전 프레임워크를 확립했다고 결론지었습니다.