기술적 요약: 왜 에이전트 안전성은 작업 간 일반화에 실패하는가?

문제 제기

인공지능 (AI) 이 수동적인 데이터 처리에서 동적 환경과 상호작용하여 장기적 작업을 수행하는 에이전트 설정으로 진화함에 따라, 작업 간 안전성 일반화라는 중대한 과제가 대두되었습니다. 현대의 에이전트형 AI 는 주로 다중 작업형이며, 구체적인 작업은 테스트 시에만 지정됩니다. 에이전트가 종종 보지 못한 시나리오에서도 작업을 수행하는 능력을 효과적으로 일반화하는 반면, 경험적 증거는 이러한 작업을 안전하게 수행하는 능력은 자주 일반화에 실패함을 시사합니다.

현재의 접근 방식은 주로 안전 행동을 주입하기 위해 "안전한 교사"(예: 인간 또는 검증된 모델) 로부터의 모방 학습에 의존합니다. 그러나 본 논문은 안전성의 일반화 실패가 단순히 현재 학습 기법의 한계인지, 아니면 안전성 그 자체의 고유한 속성인지 조사합니다. 핵심 질문은 다음과 같습니다: 작업 사양과 그 안전적 수행 간의 관계가, 작업과 그 수행만 간의 관계보다 근본적으로 더 복잡한가?

방법론

저자들은 세 가지 서로 다른 설정에서 이론적 분석과 경험적 검증을 결합한 이중 접근법을 사용합니다.

1. 이론적 분석

본 논문은 **$H_\infty$-강건성을 갖는 선형 - 2 차 제어 (Linear-Quadratic Control)**를 사용하여 문제를 형식화합니다.

• 설정: 저자들은 에이전트가 상태 비용 행렬 $Q$로 정의된 작업 의존적 2 차 보상을 최대화하면서 잠재적 교란 (위험 처리) 을 처리해야 하는 선형 동적 시스템 (LDS) 을 분석합니다.
• 비교: 작업 사양 ($Q$) 에서 최적 제어기로의 두 가지 매핑을 비교합니다:
  • $K_{unsafe}(Q)$: 안전성 (교란) 을 무시하는 선형 - 2 차 조절기 (LQR).
  • $K_{safe}(Q)$: $H_\infty$-강건성 (교란 처리) 을 보장하는 최적 제어기.
• 지표: 일반화의 어려움은 이러한 매핑의 **리프시츠 상수 (Lipschitz constant)**를 통해 분석됩니다. 더 높은 리프시츠 상수는 작업 사양의 작은 변화가 최적 제어기의 큰 변화로 이어짐을 의미하며, 이는 일반화를 본질적으로 더 어렵게 만듭니다.
• 증명 전략: 저자들은 안전하지 않은 매핑 ($K_{unsafe}$) 의 리프시츠 상수에 대한 상한과 안전 매핑 ($K_{safe}$) 에 대한 하한을 유도합니다. 그들은 특정 기술적 조건 (안정성 마진, 대칭 교환성, 정렬 규칙성) 하에서 안전 매핑의 리프시츠 상수가 임의로 클 수 있는 계수만큼 안전하지 않은 매핑의 리프시츠 상수보다 엄격하게 더 크다는 것을 증명합니다.

2. 경험적 검증

이론적 발견은 서로 다른 에이전트 유형과 안전성 개념을 아우르는 세 가지 설정의 실험을 통해 뒷받침됩니다:

1. 선형 - 2 차 제어: 이론적 설정의 직접적인 반영으로, $H_\infty$-강건성을 갖춘 LDS 를 제어하는 것을 학습합니다.
2. 쿼드콥터 항법: "통행 금지" 지역 (위험 회피) 을 피하면서 작업 의존적 위치로 시뮬레이션된 쿼드콥터를 항법하도록 훈련된 신경망 에이전트.
3. LLM 에이전트를 통한 CRM: 고위험 상황 (예: 알림 없이 개인 식별 정보 (PII) 저장) 을 피하고 구체화된 위험 (예: 잘못된 입력) 을 처리하면서 고객 관계 관리 (CRM) 작업을 수행하도록 미세 조정된 LLM 에이전트 (LLaMA-3.2).

모든 설정에서 에이전트는 "안전한 교사"(제약 준수) 또는 "안전하지 않은 교사"(제약 무시) 와 일치하도록 모방 학습을 통해 훈련되었습니다. 일반화는 훈련 중 보지 못한 작업 ($\Theta_{test}$) 에 대한 모방 오차로 측정되었습니다.

주요 기여

이론적 기여

• 리프시츠 분리: 본 논문은 작업 사양에서 최적 제어기로의 매핑이 안전성 요구 사항 하에서 안전성 요구 사항이 없을 때보다 더 높은 리프시츠 상수를 가진다는 최초의 이론적 증명을 제공합니다.
• 본질적 어려움: 이 결과는 안전성 요구 사항이 있을 때 작업 간 일반화가 훈련 작업에서 안전성이 얼마나 잘 학습되었는지와 관계없이 근본적으로 더 어렵다는 것을 확립합니다. 이 복잡성은 학습 알고리즘이 아니라 작업과 안전적 수행 간의 내재적 관계에서 비롯됩니다.
• 새로운 상한: 기술적 기여로서, 저자들은 표준 선형 - 2 차 조절기 (LQR) 의 리프시츠 상수에 대한 상한을 상태 비용 행렬 $Q$의 함수로서 확립합니다.

경험적 기여

• 교차 설정 검증: 실험은 리프시츠 상수의 분리가 작업 간 일반화 오차의 상당한 분리로 이어짐을 보여줍니다. 훈련 성능이 비슷하더라도 안전한 교사를 모방하는 에이전트는 안전하지 않은 교사를 모방하는 에이전트에 비해 보지 못한 작업에서 훨씬 더 높은 오류율을 보입니다.
• 발견의 견고성: 이 현상은 다양한 에이전트 아키텍처 (신경망, LLM) 와 다양한 안전성 정의 (강건성을 통한 위험 처리, 제약을 통한 위험 회피) 에서 유효합니다.

결과

• 이론적: $K_{safe}$의 리프시츠 상수에 대한 유도된 하한은 $K_{unsafe}$에 대한 상한을 일관되게 초과합니다. 비율 $Lip(K_{safe}) / Lip(K_{unsafe})$는 1 보다 일관되게 크며, 종종 현저히 큽니다.
• 실험적:
  • 선형 - 2 차 설정에서, 안전한 교사의 테스트 오차는 안전하지 않은 교사에 비해 수백 배에서 수천 배 더 높았습니다 (예: 무한 샘플 극한에서 약 1265 대 약 14; 유한 샘플에서 약 4018 대 약 33).
  • 쿼드콥터 항법에서, 안전한 에이전트의 테스트 오차는 약 141.74 인 반면 안전하지 않은 에이전트는 약 22.90 이었습니다.
  • CRM LLM 설정에서, 안전한 에이전트의 테스트 오차는 약 25.94 인 반면 안전하지 않은 에이전트는 약 16.93 이었습니다.
  • 결정적으로, 훈련 오차 (보인 작업에 대한 모방) 는 안전하고 안전하지 않은 교사 모두에서 유사했으며, 일반화 격차를 주요 실패 모드로 격리했습니다.

중요성과 주장

본 논문은 에이전트 안전성의 일반화 실패가 (불충분한 데이터 또는 하위 최적 아키텍처와 같은) 현재 학습 기법의 단순한 한계가 아니라 안전성 그 자체의 고유한 속성을 반영한다고 주장합니다.

• 안전성의 복잡성: 작업과 그 안전적 수행 간의 관계는 작업과 그 수행만 간의 관계보다 본질적으로 더 복잡합니다. 이 복잡성은 작업 사양의 변화에 대한 안전 제어기의 더 높은 민감도로 나타납니다.
• 실무적 함의: 저자들은 단순히 더 많은 작업 하위 집합을 훈련함으로써 안전성을 향상시키는 현재의 노력이 불충분할 수 있다고 제안합니다. 안전성 일반화는 수행 일반화보다 구별되고 더 어려운 문제이므로, 근본적으로 다른 접근 방식이 필요합니다.
• 미래 방향: 제안된 유망한 방향은 작업 사양과 안전성 특성 모두에 대한 표현을 학습하여 그 사이의 관계를 단순화함으로써 매핑의 리프시츠 상수를 줄이는 것입니다.

본 논문은 안전성의 작업 간 일반화를 수행 능력의 일반화나 단일 작업 내 안전성의 일반화와 별개로 취급해야 하는 별도의 문제로 다루어야 한다고 결론 내립니다.