Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

이 논문은 제약 조건이 알려지지 않은 환경에서 전문가 시연 데이터를 바탕으로 보상과 안전성을 동시에 고려한 Q 값을 정의하여, 안전성을 유지하면서 높은 보상을 기대할 수 있는 최적 정책을 학습하는 'SafeQIL' 알고리즘을 제안하고 그 유효성을 입증합니다.

핵심

이 논문은 **"안전한 미지의 세계를 어떻게 탐험할 것인가?"**에 대한 해답을 제시합니다.

간단히 말해, 이 연구는 **전문가의 시범을 보고 배우는 인공지능 (AI)**이, "어디가 위험한지" 정확히 알려주지 않아도 스스로 안전을 지키면서 더 좋은 성과를 내는 방법을 개발한 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 상황: "보이지 않는 함정"이 있는 미로

상상해 보세요. AI 는 거대한 미로 (작업 환경) 에 갇혀 있습니다.

• 목표: 미로를 빠져나가는 길에서 보물 (보상) 을 최대한 많이 줍니다.
• 문제: 미로 곳곳에 보이지 않는 함정 (안전 제약) 이 있습니다. 함정에 빠지면 게임이 끝납니다.
• 시범: 우리는 "전문가"가 함정을 피하며 보물을 모으는 길 (시범 데이터) 을 보여줍니다. 하지만 전문가가 왜 그 길을 선택했는지, 어디가 함정인지는 말해주지 않습니다.

기존의 AI 들은 두 가지 극단적인 선택을 했습니다:

1. 겁쟁이 (Conservative): "전문가가 가본 길 밖으로는 절대 안 나간다!"라고 생각해서, 보물이 많은 길은 아예 가지 않고 안전하지만 성과가 낮은 길만 다닙니다.
2. 무모한 도박꾼 (Risky): "보물이 많으면 함정일지도 모른다"는 걸 무시하고, 보물이 많은 길로 달려가다가 함정에 빠져 게임 오버가 됩니다.

2. 이 연구의 핵심 아이디어: "안전한 나침반 (SafeQIL)"

이 논문에서 개발한 SafeQIL이라는 AI 는 이 두 극단 사이에서 완벽한 균형을 잡습니다.

비유: "유능한 가이드와 나침반"
이 AI 는 전문가의 시범을 단순히 따라 하는 게 아니라, **"이 상태 (위치) 가 안전한가?"**를 판단하는 나침반을 달았습니다.

• 전문가가 가본 길 (안전한 지역): 여기서는 전문가처럼 행동하며 보물을 모읍니다.
• 전문가가 가보지 않은 길 (미지의 지역):
  • 만약 그 길이 안전해 보인다면 (나침반이 초록불), 용감하게 보물을 향해 나아갑니다.
  • 만약 그 길이 위험해 보인다면 (나침반이 빨간불), 그 길의 가치를 낮게 평가하여 AI 가 그쪽으로 가지 못하게 막습니다.

3. 어떻게 작동할까요? (Q-러닝의 관점)

이 기술은 **'Q-러닝 (Q-Learning)'**이라는 AI 학습 방식을 사용합니다. 쉽게 말해, "어떤 행동을 했을 때 앞으로 얼마나 좋은 결과가 나올까?"를 점수 (Q 값) 로 매기는 방식입니다.

• 기존 방식: "보물 (보상)" 점수만 높게 봅니다.
• SafeQIL 방식: "보물 점수"와 "안전 점수"를 섞어서 합계 점수를 매깁니다.
  • 만약 전문가가 가본 안전한 길이라면 점수를 높게 줍니다.
  • 만약 전문가가 가보지 않은 위험한 길이라면, 점수를 인위적으로 낮게 책정합니다. (이걸 '상한선 설정'이라고 합니다.)

이렇게 하면 AI 는 "아, 이 길은 보물이 많아 보여도 안전하지 않아서 점수가 낮구나. 다른 안전한 길을 찾아보자"라고 학습하게 됩니다.

4. 실험 결과: 실제로 효과가 있을까?

연구진은 'Safety-Gymnasium'이라는 가상 게임 환경에서 이 AI 를 테스트했습니다. (예: 자동차를 조종해서 장애물을 피하면서 버튼 누르기 등)

• 결과: SafeQIL 은 다른 최신 AI 들보다 함정에 빠지는 횟수 (비용) 를 획기적으로 줄이면서도, 보물을 모으는 능력 (성과) 도 유지했습니다.
• 특이점: 다른 AI 들은 너무 보수적이어서 보물을 못 모으거나, 너무 무모해서 게임 오버가 되는 경우가 많았는데, SafeQIL 은 가장 현명한 선택을 했습니다.

5. 왜 이 연구가 중요한가요?

이 기술은 실제 세상에 적용될 때 큰 의미가 있습니다.

• 자율 주행차: 운전자가 "이 길은 위험해"라고 말해주지 않아도, 시범 데이터를 통해 위험한 구간을 스스로 학습하고 피할 수 있습니다.
• 로봇 수술: 로봇이 수술을 배울 때, 실수 (위험) 를 하지 않으면서도 효율적으로 수술할 수 있게 됩니다.

요약

이 논문은 **"안전한 미지의 세계를 탐험할 때, 전문가의 시범을 '무조건 따라 하는 것'이 아니라, '안전한지 판단하는 나침반'을 만들어 스스로 학습하게 하는 방법"**을 제안합니다.

그 결과, AI 는 위험한 함정은 피하면서도 보물이 많은 새로운 길을 찾아낼 수 있게 되었습니다. 마치 초보 운전자가 숙련된 운전자의 시범을 보고, "여기는 위험하구나"를 스스로 깨닫고 안전하게 운전하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 제약 조건이 있는 마르코프 결정 과정 (CMDP) 에서, 보상 (reward) 은 관측 가능하지만 제약 조건과 관련된 비용 (cost) 은 관측 불가능한 상황을 가정합니다.
• 핵심 난제:
  • 기존 역제약 강화학습 (ICRL) 은 시연 데이터를 바탕으로 제약 조건 함수를 명시적으로 추론하려 합니다.
  • 그러나 시연 데이터의 분포를 벗어난 상태 (Out-of-Distribution, OOD) 에서는 추론된 제약 조건이 부정확할 수 있습니다.
  • 보수적 접근 (Conservative): 시연되지 않은 상태는 모두 위험하다고 간주하여 탐색을 제한하면, 고보상 상태에 도달할 기회를 잃게 됩니다.
  • 위험한 접근 (Unsafe): 고보상을 위해 불확실한 상태를 탐색하면 안전 사고가 발생할 수 있습니다.
• 목표: 시연된 궤적의 가능성을 최대화하면서도, 시연되지 않은 상태에서의 안전성을 보장하고, 불필요한 보수성을 줄여 고보상 궤적을 찾을 수 있는 균형을 잡는 정책을 학습하는 것입니다.

2. 방법론 (Methodology)

저자들은 궤적 (trajectory) 레벨이 아닌 상태 - 행동 쌍 (state-action pair) 레벨의 Q-value를 통해 안전성과 보상을 혼합하여 학습합니다.

2.1 핵심 아이디어: Q-value 기반의 안전성 평가

• Q-value 정의: 각 상태 - 행동 쌍의 Q-value 는 작업 보상 ($r_d$) 과 안전성 보상 ($r_s$) 의 혼합으로 정의됩니다.
  • 시연된 상태 (안전한 상태) 에서는 작업 보상이 적용됩니다.
  • 시연되지 않은 상태 (불확실한 상태) 에서는 안전성 패널티 (음수 보상) 가 적용됩니다.
• 상한선 제약 (Upper-bound Constraint):
  • 시연되지 않은 상태의 Q-value 는 시연된 상태의 Q-value 중 최솟값보다 낮아야 한다는 제약을 부과합니다.
  • 이를 통해 에이전트가 시연되지 않은 위험한 영역에서 과도하게 낙관적인 (high Q-value) 평가를 받지 않도록 방지합니다.
• 구분자 (Discriminator) 활용:
  • 현재 상태가 시연 데이터 분포에 속하는지 확률을 추정하는 구분자 ($\phi_\omega$) 를 학습합니다.
  • 이 확률을 바탕으로 안전성 보상 ($r_s = \log(\phi_\omega(s))$) 을 동적으로 계산합니다.

2.2 SafeQIL 알고리즘

• 기반 알고리즘: Soft Actor-Critic (SAC) 을 기반으로 합니다.
• 학습 과정:
  1. 데이터 수집: 온라인 롤아웃 데이터 ($B$) 와 전문가 시연 데이터 ($D$) 를 버퍼에 저장합니다.
  2. 제약 조건 적용:
     • 시연 데이터 ($D$) 에서 현재 상태와 가장 유사한 상태 ($s^*_D$) 를 찾습니다 (코사인 유사도 기반).
     • 해당 시연 상태의 Q-value 를 상한선 (local bound) 으로 설정합니다.
     • 온라인 데이터 중 시연 분포에 속하지 않는 상태에 대해서는 이 상한선을 위반하지 않도록 Q-value 를 조정합니다.
  3. 목적 함수:
     • 시연 데이터에 대해서는 표준 SAC 의 엔트로피 최대화 목적 함수를 따릅니다.
     • 시연되지 않은 데이터에 대해서는 안전성 패널티와 상한선 제약 손실 (Constraint Loss) 을 추가합니다.
  4. 분산 처리: 구분자 (Discriminator) 와 크리틱 (Critic) 네트워크를 교차하여 업데이트하며, 안전성과 성능의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 문제 공식화: 전문가 시연을 기반으로 한 역제약 강화학습 문제를 Q-value 의 상한선 제약과 안전성/보상 혼합 기대값을 통해 엄격하게 공식화했습니다.
2. SafeQIL 알고리즘 제안: 제약 조건을 명시적으로 추론하지 않고, 가치 함수 (Value Function) 에 직접 제약을 가하여 안전성을 보장하는 새로운 모델 프리 (model-free) 알고리즘을 개발했습니다.
3. 성능 검증: Safety-Gymnasium 의 4 가지 복잡한 작업 (Navigation, Manipulation 등) 에서 기존 ICRL, VICRL, SAC-GAIL 등 최첨단 알고리즘과 비교하여 우수한 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 Safety-Gymnasium 의 4 가지 태스크 (SafetyPointGoal1, SafetyPointCircle2, SafetyCarButton1, SafetyCarPush2) 에서 실험을 수행했습니다.

• 안전성 (Cost Reduction):
  • SafeQIL 은 모든 태스크에서 무제약 SAC 대비 30% ~ 92% 의 비용 (안전 위반) 감소를 달성했습니다.
  • 특히 SafetyPointCircle2에서는 비용이 92% 감소하여, VICRL 과 유사한 수준의 안전성을 보였습니다.
• 성능 (Reward Trade-off):
  • SafetyCarButton1과 같은 복잡한 조작 태스크에서, VICRL 은 안전성은 높였으나 작업 수행 실패 (Reward 급감) 를 보인 반면, SafeQIL 은 안전성을 유지하면서도 작업을 수행 가능한 수준 (Reward 유지) 을 달성했습니다.
  • SafetyCarPush2에서는 SAC-GAIL 보다 더 엄격한 안전성 하한선을 제공했습니다.
• 데이터 크기 민감도 분석:
  • 흥미롭게도, 시연 데이터의 양이 증가할수록 (1x → 8x) 일부 기존 알고리즘 (ICRL, VICRL) 의 성능이 오히려 저하되는 현상을 관찰했습니다. 이는 인간 시연자의 행동 편차 (stochasticity) 가 커질수록 제약 조건 추론이 불안정해지기 때문입니다.
  • SafeQIL 은 적은 데이터 (1x) 에서도 강력한 안전성을 보장하며, 데이터가 증가해도 상대적으로 안정적인 성능을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 제약 조건 추론의 한계 극복: 기존 ICRL 방법론이 제약 조건 함수를 명시적으로 복원하려다 발생하는 불확실성과 과잉 보수성 문제를 우회합니다. 대신 가치 함수에 직접 제약을 가함으로써 더 강건한 안전성을 확보합니다.
• OOD 상태에서의 회복 능력: 에이전트가 시연되지 않은 위험한 상태에 진입하더라도, Q-value 기반의 상한선 제약과 안전성 보상을 통해 다시 안전한 상태로 회복 (recovery) 할 수 있는 능력을 학습시킵니다.
• 실용적 가치: 실제 로봇 제어 및 자율 주행과 같이 제약 조건이 명확하지 않으나 안전이 최우선인 분야에서, 전문가의 시연 데이터만으로 안전하고 효율적인 정책을 학습할 수 있는 강력한 프레임워크를 제공합니다.

이 논문은 안전한 강화학습 (Safe RL) 분야에서 "어떻게 불완전한 시연 데이터로부터 안전성을 보장하면서도 고수익을 추구할 것인가"에 대한 새로운 관점 (Q-learning 기반의 가치 정규화) 을 제시했다는 점에서 의의가 큽니다.