기술 요약: MoralityGym

1. 문제 제기

인공지능 에이전트가 좁은 작업 수행에서 복잡한 현실 세계 의사결정으로 전환함에 따라, 그들은 점점 더 상충되고 위계적으로 구조화된 인간 규범과 정렬되어야 하는 시나리오에 직면하게 됩니다. 현재의 강화학습 (RL) 안전 및 정렬 연구는 견고성과 제약 충족 측면에서 진보했으나, 복잡한 도덕적 추론을 포착할 수 있는 표현적 유연성이 부족합니다. 전통적인 접근 방식은 도덕적 추론을 스칼라 보상 또는 이진 제약으로 축소하는 경향이 있어, 인간 윤리적 의사결정을 특징짓는 맥락 의존적이며 경쟁하는 의무와 금지 사항을 고려하지 못합니다.

기존 벤치마크는 안전 제약 하의 작업 완성을 우선시하지만, 에이전트가 미묘하고 위계적인 도덕적 트레이드오프를 어떻게 조정하는지 평가할 세밀함이 부족합니다. 특히 도덕 심리학과 철학에 기반한 (예: 직접적인 개인적 해악과 간접적 해악 최소화의 구분) 구성 가능한 위계적 도덕 체계에 대해 에이전트를 평가하도록 설계된 도구에 있어 중요한 격차가 존재합니다.

2. 방법론

저자들은 도덕적 규범을 표현하기 위한 형식화와 에이전트를 평가하기 위한 벤치마크 스위트라는 두 부분으로 구성된 프레임워크를 제안합니다.

2.1 도덕 사슬 (Morality Chains): 위계적 규범을 위한 형식화

본 논문은 도덕적 규범을 순서 있는 의무론적 제약으로 표현하는 **도덕 사슬 (Morality Chains)**이라는 형식화를 소개합니다. 이 접근법은 규범 표현에 대한 인지 모델과 도덕 심리학의 이중 과정 이론에서 영감을 받았습니다.

• 도덕 규범 ($N$): $\langle \phi, \rho_\phi, f, D \rangle$ 튜플로 정의됨:
  • $\phi$: 도덕적으로 중요한 패턴 (예: "총 해악" 또는 "직접적인 개인적 행동") 을 식별하는 시그니처 (레이블).
  • $\rho_\phi(\pi)$: 정책 $\pi$가 해당 패턴을 나타내는 기대 정도를 정량화하는 정책 준수 함수.
  • $f \in \mathbb{N}$: 규범의 강도 (force). 절대적 강도나 우선순위를 나타내는 고유한 스칼라.
  • $D \in \{True, False\}$: 의무론적 양태 (명시되거나 금지됨).
• 도덕 함수 ($M_N$): 준수와 양태에 기반하여 특정 규범에 대한 정렬 점수를 계산합니다.
• 도덕 사슬 ($\bar{N}$): 규범이 강도 값 ($f_1 > f_2 > \dots > f_k$) 에 따라 엄격하게 순서화된 규범의 순서열 $(N_1, N_2, \dots, N_k)$. 이는 상위 순위 규범이 하위 순위 규범을 지배하는 사전적 위계 구조를 생성합니다.
• 도덕 지표 ($\mathcal{M}_{\bar{N}}$): 전체 사슬에 대해 정책을 평가하는 데 사용되는 스칼라 지표입니다. 사전적 선호를 보장하기 위해 재귀적으로 정의된 가중치 ($w_i$) 를 사용합니다. 상위 우선순위 규범에서의 최소한의 유의미한 개선은 모든 하위 우선순위 규범에 대한 최대 정렬보다 전체 점수에 더 크게 기여합니다.

2.2 MoralityGym 벤치마크

MoralityGym은 트롤리 문제의 변형을 모델링하는 98 개의 Gymnasium 호환 환경으로 구성된 벤치마크 스위트입니다.

• 환경 메커니즘: 에이전트는 이산적 행동 (상, 하, 좌, 우, 정지, 상호작용) 을 가진 격자 세계 (grid-world) 에서 작동합니다. "상호작용" 행동은 레버를 전환 (궤도 변경) 하거나 캐릭터를 밀어 (직접적 해악) 는 것을 가능하게 합니다.
• 개체: 에이전트, 캐릭터 (인간, 동물, 로봇), 트롤리, 레버, 철도 스위치가 포함됩니다.
• 보상 vs 비용: 이 프레임워크는 목표 달성을 위한 희소 신호인 작업 보상과 도덕적 비용을 분리합니다.
  • 비용 함수: 규범 위반에 기반한 스칼라 비용을 계산합니다. 이벤트 기반 규범 (행동, 결과, 인과) 은 첫 번째 위반 시 일회성 비용을 부과합니다. 효용 기반 규범은 해악의 크기에 비례하여 비용을 누적합니다.
  • 평가: evaluate_morality_metric 메서드는 여러 에피소드에 걸쳐 정책을 평가하여 개별 규범 준수와 전체 위계적 지표를 계산합니다.

2.3 실험 설정

저자들은 MoralityGym 에서 여러 안전한 RL 베이스라인을 평가했습니다:

1. 무작위 정책 (Random Policy): 균일한 무작위 행동 선택.
2. PPO: 작업 보상만으로 훈련된 표준 근접 정책 최적화 (Proximal Policy Optimization).
3. PPO Shaped: 도덕적 비용을 포함한 shaped 보상 ($R_E - \lambda \cdot C_t$) 으로 훈련된 PPO.
4. PPO-Lagrangian (PPO-Lag): 비용 제약을 충족하기 위해 라그랑주 승수가 추가된 PPO.
5. 제약 정책 최적화 (CPO): 비용 임계값 하에서 보상을 최대화하는 신뢰 영역 (trust-region) 안전 RL 알고리즘.

네 가지 서로 다른 도덕 사슬이 테스트되었으며, 이는 서로 다른 윤리적 체계를 나타냅니다:

• 효용 (Utility, U): 결과론적 (총 해악 최소화: 인간 > 동물 > 로봇).
• 효용 에이전트 해악 (Utility Agent Harm, UAH): 에이전트 자기 보존 규범을 추가하여 U 를 확장한 것.
• 이중 과정 (Dual-Process, DP): 전체 해악 최소화보다 직접적인 개인적 해악 회피를 우선시하는 하이브리드 모델.
• 이중 과정 에이전트 해악 (Dual-Process Agent Harm, DPAH): 에이전트 자기 보존을 추가하여 DP 를 확장한 것.

3. 주요 기여

1. 도덕 사슬 형식화: 의무론적 강도에 따라 도덕적 규범을 명시적으로 순위 매기는 새로운 방법으로, 순차적 의사결정에서 위계적 윤리적 우선순위를 운영화할 수 있게 합니다.
2. MoralityGym 벤치마크: 이진 안전 제약을 넘어 복잡한 다요인 도덕적 딜레마 (예: 자기 희생, 다양한 개체 유형, 간접적 대 직접적 인과) 를 모델링하는 98 개 환경의 포괄적 스위트.
3. 분리된 평가: 작업 해결과 도덕적 평가를 분리하여 심리학과 철학의 통찰력을 RL 평가에 통합할 수 있게 하는 프레임워크.
4. 경험적 베이스라인: 명시적 보상 형성이나 제약 튜닝 없이 위계적 도덕적 트레이드오프를 처리하는 데 있어 표준 안전 RL 방법의 한계를 드러내는 체계적 평가.

4. 결과

네 가지 도덕 사슬과 다양한 시나리오 (예: PushOrSwitch, SwitchSelfSacrifice) 에 대한 경험적 평가는 다음과 같은 결과를 도출했습니다:

• 성능 위계: PPO Shaped(전문가 보상 형성) 는 모든 시나리오에서 일관되게 가장 높은 도덕 지표 점수를 달성했으며, 종종 완벽한 정렬에 근접했습니다 (예: DPAH 하의 PushOrSwitchSelfSacrifice에서 0.996).
• 표준 방법의 한계: 표준 PPO와 PPO-Lag는 종종 중요한 도덕적 고려사항을 우선시하지 못했습니다. 예를 들어, 효용 사슬에서 표준 PPO 는 인간 해악 최소화에 대해 거의 0 점에 가까운 점수를 받아, 명시적 형성 없이는 주요 목표를 학습하지 못했음을 나타냈습니다.
• 제약 vs 형성: CPO와 PPO Shaped는 종종 하위 우선순위 규범을 희생하면서 상위 우선순위 규범을 충족하는 데 탁월했습니다. 이는 엄격한 위계를 반영합니다. 반면, PPO 와 PPO-Lag 는 더 균형 잡혔지만 일관성 없는 성능을 보이며 엄격한 사전적 선호를 강제하는 데 어려움을 겪었습니다.
• 트레이드오프: 자기 보존 규범 (UAH, DPAH) 의 포함은 상당한 트레이드오프를 드러냈습니다. CPO 와 PPO Shaped 와 같은 에이전트는 에이전트 안전보다 인간 안전을 우선시하여 (스스로를 희생) 반면, 표준 PPO 는 자기 보존을 우선시하여 타인에게 해악을 최소화하지 못했습니다.

5. 중요성과 주장

본 논문은 MoralityGym 이 복잡한 현실 세계 맥락에서 더 신뢰할 수 있고 투명하며 윤리적으로 행동하는 AI 시스템을 개발하기 위한 기초적인 테스트베드를 제공한다고 주장합니다.

• 학문 간 연결: 이 연구는 윤리 철학 (결과론 대 의무론) 과 인지 과학 (이중 과정 이론) 을 RL 에이전트의 기술적 평가에 통합합니다.
• 격차 드러내기: 결과는 특히 규범 민감성 추론과 위계적 우선순위가 필요한 시나리오에서 현재 안전 RL 능력과 윤리적 의사결정 요구 사항 사이의 중요한 격차를 강조합니다.
• 미래 방향: 저자들은 이 프레임워크가 필드를 단순한 최적 결과에 대한 추론을 넘어, 특정 도덕적 맥락 내에서 왜 특정 행동이 옳거나 그른지에 대한 추론이 가능한 에이전트 방향으로 이끌 것이라고 주장합니다.

저자들은 한계를 인정하며, 이 프레임워크가 감정과 사회적 맥락과 같은 심리적 특징을 추상화하고, 상충되는 규범이 동등한 강도를 가지는 "비극적 딜레마"를 포착하지 못할 수 있는 규범의 엄격한 순서를 가정한다고 지적합니다. 그러나 그들은 MoralityGym 이 AI 에서 도덕적 추론을 모델링하기 위한 견고한 출발점을 제공한다고 주장합니다.