[기술 요약] 선호도 기반 다목적 강화학습을 이용한 사회적 가치 체계 학습

1. 문제 정의 (Problem Statement)

기존의 가치 인식 AI(Value-aware AI)는 인간의 가치를 인식하고 적응하는 것을 목표로 하지만, 다음과 같은 핵심적인 한계가 있습니다.

• 가치 오지정(Misspecification): 가치를 수식화하는 과정에서 오류가 발생하기 쉽습니다.
• 가치의 사회적 특성 무시: 가치는 단일한 것이 아니라 사용자 그룹마다 다양한 체계(Value Systems)를 가지며, 사회적 맥락에 따라 진화합니다.
• 개인화와 일반화의 충돌: 기존 방식은 수동으로 설계된 특징에 의존하거나, 다양한 사용자 그룹의 가치 기반 선호도를 동시에, 그리고 간결하게 표현하는 능력이 부족합니다.

본 논문은 마르코프 결정 과정(MDP) 환경에서 사회 구성원들의 다양한 가치 체계를 클러스터링을 통해 학습하고, 각 그룹에 최적화된 정책(Policy)을 도출하는 문제를 다룹니다.

2. 핵심 방법론 (Methodology)

본 논문은 SVSL-P (Social Value System Learning with Preference-based MORL) 알고리즘을 제안합니다. 이 알고리즘은 세 가지 요소를 동시에 학습합니다.

1. 사회적 접지(Social Grounding): 주어진 가치 세트가 행동과 어떻게 정렬되는지를 나타내는 보상 벡터($R$).
2. 가치 체계(Value Systems): 사회 내 유사한 선호도를 가진 사용자 그룹(클러스터)을 나타내는 선형 스칼라화 가중치($W$).
3. MDP 정책(MDP Policies): 각 클러스터의 가치 체계에 정렬된 파레토 최적(Pareto-optimal) 정책($\pi$).

주요 기술적 단계:

• 가치 체계의 표현: 가치 체계를 여러 가치에 대한 선형 결합(Linear Combination)으로 모델링하여, 각 에이전트가 가치에 부여하는 상대적 중요도를 가중치 $W$로 표현합니다.
• 이중 최적화 문제 (Bi-level Optimization):
  • 상위 단계: 클러스터의 **대표성(Representativeness)**을 극대화하고 **간결성(Conciseness)**을 유지하는 최적의 클러스터링($\beta, W$)을 찾습니다.
  • 하위 단계: 사회적 가치 정렬의 **일관성(Coherence)**을 최대화하는 보상 벡터($R$)를 학습합니다.
• 온라인 인간 참여형 학습 (Online Human-in-the-loop, HiL): 정적인 데이터셋에만 의존하지 않고, 에이전트가 생성한 궤적(Trajectory)에 대해 인간(또는 에이전트)으로부터 직접적인 선호도 피드백을 받아 정책을 업데이트합니다.
• Expectation-Maximization (EM) 알고리즘: 클러스터 할당(E-step)과 가중치 및 보상 모델 업데이트(M-step)를 반복하여 사회적 가치 체계를 정교화합니다.

3. 주요 기여 (Key Contributions)

1. 통합적 프레임워크: 가치 정렬(Value Alignment)과 가치 체계 추정(Value System Estimation)을 동시에 수행하는 최초의 PbMORL 기반 접근법을 제시했습니다.
2. 사회적 다양성 모델링: 사회를 단일한 가치 집단이 아닌, 유사한 선호도를 가진 여러 클러스터의 집합으로 모델링하여 사회적 다양성을 반영했습니다.
3. 효율적인 피드백 구조: 에이전트에게 복잡한 질문 대신, 특정 가치에 대한 정렬 정도와 자신의 가치 체계에 대한 단순한 선호도 비교만을 요구함으로써 인간 피드백의 비용을 낮췄습니다.
4. 수학적 엄밀성: 대표성, 간결성, 일관성이라는 세 가지 지표를 통해 사회적 가치 학습의 품질을 정량적으로 정의하고 최적화했습니다.

4. 실험 결과 (Results)

두 가지 합성 MDP 환경(Firefighters, Multivalued Car)에서 기존 알고리즘(EQL, PbMORL, SVSL)과 비교 실험을 진행했습니다.

• 가치 체계 학습 성능: SVSL-P는 기존의 SVSL(정적 데이터 기반)보다 훨씬 높은 **일관성(Coherence)**과 **대표성(Representativeness)**을 보였습니다. 특히, 사회 내 가치 다양성을 더 잘 인식하여 적절한 수의 클러스터를 찾아냈습니다.
• 정책 성능 (Pareto Front): SVSL-P는 학습된 클러스터 정책들이 실제 파레토 최적 경계(Pareto Front)에 매우 가깝게 위치함을 입증했습니다. 특히 최대 효용 손실(MUL, Maximum Utility Loss) 지표에서 기존 PbMORL보다 우수한 성능을 보였습니다.
• 트레이드오프 최적화: 제안된 Ray-Turi 지표를 통해 대표성과 간결성 사이의 균형을 효과적으로 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 "가치 인식 AI"가 단순히 하나의 정답(Single Value)을 따르는 것이 아니라, 사회의 다원적 가치 체계를 이해하고 그에 맞춰 행동해야 함을 기술적으로 증명했습니다.

이 방법론은 향후 자율주행차, 서비스 로봇, 정책 결정 지원 시스템 등 다양한 이해관계자의 가치가 충돌하거나 공존하는 실제 사회적 환경에 적용될 수 있는 AI 정렬(Alignment) 기술의 중요한 토대를 마련했다는 점에서 큰 의의가 있습니다.