기술 요약: 상호작용형 게임플레이를 위한 코치 가능한 에이전트 (Coachable Agents)

문제 정의

강화 학습(RL)은 로보틱스에서 비디오 게임에 이르기까지 실시간 제어 영역에서 최첨단 성능을 달 achieve했습니다. 그러나 일반적인 RL 에이전트는 대개 과업을 해결하기 위한 단일한 최적에 가까운 행동을 학습합니다. 이러한 유연성의 결여는 사용자가 단순히 과업을 '수행하는가'가 아니라, 과업이 '어떻게' 수행되는지에 대해 통제권을 행사하고자 할 때 한계로 작용합니다. 생성형 AI(예: "인상주의 스타일로 그려줘")와 같이 사용자가 특정 스타일을 요청할 수는 있지만, 연속 제어 환경에서 작동하는 에이전트를 위한 이러한 실시간 스타일 제어는 그동안 불가능했습니다.

멀티 태스크, 멀티 오브젝티브, 또는 목표 조건부 학습(goal-conditioned learning)과 같은 기존 방식들은 에이전트가 여러 개의 서로 다른 과업을 수행하도록 가르치는 데 초점을 맞춥니다. 본 논문은 "조용하게 청소하기"와 "빠르게 청소하기"를 별개의 과업으로 프레이밍하는 것이 사용자 선호도의 스펙트럼을 가린다고 주장합니다. 대신, 저자들은 **코치 가능한 에이전트(Coachable Agents)**를 제안합니다. 이는 단일 핵심 과업을 다양한 "스타일"로 수행하도록 훈련된 에이전트로, 사용자가 실행 시점에 이러한 스타일을 선택하고 수정할 수 있도록 합니다.

방법론

본 프레임워크는 핵심 목표는 고정되어 있으나 여러 가지 유효한 행동이 존재하는 시나리오를 처리할 수 있도록 **범용 가치 함수 근사기(Universal Value Function Approximators, UVFAs)**를 확장하여 구축되었습니다. 저자들은 다음과 같이 보상 함수를 두 가지 구성 요소로 분해한 **스타일 조건부 UVFA(Style-Conditioned UVFAs)**를 도입합니다:
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: 주요 목표(예: 전투에서 승리하기, 한 바퀴 완주하기)를 포착하는 고정된 보상.
• $r_{style}$: 다차원 스타일 벡터 $\theta$에 의해 구동되는 스타일 의존적 보상. 이 벡터는 선형 결합을 위한 가중치, 게이팅/램핑을 위한 임계값, 그리고 원하는 범위를 벗어나는 것을 벌칙으로 주는 설정값(setpoints)을 포함합니다.

핵심 기술 혁신

1. 알고리즘 적응 (Cat-RAC): AAA급 비디오 게임(특히 Horizon Forbidden West)의 고차원 제어 영역을 처리하기 위해, 저자들은 Soft Actor-Critic (SAC) 계열의 새로운 멤버인 **Categorical Regularized Actor-Critic (Cat-RAC)**을 개발했습니다. 이 알고리즘은 현대적인 게임에서 발견되는 액션 공간의 복잡성과 행동의 분산을 해결합니다.
2. 훈련 인프라: 프레임워크는 다음을 활용합니다:
   • 시나리오 훈련: 기술과 스타일 변형을 가르치기 위한 특정 연습 시나리오 생성.
   • 데이터 증강(Data Augmentation): 학습 속도를 높이고 안정화하기 위함.
   • 특수 목적 리플레이 버퍼: 다양한 정책을 학습하기 용이하도록 특정 스타일 태그가 포함된 궤적(trajectories)을 저장.
3. 스타일 합성: 시스템은 런타임 중에 여러 스타일 요청(예: 특정 무기 + 특정 원소 효과)을 조합할 수 있게 합니다. 이는 에이전트가 훈련 중에 해당 특정 조합을 거의 본 적이 없는 경우에도 가능합니다.

실험 도메인

본 프레임워크는 세 가지 뚜렷한 도메인에서 검증되었습니다:

1. Gran Turismo 7 (GT7): 레이싱 시뮬레이션. 에이전트(GT Sophy)는 랩 타임과 자원 제약(연료 소비 및 타이어 마모) 사이의 균형을 맞추고, 드리프트와 같은 주행 행동을 보이도록 훈련되었습니다.
2. Horizon Forbidden West (HFW): 오픈 월드 액션 어드벤처 게임. 에이전트는 복잡한 로봇 적들과 전투를 벌이는 주인공 에일로이(Aloy)를 제어합니다. 스타일에는 특정 무기 선택(6종의 무기), 근접 공격, 트랩, 7가지 원소 효과, 그리고 3가지 부위 제거 전략이 포함되었습니다.
3. Deep Dynamic Control Suite (DMC): 휴머노이드 보행 과업. 스타일은 이산적인 팔 포즈(discrete arm poses)와 연속적인 보폭(continuous gait lengths)을 제어하며, 이는 로보틱스에 대한 접근성을 입증합니다.

결과

Gran Turismo 7

• 자원 관리: UVFA 가중치를 조정함으로써, 에이전트는 페이스와 연료 범위 또는 타이어 수명 사이의 절충을 할 수 있었습니다. 연료/타이어 사용에 대한 벌칙을 높이면 랩당 2~3초의 손실을 감수하면서도 피트 스톱 간격을 최대 60%까지 연장할 수 있었습니다.
• 행동 다양성: 에이전트는 드리프트를 성공적으로 학습했으며, 임계값 기반의 스타일 파라미터를 통해 겉으로 드러나는 공격성을 조절할 수 있었습니다.

Horizon Forbidden West

• 스타일 준수: 19종의 적과 3곳의 위치에서 57,000번의 전투를 통해, 에이전트는 요청된 스타일과 실행된 행동 사이의 강한 상관관계(데미지 유형 매트릭스의 대각선 우세성)를 보여주었습니다.
• 맥락적 적응: 에이전트는 스타일 요청을 맹목적으로 따르는 것이 아니라 맥락화했습니다. 예를 들어, 특정 원소 스타일을 사용하라는 요청을 받으면, 해당 상태를 유도할 수 있는 무기를 선택한 다음, 상태가 유지되는 동안 데미지를 극대화하기 위해 더 강력한 무기로 전환할 수 있습니다.
• 합성 가능성: 에이전트는 훈련 과정 중 해당 특정 조합을 100만 번의 시나리오 중 한 번 미만으로 보았음에도 불구하고, 결합된 스타일(예: 특정 무기 + 특정 원소)을 성공적으로 실행했습니다.
• 일반화: 에이전트는 훈련 세트에 존재하지 않는 분포 외(OOD) 적이나 시나리오(예: 비행 적)에 대해서도 높은 성능을 유지했습니다.
• 트레이드오프 제어: 파레토 곡선(Pareto curves)은 사용자가 런타임에 스타일 가중치 파라미터를 튜닝하여 "스타일 점수"와 승률 사이의 균형을 맞춤으로써, 에이전트의 위험 감수 행동에 대해 유연하게 제어할 수 있음을 보여주었습니다.

휴머노이드 (DMC)

• 에이전트는 이산적인 팔 포즈와 연속적인 보폭 제어를 성공적으로 합성했습니다. 스타일 파라미터 $\theta$는 보폭 길이에 대한 설정값(setpoint)으로서 효과적으로 기능했으며, 이는 팔 포즈가 로봇의 무게 중심과 균형에 영향을 미치는 상황에서도 작동했습니다.

의의 및 주장

본 논문은 스타일 조건부 UVFA가 적절한 학습 알고리즘 및 훈련 전략과 결합될 때, 명령에 따라 수정 가능하면서도 복잡한 실시간 과업을 성공적으로 수행하는 에이전트를 생성할 수 있다고 주장합니다.

• 게임 산업 영향: 이 기술은 게임 산업에 즉각적인 응용 가능성을 제공합니다. 여기에는 향상된 품질 보증(QA) 프로세스, 강화된 NPC, 그리고 플레이어가 선호하는 플레이스타일을 준수하면서 에이전트가 게임의 어려운 구간을 대신 수행해 주는 새로운 접근성 기능 등이 포함됩니다.
• 로보틱스 영향: 범용 로봇이 실제 환경에 진입함에 따라, 이 방식은 사용자가 목표 수정자(goal modifiers)를 통해 로봇의 행동을 형성할 수 있는 메커니즘을 제공합니다. 이를 통해 로봇이 다양한 수준의 "재치(flair)"나 특정 제약(예: 조용히 청소하기 vs 빠르게 청소하기)을 가지고 과업을 수행할 수 있게 합니다.
• 행동 인코딩: 단일 행동만을 학습하는 표준 RL 에이전트와 달리, 코치 가능한 에이전트는 "행동의 가족(family of behaviors)"을 인코딩하여 인간의 의도와 기계의 실행 사이의 유연한 인터페이스를 제공합니다.

저자들은 이 프레임워크의 노력 대부분이 단순한 알고리즘 아키텍처보다는 인센티브와 연습 시나리오를 만드는 것(즉, "코칭")에 달려 있음을 강조하며, 훈련 환경의 설계가 복잡한 도메인으로 확장하는 데 있어 매우 중요하다는 점을 시사합니다.