COMBAT: Conditional World Models for Behavioral Agent Training

이 논문은 Tekken 3 의 단일 플레이어 데이터만으로 학습된 12 억 파라미터 확산 트랜스포머 기반의 COMBAT 모델을 통해, 명시적인 적대적 정책 지도 없이도 실시간으로 플레이어의 행동에 반응하는 지능적인 적대 기체를 생성하는 새로운 세계 모델을 제시합니다.

핵심

이 논문은 **'COMBAT'**이라는 새로운 인공지능 기술을 소개합니다. 이 기술을 쉽게 이해할 수 있도록 일상적인 비유와 이야기를 들어 설명해 드릴게요.

🎮 핵심 아이디어: "비밀스러운 상대를 모방하는 마법 거울"

상상해 보세요. 격투기 게임 (테켄 3) 을 하고 있는데, 당신 (플레이어 1) 만 움직이고, 컴퓨터가 조종하는 상대 (플레이어 2) 는 아무런 지시도 받지 않은 채 당신에게 반응한다면 어떨까요?

기존의 인공지능은 상대를 가르치기 위해 "이때는 주먹을 쏴라", "그때는 방어하라"라고 일일이 레시피를 알려줘야 했습니다. 하지만 COMBAT 은 다릅니다.

COMBAT 은 마치 "완벽한 거울"과 같습니다.

• **당신 (플레이어 1)**이 거울 앞에 서서 주먹을 휘두르면, 거울 속의 **상대 (플레이어 2)**는 당신을 똑바로 보고 자연스럽게 방어하거나 반격을 합니다.
• 중요한 점은, 상대가 어떻게 행동해야 하는지 가르친 적이 전혀 없다는 것입니다. 오직 당신의 행동만 보고 "아, 내가 주먹을 휘두르니까 저쪽은 피해야겠구나"라고 스스로 깨우친 것입니다.

---

🧠 어떻게 이런 일이 가능할까요? (기술의 비밀)

이 거울 같은 AI 를 만들기 위해 연구자들은 세 가지 핵심 기술을 사용했습니다.

1. "압축된 꿈의 세계" (Latent Space & Autoencoder)

게임 화면은 너무 복잡하고 데이터가 방대합니다. 이를 AI 가 이해하기 쉽게 **작은 알약 (잠재 변수)**으로 압축했습니다.

• 비유: 거대한 영화관을 한 장의 포스터로 줄인다고 생각하세요. 포스터만 봐도 영화의 분위기, 등장인물의 표정, 액션의 강약을 알 수 있습니다. COMBAT 은 게임 화면을 이런 '포스터'로 압축해서 기억하고, 다음 장면을 그리는 데 사용합니다.

2. "예측의 달인" (Diffusion Transformer)

이 AI 는 과거의 영화 (게임 장면) 를 수없이 많이 보며 패턴을 학습했습니다.

• 비유: 당신이 "주먹을 쏜다"고 했을 때, AI 는 "아, 보통 이때 상대는 '방어'를 하거나 '피하는' 장면을 많이 봤지"라고 추측합니다.
• 중요한 발견: AI 는 상대의 행동 (주먹, 발차기, 방어) 에 대한 정답을 가르치지 않았는데도, **시간이 흐르는 흐름 (일관성)**을 맞추기 위해 자연스럽게 "상대가 이렇게 반응해야 게임이 성립하겠다"는 것을 스스로 터득했습니다. 이를 **'창발적 행동 (Emergent Behavior)'**이라고 합니다.

3. "실시간 마법" (Real-time Inference & Distillation)

보통 이런 AI 는 장면을 하나 그리는 데 시간이 너무 오래 걸려 게임으로 쓸 수 없습니다. 하지만 연구자들은 지식 증류 (Distillation) 기술을 썼습니다.

• 비유: 천재 요리사가 10 시간 걸려 만든 요리를, 그 비법을 배운 요리 보조가 1 분 만에 똑같은 맛으로 만들어내는 것과 같습니다.
• 덕분에 COMBAT 은 실시간으로 (초당 85 프레임) 게임을 구동할 수 있게 되었습니다.

---

📊 결과는 어떨까요? (AI 가 배운 것들)

연구팀은 이 AI 가 얼마나 똑똑한지 확인하기 위해 재미있는 실험을 했습니다.

• 초기 학습: AI 는 처음에 너무 흥분해서 인간보다 4 배나 더 많이 공격했습니다. (너무 열정적인 초보 선수)
• 학습 진행: 시간이 지나면서 AI 는 인간처럼 적당히 공격하고 방어하는 법을 배웠습니다.
• 결과: AI 는 단순히 화면을 그리는 것을 넘어, 상대의 공격을 피하고, 연속 공격 (콤보) 을 막으며, 상황을 파악하는 전술적 행동을 스스로 터득했습니다.

💡 왜 이것이 중요한가요?

이 기술은 게임뿐만 아니라 자율주행차나 로봇에도 적용될 수 있습니다.

• 자율주행차: 보행자가 갑자기 길을 건너면, 차가 "왜 저 사람이 건너는 걸까?"라고 추론하고 자연스럽게 멈출 수 있습니다.
• 핵심 메시지: 우리는 모든 상황을 미리 가르치지 않아도, 상황을 관찰하고 흐름을 이해하는 것만으로도 AI 가 지능적인 행동을 할 수 있다는 것을 증명했습니다.

🚀 결론

COMBAT은 "상대를 가르치지 않고도, 상대가 어떻게 반응할지 예측하는 인공지능"입니다. 마치 게임 속의 거울처럼, 당신의 행동에 맞춰 자연스럽게 반응하는 새로운 시대를 열었습니다. 이제 게임은 더 이상 정해진 스크립트대로만 움직이지 않고, 매번 다른 새로운 전술로 우리를 놀라게 할 수 있게 된 것입니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 생성형 AI 의 발전으로 3D 일관된 환경과 정적 객체와의 상호작용을 시뮬레이션할 수 있는 '월드 모델 (World Models)'이 등장했습니다.
• 한계: 기존 모델들은 주로 정적 환경이나 단순한 상호작용에 집중하며, 동적이고 반응적인 에이전트 (예: 게임의 적대적 NPC, 자율주행 차량 등) 가 환경을 관찰하고 지능적으로 반응하는 능력을 모델링하는 데는 한계가 있었습니다.
• 문제: 실제 환경이나 게임에서 에이전트의 행동은 관찰 데이터에 부분적으로만 포함되어 있습니다 (예: 보행자가 차량을 피하는 행동은 관찰되지만, 그 내부 의사결정 과정은 숨겨짐). 기존의 모방 학습 (Imitation Learning) 은 모든 에이전트의 행동 레이블이 필요하므로, 부분적으로만 관찰된 데이터 (Player 1 의 입력만 존재, Player 2 의 행동은 미관측) 로부터 적대적 에이전트의 행동을 학습하는 것은 큰 도전 과제였습니다.

2. 제안 방법론 (Methodology)

저자들은 COMBAT(Conditional world Model for Behavioral Agent Training) 을 제안하며, 이는 Tekken 3 게임 데이터를 기반으로 한 실시간 행동 제어 월드 모델입니다.

가. 핵심 아이디어

• 조건부 학습: Player 1 의 시각적 프레임과 제어 입력 (버튼 입력) 만을 조건 (Condition) 으로 주어, Player 2 의 행동 레이블 없이 Player 2 의 반응적 행동을 암시적으로 학습시킵니다.
• 발현 행동 (Emergent Behavior): 명시적인 보상 신호나 적대적 에이전트의 정책 (Policy) 레이블 없이, 단순히 시간적 일관성 (Temporal Consistency) 을 유지하는 목표 하에 복잡한 전술적 행동이 모델 내에서 자연스럽게 발현되도록 합니다.

나. 모델 아키텍처

1. 멀티모달 잠재 인코딩 (Multi-Modal Latent Encoding):
   • DCAE (Deep Compression AutoEncoder): 340M 파라미터의 VAE 를 사용하여 RGB 프레임과 68 포인트 바디 포즈 (Pose) 를 결합하여 고압축 잠재 공간 (128 채널, 23x11) 으로 인코딩합니다.
   • 디코더 증류: 실시간 성능을 위해 디코더를 44M 파라미터로 증류 (Distillation) 하여 계산 비용을 줄이면서도 재구성 품질을 유지합니다.
2. Diffusion Transformer (DiT) 백본:
   • 12 억 (1.2B) 파라미터 모델: 조건부 잠재 공간에서 다음 프레임을 예측하는 디퓨전 트랜스포머를 사용합니다.
   • 하이브리드 어텐션: 긴 시퀀스 (128 프레임) 처리를 위해 국소 슬라이딩 윈도우 (16 프레임) 와 전역 어텐션 (4 번째 블록마다) 을 결합하여 효율성과 장기 의존성 모델링을 동시에 달성합니다.
   • 조건부 입력: Player 1 의 8 개 버튼 입력 (Multi-hot vector) 과 시간 임베딩을 AdaLNZero 를 통해 각 트랜스포머 블록에 주입합니다.

다. 실시간 추론 가속화

• CausVid DMD (Distribution Matching Distillation): 디퓨전 모델의 반복적 샘플링 단계를 줄이기 위해 4 단계 (4-step) 증류 모델을 학습합니다.
• Diffusion Forcing & KV Caching: 오토레거시 드리프트를 방지하고, 키 - 값 캐싱을 활용하여 실시간 프레임 속도 (Interactive Frame Rates) 를 달성합니다.

3. 주요 기여 (Key Contributions)

1. 부분 관측 데이터에서의 행동 학습: Player 2 의 행동 레이블이 전혀 없는 상태에서도, Player 1 의 입력에 반응하는 Player 2 의 전술적 행동 (막기, 반격, 콤보 등) 이 모델 내에서 암시적으로 발현됨을 입증했습니다.
2. 새로운 평가 지표 개발: 발현된 에이전트 행동을 평가하기 위해 기존 영상 품질 지표 (FVD, FID) 외에 행동 일관성 지표를 도입했습니다.
   • TAA (Total Action Adherence): 생성된 에이전트의 공격 행동 빈도가 인간 플레이와 얼마나 일치하는지 측정.
   • ARC (Action Ratio Consistency): 주먹 (Punch) 과 발차기 (Kick) 의 비율이 인간 플레이와 일치하는지 측정.
   • Health Trajectory Analysis: 게임 내 체력 감소 패턴이 실제 경기의 리듬과 일치하는지 분석.
3. 실시간 인터랙티브 월드 모델: Tekken 3 과 같은 복잡한 격투 게임에서 실시간 (85 FPS, A100 GPU 기준) 으로 반응하는 신경 게임 엔진을 구현했습니다.

4. 실험 결과 (Results)

• 데이터: Tekken 3 의 1,000 라운드 (약 120 만 프레임) 를 학습에 사용했습니다.
• 시각적 품질: 포즈 정보가 포함된 모델 (Pose-augmented) 이 RGB 만 사용하는 모델보다 FVD, FID, LPIPS 지표에서 월등히 우수한 성능을 보였습니다.
• 행동 발현:
  • 학습 초기에는 과도하게 공격적인 행동 (Hyperactive, TAA ≈ 3.87) 을 보였으나, 학습이 진행됨에 따라 인간 플레이와 유사한 행동 빈도 (TAA ≈ 1.8) 와 스타일 (ARC ≈ 1.5) 로 수렴했습니다.
  • 생성된 Player 2 는 Player 1 의 공격에 맞춰 방어, 반격, 콤보 실행 등 지능적인 전술적 행동을 보였습니다.
• 증류 효과: 4 단계 증류 모델을 통해 12.5 배의 속도 향상을 얻었으며, 시각적 품질과 행동의 질은 크게 저하되지 않았습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존의 명시적 행동 레이블이나 보상 함수에 의존하던 모방 학습/강화 학습과 달리, 순수한 관찰 데이터와 시간적 일관성 목표만으로 복잡한 다중 에이전트 행동을 학습할 수 있음을 증명했습니다.
• 응용 가능성: 이 연구는 게임 개발을 넘어, 자율주행, 로봇 공학 등 복잡한 상호작용 환경에서 에이전트의 행동을 학습하는 새로운 기반을 제공합니다.
• 오픈 소스: 대규모 Tekken 3 데이터셋 (포즈 및 세그멘테이션 주석 포함) 과 학습 파이프라인을 공개하여 후속 연구를 촉진합니다.

요약하자면, COMBAT 는 생성형 월드 모델을 통해 명시적인 지도 없이도 적대적 에이전트의 지능적이고 반응적인 행동을 자연스럽게 발현시켜, 실시간 인터랙티브 시뮬레이션의 새로운 지평을 연 연구입니다.