MARRS: Masked Autoregressive Unit-based Reaction Synthesis

이 논문은 이산 벡터 양자화의 한계를 극복하고 신체 부위 간 상호작용을 강화하기 위해, 신체와 손을 독립적으로 인코딩하는 UD-VAE, 액션 조건부 퓨전 (ACF), 그리고 적응형 단위 변조 (AUM) 를 결합한 연속 표현 기반의 새로운 반응 합성 프레임워크인 MARRS 를 제안합니다.

핵심

이 논문은 **"누군가 행동을 하면, 다른 사람이 어떻게 자연스럽게 반응할지 AI 가 만들어내는 기술"**에 대한 이야기입니다.

기존의 기술들은 두 사람이 서로 대화하듯 움직이는 것을 만들 때, 마치 로봇이 기계적으로 팔을 흔들거나 발을 구르는 것처럼 어색한 경우가 많았습니다. 이 논문은 그 문제를 해결하기 위해 **'마스크 autoregressive unit-based reaction synthesis (MARRS)'**라는 새로운 방법을 제안했습니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 세 가지 비유로 설명해 드리겠습니다.

---

1. 몸과 손을 따로따로 생각하게 하기 (UD-VAE)

비유: 오케스트라의 악기 분리

기존의 AI 는 사람의 온몸을 하나의 덩어리로만 생각했습니다. 마치 지휘자가 악단 전체를 한 번에 지휘하듯 말이에요. 하지만 손가락을 움직일 때와 발을 움직일 때는 뇌가 다르게 작동하죠.

이 논문은 "몸통 (Torso)"과 "손 (Hands)"을 완전히 다른 악기처럼 분리해서 생각하게 만들었습니다.

• 몸통: 무거운 베이스나 드럼처럼 큰 흐름을 담당합니다.
• 손: 현악기나 피아노처럼 섬세하고 빠른 세부 동작을 담당합니다.

AI 가 이 두 가지를 따로따로 배우게 했더니, 마치 악기 소리가 섞이지 않고 명확하게 들리듯, 손동작이 훨씬 자연스럽고 정교해졌습니다.

2. 눈가리고 맞추기 게임 (Action-Conditioned Fusion)

비유: 가위바위보 게임

상대방이 행동을 할 때, 우리는 그 행동을 보고 반응합니다. 하지만 AI 는 모든 정보를 다 알면 너무 쉽게 답을 찾아서 오히려 자연스러움이 떨어집니다.

이 논문은 AI 에게 "가위바위보" 게임을 시켰습니다.

1. 상대방 (Actor) 의 행동을 AI 가 봅니다.
2. AI 가 자신의 반응 (Reactor) 을 만들 때, 일부 동작을 '눈가리개 (마스크)'로 가립니다.
3. AI 는 가려진 부분을 상대방의 행동과 나머지 보이는 부분을 보고 추측해서 채워 넣습니다.

이 과정을 반복하면서 AI 는 "상대방이 이렇게 움직였을 때, 내 손은 어디로 가야 할까?"를 스스로 학습하게 됩니다. 마치 가위바위보에서 상대방의 손 모양을 보고 내 손을 빠르게 조절하는 것과 같습니다.

3. 몸과 손이 서로 대화하게 하기 (Adaptive Unit Modulation)

비유: 팀워크가 좋은 축구 선수

몸통과 손을 따로 가르쳤지만, 둘이 서로 모르면 엉뚱한 동작이 나옵니다. (예: 몸은 왼쪽으로 가는데 손은 오른쪽으로 뻗는 경우)

이 논문은 몸통과 손이 서로 실시간으로 대화하게 만들었습니다.

• 몸통이 손에게 말해요: "나 지금 급하게 오른쪽으로 피할 거야. 너도 따라와!"
• 손이 몸통에게 말해요: "나 지금 공을 잡으려고 손가락을 구부리고 있어. 몸도 살짝 구부려줘!"

이렇게 서로의 정보를 주고받으며 (Adaptive Modulation), 전체적인 움직임이 하나로 조화롭게 만들어집니다. 마치 축구에서 공을 받는 선수와 패스하는 선수가 눈빛만으로도 움직임을 맞춰주는 것과 같습니다.

---

🌟 왜 이 기술이 특별한가요?

기존 기술들은 **디지털 점 (Vector Quantization)**이라는 낡은 방식을 썼는데, 이는 마치 픽셀화 된 그림처럼 디테일이 뭉개지는 단점이 있었습니다. 하지만 이 논문은 **연속적인 유체 (Continuous Representation)**를 사용해서, 마치 물처럼 부드럽고 자연스러운 움직임을 만들어냅니다.

결과적으로:

• 자연스러움: 사람이 보기에 로봇 같지 않고, 진짜 사람처럼 반응합니다.
• 정교함: 손가락 하나하나의 움직임까지 세밀하게 표현됩니다.
• 빠른 속도: 복잡한 계산 없이도 빠르게 움직임을 생성할 수 있습니다.

💡 결론

이 기술은 게임 캐릭터가 플레이어의 행동에 맞춰 자연스럽게 반응하게 하거나, 영화에서 엑스트라들이 주인공의 연기에 맞춰 리액션하게 만드는 데 큰 도움을 줄 것입니다. 마치 AI 가 "연기"를 배우고, 상대방의 말과 행동에 맞춰 "즉흥극"을 잘 해내는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 목표: 한 사람의 행동 (Action) 시퀀스를 조건으로 하여, 다른 사람의 자연스러운 반응 (Reaction) 동작을 생성하는 인간 행동 - 반응 합성 (Human Action-Reaction Synthesis) 작업.
• 기존 방법의 한계:
  • 벡터 양자화 (VQ) 의 문제: 기존 동작 생성 모델들은 VQ-VAE 를 사용하여 이산 토큰 (discrete tokens) 으로 변환 후 생성하지만, 이는 연속적인 운동 데이터의 정보 손실 (quantization information loss) 을 초래하고 코드북 활용도가 낮음. 또한 재구성 및 생성 성능이 만족스럽지 않음.
  • 단위 분할의 복잡성: 신체를 여러 단위로 나누는 전략은 유효하지만, 단위 수가 증가할수록 계산 비용이 급증하며, 단위 간의 상호 인식 (mutual perception) 이 간과되는 문제가 있음.
  • 상호작용 부족: 몸통 (Body) 과 손 (Hands) 이 서로의 정보를 고려하지 않고 독립적으로 생성될 경우, 조화롭지 못한 전신 동작이 생성됨.

2. 제안 방법론: MARRS (Methodology)

저자들은 연속 표현 (Continuous Representations) 을 기반으로 한 새로운 프레임워크 MARRS 를 제안합니다. 이 프레임워크는 두 단계의 파이프라인으로 구성됩니다.

1 단계: Unit-distinguished Motion Variational AutoEncoder (UD-VAE)

• 신체 단위 분할: 전체 신체 동작을 몸통 (Body) 과 손 (Hands) 두 개의 독립적인 단위로 분할합니다.
• 독립 인코딩: 각 단위를 별도의 변분 오토인코더 (VAE) 로 인코딩하여, 몸과 손에 대한 개념을 독립적으로 학습하고 연속적인 토큰으로 매핑합니다.
• 목적: 양자화 정보 손실을 방지하고, 신체 부위별 특징을 명확히 분리하여 표현합니다.

2 단계: Masked Reaction Generation Model

생성 단계에서는 다음 세 가지 핵심 모듈을 활용합니다.

1. Action-Conditioned Fusion (ACF):
   • 반응자 (Reactor) 의 토큰 중 일부를 무작위로 마스킹 (Masking) 합니다.
   • 활성된 (Active) 토큰과 행동자 (Actor) 의 정보를 Transformer 를 통해 융합하여, 마스킹된 토큰이 행동자의 동작에 대한 맥락을 파악하도록 합니다.
2. Adaptive Unit Modulation (AUM):
   • 몸통과 손 단위 간의 상호작용을 촉진합니다.
   • 몸통의 정보를 사용하여 손의 위치를 적응적으로 조절하거나, 반대로 손의 정보를 사용하여 몸통을 조절하는 양방향 (Bidirectional) 조정을 수행합니다. 이를 통해 전신 동작의 조화를 이룹니다.
3. Diffusion for Autoregressive Generation:
   • 기존 VQ 기반의 자기회귀 (Autoregressive) 생성 대신, 확산 모델 (Diffusion Model) 을 적용합니다.
   • 각 단위 (몸통, 손) 에 대해 소형 MLP(Noise Predictor) 를 사용하여 개별 토큰의 확률 분포를 모델링합니다.
   • 마스킹 자기회귀 (Masked Autoregressive) 방식과 확산 손실 (Diffusion Loss) 을 결합하여, 마스킹된 토큰을 점진적으로 복원하며 자연스러운 반응을 생성합니다.

3. 주요 기여 (Key Contributions)

1. MARRS 프레임워크 제안: 행동 - 반응 합성 분야에서 최초로 마스킹 자기회귀 생성 (Masked Autoregressive Generation) 을 성공적으로 적용하여, 동기화되고 세밀한 반응 동작을 생성합니다.
2. UD-VAE 및 ACF/AUM 모듈:
   • UD-VAE: 몸과 손을 분리하여 인코딩함으로써 신체 개념을 효과적으로 학습.
   • ACF: 행동 정보를 반응 토큰에 효과적으로 주입.
   • AUM: 단위 간 상호 인식을 통해 전신 동작의 조화성을 확보.
3. 확산 기반 생성: VQ 의 정보 손실 문제를 해결하기 위해 연속 공간에서의 확산 모델을 자기회귀 생성에 통합하여 성능을 극대화했습니다.

4. 실험 결과 (Results)

• 데이터셋: NTU120-AS 및 Chi3D-AS 데이터셋에서 평가.
• 성능 지표: FID (생성 품질), Acc (동작 인식 정확도), Div (다양성), Multimod (다양한 반응 생성 능력).
• 주요 결과:
  • 양적 평가: 온라인/오프라인 설정 모두에서 기존 최첨단 방법 (ReGenNet, MDM, VQ-VAE 기반 방법 등) 보다 FID, 정확도, 멀티모달리티 측면에서 우수한 성능을 기록했습니다. 특히 테스트 조건 (Test-conditioned) 에서 일반화 능력이 뛰어났습니다.
  • 질적 평가: 생성된 반응 동작이 더 자연스럽고, 손동작과 전신 움직임의 조화가 잘 이루어짐을 시각적으로 확인했습니다.
  • 손 및 전신 정확도: 손 자세 (Hand Poses) 와 전역 이동 (Global Translation) 에 대한 오차가 기존 방법보다 현저히 낮았습니다.
  • 사용자 연구: 20 명의 참가자를 대상으로 한 조사에서 자연스러움, 부드러움, 물리적 현실성 측면에서 ReGenNet 대비 약 74~79% 의 사용자가 MARRS 를 선호했습니다.
  • 효율성: 모델 크기를 조절 (Tiny, Small, Base) 하여 확장성을 검증했으며, ReGenNet 대비 학습 수렴 속도가 빠르고 추론 속도가 경쟁력 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 기술적 혁신: VQ 기반의 한계를 극복하고, 연속 표현과 확산 모델을 자기회귀 생성에 결합하여 인간 상호작용 동작 생성의 새로운 패러다임을 제시했습니다.
• 실용성: 애니메이션, 게임 개발, 로봇 제어 분야에서 애니메이션 작업자의 부담을 줄이고 고품질의 상호작용 동작을 자동 생성할 수 있는 잠재력을 가집니다.
• 향후 과제: 현재 고해상도 데이터셋의 부재와 발 미끄러짐 (foot sliding) 문제, 미세한 손가락 접촉 등의 정밀한 동작 생성은 향후 연구 과제로 남겼습니다.

요약하자면, MARRS는 신체 부위 (몸/손) 를 세분화하고 상호작용을 유도하며, 양자화 손실 없이 연속적인 확산 모델을 통해 인간 간의 자연스러운 행동 - 반응 시퀀스를 생성하는 획기적인 프레임워크입니다.