TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size

이 논문은 단일 분산 정책으로 다양한 팀 크기와 물체 기하학적 구조를 가진 인간 - 물체 상호작용 (HOI) 을 가능하게 하는 Transformer 기반의 TeamHOI 프레임워크를 제안하며, 단일 인간 모션을 기반으로 한 마스킹된 적대적 운동 우선순위 (AMP) 전략과 형성 보상을 통해 현실적이고 일관된 협력 행동을 학습합니다.

핵심

팀호이 (TeamHOI): "팀원 수 몇 명이든, 한 번에 배운 팀워크"

이 논문은 **"가상의 로봇들이 (휴머노이드) 여러 명 모여서 무거운 테이블을 들어 옮기는 일"**을 어떻게 하면 가장 자연스럽게, 그리고 팀원 수가 2 명일 때든 8 명일 때든 상관없이 한 가지 지능으로 해결할 수 있는지 설명합니다.

기존의 로봇들은 "2 명일 때는 A 방식, 4 명일 때는 B 방식"처럼 팀원 수마다 따로 훈련받아야 했습니다. 하지만 이 연구는 **"누가 몇 명 오든 상관없이, 한 번만 배우면 모든 상황에 적응하는 만능 팀워크"**를 개발했습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. "마법 같은 팀장" (Transformer 기반 정책)

기존 방식:
예를 들어, 2 명 팀을 훈련시키면 2 명만 아는 지시사항을, 4 명 팀을 훈련시키면 4 명만 아는 지시사항을 따로 외워야 했습니다. 8 명이 오면 다시 처음부터 배우는 식이죠.

TeamHOI 의 방식:
이 연구는 **Transformer(트랜스포머)**라는 최신 AI 기술을 팀장에게 심어주었습니다.

• 비유: 마치 **"팀원들의 상태를 실시간으로 읽는 마법 같은 팀장"**이 있는 상황입니다.
• 이 팀장은 2 명이 모였을 때는 "너, 저기 가서 잡고!"라고 말하고, 8 명이 모였을 때는 "너, 너, 너, 저기서 잡고! 나머지 너희는 여기서!"라고 즉석에서 지시합니다.
• 중요한 건, **팀원 수가 바뀌어도 팀장은 같은 사람 (하나의 정책)**입니다. 새로운 팀원이 들어오면 그 사람의 위치와 방향을 '토큰 (정보 조각)'으로 받아서 즉시 팀워크를 조절합니다. 그래서 2 명에서 8 명까지, 심지어 16 명까지도 처음부터 다시 훈련하지 않고도 자연스럽게 움직입니다.

2. "가상 의상 입히기" (마스크된 AMP 전략)

문제점:
로봇이 인간처럼 자연스럽게 움직이게 하려면 실제 인간이 하는 동작 데이터를 보여줘야 합니다. 하지만 "여러 명이 함께 무거운 물건을 들어 올리는" 실제 인간 데이터는 거의 없습니다. 대부분은 혼자 걷거나 물건을 드는 데이터뿐이죠.

TeamHOI 의 해결책:
연구진은 **"가상 의상 (마스크)"**을 입히는 아이디어를 썼습니다.

• 비유: 인간이 혼자 걷는 영상 (참고 자료) 을 보여주는데, "손과 팔 부분만 가려버리는 (마스크)" 것입니다.
• AI 는 "손이 어떻게 움직이는지"는 가려서 보지 못하게 하죠. 대신, "물건을 들어 올리는 목표 (상승하는 힘)"만 주면 됩니다.
• AI 는 "아, 손은 가려졌으니 내가 직접 물건을 들어 올리는 방법을 찾아야겠구나!"라고 생각하며, 혼자 걷는 동작을 바탕으로 여러 명이 협력해서 들어 올리는 새로운 동작을 스스로 창조해냅니다.
• 덕분에 실제 데이터가 없어도, 다양한 협력 동작을 만들어낼 수 있게 되었습니다.

3. "자연스러운 포메이션" (형상 보상)

문제점:
로봇들이 테이블을 들 때, 무작위로 모여들면 테이블이 뒤집히거나 불안정해집니다. 인간은 테이블의 모양 (네모, 동그라미) 에 따라 자연스럽게 자리를 잡지만, 로봇은 이를 배우기 어렵습니다.

TeamHOI 의 해결책:
연구진은 로봇들에게 **"테이블의 중심축을 따라 자연스럽게 퍼져라"**는 규칙을 가르쳤습니다.

• 비유: 마치 **"테이블이라는 무대 위에 춤을 추는 안무"**를 가르치는 것과 같습니다.
• 로봇들은 테이블의 중심을 기준으로 서로의 거리를 계산하며, 테이블이 넘어지지 않도록 **가장 안정적인 위치 (테이블의 주축을 따라)**에 스스로 자리를 잡습니다.
• 이 규칙은 테이블이 네모인지 동그라미인지, 팀원이 2 명인지 8 명인지와 상관없이 적용되므로, 어떤 상황에서도 로봇들이 자연스럽게 줄을 서서 들어 올립니다.

---

🏆 결론: 왜 이것이 중요한가요?

이 기술은 **"하나의 지능으로 모든 상황을 해결한다"**는 점에서 획기적입니다.

• 기존: 2 명 팀용 로봇, 4 명 팀용 로봇, 8 명 팀용 로봇을 따로 만들어야 함. (비효율적)
• TeamHOI: 2 명부터 8 명 (심지어 16 명) 까지, 테이블 모양이 무엇이든 하나의 로봇 두뇌로 해결함.

이 기술은 향후 가상 현실 (VR) 게임에서 수많은 NPC(비플레이어 캐릭터) 가 자연스럽게 협력하게 하거나, 실제 재난 현장에서 여러 대의 로봇이 협력하여 무거운 잔해를 치우는 등, 유연하고 지능적인 로봇 팀을 만드는 데 큰 발걸음이 될 것입니다.

한 줄 요약:

"팀원 수가 몇 명인지, 물건의 모양이 어떤지 상관없이, 한 번 배운 팀워크로 누구와도 척척 협력하는 만능 로봇 팀을 만들었습니다!"

기술 요약

1. 문제 정의 (Problem)

물리 기반 휴머노이드 제어 (Physics-based Humanoid Control) 는 단일 에이전트의 걷기, 잡기, 조작 등 현실적인 동작 구현에서 괄목할 만한 성과를 거두었습니다. 그러나 협동 인간 - 물체 상호작용 (Cooperative Human-Object Interaction, HOI) 으로 확장하는 데에는 다음과 같은 주요 한계가 존재합니다.

• 확장성 부족 (Scalability): 기존 접근법은 대부분 고정된 크기의 입력을 받는 MLP(다층 퍼셉트론) 정책을 사용합니다. 이는 팀의 크기 (에이전트 수) 가 고정되어야 함을 의미하며, 팀 구성이 변할 때마다 정책을 다시 학습하거나 미세 조정해야 하는 비효율성을 초래합니다.
• 데이터 다양성 부족 (Data Scarcity): 협동 HOI 를 위한 고품질 다중 인간 모션 캡처 데이터는 매우 부족합니다. 기존 방법들은 Adversarial Motion Prior (AMP) 를 사용하여 모션의 현실성을 보장하지만, 주로 단일 인간 참조 모션에 의존합니다. 이로 인해 협동 작업 시 필요한 다양한 동작 패턴 (예: 물체를 들기 위한 다양한 자세) 이 제한되고, 단일 시연자의 동작에 과도하게 구속되는 문제가 발생합니다.
• 협동 메커니즘의 부재: 기존 연구들은 물체의 역학을 통해 간접적으로만 소통하거나, 에이전트 간의 명시적인 상태 공유를 생략하여 실제 인간의 유연한 협동 (팀 구성에 따른 적응) 을 구현하지 못합니다.

2. 제안 방법론 (Methodology: TeamHOI)

저자들은 TeamHOI라는 프레임워크를 제안하여, 단일의 탈중앙화 정책 (Unified Decentralized Policy) 으로 임의의 팀 크기와 물체 구성을 처리할 수 있도록 합니다.

가. Transformer 기반 정책 네트워크 (Transformer-based Policy Network)

• 팀메이트 토큰 (Teammate Tokens): 고정된 입력 크기의 MLP 대신 Transformer 아키텍처를 정책 네트워크로 사용합니다. 관찰 에이전트의 상태 토큰과 다른 팀원들의 상태 (위치, 방향 등) 를 인코딩한 '팀메이트 토큰'을 입력으로 받습니다.
• 자기 및 교차 어텐션: 자기 어텐션 (Self-attention) 을 통해 에이전트 자신의 상태를 처리하고, 교차 어텐션 (Cross-attention) 을 통해 팀원들의 상태에 주의를 기울입니다. 이를 통해 팀 크기가 변하더라도 (2 명에서 8 명까지) 재학습 없이 유연하게 협동 패턴을 학습하고 적응할 수 있습니다.

나. 마스킹된 AMP 전략 (Masked AMP Strategy)

단일 인간 참조 모션 데이터의 한계를 극복하기 위해 제안된 핵심 기법입니다.

• 이중 판별자 (Dual Discriminators):
  1. Full-body Discriminator ($D_{full}$): 물체와 상호작용하지 않는 전체 신체 모션을 평가하여 자연스러운 보행 등을 학습합니다.
  2. Masked Discriminator ($D_{mask}$): 물체와 상호작용하는 신체 부위 (손, 팔 등) 를 **마스킹 (제거)**한 상태에서 나머지 신체 모션만 평가합니다.
• 작업 보상 유도: 마스킹된 영역 (손과 물체의 상호작용) 에 대해서는 참조 모션의 제약을 받지 않고, **작업 보상 (Task Rewards)**을 통해 목표에 부합하는 다양한 상호작용 (예: 물체를 들기 위한 다양한 손 위치) 을 학습하도록 유도합니다. 이는 단일 인간 데이터에서도 다양한 협동 행동을 생성할 수 있게 합니다.

다. 협동 운반 태스크 및 형성 보상 (Cooperative Carrying & Formation Reward)

• 태스크: 여러 에이전트가 테이블 (정사각형, 직사각형, 원형) 을 찾아 안정적으로 들어 올리고 목표 지점까지 운반하는 작업입니다.
• 형성 보상 (Formation Reward): 에이전트들이 테이블 주변에 안정적으로 분포하도록 유도합니다.
  • 각도 확산 보상 (Angular Spread Reward): 에이전트들이 테이블 주위에 균등하게 퍼지도록 합니다.
  • 주축 커버리지 보상 (Principal-axes Coverage Reward): 물체의 회전 안정성을 극대화하는 주축 (Principal Axes) 방향으로 에이전트들이 배치되도록 유도합니다. 이는 물체의 모양과 팀 크기에 무관하게 적용 가능한 보상으로 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. TeamHOI 프레임워크: 단일 탈중앙화 정책을 통해 임의의 수의 에이전트와 다양한 물체 구성에서 협동 HOI 를 수행할 수 있는 최초의 통합 프레임워크 제안.
2. 확장 가능한 Transformer 정책: 팀메이트 토큰을 활용한 Transformer 기반 아키텍처로, 팀 크기 변화에 따른 재학습 없이도 적응 가능한 협동 학습 달성.
3. 마스킹된 AMP 전략: 단일 인간 참조 데이터의 다양성 한계를 극복하고, 물체 상호작용 부위를 마스킹하여 작업 보상으로 유도함으로써 다양한 협동 행동 생성 가능.
4. 형성 보상 설계: 물체 모양과 팀 크기에 구애받지 않는 안정적 운반을 위한 새로운 보상 함수 개발.

4. 실험 결과 (Results)

• 실험 설정: 2 명에서 8 명까지의 다양한 팀 크기와 다양한 모양 (정사각형, 직사각형, 원형) 의 테이블을 운반하는 태스크에서 평가.
• 성능:
  • 제안된 방법은 단일 정책으로 2 명부터 8 명까지 모든 팀 크기에서 97% 이상의 높은 성공률을 기록했습니다.
  • 기존 방법 (CooHOI*) 은 특정 팀 크기 (예: 4 명) 에 최적화되어 있어 다른 크기로 확장 시 성능이 급격히 저하되거나 협동이 실패하는 반면, TeamHOI 는 모든 설정에서 일관된 협동과 부드러운 운동을 보였습니다.
  • 무거운 하중 (5 배 무게) 설정에서도 8 명 에이전트가 효과적으로 협력하여 성공률을 유지한 반면, 기존 방법은 실패했습니다.
• 제거 실험 (Ablation Study):
  • 마스킹 AMP: 마스킹을 적용하지 않으면 물체 상호작용과 모션 현실성 간의 충돌로 인해 들기 (Lifting) 단계에서 실패율이 높았으며, 마스킹을 적용함으로써 성공률이 크게 향상되었습니다.
  • 형성 보상: 주축 커버리지 보상을 추가하지 않으면 에이전트들이 비자연스러운 대각선 보행 패턴을 보이거나 물체가 불안정하게 회전하는 문제가 발생했습니다.

5. 의의 및 결론 (Significance)

TeamHOI 는 물리 기반 다중 휴머노이드 제어 분야에서 중요한 이정표가 됩니다.

• 유니버설 정책: 팀 크기와 물체 모양에 구애받지 않는 단일 정책을 학습함으로써, 실제 로봇 시스템이나 가상 환경 (게임, 애니메이션) 에서 유연한 다중 에이전트 협동을 가능하게 합니다.
• 데이터 효율성: 고품질 다중 인간 모션 데이터가 없더라도 단일 인간 데이터를 효과적으로 재사용하여 복잡한 협동 행동을 학습할 수 있음을 입증했습니다.
• 미래 전망: 이 연구는 embodied intelligence(구현된 지능) 의 확장성과 다중 캐릭터 애니메이션의 현실성을 높이는 기반을 마련하며, 복잡한 물리적 상호작용이 필요한 미래 AI 응용 분야에 새로운 기회를 제공합니다.