🤖 AI

Social Structure Matters in 3D Human-Human Interaction Generation

이 논문은 LLM이 근본적인 사회적 구조(단계 및 역할)를 추론하고 모션 실행기가 이 구조를 물리적으로 타당하고 조율된 2인 모션으로 구체화하는 플래너-실행기 패러다임을 채택함으로써, 텍스트 기반 3D 인간 간 상호작용 생성의 과제를 해결하는 "Solo-to-Social" 프레임워크를 제안한다.

원저자: Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 두 사람, 하나의 텍스트

두 사람이 포옹하는 그림을 그려달라고 컴퓨터에게 요청한다고 상상해 보세요. 만약 단순히 "포옹"이라고만 요청한다면, 컴퓨터는 두 사람이 그냥 옆에 서 있게 그리거나, 한 사람이 벽을 껴안고 있는 모습을 그릴지도 모릅니다.

3D 애니메이션의 세계에서, 텍스트 설명(예: "한 사람이 다가가서, 껴안고, 그 다음 놓는다")을 바탕으로 두 사람이 함께 사실적으로 움직이게 만드는 것은 매우 어려운 일입니다. 기존의 방식들은 이를 동시에 일어나는 두 개의 별개인 솔로 댄스로 취급했습니다. 하지만 인간의 상호작용은 단순히 두 개의 솔로 댄스가 아니라, 움직임의 대화입니다.

저자들은 이러한 애니메이션에 빠져 있는 핵심적인 재료가 바로 **사회적 구조(Social Structure)**라고 주장합니다.

"사회적 구조"란 무엇인가?

사회적 상호작용을 연극 무대 위의 연극이라고 생각해 보세요.

솔로 동작 (Solo Motion): 이것은 배우가 혼자서 대사를 연습하는 것과 같습니다. 그들은 걷기, 손 흔들기, 점프하기 등을 할 줄 압니다.
사회적 구조 (Social Structure): 이것은 대본과 무대 지시문입니다. 이는 당신에게 다음을 알려줍니다:
1. 단계 (Phases): 이야기는 막(Act)으로 구성됩니다 (예: 접근, 접촉, 해제). 누군가를 껴안기 전에 먼저 다가가는 단계가 필요합니다. 껴안기도 전에 먼저 껴안을 수는 없으니까요.
2. 역할 (Roles): 모든 장면에서, 누가 무엇을 하고 있나요? A가 "껴안는 사람"이고 B가 "껴안기를 받는 사람"인가요? 아니로 A가 "공격자"이고 B가 "방어자"인가요?

이러한 구조가 없다면, 컴퓨터는 A가 껴안으려고 할 때 B는 걸어가고 있거나, 혹은 서로 엉뚱한 방향을 향하게 만들 수 있습니다. 그 결과는 서로를 모르는 두 사람이 움직이는 것처럼 보일 뿐, 서로 상호작용하는 것처럼 보이지 않게 됩니다.

발견: "생각하는 자" vs "춤추는 자"

연구진들은 매우 똑똑한 AI(대규모 언어 모델 또는 LLM)를 테스트하여 이 모든 작업을 혼자서 처리할 수 있는지 확인했습니다. 그들은 명확한 능력의 차이를 발견했습니다:

LLM은 훌륭한 "감독" (생각하는 자):
만약 LLM에게 장면을 계획하라고 요청한다면, 그것은 매우 뛰어납니다. LLM은 이야기를 단계별로 나누고("먼저 걷고, 그다음 접촉하고, 그다음 분리한다"), 역할을 할당할 수 있습니다("A가 시작하고, B가 받는다"). LL-M은 상호작용의 논리를 완벽하게 이해합니다.
LLM은 형편없는 "무용수" (실행하는 자):
하지만, LLM에게 실제 3D 움직임(뼈의 좌표값)을 생성하라고 요청하면 실패합니다. LLM은 딱딱하거나, 정적이거나, 흔들리는 움직임을 만들어냅니다. 이는 마치 장면이 어떻게 보여야 하는지는 정확히 알지만, 자신의 몸을 어떻게 움직여야 하는지는 배워본 적 없는 감독과 같습니다.

해결책: "플래너-실행자" 팀

LLM은 생각하는 데는 능숙하지만 움직이는 데는 서투르기 때문에, 저자들은 **"LLM으로 생각하고, 모션 스킬로 움직인다"**라는 두 부분으로 구성된 팀을 만들었습니다.

파트 1: 플래너 (The Planner - LLM)

LLM은 작가이자 감독 역할을 합니다.

단순한 텍스트 프롬프트(예: "두 사람이 하이파이브를 한다")를 받습니다.
이를 구조화된 계획으로 나눕니다:
- 1단계 (접근): A가 B를 향해 걸어갑니다.
- 2단계 (접촉): A가 손을 들고, B가 손을 듭니다.
- 3단계 (해제): 그들이 손을 떼고 떨어집니다.
결정적으로, 각자 무엇을 해야 하는지 알 수 있도록 구체적인 역할을 부여합니다.

파트 2: 실행자 (The Executor - 모션 모델)

실행자는 수천 시간의 솔로 인간 움직임(마치 수백만 번의 스텝을 연습한 전문 무용수와 같은)을 학습한 특화된 로봇입니다.

이 로봇에게 처음부터 모든 것을 배우게 하는 대신, 저자들은 특수한 업그레이드(LoRA라고 불림)를 제공했습니다.
이 업그레이드는 로봇이 감독의 계획을 경청할 수 있게 해줍니다.
마법 같은 기술: 로봇은 단순히 움직이는 것이 아니라, 상대방을 기준으로 움직입니다.
- 자기 조건화 (Self-Conditioning): 부드러운 전환을 보장하기 위해(단계 사이에서 덜컥거리는 현상을 방지하기 위해) 자신이 방금 무엇을 했는지 기억합니다.
- 파트너 조건화 (Partner-Conditioning): 로봇은 상대방이 지금 당장 어디에 있는지 보고 자신의 움직임을 맞춥니다. 만약 파트너가 뒤로 물러나면, 로봇은 그들을 만나기 위해 앞으로 발을 내디딥니다.

결과: 조화로운 댄스

감독의 대본(사회적 구조)과 무용수의 근육 기억(모션 스킬)을 결합함으로써, 이 시스템은 다음과 같은 애니메이션을 만들어냅니다:

타이밍이 완벽합니다 (서로의 손을 놓치지 않습니다).
역할이 타당합니다 (껴안는 사람은 실제로 껴안고, 껴안기를 받는 사람은 실제로 받아들입니다).
움직임이 자연스럽게 흐릅니다 (마치 실제 인간처럼).

요약 비유

당신이 집을 짓고 싶다고 상상해 보세요.

기존 방식: 당신은 두 명의 벽돌공을 고용하고 "집을 지으세요"라고 말했습니다. 그들은 각자 벽을 쌓았지만, 벽들이 서로 연결되지 않았고 지붕은 공중에 떠 있었습니다.
LLM 단독 사용: 당신은 완벽한 청사진을 작성했지만 흙손을 잡을 줄 모르는 건축가를 고용했습니다. 청사진은 훌륭했지만, 집은 결코 지어지지 않았습니다.
이 논문의 방식: 당신은 상세하고 단계적인 계획과 특정 작업자를 위한 역할을 담은 청사진을 작성하는 건축가를 고용했습니다. 그런 다음, 숙련된 기술을 가진 **마스터 빌더(숙련된 건설자)**를 고용했습니다. 건축가는 빌더에게 매 단계마다 정확히 무엇을 해야 하는지 알려주고, 빌더는 자신의 전문적인 기술을 사용하여 벽돌을 완벽하게 쌓습니다. 그 결과, 제대로 서 있고 의도한 대로 보이는 집이 완성됩니다.

이 논문은 두 사람이 3D에서 현실적으로 상호작용하기 위해서는, 텍キスト AI에게 물리적인 춤을 강요하는 것이 아니라, 사회적 대본(단계와 역할)을 명시적으로 모델링하고 특화된 모션 모델이 이를 실행하도록 해야 한다는 것을 증명합니다.

기술 요약: 3D 인간-인간 상호작용 생성에서 사회적 구조의 중요성

문제 정의

텍스트-투-모션(text-to-motion) 생성 기술은 자연어를 이용한 단일 인물의 사실적인 3D 동작 합성에서 상당한 성공을 거두었으나, 이를 텍스트 기반의 3D 인간-인간 상호작용(HHI)으로 확장하는 것은 여전히 도전적인 과제입니다. 기존의 접근 방식들은 HHI를 두 명의 배우자를 공동으로 모델링하거나 개별 동작 프라이어를 결합하는 방식으로, 단순한 단일 동작 생성의 공간적 확장으로 취급하는 경우가 많습니다. 그러나 이는 HHI의 근본적인 특성인 **사회적 구조(social structure)**를 간과하고 있습니다.

이 사회적 구조는 두 가지 핵심 차원을 규정합니다:

단계적 진행(Phase Progression): 접근(approach), 접촉(contact), 해제(release) 또는 제자리 협응(in-place coordination)과 같은 단계로 구성된 상호작용의 시간적 조직화.
파트너 인지 협응(Partner-Aware Coordination): 각 단계 내에서 발생하는 행위자 간의 비대칭적이면서도 결합된 책임(예: 개시자 vs 수신자, 공격자 vs 방어자).

이러한 구조를 명시적으로 모델링하지 않으면, 생성된 동작은 단계적 일관성(예: 서로 다른 시점에 접근함)이나 파트너 인지 능력(예: 잘못된 방향을 향하거나 호환되지 않는 역할을 수행함)이 부족해질 수 있으며, 결과적으로 개별 포즈는 그럴듯할지라도 상호작용 자체는 일관성이 없게 됩니다.

방법론

본 논문은 사회적 구조 계획과 동작 실행을 분리하는 "LLM으로 생각하고, 모션 스킬로 움직여라(Think with LLM, Move with Motion Skill)"라는 제목의 플래너-실행기(planner-executor) 패러다임을 제안합니다. 이 접근 방식은 대규모 언어 모델(LLM)이 강력한 의미론적 추론 능력은 갖추고 있으나, 연속적인 3D 동작 생성에 필요한 운동학적 정밀도는 부족하다는 관찰에 근거합니다.

1. 사회적 구조 계획 (플래너)

저자들은 LLM(구체적으로 Qwen3.5)을 활용하여 암묵적인 전역적 상호작용 설명을 명시적이고 동작에 정렬된 사회적 감독 정보로 변환합니다.

동작 정렬 주석(Motion-Aligned Annotation): LLM이 언어적으로는 그럴듯하지만 동작과는 일치하지 않는 계획을 생성하는 것을 방지하기 위해, 시스템은 실제 HHI 데이터셋(InterHuman 및 InterX)에서 "동작 사실(motion facts)"을 추출합니다. 이 사실들에는 인적 거리의 진화, 동작 개시자, 접촉 의미론, 그리고 사지 수준의 단서가 포함됩니다.
분해(Decomposition): LLM은 전역 텍스트, 감지된 단계 레이블(접근, 접촉, 해제, 제자리), 그리고 이러한 동작 사실들을 조건으로 입력받습니다. 그 후 단계별 단위와 파트너 인지 역할 할당(예: 각 단계에서 인물 1과 인물 2를 위한 특정 행동)으로 구성된 구조화된 계획을 출력합니다.
결과: 이 과정은 거친 텍스트-동작 쌍을 미세하고 동작에 정렬된 사회적 주석( $S$ )으로 변환하며, 이는 언어적 의도와 동작 실행 사이의 가교 역할을 합니다.

2. Solo-to-Social (S2S) 동작 실행 (실행기)

계획된 사회적 구조를 연속적인 3D 동작으로 구현하기 위해, 저자들은 Solo-to-Social (S2S) 프레임워크를 도입합니다. S2S는 새로운 모델을 처음부터 학습시키는 대신, 매개변수 효율적인 저차원 적응(LoRA)을 사용하여 사전 학습된 단일 동작 백본(HY-Motion 1.0)을 적응시킵니다.

단계별 자기 조건화(Phase-wise Self-Conditioning): 단계 간의 매끄러운 전환을 보장하기 위해, 모델은 현재 단계의 생성을 이전 단계의 마지막 $e$ 프레임에 조건화합니다. 이를 통해 시간적 진행을 연속적인 궤적으로 고착시킵니다.
에고-상대적 파트너 조건화(Ego-Relative Partner Conditioning): 파트너 인지 협응을 달성하기 위해, 모델은 배우자 $j$ 의 동작을 배우자 $i$ 의 에고-센트릭(ego-centric) 좌표계로 변환하여 배우자 $i$ 의 동작 생성에 조건으로 사용합니다. 이를 통해 모델은 상대적 위치, 방향 및 상호작용 기하학을 직접 관찰할 수 있습니다.
학습 목표: 미세 조정 목표는 원래의 플로우 매칭 손실(flow-matching loss)에 시간적 매끄러움, 상대적 거리, 상대적 방향성에 대한 손실을 결합하여, 모델이 사회적 협응을 학습하면서도 원자적 동작 프라이어를 유지하도록 합니다.

주요 기여

문제 정식화: 본 논문은 텍스트 기반 3D HHI 생성을 단순한 2인 확장 문제가 아닌, 사회적 구조 모델링 및 그라운딩 문제로 정식화하여 단계적 진행과 파트너 인지 협응을 핵심 조직 원칙으로 식별했습니다.
역량 경계 분석: 진단 연구를 통해 저자들은 LLM이 사회적 구조 계획(단계 분해 및 역할 복구)에는 효과적이지만, 운동학적 정밀도와 동적 일관성 부족으로 인해 직접적인 연속 3D 동작 실행에는 부적합함을 입증했습니다.
플래너-실행기 패러다임: LLM 플래너가 HHI 데이터셋을 미세하고 동작에 정렬된 주석으로 재구성하고, S2S 실행기가 사전 학습된 단일 모델을 적응시켜 이러한 구조를 협응된 동작으로 구현하는 새로운 프레임워크를 제시했습니다.
S2S 프레임워크: 단계별 자기 조건화와 에고-상대적 파트너 조건화를 LoRA와 결합하여, 단일 동작 프라이어를 사회적 상호작용 작업으로 효과적으로 전이하는 방법을 도입했습니다.

실험 결과

제안된 방법은 표준 HHI 벤치마크(InterHuman 및 InterX)에서 5개의 기존 베이스라인(ComMDM, in2IN, InterGen, InterMask, TIMotion) 및 사회적 플래너만 사용하고 원본 단일 모델을 사용하는 변형 모델과 비교 평가되었습니다.

정량적 성능: 제안된 방법은 가장 높은 R-Precision(24.67% Top-1)과 가장 낮은 Fréchet Inception Distance (FID)(0.65)를 달성하여, 우수한 텍스트-동작 정렬 및 동작 실재감을 보여주었습니다. 또한 사용자 조사에서 단계 일관성(2.57 순위)과 파트너 협응(2.78 순위)에서 최고의 점수를 기록했습니다.
정성적 개선: 시각적 비교 결과, 제안된 방법은 베이스라인들이 흔히 겪는 조기 접촉, 정적인 상호작용 또는 역할 불일치 문제와 달리, 더 명확한 단계 전환(예: 뚜렷한 접근, 접촉, 해제 단계)과 더 일관된 파트너 인지 행동(예: 적절한 블로킹, 악수, 리프팅 협응)을 생성함을 보여주었습니다.
절제 연구(Ablation Studies): 사회적 구조 계획을 제거하면 R-Precision이 크게 하락했습니다. 동작 사실을 제거하면 동작 일관성이 저하되었습니다. 자기 조건화를 제거하면 단계적 매끄러움이 손상되었으며, 파트너 조건화를 제거하면 상호 간의 공간적 협응(상대적 거리 및 방향 오차)이 심각하게 저하되었습니다.

의의 및 주장

본 논문은 사회적 구조를 중심 추상화로 다루는 것이 일관된 상호작용을 달ening하는 데 필수적이라고 주장합니다. LLM의 의미론적 추론과 전문화된 동작 모델의 운동학적 실행을 분리함으로써, 본 프레임워크는 고수준의 상호작용 조직과 저수준의 동작 실현 사이의 간극을 성공적으로 메웠습니다.

저자들은 본 연구가 사회적 구조 계획(상호작용 조직을 위함)과 동작 수준의 그라운딩(물리적 타당성 확보를 위함)의 중요성을 모두 검증했다고 밝힙니다. 이들은 이 접근 방식이 상호작용하는 인간의 동작을 위한 더 제어 가능하고 의미론적으로 근거 있는 생성을 향한 단계임을 강조하며, 향-다인(multi-person) 시나리오 및 더 복적인 사회적 역동성으로 개념을 확장해야 할 필요성을 인정하며 마무리합니다.