💻 computer science

PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

이 논문은 기존 연구의 한계를 극복하고 다자간 상호작용에서 자연스러운 비언어적 단서와 복잡한 역학을 반영한 온라인 다중 모달 반응 생성을 위해, 포즈 융합 모듈과 사회적 단서 인코더를 활용한 'PolySLGen' 프레임워크를 제안하고 그 우수성을 입증합니다.

원저자: Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"PolySLGen"**이라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 단순히 말을 하거나 듣는 것을 넘어, **여러 사람이 함께 대화하는 복잡한 상황 (다인 대화)**에서 자연스럽게 반응하는 '디지털 캐릭터'를 만드는 기술입니다.

쉽게 비유하자면, 이 시스템은 **"현실감 있는 디지털 파티 호스트"**를 만드는 방법론입니다.

1. 기존 기술의 문제점: "혼자 노는 로봇"

지금까지의 인공지능 대화 로봇들은 대부분 **두 사람만 대화하는 상황 (1 대 1)**에 맞춰져 있었습니다.

비유: 마치 한 명만 있는 식당에서 웨이터가 손님을 맞이하는 것과 같습니다. 손님이 말하면 대답하고, 손님이 가만히 있으면 기다리는 것만 배웠습니다.
문제: 하지만 실제 삶은 5~6 명이 모여 술자리를 하거나, 팀 미팅을 하는 상황과 비슷합니다. 이때는 A 가 말하고 B 가 웃고, C 가 고개를 끄덕이며 D 가 끼어들려고 할 때, 로봇이 누구의 말에 반응해야 할지, 언제 말을 끊어야 할지, 어떻게 몸을 움직여야 할지 혼란에 빠집니다. 기존 기술은 이런 복잡한 상황을 처리하지 못해 어색하게 행동하거나, 말을 안 할 때는 그냥 멈춰서 있는 '로봇'처럼 보였습니다.

2. PolySLGen 의 핵심 아이디어: "눈치 빠른 파티 호스트"

이 연구는 PolySLGen을 통해 AI 가 **여러 명이 함께 있을 때의 '눈치'와 '분위기'**를 읽을 수 있게 만들었습니다.

모든 사람의 움직임을 한눈에:
- 비유: 파티 호스트가 한 명 한 명을 따로 보는 게 아니라, 방 전체를 한눈에 훑어보는 것과 같습니다. 누가 말을 하고 있는지, 누가 고개를 돌리고 있는지, 누가 웃고 있는지 모두 동시에 파악합니다.
- 기술적 설명: 모든 참가자의 말소리, 몸짓, 손짓을 하나로 묶어 (Pose Fusion) AI 가 이해할 수 있는 정보로 변환합니다.
눈맞춤과 주의 집중 (Social Cue):
- 비유: 호스트가 "아, 저분이 나를 보고 있네? 나한테 말하려는 건가?"라고 눈치챕니다.
- 기술적 설명: 다른 사람들이 고개를 어디로 돌렸는지 (시선) 를 분석하여, "누가 나에게 주목하고 있는지"를 계산합니다. 이를 통해 AI 는 누가 자신에게 말 걸기를 원하는지 알 수 있습니다.
말하기 vs 듣기 (스피킹 상태 예측):
- 비유: 호스트는 "지금 내가 말을 해야 할 타이밍인가, 아니면 조용히 고개만 끄덕여야 할 타이밍인가?"를 스스로 판단합니다.
- 기술적 설명: AI 는 단순히 말을 생성하는 것뿐만 아니라, **"지금 말해야 할까, 아니면 듣는 척해야 할까?"**를 점수 (Score) 로 예측합니다. 이 점수에 따라 AI 는 자연스럽게 말을 하거나, 고개를 끄덕이며 경청하는 모션으로 바뀝니다.

3. 왜 이것이 중요한가요?

기존 기술들은 말을 할 때는 몸짓을 잘 만들지만, **말을 하지 않을 때 (듣는 동안)**는 그냥 멈춰 서 있거나 어색하게 흔들렸습니다. 마치 대화를 끊은 채로 멍하니 서 있는 사람처럼 보였습니다.

하지만 PolySLGen은:

말할 때: 말에 맞춰 손짓과 표정을 자연스럽게 만듭니다.
들었을 때: 상대방의 말에 반응하며 고개를 끄덕이거나, 놀란 표정을 짓는 등 듣는 동안에도 살아있는 반응을 보여줍니다.

4. 결론: 더 자연스러운 디지털 친구

이 기술은 로봇이나 가상 캐릭터가 실제 사람들과 함께 있을 때, 마치 인간처럼 대화의 흐름을 읽고 자연스럽게 반응할 수 있게 합니다.

지금까지: "말하면 대답하고, 말 안 하면 멈춤." (로봇 같음)
이제부터: "누가 나를 보고 있는지, 누가 말을 걸고 있는지 눈치채고, 말하기와 듣기를 자연스럽게 오가며 대화에 참여함." (인간 같음)

이 연구는 인공지능이 혼자 노는 것을 넘어, 우리와 함께 모여 대화하고 웃고 떠드는 '진짜 사회생활'을 할 수 있는 첫걸음을 뗐다고 볼 수 있습니다.

1. 문제 정의 (Problem Statement)

배경: embodied AI(구체화된 인공지능) 가 인간과 자연스러운 그룹 상호작용을 수행하려면, 대화의 흐름을 관리하고 주의를 표명하며 의도를 전달하기 위해 **말하기 (Speaking)**와 듣기 (Listening) 상태를 오가며 말과 몸짓을 조율하는 반응 생성이 필수적입니다.
한계점:
- 기존 연구들은 대부분 이중자 (Dyadic, 2 인) 상호작용에 국한되어 있으며, 다중 참여자 (Polyadic) 환경의 복잡한 역학을 고려하지 못합니다.
- 많은 접근법이 단일 모달리티 (텍스트 또는 모션만) 에 의존하거나, 말하기 반응만 생성하고 듣기 반응은 무시하여 자연스러운 대화 전환 (Turn-taking) 을 구현하지 못합니다.
- 대부분의 기존 모델은 미래 문맥 (Future context) 을 필요로 하는 오프라인 방식이라, 과거 관측만으로 실시간 (Online) 인 인과적 생성이 어렵습니다.
- 비언어적 단서 (Nonverbal cues, 예: 시선, 자세) 와 그룹 내 사회적 상호작용을 통합적으로 모델링하는 방법이 부족합니다.

2. 제안 방법론 (Methodology: PolySLGen)

저자들은 과거 그룹 상호작용 (모든 참여자의 말과 모션) 을 기반으로 특정 대상 참여자의 미래 반응 (말, 몸짓, 말하기/듣기 상태) 을 생성하는 PolySLGen 프레임워크를 제안합니다.

핵심 아키텍처 구성 요소

입력 및 전처리:
- 과거 $H$ 프레임 동안의 텍스트, 화자 스타일 (Prosody), 그리고 $P$ 명의 참여자 전체의 3D 몸/손 모션을 입력받습니다.
- 텍스트는 LLM 에 직접 입력되며, 오디오는 StyleTTS 2를 통해 화자 스타일 특징으로 변환됩니다.
포즈 퓨전 모듈 (Pose Fusion Module):
- 문제: 여러 참여자의 모션을 순차적으로 입력하면 LLM 이 참여자 간의 일관성을 놓치고 컨텍스트 공간이 부족해집니다.
- 해결: 모든 참여자의 모션을 계층적 트랜스포머 (Hierarchical Transformer) 구조로 융합합니다.
  - Self-Attention: 개별 참여자 내부의 모션 역학을 인코딩.
  - Cross-Attention: 대상 참여자와 나머지 참여자들 간의 상호작용을 집계.
  - 결과적으로 그룹 전체의 모션을 압축된 임베딩으로 표현하여 LLM 에 전달합니다.
사회적 단서 인코더 (Social Cue Encoder):
- 목적: 그룹 내 다른 참여자들이 대상자에게 얼마나 주의를 기울이고 있는지 (Attention) 를 파악하여 자연스러운 턴테이킹을 유도합니다.
- 구현: 비대상 참여자들의 **머리 방향 (Head Orientation)**과 대상자에 대한 상대적 위치 벡터를 기반으로 '사회적 단서 점수'를 계산합니다. 이 점수를 시간 축과 참여자 축에 걸쳐 집계하여 고수준의 사회적 임베딩을 생성합니다.
생성 및 출력:
- LLM 백본: 사전 학습된 Llama3-8B 를 기반으로 LoRA(Fine-tuning) 를 적용하여 대화 이해 및 추론을 수행합니다.
- 멀티모달 디코더: LLM 의 출력을 텍스트, 화자 스타일, 모션으로 변환하는 전용 디코더를 사용합니다.
- 말하기 상태 점수 (Speaking State Score, $r$ ): 대상자가 말해야 하는지 들어야 하는지를 나타내는 확률적 점수를 예측합니다. 이는 하드한 전이가 아닌 부드러운 전환을 유도하는 '소프트 큐'로 작용합니다.

3. 주요 기여 (Key Contributions)

최초의 온라인 다중자 반응 생성 프레임워크: 말하기와 듣기 반응을 모두 포함하며, 실시간 (Online) 으로 과거 관측만으로 다중자 (Polyadic) 상호작용을 처리하는 최초의 모델입니다.
동적 턴테이킹 (Dynamic Turn-taking) 모델링: 말하기/듣기 상태를 명시적으로 예측하여 시스템이 상황에 따라 자연스럽게 대화에 참여하거나 경청할 수 있도록 합니다.
고급 그룹 역학 모델링: 포즈 퓨전 모듈과 사회적 단서 인코더를 통해 다중 참여자의 모션과 시선 (Attention) 을 통합적으로 학습하여, 기존 이중자 모델이 놓쳤던 고차원적 의존성을 포착합니다.

4. 실험 결과 (Results)

데이터셋: Dungeons & Dragons (DnD) 그룹 제스처 데이터셋 (5 명 참여, 6 시간 분량) 을 사용했습니다.

정량적 평가 (Quantitative Evaluation):
- 모션 품질: Root Joint 오차, MPJPE, FID 등 모든 모션 메트릭에서 기존 SOTA 베이스라인 (SOLAMI, ConvoFusion 등) 을 크게 상회했습니다. 특히 모션의 자연스러움과 일관성이 뛰어났습니다.
- 음성 및 텍스트: BERTScore, WER(단어 오류율) 등에서 우수한 성능을 보이며, 문맥에 맞는 적절한 응답을 생성했습니다.
- 말하기 상태 예측: AP(Area under Precision-Recall) 점수가 0.67 로, 베이스라인들 (약 0.50) 보다 월등히 높았습니다. 이는 모델이 언제 말하고 언제 들어야 하는지를 정확히 판단함을 의미합니다.
- 사회적 의미 (Social Semantics): 대상자의 머리 방향 오차 (MAEhead) 와 사회적 단서 점수 오차에서 가장 낮은 오차를 기록하여, 그룹 내 사회적 상호작용을 잘 반영함을 증명했습니다.
정성적 평가 및 사용자 연구 (Qualitative & User Study):
- 23 명의 참가자가 수행한 사용자 연구에서 PolySLGen 은 SOLAMI 대비 **모션 연속성 (Motion Continuity)**과 전반적인 자연스러움에서 유의미하게 높은 점수를 받았습니다.
- 특히, 말하기와 듣기 상태 간의 전환이 매끄럽고 문맥에 부합하는 반응을 생성했습니다.
강건성 (Robustness):
- 일부 참여자의 모션 데이터가 누락된 상황 (시각 장애, 센서 오류 시뮬레이션) 에서도 모델이 잘 작동하여 실제 배포 환경에 적합함을 보였습니다.

5. 의의 및 결론 (Significance)

실제 적용 가능성: embodied AI 가 실제 다중자 환경 (교육, 협업, 사회적 지원 등) 에서 인간과 상호작용할 때 필요한 복잡한 사회적 역학을 처리할 수 있는 첫 번째 체계적인 솔루션을 제시했습니다.
자연스러운 상호작용: 단순히 말만 하는 것이 아니라, 듣는 동안에도 적절한 비언어적 반응 (고개 끄덕임, 시선 등) 을 보여주며 대화의 흐름을 유지함으로써 인간-로봇 상호작용 (HRI) 의 질을 획기적으로 향상시킵니다.
미래 작업: 현재 LLM 추론 속도로 인해 실시간 (Real-time) 처리가 완벽하지는 않지만, 모델 경량화와 추론 최적화를 통해 실제 로봇 시스템에 적용할 수 있는 중요한 발걸음이 되었습니다.

이 논문은 멀티모달 반응 생성 분야에서 단일 모달리티나 이중자 상호작용을 넘어, 실시간 다중자 환경에서의 통합적 말하기/듣기 반응 생성이라는 새로운 지평을 열었다는 점에서 중요한 의의를 가집니다.