🤖 AI

Bridging Speech, Emotion, and Motion: a VLM-based Multimodal Edge-deployable Framework for Humanoid Robots

본 논문은 인간형 로봇이 언어, 감정, 동작을 정교하게 통합하여 상호작용할 수 있도록, 시각-언어 모델(VLM) 기반의 추론 및 정렬 메커니즘을 활용하여 온디바이스(edge) 환경에서도 효율적으로 구동 가능한 멀티모달 프레임워크인 'SeM $^2$ '를 제안합니다.

원저자: Songhua Yang, Xuetao Li, Xuanye Fei, Mengde Li, Miao Li

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Songhua Yang, Xuetao Li, Xuanye Fei, Mengde Li, Miao Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제점: "말만 잘하는 로봇은 영혼이 없어 보여요"

우리가 친구와 대화할 때를 생각해 보세요. 친구가 "와! 진짜 대박이다!"라고 말하면서 표정은 무표정하고 몸은 뻣뻣하다면 어떨까요? 뭔가 이상하고 어색하겠죠?

지금까지의 로봇들은 이랬습니다. 말은 잘할지 몰라도, 그 말에 어울리는 **표정(얼굴)**이나 **손짓(몸짓)**을 동시에 맞추는 게 너무 어려웠거든요. 마치 **"입은 웃고 있는데 눈은 화나 있는 상태"**처럼 로봇들이 따로 놀았던 거죠.

2. 해결책: SeM2 (로봇의 '멀티태스킹' 지휘자)

연구팀은 **'SeM2'**라는 똑똑한 지휘자를 로봇의 머릿속에 넣어주었습니다. 이 지휘자는 세 가지를 동시에 조율합니다.

말(Speech): 무슨 말을 할 것인가?
감정(Emotion): 어떤 기분으로 말할 것인가?
움직임(Motion): 어떤 손짓과 표정을 지을 것인가?

여기서 핵심 기술인 **SSAM(의미-순서 정렬 메커니즘)**이 등장합니다. 이건 마치 **'오케스트라의 지휘자'**와 같습니다.

예를 들어, 로봇이 "새해 복 많이 받으세요!"라고 말한다면, 지휘자(SSAM)는 **'새해'**라는 단어가 나올 때 딱 맞춰서 **'손을 흔드는 동작'**과 **'밝은 미소'**가 동시에 터져 나오도록 초 단위로 타이밍을 맞춥니다. 단어가 먼저 나오고 손이 나중에 움직이는 어색함을 없애준 것이죠.

3. 혁신: "인터넷 없이도 똑똑한 로봇" (Edge-deployable)

보통 이렇게 똑똑한 인공지능을 쓰려면 거대한 슈퍼컴퓨터나 인터넷(클라우드) 연결이 꼭 필요합니다. 하지만 인터넷이 끊기면 로봇은 바보가 되어버리겠죠?

연구팀은 **'지식 증류(Knowledge Distillation)'**라는 마법을 부렸습니다.

이건 마치 **"백과사전 전체를 다 외우게 하는 대신, 핵심 요약 노트만 완벽하게 공부시키는 것"**과 같습니다.

덕분에 로봇 안에 들어가는 작은 컴퓨터(엣지 디바이스)만으로도, 인터넷 연결 없이 실시간으로 아주 자연스럽게 대화할 수 있게 되었습니다. 마치 **"두꺼운 전공 서적을 다 들고 다니는 대신, 핵심 요약집을 주머니에 넣고 다니는 학생"**처럼 가볍고 빨라진 것이죠.

요약하자면!

이 논문은 로봇이 단순히 명령을 수행하는 기계를 넘어, 사람의 기분을 읽고(Perception), 상황에 맞는 대답을 생각하며(Reasoning), 말과 표정과 몸짓을 완벽한 타이밍에 맞춰(SSAM) 보여주는(Expression) 방법을 찾아냈습니다.

결과적으로, 이 기술이 적용된 로봇은 **"말만 하는 기계"가 아니라 "함께 웃고 떠들 수 있는 진짜 친구"**처럼 느껴지게 됩니다.

[기술 요약] SeM2: 휴머노이드 로봇을 위한 VLM 기반 멀티모달 에지 배포 프레임워크

1. 문제 정의 (Problem Statement)

기존의 휴머노이드 로봇 상호작용(HRI)은 다음과 같은 세 가지 핵심적인 한계점을 가지고 있습니다.

멀티모달 불일치 (Lack of Coordination): 음성, 얼굴 표정, 제스처가 서로 조화롭게 움직이지 못하고 따로 노는 현상이 발생하여 상호작용의 자연스러움이 떨어짐.
확장성 부족 (Scalability Issues): 규칙 기반(Rule-based) 또는 템플릿 기반 시스템은 복잡하고 다양한 사회적 상황에 유연하게 대응하기 어려움.
에지 배포의 어려움 (Edge Deployment Constraints): 고성능 멀티모달 모델(VLM)은 주로 클라우드 기반으로 작동하는데, 이는 네트워크 지연(Latency)과 연결 불안정성 문제를 야기하여 실시간 로봇 상호작용을 방해함.

2. 제안 방법론 (Methodology)

본 논문은 VLM(Vision-Language Model)을 활용하여 음성, 감정, 동작을 통합하는 SeM2 프레임워크와 이를 경량화한 에지용 모델 $\text{SeM2}_e$ 를 제안합니다.

멀티모달 상호작용 인지 (Multimodal Interactive Perception):
- SenseVoice를 통해 음성의 의미뿐만 아니라 감정적 뉘앙스를 파악합니다.
- YOLOv8-face를 사용하여 사용자의 얼굴을 탐지하고 표정을 분석합니다.
사고의 사슬(Chain-of-Thought, CoT) 프롬프팅:
- VLM이 단순히 답변만 생성하는 것이 아니라, 사용자의 의도 분석 $\rightarrow$ 감정 톤 결정 $\rightarrow$ 적절한 동작 및 표정 계획 순으로 단계별 추론을 수행하도록 설계하여 일관성을 확보합니다.
의미-시퀀스 정렬 메커니즘 (Semantic-Sequence Aligning Mechanism, SSAM):
- 본 논문의 핵심 기술로, 텍스트의 단어(Word)와 로봇의 동작/표정 사이의 시간적 동기화를 해결합니다.
- 동적 계획법(Dynamic Programming)을 사용하여 단어의 의미적 유사도(Semantic Similarity)와 동작의 지속 시간(Duration)을 고려한 최적의 실행 타이밍( $T(a_j)$ )을 계산합니다. 이를 통해 "Happy New Year"라고 말할 때 "Hello" 제스처가 정확한 타이밍에 나오도록 보장합니다.
지식 증류를 통한 에지 배포 ( $\text{SeM2}_e$ ):
- GPT-4o(Teacher)의 고성능 데이터를 MiniCPM-8B(Student) 모델에 학습(SFT)시키고, INT4 양자화(Quantization)를 적용하여 NVIDIA Jetson Orin과 같은 에지 하드웨어에서 실시간 구동이 가능하도록 구현했습니다.

3. 주요 기여 (Key Contributions)

통합 프레임워크 제안: VLM을 활용해 음성, 표정, 동작을 하나의 일관된 맥락으로 생성하는 새로운 구조를 제시했습니다.
SSAM 메커니즘 개발: 언어적 내용과 물리적 표현 사이의 시간적 불일치 문제를 해결하는 수학적 최적화 기반의 정렬 알고리즘을 도입했습니다.
에지 컴퓨팅 실현 가능성 입증: 지식 증류를 통해 클라우드 모델 성능의 95%를 유지하면서도, 에지 장치에서 독립적이고 빠른 상호작용이 가능함을 증명했습니다.

4. 실험 결과 (Results)

성능 우위: AI 전문가 및 인간 전문가 평가 모두에서 단일 모달(Unimodal) 방식보다 자연스러움(Naturalness), 감정 명확성(Emotional Clarity), 모달 일관성(Modal Coherence) 측면에서 압도적인 성능을 보였습니다.
SSAM의 효과: Ablation Study 결과, SSAM의 구성 요소 중 '모달 동기화(Modal Sync)'가 상호작용 품질에 가장 결정적인 역할을 하는 것으로 나타났습니다.
에지 모델의 효율성: $\text{SeM2}_e$ 는 클라우드 기반 모델 대비 첫 응답 시간(First Response Time)을 약 52% 단축시켰으며, 이는 네트워크 환경에 구애받지 않는 안정적인 서비스를 가능하게 합니다.

5. 의의 (Significance)

본 연구는 휴머노이드 로봇이 단순한 기능 수행 기계를 넘어, **사회적 맥락을 이해하고 감정적으로 공감하며 자연스럽게 반응하는 '사회적 존재'**로 진화하는 데 필요한 기술적 토대를 마련했습니다. 특히 클라우드 의존도를 낮추면서도 고차원적인 멀티모달 표현을 구현함으로써, 실제 가정이나 공공장소에서의 자율적인 로봇 배포 가능성을 크게 높였습니다.