💻 computer science

UGotMe: An Embodied System for Affective Human-Robot Interaction

이 논문은 다자간 대화 환경에서 시야 내 방해 요소를 제거하고 실시간 응답성을 확보하기 위해 'UGotMe'라는 새로운 정서적 인간 - 로봇 상호작용 시스템을 제안하고, 이를 휴머노이드 로봇 'Ameca'에 배포하여 검증했습니다.

원저자: Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 1. 문제 상황: "시끄러운 파티에서의 대화"

상상해 보세요. 로봇이 한 사람과 대화하고 있는데, 주변에 다른 사람들이 떠들고 있거나, 로봇 시야에 가구나 장난감 같은 것들이 가득 차 있다면 어떨까요?

문제 1 (시각적 소음): 로봇 카메라는 대화 중인 사람뿐만 아니라, 옆에서 웃고 있는 다른 사람이나 배경의 사물까지 모두 다 봅니다. 마치 시끄러운 파티에서 친구의 말을 듣는데, 옆에서 누가 크게 웃거나 장난치는 소리가 들리면 그 소리에 집중해서 친구의 진짜 감정을 놓치는 상황과 같습니다.
문제 2 (실시간성): 로봇이 감정을 분석하고 반응하려면 시간이 걸립니다. 하지만 대화는 멈추지 않죠. 음식 주문을 하고 10 분이나 기다려야 음식이 나온다면 누가 그 식당에 가겠습니까? 로봇도 마찬가지입니다.

🛠️ 2. 해결책: UGotMe 시스템의 두 가지 마법

이 연구팀은 이 두 가지 문제를 해결하기 위해 UGotMe라는 시스템을 만들었습니다. 이 시스템은 두 가지 강력한 '마법'을 사용합니다.

🎯 마법 1: "초점 맞추기 안경" (소음 제거 전략)

로봇이 주변 소음에 혼란을 느끼지 않도록 도와주는 방법입니다.

얼굴만 잘라내기: 로봇 카메라가 찍은 전체 화면 (배경, 가구, 다른 사람들 포함) 대신, 대화를 나누고 있는 사람 '얼굴'만 잘라내어 분석합니다. 마치 시끄러운 방에서 오직 친구의 얼굴만 확대해서 보는 것과 같습니다.
활발한 화자 찾기: 로봇은 소리가 나는 방향을 따라 고개를 돌리고, 실제로 말을 하고 있는 사람 (활발한 화자) 의 얼굴만 골라냅니다. 옆에서 웃고 있거나 슬퍼하는 다른 사람은 아예 무시합니다.
- 예시: 친구가 "내 논문이 채택되었어!"라고 기뻐하며 말하는데, 옆에 있는 사람이 슬픈 표정을 짓고 있다면, 로봇은 친구의 기쁨만 보고 함께 기뻐해야 합니다. UGotMe 는 옆사람의 슬픈 표정에 속지 않습니다.

🚀 마법 2: "고속도로 데이터 전송" (실시간성 개선)

로봇이 데이터를 분석하는 서버로 보내는 속도를 극도로 빠르게 만들었습니다.

끊임없는 스트리밍: 로봇이 찍은 영상을 한 장씩 보내는 게 아니라, 데이터를 끊김 없이 흐르게 (스트리밍) 보냅니다. 마치 물이 호수에서 강으로 계속 흘러가듯 데이터가 서버에 도착하면 바로 분석이 시작됩니다.
버퍼링: 서버는 최신 영상 몇 장을 미리 받아두었다가 (버퍼링), 분석 모델이 바로바로 먹을 수 있게 준비해 둡니다. 덕분에 로봇은 말을 끝내자마자 거의 즉시 표정을 바꿀 수 있습니다.

🧠 3. 로봇의 뇌: VL2E 모델 (시각 + 언어 = 감정)

이 시스템의 두뇌 역할을 하는 것은 VL2E라는 AI 모델입니다.

눈과 귀를 동시에 쓰다: 이 모델은 사람의 **얼굴 표정 (시각)**과 **말하는 내용 (언어)**을 동시에 분석합니다.
맥락 이해: "어? 뭐야?"라고 물었을 때, 앞뒤 문맥을 보고 그 사람이 놀란 건지, 화난 건지, 아니면 농담인지 파악합니다.
결과: 기존 모델들보다 훨씬 정확하게 감정을 파악해냅니다. (데이터 테스트에서 다른 모든 모델보다 높은 점수를 받았습니다.)

🎭 4. 실제 실험: 로봇 '아메카 (Ameca)'의 활약

이론만 있는 게 아닙니다. 연구팀은 **엔지니어드 아츠 (Engineered Arts)**에서 만든 실제 휴머노이드 로봇 **'아메카'**에 이 시스템을 탑재했습니다.

실제 상황: 아메카는 사람들과 대화하며 감정을 읽고, 동일한 감정을 표정으로 표현합니다 (예:相手が 기쁘면 로봇도 기쁜 표정).
성공: 실험 결과, UGotMe 시스템을 쓴 로봇은 소음 (주변의 다른 사람 표정) 이 있어도 정확한 감정을 읽고 적절한 표정을 보여주었습니다. 사용자는 로봇과의 대화가 훨씬 자연스럽고 즐겁다고 평가했습니다.

💡 5. 요약: 왜 이 연구가 중요한가요?

이 논문은 **"로봇이 진짜 사람처럼 감정을 이해하고 반응하려면, 단순히 AI 모델만 좋은 게 아니라, 실제 환경 (소음, 속도) 을 고려한 시스템 설계가 필수적이다"**라고 말합니다.

비유하자면: 훌륭한 요리사 (AI 모델) 가 있어도, 주방이 너무 시끄럽고 재료가 늦게 들어오면 맛있는 요리를 못 합니다. UGotMe 는 **조리 환경을 정리하고 (소음 제거), 재료를 빠르게 전달하는 시스템 (실시간 전송)**을 만들어, 로봇이 진짜 사람처럼 따뜻한 감정을 주고받을 수 있게 했습니다.

이 기술은 앞으로 의료, 서비스, 교육 등 로봇이 사람과 깊이 관여하는 모든 분야에서 더 자연스러운 소통을 가능하게 할 것입니다.

논문 요약: UGotMe - 다중 화자 대화 환경을 위한 감정적 인간 - 로봇 상호작용 시스템

1. 문제 정의 (Problem)

인간형 로봇이 인간과 자연스럽고 감정적으로 상호작용하기 위해서는 인간의 감정 상태를 이해하고 상황에 맞게 감정을 표현할 수 있어야 합니다. 그러나 기존의 비전 기반 멀티모달 감정 인식 모델을 실제 세계 (Real-world) 에 적용할 때 다음과 같은 구현체 (Embodiment) 의 문제가 발생합니다.

환경적 노이즈 (Environmental Noise): 다중 화자 (Multiparty) 대화 상황에서 로봇의 시야 (Field of View) 에는 대화에 참여하지 않는 사람 (비활성 화자) 이나 주변 사물 (선반, 차량 등) 이 포함될 수 있습니다. 이러한 노이즈는 모델이 실제 화자의 감정적 단서 (표정) 에 집중하는 것을 방해하여 감정 인식 정확도를 떨어뜨립니다.
실시간성 요구 (Real-time Requirements): 대화형 시스템은 지연 없이 즉각적인 응답이 필수적입니다. 그러나 대규모 딥러닝 모델의 추론 속도, 모듈 간 통신, 하드웨어 제한 등으로 인해 실시간 응답을 달성하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 위 두 가지 문제를 해결하기 위해 UGotMe라는 새로운 감정적 인간 - 로봇 상호작용 시스템을 제안했습니다. 이 시스템은 크게 세 단계 (로봇 내 멀티모달 지각, 엣지 기반 비전 - 언어 - 감정 모델링, 로봇 표정 실행) 로 구성됩니다.

가. 노이즈 제거 전략 (Denoising Strategies)
환경적 노이즈를 해결하기 위해 두 가지 핵심 전략을 도입했습니다.

얼굴 추출 (Face Extraction): 로봇의 카메라로 촬영된 원본 RGB 이미지에서 화자의 얼굴만 추출하여 배경의 사물이나 불필요한 객체를 필터링합니다.
맞춤형 활성 얼굴 추출 (Customized Active Face Extraction):
- 소리의 도착 방향에 따라 로봇의 머리 자세와 왼쪽 눈 카메라를 조정하여 대화 중인 활성 화자 (Active Speaker) 를 이미지 중앙에 위치시킵니다.
- 이를 통해 대화에 참여하지 않는 비활성 화자나 무관한 인물을 제거합니다.
- 추출된 얼굴 이미지에 대해 개인별 중립 정규화 (Person-specific Neutral Normalization) 를 적용하여 개인의 기저 표정 차이를 보정합니다.

나. 효율적인 데이터 전송 (Efficient Data Transmission)
실시간성을 확보하기 위해 로봇에서 로컬 서버로 이미지를 전송하는 방식을 최적화했습니다.

별도의 스레드에서 캡처된 이미지를 바이트 단위로 스트리밍하며, 최신 $T$ 프레임 (실제 구현에서는 640 프레임, 25 FPS) 을 버퍼링합니다.
이를 통해 서버에 있는 모델이 즉시 데이터를 소비할 수 있도록 하여 지연을 최소화합니다.

다. VL2E 모델 (Vision-Language to Emotion)
UGotMe 의 핵심 감정 인식 모듈로, 노이즈 제거 전략과 호환되도록 설계된 멀티모달 모델입니다.

비전 인코더: 활성 화자의 얼굴 시퀀스를 프레임 단위로 처리하여 시각적 특징을 추출합니다. (InceptionResnetv1 기반)
컨텍스트 모델링: 대화의 맥락을 이해하기 위해 최근 $k$ 개의 발화 (Utterances) 를 포함하여 텍스트 표현을 생성합니다. 프롬프트 학습 기법을 활용하여 현재 발화와 컨텍스트를 구분합니다.
멀티모달 퓨전: 시각적 특징과 텍스트적 특징을 크로스모달 트랜스포머 (Crossmodal Transformer) 를 통해 융합합니다.
감정 반응: 인식된 감정을 로봇의 미리 정의된 7 가지 기본 감정 (중립, 놀람, 두려움, 슬픔, 기쁨, 혐오, 분노) 중 하나로 매핑하여 로봇의 표정으로 표현합니다. (동일 감정 생성, Parallel Empathy)

3. 주요 기여 (Key Contributions)

UGotMe 시스템 개발: 환경적 노이즈 문제와 실시간 요구 사항을 동시에 해결하여 인간과 인간형 로봇 간의 즉각적인 감정 교류를 가능하게 하는 시스템 구축.
VL2E 모델 제안: 노이즈 제거 전략과 호환되는 새로운 비전 - 언어 기반 감정 인식 모델 개발. MELD 데이터셋에서 기존 모든 베이스라인을 능가하는 성능 달성.
실제 로봇 배포: Engineered Arts 사의 인간형 로봇 'Ameca'에 UGotMe 를 배포하여 실제 환경에서의 실시간 추론 능력과 유효성을 검증.

4. 실험 결과 (Results)

데이터셋 성능 (MELD): VL2E 모델은 MELD 데이터셋에서 가중 평균 F1 점수 **67.29%**를 기록하여, 기존 최상위 모델 (FacialMMT: 66.58%, TelME: 66.83%) 보다 높은 성능을 보였습니다. 특히 텍스트와 비전 모달리티를 효과적으로 결합하고 얼굴 추출 기법을 통해 성능이 향상되었습니다.
실제 배포 평가 (Real-world Deployment): Ameca 로봇을 대상으로 한 실험에서 다음과 같은 결과가 도출되었습니다.
- 정확도: UGotMe-VL2E 는 노이즈 제거 전략이 적용되지 않은 UGotMe-TelME 대비 26.66% 높은 감정 응답 정확도를 보였습니다.
- 사용자 경험 (User Experience): 사용자 경험 점수 (0~10 점) 에서 UGotMe-VL2E 는 7.89 점을 기록하여 베이스라인 대비 유의미한 개선을 보였습니다.
- 노이즈 영향: 비활성 화자의 다른 표정 (예: 슬픔) 이 활성 화자 (예: 기쁨) 를 방해할 때, 노이즈 제거 전략이 없는 모델은 잘못된 감정을 인식하는 반면, UGotMe-VL2E 는 정확한 감정을 인식하고 반응했습니다.

5. 의의 및 결론 (Significance)

이 논문은 감정적 인간 - 로봇 상호작용 (AHRI) 분야에서 실제 환경 (Real-world) 에서 발생하는 노이즈와 실시간성 문제를 체계적으로 해결했다는 점에서 의의가 있습니다.

기술적 혁신: 단순히 모델을 개선하는 것을 넘어, 로봇의 물리적 특성 (카메라, 소리 방향 감지) 을 활용한 노이즈 제거 전략을 시스템 레벨에 통합했습니다.
실용성: MELD 데이터셋에서의 높은 성능뿐만 아니라, 실제 인간형 로봇 'Ameca'를 통한 배포를 통해 이론적 모델이 실제 응용 가능한 시스템으로 전환되었음을 입증했습니다.
향후 과제: 현재는 '동일 감정 생성 (Parallel Empathy)'에 집중되어 있으나, 향후에는 상대방의 감정에 반응하는 '반응적 공감 (Reactive Empathy)' 모델 개발과 음향 신호 (Audio) 를 활용한 감정 이해로 확장할 수 있을 것으로 기대됩니다.

결론적으로, UGotMe 는 복잡한 다중 화자 환경에서도 로봇이 인간의 감정을 정확하게 파악하고 적절히 반응할 수 있는 강력한 프레임워크를 제시하며, 감정적 인간 - 로봇 상호작용의 실용화를 한 단계 앞당겼습니다.