Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

기술 요약: 15%의 장벽을 깨다

문제 정의
리테일 환경의 서비스 로봇은 고객 상호작용을 촉진하기 위해 계층적 음성 파이프라인(음성-텍스트 변환, 대규모 언어 모델, 텍스트-음성 변환)을 점점 더 많이 활용하고 있습니다. 그러나 이러한 오디오 전용 시스템은 접근, 손 흔들기, 가리키기 또는 물건 보여주기와 같은 비언어적 행동에 의해 시작되거나 유도되는 상호작용의 상당 부분을 고려하지 못합니다. 실제 현장 배치에서 이러한 한계는 사용자의 의도가 시각적 단서만으로 전달될 때 로봇이 이에 반응하지 못하게 함으로써, 상호작용의 기회를 놓치는 결과로 이어집니다. 시각-언어 모델(VLM)은 상세한 행동 이해를 제공하지만, 높은 계산 지연 시간으로 인해 응답 지연이 1초 미만이어야 하는 실시간 다인 상호작용에는 부적합합니다.

방법론
저자들은 실시간 비언어적 단서 인식과 LLM 기반 발화 생성을 통합하는 데이터 기반 프레임워크를 제안합니다. 방법론은 세 단계로 진행됩니다:

1. 데이터 수집 및 분석:

   • 원격 제어 가능한 휴머노이드 로봇(Sota)을 일본의 한 드럭스토어에 6일간(3 operational hours) 배치했습니다.
   • 운영자들은 원격 인터페이스를 통해 로봇의 음성, 제스처, 시선을 제어했으며, 로봇의 외형에 맞춰 음성 변환을 적용했습니다.
   • 기록된 2,178개의 로봇 발화 중, 저자들은 **15.3%(334개 발화)**가 음성 입력이 아닌 사용자의 비언어적 행동에 의해 트리거되었음을 확인했습니다.
   • 주석 프로세스를 통해 이러한 트리거를 21가지 행동 유형으로 분류하고, 이를 5가지 대화 의도 범주(예: 사회적 및 인사, 과업 관련 정보, 참여 유도 등)에 매핑했습니다.
   • 빈도와 서비스 관련성을 바탕으로 9가지 핵심 행동을 인식 대상으로 선정했습니다: 접근함(Approached), 멀어짐(Walked away), 사용자 간 상호작용(User–user interaction), 고개 끄덕임(Nodded), 물건 보여줌(Showed items), 로봇 들여다봄(Peered into robot), 소지품 건드림(Touched belongings), 가리킴(Pointed), 손 흔듦(Waved).

2. 실시간 비언어적 단서 인식:

   • 실시간으로 비디오 클립을 처리할 수 있는 경량화된 다인(multi-person), 다중 레이블 인식 아키텍처를 개발했습니다.
   • 아키텍처: 시스템은 비디오 장면의 특징 추출기로 사전 학습된 Vision Transformer(V-JEPA2)를 사용합니다. 추적된 각 사람에 대해, 일련의 바운딩 박스(bounding boxes)가 MLP에 의해 처리되어 위치 특징을 추출합니다.
   • 융합(Fusion): 장면 특징과 위치 특징은 요소별(Hadamard) 곱을 통해 융합됩니다. 어텐티브 풀러(Attentive pooler, Cross-Attention)가 이 융합된 특징들을 사람별 표현으로 집계합니다.
   • 분류: 최종 MLP 분류기는 9가지 대상 행동에 대한 로짓(logits)을 출력합니다. 모델은 데이터 불균형을 처리하기 위해 이진 교차 엔트로피 손실(binary cross-entropy loss)과 클래스 가중치를 사용하여 학습됩니다.
   • 성능: 인식기는 0.80의 마이크로 평균 F1-스코어를 달성하며, 약 8 FPS로 작동하여 자연스러운 상호작용에 필요한 실시간 제약 조건(>1 FPS)을 충족합니다.

3. 주도적 대화 프레임워크:

   • 시스템은 비언어적 인식기가 대화 시스템과 병렬로 실행되는 계층적 파이프라인을 채택합니다.
   • 인식된 행동은 프롬프트 토큰(예: [waved], [showed items])으로 인코딩되어 LLM(Gemini 2.5 Flash)에 입력되는 대화 이력에 추가됩니다.
   • "물건 보여줌(Showed items)"의 특정 사례의 경우, 물체를 식별하고 맥락에 맞는 코멘트를 생성하기 위해 VLM이 선택적으로 트리거됩니다.
   • 이를 통해 LLM은 모든 시나리오에 대한 수동 규칙 없이도 시각적 단서에 조건화된 주도적인 응답을 생성할 수 있습니다.

주요 결과

• 데이터 통찰: 본 연구는 리테일 환경에서 비언어적 트리거가 로봇 발화의 무시할 수 없는 수준인 15.3%를 차지함을 정량화하여, 다중 모달 입력의 필요성을 입증했습니다.
• 인식 정확도: 제안된 모델은 뚜렷한 움직임이 있는 행동(예: 접근함: 0.80 F1, 물건 보여줌: 0.88 F1)에 대해 높은 정확도를 보입니다. 사용자 간 상호작용(0.47 F1)이나 가리킴(0.62 F1)과 같이 드문 행동은 어려움이 있으나, 시스템은 0.80의 견고한 마이크로 평균 F1을 유지합니다.
• 오프라인 평가: 그라운드 트루스(ground-truth) 트랙을 사용한 오프라인 실험에서, 시스템은 모든 범주에 대해 텔레오퍼레이터(원격 조종자)의 의도와 49.1%의 일치율을 보였습니다. 성능은 사회적 및 인사(정확도 69%)에서 가장 높았는데, 이는 접근하기나 손 흔들기와 같은 빈번한 단서 덕분이었습니다. 과업 관련 정보 및 지시의 경우, 트리거 행동(소지품 건드림)의 희소성과 최소한의 프롬프트에 포함된 환경적 맥락의 부족으로 인해 정확도가 낮았습니다.
• 온라인 프로토타입: 표준 하드웨어(RTX 3080)에서 실시간 프로토타입이 성공적으로 구현되었으며, 라이브 환경에서 전체 파이프라인(탐지, 추적, 인식 및 생성)의 실현 가능성을 입증했습니다.

의의 및 주장
본 논문은 오디오 전용 대화 시스템과 다중 모달 현실 사이의 간극을 메우기 위한 실용적이고 배포 가능한 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 경험적 검증: 현재의 음성 중심 파이프라인의 충분성에 도전하며, 서비스 상호작용의 상당 부분이 비언어적 단서에 의해 유도된다는 실질적인 증거를 제공합니다.
2. 시스템 설계: 경량화된 실시간 인식 모델이 무거운 파운데이션 모델의 지연 시간 없이 LLM과 효과적으로 통합되어 주도적이고 맥락에 맞는 응답을 생성할 수 있음을 보여줍니다.
3. 설계 가이드라인: 특정 비언어적 행동과 대화 의도 사이의 상관관계 분석을 통해, 향후 리테일 로봇 배치 시 어떤 단서를 우선적으로 탐지해야 하는지에 대한 구체적인 지침을 제공합니다.

저자들은 현재의 평가가 주로 오프라인 및 의도 기반이며, 다양한 매장 레이아웃과 인파 수준에 대한 일반화 연구가 추가로 필요하다는 점을 언급하며 한계를 겸허히 인정합니다. 또한, 시스템이 빈번한 사회적 단서는 잘 처리하지만, 상세한 환경 지식이 필요한 드문 과업 특화 지시 사항에는 어려움을 겪고 있음을 강조합니다.