From Instruction to Event: Sound-Triggered Mobile Manipulation

1. 문제 정의 (Problem Definition)

기존의 이동형 조작 (Mobile Manipulation) 연구는 대부분 명령 기반 (Instruction-driven) 패러다임에 의존합니다. 즉, 사용자가 명시적인 텍스트 명령을 내리면 에이전트가 이를 수행하는 방식입니다. 그러나 실제 가정 환경에서는 문이 울리거나 (도어벨), 경보음이 울리는 (알람) 등 예측 불가능한 사건 (Stochastic Events) 이 발생하며, 이에 즉각적으로 반응해야 하는 경우가 많습니다.

이러한 환경에서 사용자는 매번 구체적인 지시를 내리기 어렵습니다. 따라서 본 논문은 소리 기반 이동형 조작 (Sound-Triggered Mobile Manipulation, STMM) 이라는 새로운 문제를 제안합니다.

• 핵심 목표: 에이전트가 명시적인 텍스트 명령 없이, 환경에서 발생하는 소리 사건을 감지하고, 소리의 원천을 찾아내며 (Grounding), 상황에 맞는 물리적 상호작용 (이동, 조작) 을 자발적으로 수행하는 것.
• 상호작용 유형:
  1. 객체 이동 (Object Relocation): 소리 나는 경직된 객체 (예: 울리는 전화기, 알람) 를 찾아 위치를 변경하는 것 (Pick & Place).
  2. 상태 전이 (State Transition): 소리 나는 기능성/관절형 객체 (예: 울리는 문, 물이 나오는 수도꼭지) 를 찾아 물리적 상태를 변경하는 것 (문 열기, 수도꼭지 잠그기).
• 복잡도: 단일 사건 환경뿐만 아니라, 여러 소리가 동시에 발생하는 다중 사건 (Multi-event) 환경에서의 우선순위 결정 및 순차적 작업 수행도 포함합니다.

2. 방법론 (Methodology)

본 논문은 STMM 문제를 해결하기 위해 시뮬레이션 플랫폼, 벤치마크, 그리고 계층적 에이전트 아키텍처를 제안합니다.

2.1 Habitat-Echo 시뮬레이션 플랫폼

기존 시뮬레이터는 시각 - 물리 상호작용 또는 시각 - 소리 탐색에 치중하여, 소리 감지, 소음원 위치 추정, 물리적 조작이 통합된 폐쇄 루프 (Closed-loop) 를 지원하지 못했습니다. 이를 해결하기 위해 개발된 Habitat-Echo는 다음과 같은 특징을 가집니다.

• 통합 환경: 고충실도 공간 오디오 렌더링 (Room Impulse Responses, RIRs 사용) 과 물리적 상호작용을 하나의 플랫폼에 통합했습니다.
• 자산 라이브러리: 잡을 수 있는 소리 나는 객체 (휴대전화, 알람) 와 관절형 객체 (문, 수도꼭지) 를 포함하며, 각 객체는 소리 발생원이자 조작 대상으로 설계되었습니다.
• 다중 소음원 렌더링: 여러 소리가 동시에 발생하는 상황을 시뮬레이션하여 간섭과 우선순위 판단을 가능하게 합니다.

2.2 STMM-1.9K 벤치마크

Habitat-Echo 위에 구축된 최초의 STMM 벤치마크입니다.

• 데이터 구성: 단일 사건 (Object Relocation, State Transition) 과 다중 사건 (Multi-event) 설정을 포함하며, 총 1,900 개 이상의 에피소드로 구성되었습니다.
• 다양성: 객체 카테고리당 여러 개의 고유한 소리 세트를 매핑하여, 에이전트가 특정 주파수 패턴이 아닌 의미론적 (Semantic) 인 오디오 - 시각 연관성을 학습하도록 설계되었습니다.

2.3 계층적 베이스라인 프레임워크

STMM 문제를 해결하기 위해 고수준 계획 (High-level Planning) 과 저수준 실행 (Low-level Execution) 으로 분리된 계층적 구조를 제안합니다.

1. 소리 기반 작업 계획기 (Sound-triggered Task Planner):

   • 역할: 초기 관찰 (시각 + 청각) 을 바탕으로 논리적인 스킬 체인 (Skill Chain) 을 생성합니다.
   • 구현: Omni-MLLM (예: Qwen2.5-Omni, Qwen3-Omni) 을 활용하여 오디오 - 시각 정보를 분석하고, 수행해야 할 작업의 우선순위와 스킬 순서를 텍스트 프롬프트로 변환합니다.
   • 입력: 헤드 RGB, 소리 관찰, 스킬 라이브러리 (Navigate, Pick, Place, OpenDoor, CloseSink 등).

2. 스킬별 정책 모델 (Skill-Specific Policy Models):

   • 역할: 계획기가 생성한 스킬 체인을 따라 구체적인 저수준 동작을 실행합니다.
   • 구현: 각 스킬 (이동, 잡기, 놓기, 문 열기 등) 에 특화된 경량 정책 모델을 순차적으로 활성화합니다.
   • 입력: 각 스킬에 맞는 관찰 데이터 (예: 이동 시 오디오 + RGB, 조작 시 깊이 카메라 등) 를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 명시적 명령 없이 소리 사건에 반응하는 소리 기반 이동형 조작 (STMM) 을 정의하고, 에이전트의 능동적 대응 능력을 요구하는 새로운 연구 방향을 제시했습니다.
2. Habitat-Echo 개발: 고충실도 공간 오디오 렌더링과 물리적 상호작용을 통합한 최초의 통합 시뮬레이션 플랫폼을 구축했습니다.
3. STMM-1.9K 벤치마크 및 베이스라인: 첫 번째 벤치마크와 계층적 해결책을 제시하여, 오디오 그라운딩, 작업 우선순위 결정, 다단계 실행 등 이 분야의 핵심 과제를 규명했습니다.

4. 실험 결과 (Results)

STMM-1.9K 벤치마크를 통해 제안된 베이스라인의 성능을 검증했습니다.

• 단일 사건 (Single-event):

  • State Transition (문 열기/수도꼭지 잠그기): Qwen2.5-Omni-7B 기반 계획기를 사용할 때, 전체 성공률 (약 19.72%) 이 가장 높았으며, 오라클 (Ground Truth) 기준의 상한선 (81.08%) 에 근접하는 성능을 보였습니다.
  • Object Relocation (객체 이동): Qwen2.5-Omni-7B가 계획 정확도 (78.38%) 와 실행 성공률 (53.60%) 에서 가장 우수한 성능을 기록했습니다.
  • 모달리티 분석: 이동 (Navigate) 작업에서 오디오 정보가 공간 위치 추정에 필수적이며, RGB 와 결합 시 성능이 크게 향상됨을 확인했습니다.

• 다중 사건 (Multi-event):

  • 두 개의 소리 소원이 동시에 발생할 때, Qwen3-Omni-30B가 가장 높은 계획 정확도 (51.83%) 를 보이며 소음 간섭을 효과적으로 처리하고 우선순위를 판단했습니다.
  • 에이전트는 주요 소리 (예: 문) 를 먼저 처리한 후, 잔류하는 보조 소리 (예: 수도꼭지) 를 찾아 순차적으로 작업을 완료하는 것을 확인했습니다.

• 성공 요인:

  • 오디오 정보는 시각 정보가 부족하거나 가려진 상황에서도 소음원 위치를 파악하는 데 결정적인 역할을 했습니다.
  • 깊이 정보 (Depth) 와 RGB 를 결합한 정책 모델이 단일 모달리티보다 조작 (Pick, Open Door) 성능이 월등히 높았습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇이 수동적인 명령 수행자에서 능동적인 환경 관찰자 및 대응자로 진화할 수 있는 토대를 마련했습니다.

• 실제 적용 가능성: 가정 환경에서 예측 불가능한 사건 (경보, 문 울림 등) 에 즉각적으로 대응할 수 있는 자율 로봇 개발의 가능성을 열었습니다.
• 다중 감각 융합: 시각뿐만 아니라 청각 정보를 작업 계획과 실행에 통합함으로써, 기존 시각 중심 접근법의 한계를 극복하고 더 강건한 에이전트를 구축할 수 있음을 입증했습니다.
• 향후 연구: 제안된 플랫폼과 벤치마크는 향후 소리 기반의 복잡한 물리적 상호작용 연구를 위한 표준적인 평가 도구로 활용될 것입니다.

요약하자면, 이 논문은 "소리가 명령이 되는" 새로운 로봇 조작 패러다임을 정립하고, 이를 구현하기 위한 시뮬레이션 환경, 데이터셋, 그리고 계층적 AI 아키텍처를 체계적으로 제시한 선구적인 연구입니다.