기술 요약: 동적 휴머노이드 전신 제어를 위한 시맨틱 오디오 기반 이해

문제 정의

최근 강화 학습(RL)과 모방 학습의 발전은 휴머노이드 로봇이 매우 표현력이 풍부하고 유연한 전신 동작 정책을 습득할 수 있게 해주었으나, 현재의 로봇 성능은 주로 사전 정의된 시퀀스나 외부 트리거에 의한 행동에 의존하고 있다. 이러한 의존성은 동적인 환경에서의 자율성과 반응성을 제한한다. 기존 시스템은 '맥락 인식(context-awareness)' 능력이 부족하여, 로봇이 동작을 정확하게 실행할 수는 있어도 환경에 기반하여 언제 또는 왜 특정 행동을 수행해야 하는지를 본질적으로 이해하지 못하는 경우가 많다. 또한, 언어를 통한 고수준의 시맨틱 오케스트레이션이 존재하긴 하지만, 대개 매 결정 지점마다 명시적인 인간의 개입을 필요로 한다. 따라서 로봇이 경직된 시간 기반 규칙 없이도 연속적이고 실시간적인 감각 입력(특히 오디오)을 바탕으로 자신의 스킬 라이브러리에서 적절한 행동을 자율적으로 선택할 수 있도록, 인지와 행동 사이를 연결하는 메커니즘이 절실히 필요하다.

방법론

저자들은 스트리밍 오디오 신호를 고정된 하위 모션 정책들의 온라인 결정으로 변환하는 새로운 멀티모달 오케스트레이션 프레임워크를 제나한다. 이 시스템은 Unitree G1 휴머노이드를 위해 설계되었으며, 세 가지 주요 단계로 구성된 모듈형 파이프라인을 통해 작동한다.

1. 계층적 오디오 라우팅 (Hierarchical Audio Routing)

연속적인 마이크 입력을 고정된 길이의 청크(5초)로 분할한다. 라우팅 모듈은 각 청크를 세 가지 상호 배타적인 브랜치 중 하나로 분류한다:

• 음악 (Music): 음악적 콘텐츠를 포함하는 세그먼트.
• 음성 (Speech): 음성 콘텐츠를 포함하는 세그먼트.
• 스킵 (Skip): 정보가 없는 청크.

라우팅 결정은 두 가지 신호를 결합한다:

• 오디오 스펙트로그램 트랜스포머 (AST): AudioSet 온톨로지를 기반으로 한 log-Mel 스펙트로그램 패치에서 작동하는 사전 학습된 분류기로서, 음악 및 음성에 대한 장면 수준 점수를 생성한다.
• Silero VAD: 16 kHz 파형에 적용되는 경량 보이스 액티비티 디텍터(VAD)로, 유성 프레임(voiced frames)의 비율을 결정한다.

음성 활동이 지배적이고 음성 확률이 음악 확률보다 높으면 해당 청크는 *음성(Speech)*으로 라우팅된다. 음악 확률이 우세하고 음성 활동이 낮으면 *음악(Music)*으로 라우팅된다. 그 외의 경우 스킵(Skip) 처리된다.

2. 검색 및 시맨틱 그라운딩 (Retrieval and Semantic Grounding)

라우칭된 후, 시스템은 적절한 모션 정책을 검색한다:

• 음악 브랜치:
  • 주요 방법: Wang constellation-map 알고리즘을 사용하는 로컬 오디오 핑거프린팅 모듈을 사용한다. 이는 스펙트로그램 피크를 해싱하여 쿼리 청크를 참조 트랙 인덱스와 매칭하며, 트랙 식별자, 신뢰도 점수, 투표 수 및 시간 오프셋($\tau$)을 반환한다.
  • 폴백 (Fallback): 핑거프린팅이 실패할 경우, CLAP(Contrastive Language-Audio Pretraining) 모델의 임베딩 공간 내에서 코사인 유사도 검색을 수행한다.
  • 시간적 그 grounding (Temporal Grounding): 시간 오프셋 $\tau$는 정해진 시간 규칙(예: "인트로", "절", "후렴"을 특정 행동에 매핑)에 따라 트랙 내의 특정 스킬을 선택하는 데 사용된다. 정해진 시간 규칙이 적용되지 않는 경우 트랙 수준의 매핑이 사용된다.
• 음성 브랜치:
  • 청크는 스트리밍 음성-텍스트 변환 모델(OpenAI gpt-4o-mini-transcribe)을 통해 텍스트로 변환된다.
  • 변환된 텍스트는 시맨틱 그라운딩을 통해 스킬 라이브러리와 매칭되어 상위 1개의 모션 정책을 검색한다.
  • 매칭되지 않은 텍s는 자연어 상호작용을 위해 대화형 LLM으로 전달되며, 응답은 텍스트-음성 변환(TTS)을 통해 합성된다.

3. 명령 인터페이스 및 스킬 실행 (Command Interface and Skill Execution)

두 브랜치는 RoboJudo 제어 프레임워크 내의 통합 TCP 소켓 인터페이스를 통해 통신한다.

• 스킬 라이브러리: 보행(Walk) 정책, 안전한 전환을 위한 Stand 정책, 그리고 BeyondMimic으로 학습되어 ONNX 정책으로 내보내진 설정 가능한 일련의 모방 학습 전신 정책들을 포함한다.
• 실행 로직: 새로운 스킬이 요청될 때, 시스템은 이질적인 행동 간의 안정적인 전환을 보장하기 위해 선택적으로 로봇을 Stand 정책으로 예비 동작(prime)시킨 후 타겟 모션을 활성화한다.
• 안전 (Safety): 시스템은 Spurious(가짜/일시적) 스킬 전환을 방지하기 위해 수용 임계값(신뢰도 점수, 투표 수)과 "쿨다운(cool-down)" 메커니즘을 강제한다.

주요 기여

1. 통합 검색 모듈: 짧은 오디오 청크를 가장 관련 있는 모션 정책(top-1)에 매핑하는 시스템으로, 음악 기반 정렬(핑거프린팅 및 임베딩 활용)과 텍스트 기반 그라운딩(전사 및 시맨틱 매칭 활용)을 모두 지원하여 실시간 선택을 가능하게 한다.
2. 엔드 투 엔드 시스템 구현: 스트리밍 오디오 처리, 계층적 라우팅, 검색 및 실행을 통합하는 완전한 파이프라인을 제공한다. 이 시스템은 모듈화되어 있으며 시뮬레이션(MuJoCo)과 실제 환경 배포 모두에 호환된다.
3. 맥락 인식 제어: 시맨틱 정보를 제어 루프에 삽ert함으로써, 사전 정의된 안무를 넘어 자율적이고 맥락을 인식하는 행동 선택이 가능함을 입증하였다.

실험 결과

본 프레임워크는 시뮬레이션과 실제 Unitree G1 로봇에서 검증되었다.

• 검색 정확도: 현실적인 리스닝 지연을 시뮬레이션하기 위해 시작 시점을 이동시킨 574개의 오디오 청크를 포함한 벤치마크에서, 시스템은 **84.8%**의 전체 청크 수준 정확도를 달립다.
• 시뮬레이션 (안무 실행): 트랙 변경이 20초(M20) 및 30초(M30)마다 발생하는 두 가지 "매시업(mashup)" 시나리오를 테스트하였다.
  • M30 (30초): 컨트롤러가 중간 Stand 단계를 거쳐 전환을 완료할 수 있는 충분한 시간을 확보하여 일관된 실행을 생성하였다.
  • M20 (20초): 짧은 구간은 불일치를 유발하고 가끔 로코모션(locomotion)으로의 폴백을 일으켰다. 결정적인 경우, 빠른 전환이 로봇을 균형 상실 상태로 몰아넣어 안전 메커니즘을 트리거했다. 이는 30초 구간이 현재 적절한 운영 지점임을 나타내며, 전환 지연 시간이 검색 품질보다는 주요 병목 현상임을 시사한다.
• 실제 배포: 프레임워크는 물리적인 Unitree G1로 성공적으로 전이되었다. 네트워크 호출 및 하드웨어 인터페이스 오버헤드로 인해 엔드 투 엔드 지연 시간이 더 높았음에도 불구하고, 로봇은 명령된 정책 시퀀스를 성공적으로 따랐으며, 이는 견고한 Sim-to-Real 전이와 오디오 조건부 정책 선택 능력을 입증한다.

의의 및 주장

본 논문은 이 연구가 동적인 환경에서 자율적이고 반응적인 휴머노이드 행동을 향한 중요한 진전임을 주장한다. 경직된 규칙 기반 트리거를 인지 기반 선택 메커니즘으로 대체함으로써, 시스템은 실시간으로 "듣고, 이해하고, 반응"할 수 있게 한다.

저자들은 이 접근 방식이 일반화를 가능하게 한다는 점을 강조한다. 임베딩 공간을 활용함으로써, 프레-임워크는 추가적인 정책 학습 없이도 새로운 오디오 입력을 시맨틱하게 유사한 모션 정책에 매핑할 수 있다. 현재 결과가 확장성 및 전환 지연 측면에서 다소 미흡할 수 있으나, 이 아키텍처는 복잡한 동작이 교차 모달 임베딩에 근거하는 다양한 로봇 응용 분야(댄스 이외의 분야)로 나아가는 길을 열어준다. 본 연구는 사전 정의된 퍼포먼스에서 벗어나 RoboCup OnStage 대회와 같은 라이브 인터랙티브 시나리오에 참여할 수 있는 자율 에이전트로 나아가는 타당성을 검증한다.