From Instruction to Event: Sound-Triggered Mobile Manipulation

1. Problema e Motivação

A pesquisa atual em manipulação móvel robótica segue predominantemente um paradigma orientado a instruções, onde o agente executa tarefas baseadas em comandos textuais explícitos fornecidos pelo usuário. No entanto, essa abordagem limita a autonomia do agente, tornando-o passivo e incapaz de reagir proativamente a eventos dinâmicos e estocásticos no ambiente.

No mundo real, muitos eventos domésticos são desencadeados por sons (ex.: um campainha tocando, um alarme disparando, uma torneira pingando) antes mesmo de serem visualizados. O artigo propõe um novo problema chamado Manipulação Móvel Acionada por Som (STMM - Sound-Triggered Mobile Manipulation).

O Desafio Central:
O agente deve perceber eventos sonoros, inferir o objetivo da tarefa sem instruções textuais explícitas, localizar a fonte sonora e executar a interação física apropriada. O problema é dividido em dois tipos de interação:

1. Relocação de Objetos: Localizar e mover objetos rígidos que emitem som (ex.: pegar um telefone tocando).
2. Transição de Estado: Manipular objetos funcionais ou articulados para alterar seu estado físico (ex.: abrir uma porta de campainha ou fechar uma torneira).

Além disso, o cenário inclui configurações de evento único e múltiplos eventos simultâneos, onde o agente deve priorizar fontes sonoras e lidar com interferências acústicas.

---

2. Metodologia

Para abordar o STMM, os autores desenvolveram uma infraestrutura completa de simulação, benchmark e uma arquitetura de solução hierárquica.

2.1 Plataforma de Simulação: Habitat-Echo

Existentes simuladores focavam ou apenas na interação visual-física ou apenas na navegação visual-sonora. O Habitat-Echo é uma plataforma unificada que integra:

• Renderização de Áudio de Alta Fidelidade: Utiliza Respostas de Impulso de Sala (RIRs) pré-calculadas do SoundSpaces para simular propagação de som, reflexões e reverberação baseadas na geometria 3D e nos materiais do ambiente.
• Interação Física: Suporta manipulação de objetos que emitem som (rígidos e articulados).
• Ciclo Fechado: Permite que o agente perceba o som, localize a fonte e interaja fisicamente no mesmo ambiente.

2.2 Benchmark: STMM-1.9K

Foi criado o primeiro conjunto de dados e benchmark para STMM, contendo 1.900 episódios (treino e teste) cobrindo:

• Diversos objetos sonoros (telefones, alarmes, Furby, portas, pias).
• Mapeamento "um-para-muitos" de sons para garantir generalização semântica e evitar overfitting a frequências específicas.
• Cenários de evento único e múltiplo (com interferência sonora).

2.3 Framework Hierárquico de Solução

O problema é complexo demais para ser aprendido diretamente de observações brutas para ações de baixo nível. Os autores propõem um framework de duas camadas:

1. Planejador de Tarefas Acionado por Som (Alto Nível):

   • Utiliza um Modelo de Linguagem Multimodal Omni (Omni-MLLM), como o Qwen2.5-Omni ou Qwen3-Omni.
   • Entrada: Observações iniciais (RGB da cabeça + Áudio) e uma biblioteca de habilidades textuais.
   • Função: Inferir o objetivo do evento e gerar uma Cadeia de Habilidades (Skill Chain) ordenada (ex.: Navegar -> Abrir Porta ou Navegar -> Pegar -> Colocar).
   • Não recebe instruções textuais de "o que fazer", apenas o contexto sensorial.

2. Modelos de Política Específicos (Baixo Nível):

   • Um conjunto de modelos de política leves e especializados, cada um responsável por uma habilidade atômica (Navegar, Pegar, Colocar, Abrir Porta, Fechar Pia).
   • Entrada: Observações multimodais específicas para cada tarefa (ex.: espectrogramas binaurais e RGB para navegação; profundidade da cabeça e do braço para manipulação).
   • Treinamento: Utiliza PPO (Proximal Policy Optimization).

---

3. Principais Contribuições

1. Definição do Problema STMM: Introdução de um novo paradigma de tarefa embutida onde o agente deve reagir proativamente a eventos sonoros sem instruções explícitas, focando em autonomia e resposta a eventos estocásticos.
2. Habitat-Echo: Desenvolvimento de um simulador unificado que combina renderização acústica espacial de alta fidelidade com interação física, preenchendo uma lacuna crítica na pesquisa de robótica.
3. Benchmark STMM-1.9K: Criação do primeiro conjunto de dados padronizado para avaliar a capacidade de agentes em localizar fontes sonoras, planejar tarefas e executar manipulação física em cenários de evento único e múltiplo.
4. Framework Hierárquico e Baseline: Proposta de uma solução baseada em planejamento de alto nível (LLM) e execução de baixo nível (RL), demonstrando a viabilidade de resolver tarefas complexas de STMM.

---

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark STMM-1.9K, comparando diferentes modelos de planejamento e políticas.

• Desempenho Geral: O baseline proposto demonstrou capacidade de detectar e responder a eventos auditivos.

  • No cenário de Evento Único (Transição de Estado), o modelo Qwen2.5-Omni-7B alcançou a melhor taxa de planejamento (71,17%) e uma taxa de sucesso geral de 19,72% (subindo para 59,00% com o planejador "Oracle" que fornece a cadeia de habilidades correta).
  • No cenário de Evento Único (Relocação de Objetos), o Qwen2.5-Omni-7B também liderou com 78,38% de precisão no planejamento.
  • No cenário de Múltiplos Eventos, o Qwen3-Omni-30B mostrou maior robustez contra interferências acústicas, alcançando 51,83% de precisão no planejamento, superando modelos menores.

• Abordagem de Múltiplos Eventos: Em cenários com duas fontes sonoras simultâneas, o agente conseguiu identificar a fonte primária, interagir com ela (ex.: abrir a porta), e só então localizar e interagir com a fonte secundária (ex.: fechar a pia), validando a capacidade de priorização.

• Ablação de Modalidades:

  • Áudio para Navegação: O áudio é crucial. Modelos sem informação espacial de áudio falharam (0% de sucesso). A combinação de áudio e posição explícita atingiu 95,05% de sucesso.
  • Planejamento: A combinação de RGB e Áudio foi superior ao uso de apenas uma modalidade para o planejador de tarefas.
  • Manipulação: A fusão de profundidade da cabeça e do braço resultou no melhor desempenho para tarefas de pegar e abrir portas, pois combina contexto global e precisão local.

---

5. Significado e Impacto

Este trabalho representa um avanço significativo na direção de robôs domésticos autônomos e proativos.

• Mudança de Paradigma: Sai-se da dependência de comandos humanos constantes para uma interação onde o robô "ouve" o ambiente e age conforme a necessidade, imitando o comportamento humano de responder a alarmes ou campainhas.
• Integração Multimodal: Demonstra que o som não é apenas um complemento à visão, mas um gatilho primário para a ação, fornecendo informações espaciais e semânticas críticas, especialmente em condições de baixa iluminação ou quando o objeto está fora do campo de visão.
• Viabilidade Técnica: A criação do Habitat-Echo e do benchmark STMM-1.9K estabelece uma base sólida para futuras pesquisas em interação robótica baseada em eventos, permitindo o desenvolvimento de agentes mais inteligentes e adaptáveis a ambientes domésticos dinâmicos.

Em resumo, o artigo prova que é possível construir agentes robóticos capazes de interpretar eventos acústicos complexos e executar sequências de manipulação física sem intervenção humana direta, um passo essencial para a assistência doméstica geral.