Resumo Técnico: Compreensão Semântica Orientada por Áudio para Controle de Corpo Inteiro Dinâmico de Humanoides

Declaração do Problema

Embora avanços recentes em aprendizado por reforço (RL) e aprendizado por imitação tenham permitido que robôs humanoides adquirissem políticas de movimento de corpo inteiro altamente expressivas e fluidas, o desempenho robótico atual depende amplamente de sequências pré-programadas ou comportamentos disparados externamente. Essa dependência limita a autonomia e a responsividade em ambientes dinâmicos. Os sistemas existentes frequentemente carecem de "consciência de contexto"; um robô pode executar um movimento com precisão, mas falha em entender intrinsecamente quando ou por que uma ação deve ser realizada com base em seu ambiente. Além disso, embora a orquestração semântica de alto nível via linguagem exista, ela tipicamente requer intervenção humana explícita em cada ponto de decisão. Há uma necessidade crítica de um mecanismo que faça a ponte entre percepção e ação, permitindo que os robôs selecionem autonomamente comportamentos apropriados a partir de uma biblioteca de habilidades baseada em entrada sensorial contínua e em tempo real (especificamente áudio) sem regras rígidas codificadas no tempo.

Metodologia

Os autores propõem um novo framework de orquestração multimodal que converte sinais de áudio em streaming em decisões online para um subconjunto fixo de políticas de movimento. O sistema é projetado para o humanoide Unitree G1 e opera através de um pipeline modular envolvendo três estágios primários:

1. Roteamento Hierárquico de Áudio

A entrada contínua do microfone é segmentada em blocos de comprimento fixo (5 segundos). Um módulo de roteamento classifica cada bloco em um de três ramos mutuamente exclusivos:

• Música: Segmentos contendo conteúdo musical.
• Fala: Segmentos carregando conteúdo vocal.
• Pular (Skip): Blocos não informativos.

A decisão de roteamento combina dois sinais:

• Audio Spectrogram Transformer (AST): Um classificador pré-treinado operando em patches de espectrograma log-Mel (baseado na ontologia AudioSet) para gerar pontuações de cena para música e fala.
• Silero VAD: Um detector de atividade de voz (VAD) leve aplicado à forma de onda de 16 kHz para determinar a fração de quadros com voz.
  Um bloco é roteado para Fala se a atividade de voz for dominante e a probabilidade de fala exceder a de música; é roteado para Música se a probabilidade de música dominar e a atividade de voz for baixa; caso contrário, ele é pulado.

2. Recuperação e Fundamentação Semântica

Uma vez roteado, o sistema recupera a política de movimento apropriada:

• Ramo de Música:
  • Método Primário: Um módulo de impressão digital de áudio local usando o algoritmo de mapa de constelação de Wang, que faz o hash de picos do espectrograma para corresponder um bloco de consulta contra um índice de faixa de referência, retornando um identificador de faixa, pontuação de confiança, contagem de votos e deslocamento temporal ($\tau$).
  • Fallback: Se a impressão digital falhar, o sistema realiza uma busca de cosseno no espaço de embedding do modelo Contrastive Language-Audio Pretraining (CLAP).
  • Fundamentação Temporal: O deslocamento temporal $\tau$ é usado para selecionar habilidades específicas dentro de uma faixa baseada em um conjunto de regras temporizadas (ex: mapear "intro", "verso" ou "refrão" para comportamentos específicos). Se nenhuma regra temporizada se aplicar, um mapeamento de nível de faixa é utilizado.
• Ramo de Fala:
  • Os blocos são transcritos usando um modelo de streaming de fala para texto (OpenAI gpt-4o-mini-transcribe).
  • A transcrição é comparada com uma biblioteca de habilidades via fundamentação semântica para recuperar a política de movimento top-1.
  • Transcrições não correspondentes são encaminhadas para um LLM conversacional para interação em linguagem natural, com respostas sintetizadas via texto-para-fala (TTS).

3. Interface de Comando e Execução de Habilidade

Ambos os ramos comunicam-se através de uma interface de socket TCP unificada dentro do framework de controle RoboJudo.

• Biblioteca de Habilidades: Inclui uma política de locomoção (Caminhar/Walk), uma política de Estar de Pé (Stand) para transições seguras e um conjunto configurável de políticas de corpo inteiro aprendidas por imitação treinadas com BeyondMimic (exportadas como políticas ONNX).
• Lógica de Execução: Quando uma nova habilidade é solicitada, o sistema opcionalmente prepara o robô com a política Stand para garantir transições estáveis entre comportamentos heterogêneos antes de ativar o movimento alvo.
• Segurança: O sistema impõe limiares de aceitação (pontuações de confiança, contagens de votos) e um mecanismo de "resfriamento" (cool-down) para evitar trocas espúrias de habilidades durante transições de áudio.

Principais Contribuições

1. Módulo de Recuperação Unificado: Um sistema que mapeia curtos blocos de áudio para a política de movimento mais relevante (top-1), suportando tanto o alinhamento baseado em música (via impressão digital e embeddings) quanto a fundamentação baseada em texto (via transcrição e correspondência semântica) para seleção em tempo real.
2. Implementação de Sistema End-to-End: Um pipeline completo integrando processamento de áudio em streaming, roteamento hierárquico, recuperação e execução sobre uma biblioteca de habilidades aprendidas por imitação. O sistema é modular e compatível tanto com simulação (MuJoCo) quanto com implantação no mundo real.
3. Controle com Consciência de Contexto: Demonstração de que a incorporação de informações semânticas no loop de controle permite a seleção de comportamento autônoma e consciente do contexto, indo além da coreografia pré-programada.

Resultados Experimentais

O framework foi validado em simulação e em um robô físico Unitree G1.

• Precisão de Recuperação: Em um benchmark envolvendo 574 blocos de áudio (incluindo tempos de início deslocados para simular atrasos de escuta realistas), o sistema alcançou uma precisão geral de nível de bloco de 84,8%.
• Simulação (Execução de Coreografia): Dois cenários de "mashup" foram testados com mudanças de faixa a cada 20 segundos (M20) e 30 segundos (M30).
  • M30 (30s): Produziu execução consistente onde o controlador teve tempo suficiente para completar as transições através da fase intermediária de "stand".
  • M20 (20s): Seções mais curtas causaram desalinhamentos e ocasionais retornos à locomoção. Em casos críticos, transições rápidas levaram o robô a uma condição de perda de equilíbrio, acionando mecanismos de segurança. Isso indica que seções de 30 segundos são atualmente um ponto de operação adequado, sendo a latência de transição o principal gargalo, e não a qualidade da recuperação.
• Implantação no Mundo Real: O framework foi transferido com sucesso para o Unitree G1 físico. Apesar da maior latência end-to-end devido a chamadas de rede e overhead da interface de hardware, o robô seguiu com sucesso as sequências de políticas comandadas, demonstrando transferência robusta sim-to-real e seleção de política condicionada ao áudio consistente.

Significância e Alegações

O artigo alega que este trabalho representa um passo significativo em direção a comportamentos humanoides autônomos e responsivos em ambientes dinâmicos. Ao substituir gatilhos rígidos baseados em regras por um mecanismo de seleção orientado pela percepção, o sistema permite que os robôs "ouçam", "entendam" e respondam em tempo real.

Os autores enfatizam que a abordagem permite a generalização: ao aproveitar espaços de embedding, o framework pode mapear novos inputs de áudio para políticas de movimento semanticamente similares sem a necessidade de treinamento adicional de política. Embora os resultados atuais sejam modestos em relação à escalabilidade e latência de transição, a arquitetura abre as portas para diversas aplicações robóticas (além da dança) onde o movimento complexo é fundamentado em embeddings multimodais. O trabalho valida a viabilidade de passar de performances pré-programadas para agentes autônomos capazes de engajar em cenários interativos ao vivo, como a competição RoboCup OnStage.