Resumo Técnico: Co-policy – Co-criação Humano-Robô Responsiva para Performances Musicais

1. Definição do Problema

O artigo aborda o desafio da co-criação musical incorporada (embodied) entre humano e robô. Embora a IA generativa tenha avançado na produção de conteúdo desincorporado (texto, áudio, partituras), os sistemas robóticos frequentemente funcionam meramente como dispositivos de reprodução que executam notas pré-especificadas sem uma contribuição criativa genuína ou adaptação física em tempo real.

Os autores identificam duas questões científicas não resolvidas:

1. Lacuna Semântica-para-Ação: Como um robô pode transformar uma semente criativa humana incompleta (ex: um motivo, intenção verbal ou estilo) em uma resposta musical complementar, em vez de uma cópia mecânica?
2. Execução Física e Latência: Como essa resposta pode ser executada fisicamente, com precisão e com latência ao nível de interação?

As soluções existentes enfrentam compensações (trade-offs):

• Políticas de Difusão (Diffusion Policies): Altamente expressivas, mas sofrem com alta latência devido ao processo iterativo de denoising, tornando-as inadequadas para o tempo musical rigoroso de interação humano-robô.
• Modelos de Imitação Padrão: Frequentemente colapsam em direção a ações médias, perdendo a diversidade de modos de impacto necessários para uma performance expressiva.
• Modelos Generativos Desincorporados: Carecem das restrições físicas (alcance, dinâmica do instrumento) necessárias para a execução no mundo real.

2. Metodologia: O Framework Co-policy

O Co-policy é um agente de IA incorporada modular e leve que separa o pipeline em três estágios distintos: Fundamentação de Intenção Semântica, Variação Musical Restrita e Execução Visuomotora.

2.1 Fundamentação de Intenção Semântica e Planejamento

Em vez de tratar o Modelo de Linguagem-Visão (VLM) como um gerador monolítico de ponta a ponta, o Co-policy utiliza-o como um módulo de fundamentação semântica.

• Banco de Âncoras Semânticas: Um banco de dados de sementes musicais pareadas, imagens de partituras, descritores de estilo e tags de jogabilidade robótica é usado para recuperar o contexto relevante durante a inferência.
• Qwen-vl Ajustado (F-Qwen): O VLM é ajustado para produzir planos JSON estruturados em vez de texto livre. Ele processa fala humana, sementes musicais ao vivo (extraídas de áudio) e observações visuais (RGB) para definir o papel do robô (ex: "acompanhamento"), estilo, tempo e notas alcançáveis.
• Planejador de Variação Restrita: O planejador gera uma resposta de nota do robô ($N^r_t$) que deve satisfazer quatro critérios:
  1. Consistência de Motivo: Retendo a estrutura reconhecível da semente humana.
  2. Validade Harmônica: Evitando conflitos tonais.
  3. Novidade: Evitando a cópia direta (garantindo contribuição criativa).
  4. Jogabilidade Incorporada: Garantindo que o plano seja executável dentro do espaço de trabalho do robô e dos limites de latência.

2.2 Política Visuomotora de Mistura Gaussiana (GMP)

Para abordar os desafios de latência e multimodalidade, o artigo introduz a GMP, uma política de densidade de mistura condicional de passagem única.

• Codificador de Atenção de Auto-Guia (GSA): Para resolver o desequilíbrio global-local no raciocínio visual, o codificador utiliza uma arquitetura de fluxo duplo:
  • Um fluxo Swin Transformer captura dependências espaciais de longo alcance (layout da cena).
  • Um fluxo DenseNet extrai características locais pixel a pixel (regiões de contato).
  • Acoplamento entre Fluxos: As consultas (queries) são extraídas do fluxo global, enquanto as chaves (keys) e valores (values) vêm do fluxo local. Isso permite que o modelo pergunte "onde está o alvo?" usando o contexto global, mas responda usando evidência local, melhorando a localização de sinos específicos.
• Cabeça de Ação de Densidade de Mistura: Em vez de prever uma ação determinística única (que leva ao colapso de modo), a GMP prevê uma distribuição de mistura gaussiana condicional sobre vetores de ação robótica completos (ou trajetórias de curto horizonte):
  $$p_\theta(\tau_t | O_t, N^r_t, c_t) = \sum_{k=1}^K \pi_k \mathcal{N}(\tau_t; \mu_k, \Sigma_k)$$
  • Cada componente $k$ representa um modo de ação latente (ex: golpear de cima, balanço lateral ou toque suave) em vez de uma junta específica.
  • Isso preserva múltiplas respostas físicas viáveis em uma única passagem (forward pass), evitando o processo iterativo de denoising dos modelos de difusão.
• Inferência: O sistema seleciona o modo mais provável ($\arg\max \pi_k$) ou agrega a expectativa da mistura, permitindo a execução de baixa latência.

3. Principais Contribuições

1. Definição Formal de Co-criação Incorporada: O artigo define a co-criação como uma interação de malha fechada onde o robô contribui com uma resposta complementar a uma semente humana incompleta, distinguindo-a da reprodução robótica ou geração desincorporada.
2. Agente Incorporado Modular: Um framework que combina F-Qwen para fundamentação semântica, um planejador restrito para variação musical e GMP para execução. Esta abordagem modular evita os custos de implantação de modelos VLA monolíticos de ponta a ponta, mantendo a fundamentação física.
3. GMP de Baixa Latência: Uma política de densidade de mistura condicional que prevê distribuições de ação multimodais em uma única passagem, preservando modos de ação fisicamente viáveis sem a latência do denoising baseado em difusão.

4. Resultados Experimentais

O sistema foi avaliado em uma performance real de sinos (chime) e na plataforma de simulação ManiSkill2.

4.1 Avaliação em Robô Real (Performance de Sinos)

• Qualidade da Co-criação: Em avaliações de especialistas cegos (10 profissionais de sinos), o Co-policy com F-Qhen e GMP alcançou uma pontuação média de 74,8 em co-criação musical semântica e 62,0 em co-criação de concerto. Isso superou a linha de base da Política de Difusão (66,3 e 55,8, respectivamente) e outras linhas de base como $\pi_{0.5}$ e GR00T.
• Precisão de Execução: O Co-policy alcançou uma taxa de sucesso de ação ($Acc_a$) de 0,78 e precisão de afinação ($Acc_t$) de 0,88, resultando em uma precisão combinada de 0,69. Este é um aumento significativo sobre a Política de Difusão (precisão combinada de 0,56).
• Latência: A frequência de ação pós-comando para o Co-policy foi de 18,6 Hz, significativamente superior à Política de Difusão (1,01 Hz) sob as mesmas configurações de hardware e horizonte de ação.

4.2 Estudos de Ablação

• Ancoragem Semântica: Substituir o Qwen-vl padrão pelo F-Qwen ajustado melhorou as pontuações de co-criação em 7,4%–13,3% em música semântica e 3,5%–9,6% em tarefas de concerto.
• Componentes da GMP: A ablação dos componentes do codificador da GMP mostrou que o estágio Swin Transformer contribuiu com 32% para o desempenho, o bloco DenseNet 27%, o mecanismo GSA 21% e a cabeça de densidade de mistura 16%.
• Generalização: Na plataforma de simulação ManiSkill2 (tarefas de Verter, Encher, Pendurar, Escavar), a GMP demonstrou generalização robusta, validando a eficácia da política visuomotora além da tarefa específica de sinos.

5. Significância e Alegações

O artigo alega que a geração de ação fisicamente fundamentada é um componente necessário para a co-criação humano-IA.

• Além da Reprodução: O sistema demonstra que um robô pode transformar uma semente humana incompleta em uma resposta complementar semanticamente alinhada, musicalmente coerente e fisicamente executável.
• Interpretabilidade: Ao separar a fundamentação semântica, o planejamento e a execução, o sistema permite a inspeção independente de falhas (semântica vs. perceptual vs. execução), ao contrário de modelos monolíticos de ponta a ponta.
• Latência vs. Expressividade: O trabalho mostra que uma política de densidade de mistura condicional pode preservar múltiplos modos de ação viáveis (expressividade) enquanto atende aos rigorosos requisitos de latência da interação musical, um compromisso frequentemente difícil para modelos de difusão.

Os autores mantêm um escopo modesto, reconhecendo que o sistema atual é validado principalmente na performance de sinos e depende de pistas de áudio simbólicas de alto nível em vez de feedback tátil de malha fechada. Eles posicionam o trabalho como um passo em direção à "variação guiada" na IA incorporada, onde a criatividade é limitada pela viabilidade física e propriedades do instrumento.