Resumo Técnico: TEXEDO

Declaração do Problema

A geração de movimento condicionada a texto emergiu como uma interface promissora para programar robôs humanoides, mas permanece um descompasso crítico entre o gerador de movimento e o controlador de corpo inteiro (whole-body controller). Os geradores atuais são tipicamente treinados em conjuntos de dados de movimento humano retargetados para morfologias robóticas. Embora esses modelos capturem priors cinemáticos semânticos ricos, eles carecem de exposição às restrições específicas do controlador de downstream, como limites de equilíbrio, temporização de contato, saturação de atuação e modos de falha específicos do controlador. Consequentemente, os movimentos gerados podem ser semanticamente plausíveis, mas dinamicamente inviáveis, levando a falhas de implantação como quedas, contatos impróprios ou saturação de atuadores.

Abordagens existentes frequentemente tratam a geração e o controle como fracamente acoplados. Embora a modelagem de linguagem tenha adotado com sucesso o "escalonamento em tempo de teste" (amostragem de múltiplos candidatos e seleção do melhor via um verificador) para melhorar a qualidade da geração, aplicar isso ao movimento humanoide requer uma noção "aterrada" de qualidade. Um candidato deve não apenas alinhar-se com o prompt de texto, mas também deve ser executável pelo rastreador de corpo inteiro específico na plataforma de hardware específica.

Metodologia: TEXEDO (Text-See-Do)

TEXEDO é um framework de escalonamento em tempo de teste projetado para converter um gerador de texto-para-movimento pré-treinado e congelado em um sistema de movimento consciente do controlador (controller-aware) sem modificar o gerador ou o rastreador. O pipeline opera em três estágios:

1. TEXT: Amostragem de Candidatos

Dada uma instrução de linguagem natural $\ell$, um gerador condicionado à linguagem $G$ (ex: FSQ-GPT) amostra um conjunto de $N$ trajetórias de referência de corpo inteiro candidatas $\{m_i\}_{i=1}^N$. O gerador é tratado como uma caixa preta; o framework depende apenas das trajetórias decodificadas.

2. SEE: Verificação Aterrada

Cada candidato é avaliado por dois verificadores complementares e aterrados:

• Verificador de Viabilidade Dinâmica ($R_{dyn}$): Este verificador prevê se um movimento pode ser rastreado com sucesso pelo controlador de tempo de implantação. Ele é destilado de rollouts offline do rastreador real (ex: SONIC).
  • Sinal Oráculo: Rollouts offline geram três sinais: sucesso binário ($y_s$), qualidade de rastreamento ($q_d$) e razão de progresso ($q_g$). Estes são colapsados em um único score de qualidade oráculo $Q^*$.
  • Modelo Substituto (Surrogate): Um Transformer temporal leve é treinado para prever esses sinais diretamente do movimento $m$, produzindo $R_{dyn}(m)$. Isso evita o custo proibitivo de executar rollouts completos no momento da seleção.
• Verificador de Alinhamento Semântico ($R_{text}$): Este verificador mede o alinhamento entre o prompt de texto e o movimento.
  • Arquitetura: Codificadores GRU bidirecionais para texto e movimento são treinados no esqueleto do robô alvo usando uma perda contrastiva.
  • Pontuação: O score é definido como a distância de embedding negativa exponencial entre as codificações de texto e movimento, $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$.

3. DO: Seleção Assimétrica

O TEXEDO emprega uma estratégia de filtrar-então-reclassificar (filter-then-rerank) para selecionar o movimento final $\hat{m}$:

1. Filtrar: Candidatos previstos como dinamicamente inviáveis ($R_{dyn} < \theta$) são descartados. Isso trata a viabilidade dinâmica como uma restrição rígida para garantir segurança e executabilidade.
2. Reclassificar: Do conjunto viável restante, o candidato com a maior pontuação de alinhamento semântico ($R_{text}$) é selecionado.
3. Fallback: Se nenhum candidato passar pelo filtro dinâmico, o candidato com o maior $R_{dyn}$ é selecionado para maximizar a chance de execução.

Principais Contribuições

1. Formulação do Problema: O trabalho formula a geração de movimento humanoide condicionada à linguagem e consciente do controlador como um problema de escalonamento em tempo de teste, aproveitando amostras adicionais de inferência para melhorar a trajetória de referência única comandada ao robô.
2. Design de Verificador Duplo: Introduz dois verificadores aterrados:
   • Um Verificador de Viabilidade Dinâmica destilado de rollouts do rastreador para prever a executabilidade física.
   • Um Verificador de Alinhamento Semântico treinado em movimentos de esqueleto de robô para medir o alinhamento texto-movimento.
3. Estratégia de Seleção Assimétrica: O artigo propõe uma regra de filtrar-então-reclassificar que prioriza a viabilidade dinâmica como uma restrição rígida antes de otimizar o alinhamento semântico. Isso resolve a tensão entre os dois critérios concorrentes, garantindo que o movimento selecionado seja tanto seguro quanto semanticamente fiel.

Resultados Experimentais

O framework foi avaliado em um humanoide Unitree G1 usando o controlador de corpo inteiro SONIC, com experimentos abrangendo simulação e implantação no mundo real.

• Eficácia do Escalonamento em Tempo de Teste:
  • O aumento do tamanho do pool de candidatos ($N$) melhora consistentemente o desempenho.
  • A seleção apenas por $R_{dyn}$ alcança alto sucesso de rastreamento (0.990), mas degrada o alinhamento semântico (o score do VLM-Judge cai para 4.924).
  • A seleção apenas por $R_{text}$ alcança alto alinhamento semântico (6.110), mas oferece melhoria mínima no sucesso de execução (0.885).
  • TEXEDO equilibra ambos com sucesso, alcançando um sucesso de rastreamento de 0.984 e um score de VLM-Judge de 6.054 (em $N=32$), superando significativamente o baseline ($N=1$) que teve 0.873 de sucesso e 5.722 de alinhamento.
• Generalização Zero-Shot:
  • Agnóstico ao Gerador: Quando aplicado a um gerador não visto (Kimodo) sem o retreinamento dos verificadores, o TEXEDO melhorou tanto a qualidade de execução quanto o alinhamento semântico, demonstrando que os critérios de seleção transferem entre arquiteturas de geradores.
  • Fora de Distribuição (OOD): Em prompts do dataset BONES-SEED não visto, o TEXEDO melhorou o sucesso de rastreamento de 0.860 para 0.980 e reduziu significativamente os erros de rastreamento, mostrando generalização robusta para prompts OOD.
• Implantação no Mundo Real:
  • O TEXEDO foi implantado em um Unitree G1 físico através de 30 prompts diversos (locomoção, gestos, combinações).
  • Ele executou com sucesso todos os 30 prompts, selecionando consistentemente movimentos que eram estáveis e correspondiam à semântica pretendida, enquanto os métodos baseline frequentemente falhavam ou produziam comportamentos instáveis.

Significância e Alegações

O artigo alega que a verificação aterrada é um caminho eficaz para a geração de movimento humanoide guiada por linguagem e implantável. Ao tratar a viabilidade dinâmica como uma restrição rígida e o alinhamento semântico como o objetivo de seleção, o TEXEDO permite o uso de poderosos geradores de texto-para-movimento pré-treinados sem exigir retreinamento ou modificações complexas no controlador.

Os autores enfatem que esta abordagem permite a conversão de computação adicional em tempo de inferência (amostrando mais candidatos) em uma única trajetória de referência de alta qualidade que é tanto alinhada à linguagem quanto fisicamente aterrada. O método demonstra que é possível fazer a ponte entre a geração semântica e o controle físico, produzindo ganhos consistentes tanto em execução de hardware quanto em simulação. O trabalho sugere que o escalonamento em tempo de teste, quando acoplado a verificadores conscientes do controlador, é uma estratégia viável para melhorar a confiabilidade de robôs humanoides em tarefas de domínio aberto.