Resumo Técnico: CoStream

Declaração do Problema

Tarefas de manipulação de longo horizonte e ricas em contato (ex: inserir uma GPU em um slot PCIe com folga de milímetros) apresentam um desafio duplo: exigem controle de alta precisão para evitar o travamento e generalização fora da caixa para lidar com novas tarefas sem retreinamento. Os paradigmas atuais de robótica lutam para satisfazer ambos simultaneamente:

• Pipelines Modulares Clássicos: Estes desacoplam percepção, estimativa de estado, planejamento e controle. Embora possam alcançar alta precisão, são frágeis; adaptar os mesmos para novas tarefas exige engenharia dispendiosa e personalizada e o redesenho manual de módulos.
• Políticas Monolíticas End-to-End: Modelos como redes de Visão-Linguagem-Ação (VLA) oferecem melhor generalização, mas carecem da precisão necessária para tarefas de contato complexas e fora da distribuição, a menos que sejam retreinados com novos dados extensos.

Ambos os paradigmas compartilham uma suposição implícita de que a manipulação complexa requer um sistema de controle rígido e indivisível. Este artigo desafia essa suposição, propondo que capacidades complexas podem emergir da composição de comportamentos simples e independentes.

Metodologia: Estrutura CoStream

O CoStream é uma estrutura que orquestra modelos de fundação e diversas modalidades de sensoriamento em múltiplos comportamentos principais composáveis. Diferente dos pipelines convencionais que passam um plano concluído através de interfaces fixas, o CoStream mantém os comportamentos como fluxos independentes e paralelos que operam em suas taxas naturais e se compõem dinamicamente.

1. Visão Geral da Arquitetura

O sistema opera em uma interface de espaço de tarefa SE(3) compartilhada. A cada passo de controle, três comportamentos distintos geram componentes que são multiplicados à direita para formar um único comando de pose do efetor final ($W T_{cmd}$), executado por um controlador complacente.

• Comportamento Semântico (Âncora de Frame de Tarefa):

  • Função: Extrai restrições espaciais e define um frame de tarefa ($W T^k_I$) relativo ao mundo.
  • Mecanismo: Utiliza Grandes Modelos de Linguagem (LLMs) e Modelos de Visão-Linguagem (VLMs) para processar instruções e resumos de cena (objetos, affordances, predicados). Ele minimiza um objetivo de alinhamento SE(3) para fundamentar o frame da tarefa.
  • Saída: Um frame de âncora estático ou de atualização lenta, não uma trajetória. Isso garante que a propriedade dos eixos e a rigidez permaneçam diagonais.

• Comportamento Preditivo (Movimento Nominal):

  • Função: Gera uma trajetória de movimento nominal contínua ($I T^k_{traj}(t)$) dentro do frame da tarefa.
  • Mecanismo: Utiliza um modelo de mundo de vídeo condicionado a observações e instruções de etapa para amostrar rollouts. Um crítico VLM seleciona o melhor rollout, que é então elevado para um rastreador de keypoints 3D para formar uma trajetória de referência centrada no objeto.
  • Saída: Um prior de movimento (caminho nominal) em vez de um plano rígido e preciso.

• Comportamento Reativo (Resíduo Tátil e Loop de Força):

  • Função: Fornece correções de alta frequência (25 Hz) para deslizamento manual e forças de contato.
  • Mecanismo: Utiliza um sensor tátil GelSight para rastrear a pose do objeto em relação ao gripper (via NormalFlow) e estima a wrench do efetor final. Ele gera um resíduo tátil ($\Delta T^k_{tac}(t)$) para cancelar o deslizamento e sinaliza eventos de contato (deslizamento, força excessiva).
  • Saída: Uma transformação de corpo rígido que corrige o movimento nominal e um sinal de loop de força para o controlador.

2. Composição e Controle

• Composição de Ação: A cada ciclo do controlador, o sistema computa o comando final:
  $$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$$
  Esta multiplicação à direita permite que os comportamentos permaneçam independentes. Se um fluxo estiver ausente ou desatualizado, um comportamento de fallback ($H_k$) garante a degradação graciosa em vez da interrupção.
• Compilação do Controlador: Um compilador determinístico mapeia as especificações de estágio para parâmetros de nível de robô (rigidez cartesiana, amortecimento, eixos de impedância/admitância, limites de força).
  • No espaço livre, o controlador rastreia o movimento nominal com alta rigidez.
  • Durante o contato, ele alterna para impedância cartesiana (mola virtual para manutenção de força) ou admitância baseada em posição (para limitar a força), dependendo do estágio.

Principais Contribuições

1. Interface de Composição de Comportamento: Uma nova interface para manipulação rica em contato que desacopla o fundamento semântico, a geração de movimento preditivo e a reação tátil/de força em comportamentos independentes.
2. Representação SE(3) Compartilhada: Uma representação de espaço de tarefa que permite que cada comportamento execute em sua taxa natural, contribuindo apenas com o componente para o qual é confiável (frame de tarefa, prior de movimento ou correção de contato).
3. Validação Empírica: Demonstração da estrutura em oito tarefas do mundo real, mostrando montagem de alta precisão, recuperação robusta de perturbações manuais e transferência zero-shot para manipulação cotidiana sem retreinamento.

Resultados Experimentais

Os autores avaliaram o CoStream em dois grupos de tarefas usando dois robôs Franka Emika Panda (um com um sensor tátil GelSight Mini).

• Baselines: Comparado contra VoxPoser (planejamento modular de visão-linguagem) e $\pi_0.5$ (política VLA monolítica).
• Tarefas de Montagem de Alta Precisão:
  • Tarefas: Inserção de broca (folga de 0,5 mm), inserção de RAM, posicionamento de CPU, inserção de GPU.
  • Resultados: O CoStream alcançou taxas de sucesso de 14/15 a 15/15. Em contraste, VoxPoser e $\pi_0.5$ falharam completamente (0/15) nessas tarefas.
  • Análise de Falha: O VoxPoser falhou devido ao planejamento em malha aberta que não pôde corrigir desvios geométricos antes do contato. O $\pi_0.5$ falhou durante o contato, incapaz de distinguir eventos de contato de ambiguidade perceptual, levando a movimentos de alta frequência desestabilizadores.
• Tarefas de Manipulação Cotidiana:
  • Tarefas: Ligar uma lâmpada, limpar um quadro branco, transferência de copo para prato, transferência de roupas para caixa.
  • Resultados: O CoStream superou o $\pi_0.5$ em todas as configurações, com ganhos significativos em tarefas de transferência de objetos (ex: 13/15 vs 4/15 para copo-para-prato).
• Estudos de Ablação:
  • A remoção do Comportamento Reativo na tarefa de Inserção de Broca causou o colapso das taxas de sucesso de 15/15 para 3/15, confirmando que o feedback tátil é essencial para precisão submilimétrica.
  • Robustez: O sistema recuperou-se com sucesso de perturbações manuais (ex: rotacionar o objeto segurado dentro do gripper) ao reorientar o efetor final com base no feedback tátil.

Significância e Alegações

O artigo afirma que o CoStream demonstra um regime onde a manipulação complexa é alcançada não por um único controlador complexo, mas pela composição de comportamentos simples e independentes.

• Generalização sem Retreinamento: O mesmo conjunto de comportamentos lidou com diversos limites físicos (desde o assentamento delicado de uma CPU até o travamento de alta força de uma RAM) e transferiu para tarefas cotidianas sem retreinamento de política ou redesenho de módulo.
• Precisão via Composição: Ao separar o "quê" (semântico), o "onde" (preditivo) e o "como" (reativo), o sistema alcança precisão de nível milimétrico em cenários ricos em contato onde políticas monolíticas falham.
• Escopo Modesto: Os autores reconhecem limitações, observando que o sistema depende de percepção upstream (estimativas de pose) e é atualmente focado em manipulação de objetos rígidos estruturados. Ele ainda não lida com objetos deformáveis, manipulação de mão destra ou objetivos ambíguos. O comportamento reativo também é limitado pela cobertura tátil e precisão da estimativa de wrench.

Em resumo, o CoStream propõe que decompor a manipulação em fluxos semânticos, preditivos e reativos, compostos via uma interface SE(3) compartilhada, oferece um caminho robusto para uma manipulação robótica de alta precisão e generalizável.