CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

Resumo Técnico: CaP-X

1. O Problema

O controle robótico tradicional baseia-se em programas explícitos escritos por humanos, que combinam percepção, planejamento geométrico e controle de feedback. Embora robustos, esses sistemas são frágeis, difíceis de generalizar e dependem de muita engenharia manual. Por outro lado, os modelos de Ação-Visão-Linguagem (VLA) aprendem diretamente de grandes conjuntos de dados de imitação, mas sofrem com falta de interpretabilidade, dificuldade em generalizar para novos corpos robóticos ou tarefas de longo horizonte sem retreinamento, e dependem de dados massivos.

Uma terceira via, "Code-as-Policy" (CaP), propõe o uso de agentes de linguagem (LLMs) para sintetizar código executável que orquestra módulos de percepção e controle. No entanto, a eficácia desses agentes como controladores autônomos para manipulação robótica permanece pouco explorada. Questões críticas incluem:

• Quanto do desempenho observado deve-se ao agente em si versus às abstrações de alto nível (primitivas) fornecidas pelos humanos?
• Como os agentes se comportam quando essas "andaimagens" (scaffolding) são removidas e eles precisam operar em primitivas de baixo nível?
• É possível melhorar a robustez através de computação no tempo de teste (interação multi-turno, feedback estruturado) em vez de apenas escalar o modelo?

2. Metodologia

Os autores introduzem o CaP-X, um framework unificado e de código aberto composto por quatro pilares principais:

A. CaP-Gym (Ambiente de Treinamento e Avaliação)

• Um ambiente interativo baseado na interface Gymnasium que integra simuladores padrão (RoboSuite, LIBERO-PRO, BEHAVIOR).
• Os agentes controlam robôs gerando e executando programas Python que compõem primitivas de percepção e controle.
• O ambiente suporta tanto simulação quanto robôs reais (Franka Panda, AgiBot G1) através de uma interface unificada.
• As primitivas são implementadas como serviços sem estado, permitindo avaliação paralela de alto rendimento.

B. CaP-Bench (Benchmark Sistemático)

• Avalia 12 modelos de linguagem (LLMs) e visão-linguagem (VLMs) de ponta (incluindo Gemini-3-Pro, GPT-5, Claude Opus 4.5, Qwen, etc.) em 7 tarefas principais de manipulação.
• A avaliação ocorre ao longo de três eixos:
  1. Nível de Abstração: De macros de alto nível (desenhadas por humanos) até primitivas atômicas de baixo nível (APIs brutas de cinemática inversa e segmentação).
  2. Interação Temporal: Geração de código zero-shot de uma única vez (Single-Turn) versus interação multi-turno com feedback de execução.
  3. Fundamentação Perceptiva: Avaliação de como diferentes modalidades de feedback visual (estado bruto, texto, diferenças visuais) impactam a geração de código.

C. CaP-Agent0 (Framework de Agente sem Treinamento)

• Uma arquitetura de agente que não requer treinamento específico para a tarefa, projetada para mitigar as falhas encontradas no benchmark.
• Componentes Chave:
  • Visual Differencing Module (VDM): Converte observações visuais brutas em descrições textuais estruturadas, evitando a lacuna de alinhamento entre imagens e código.
  • Biblioteca de Habilidades Auto-Sintetizada: O agente analisa execuções bem-sucedidas para extrair e reutilizar funções utilitárias comuns, criando um "banco de habilidades" persistente.
  • Raciocínio Paralelo (Ensemble): Gera múltiplas soluções candidatas (via diferentes modelos ou temperaturas) e sintetiza a melhor solução final, aumentando a robustez.

D. CaP-RL (Aprendizado por Reforço com Recompensas Verificáveis)

• Aplica Reinforcement Learning with Verifiable Rewards (RLVR) diretamente no agente de codificação.
• Utiliza o algoritmo GRPO (Group Relative Policy Optimization) para pós-treinar modelos base (ex: Qwen2.5-Coder) usando recompensas baseadas no sucesso da execução no simulador.
• Foca em transferir o aprendizado de simulação para a realidade (Sim-to-Real) sem necessidade de dados reais de treinamento.

3. Principais Contribuições

1. CaP-Gym: Um ambiente unificado para avaliar e treinar agentes de codificação multimodal em tarefas de manipulação, cobrindo desde mesas até robôs móveis e bimanuais.
2. CaP-Bench: O primeiro benchmark sistemático que mede o desempenho de controle robótico variando níveis de abstração, interação e fundamentação perceptiva, revelando a dependência atual de modelos em primitivas de alto nível.
3. CaP-Agent0: Um framework training-free que recupera desempenho próximo ao nível humano em várias tarefas, demonstrando que a robustez pode ser alcançada através de raciocínio iterativo e fundamentação visual estruturada, sem dados de treinamento específicos.
4. CaP-RL: Demonstração de que o ajuste fino via RL com recompensas de simulação melhora significativamente as taxas de sucesso e transfere eficazmente para robôs reais com lacuna mínima (Sim-to-Real gap).

4. Resultados Chave

• Gap com Especialistas Humanos: Em avaliações de uma única vez (zero-shot) com primitivas de baixo nível, os modelos de ponta ainda ficam atrás dos programas escritos por especialistas humanos.
• Abstração vs. Expressividade: O desempenho aumenta com primitivas de alto nível (abstração), mas isso limita a generalização. A degradação em baixo nível expõe a dificuldade de síntese de código, mas permite comportamentos mais expressivos.
• Impacto da Interação Multi-Turno: Permitir que o agente itere e inspecione seus próprios logs de execução (stdout/stderr) melhora consistentemente o desempenho.
• Fundamentação Visual: A injeção direta de imagens RGB (M2) degrada o desempenho em comparação com feedback puramente textual. No entanto, o uso do Visual Differencing Module (VDM) para converter imagens em texto estruturado supera tanto a injeção direta quanto o feedback apenas de texto, fechando a lacuna de desempenho.
• Desempenho do CaP-Agent0: Ao combinar VDM, biblioteca de habilidades e raciocínio paralelo, o CaP-Agent0 atinge ou supera o desempenho de especialistas humanos em 4 de 7 tarefas, operando apenas com primitivas de baixo nível.
• Transferência Sim-to-Real: O CaP-RL permite que modelos pós-treinados em simulação (usando APIs privilegiadas) transferam zero-shot para robôs reais (Franka Panda) com taxas de sucesso comparáveis às do simulador (ex: 84% para levantar cubos no mundo real).

5. Significado e Impacto

O trabalho CaP-X redefine a abordagem para o controle robótico baseado em linguagem. Ele demonstra que:

• A Robustez pode ser Sintetizada: Em vez de depender apenas de grandes volumes de dados de treinamento (como VLAs), a robustez pode ser alcançada através de arquiteturas de agente inteligentes que utilizam computação no tempo de teste (iteração, verificação, ensemble).
• O Código como Representação de Ação é Viável: A síntese de código executável oferece uma via promissora para robôs generalistas, combinando a flexibilidade da linguagem natural com a precisão e verificabilidade do código.
• Avaliação Rigorosa: O benchmark estabelece novos padrões para avaliar agentes robóticos, exigindo que eles operem sob condições de baixo nível e com diferentes modos de interação, evitando a ilusão de competência criada por APIs de alto nível excessivamente simplificadas.

Em suma, o CaP-X fornece uma plataforma principial e aberta para avançar a inteligência corporal (embodied intelligence), mostrando que agentes de codificação, quando devidamente estruturados, podem realizar tarefas de manipulação complexas com confiabilidade próxima à humana, tanto em simulação quanto no mundo real.