Resumo Técnico: Otimização de Harness de Robótica (RHO)

Declaração do Problema

O Code-as-Policies (CaP) demonstrou que Grandes Modelos de Linguagem (LLMs) podem escrever código executável para compor primitivas de percepção, planejamento e controle para robótica. No entanto, os sistemas atuais de CaP dependem fortemente de loops de geração de código de múltiplos turnos no tempo de teste para lidar com o feedback de execução, diferenças visuais e correção de erros. Esta abordagem é frequentemente inviável para o controle robótico em tempo real devido à latência e ao custo computacional de escalar chamadas de inferência.

Inversamente, modelos Vision-Language-Action (VLA), que mapeiam pixels e linguagem diretamente para ações, lutam com a generalização. Quando confrontados com ambientes perturbados (ex: mudanças nas posições dos objetos ou descrições de tarefas), os VLAs como OpenVLA e $\pi_0.5$ sofrem quedas catastróficas de desempenho (ex: 0,0% e 12,83% de sucesso em perturbações do LIBERO-PRO, respectivamente).

O desafio central é desenvolver um paradigma de controle robótico que:

1. Evite a inferência iterativa de LLM durante o deployment (permitindo o controle em tempo real).
2. Generalize robustamente para mudanças de distribuição e perturbações onde os VLAs falham.
3. Produza políticas interpretáveis e depuráveis em vez de redes neurais de caixa-preta.

Metodologia: Otimização de Harness de Robótica (RHO)

Os autores introduzem a Otimização de Harness de Robótica (RHO), um paradigma que desloca o fardo computacional da geração no tempo de teste para a busca evolutiva no tempo de treinamento. Em vez de otimizar um único prompt ou função, o RHO evolui repositórios de políticas neurosimbólicas de múltiplos arquivos (Repositories-as-Policies).

Componentes Principais

1. HELIX (Hierarchical Evolution via LLM-Informed eXploration):

   • Um otimizador evolutivo reflexivo que eleva o espaço de busca de artefatos únicos para repositórios inteiros de múltiplos arquivos.
   • Mutator (Mutador): Um agente de codificação habilitado para ferramentas (ex: Codex, Claude Code) que atua como o operador de mutação. Dentro de um único passo de geração, o agente pode:
     • Editar múltiplos arquivos no repositório.
     • Escrever e executar testes efêmeros.
     • Executar candidatas em políticas no ambiente do robô através de uma interface de lista branca (whitelisted).
     • Ler tracebacks e stderr.
     • Consultar um módulo de diferença visual (VDM) para comparar estados de cena.
   • Reflection (Reflexão): O agente recebe um prompt de reflexão resumindo falhas e sucessos da geração anterior para guiar a próxima mutação.

2. Repositories-as-Policies (Repositórios como Políticas):

   • O artefato candidato é um sistema de software implantável contendo um roteador de tarefas, rotinas de controle, wrappers de percepção, auxiliares de agarrar (grasp helpers) e, se aplicável, o harness do LLM.
   • Estes são neurosimbólicos: o código simbólico compõe serviços neurais aprendidos de percepção/agarrar com primitivas de movimento.

3. Robot-Environments-as-a-Service (REaaS) & Isolamento:

   • REaaS: Fornece acesso isolado e de lista branca a ambientes robóticos (simuladores) para que o agente de codificação execute as candidatas e colete feedback.
   • Mecanismos de Isolamento: Para evitar o reward hacking (ex: agentes codificando soluções de forma direta ou lendo o interior do avaliador), o RHO impõe fronteiras estritas. O workspace do mutador é um proxy sidecar que exclui o código-fonte do avaliador, divisões de benchmark e prompts do juiz.

4. Loop de Otimização:

   • Seleção: As candidatas são avaliadas em um minibatch de treinamento. Uma filha é aceita se melhorar estritamente a recompensa moldada total sobre a mãe (ou atender a um limiar $\ge$ relaxado).
   • Fronteira de Pareto: Em vez de uma única cadeia de melhorias, o RHO mantém uma fronteira de Pareto de candidatas baseada em dominância de cobertura. Um repositório é retido se for o melhor performer em pelo menos uma instância de validação e não for dominado por outro repositório sobrevivente. Isso garante diversidade e evita a convergência prematura.
   • Deployment (Implantação): A política final implantada é o repositório com a maior recompensa média de validação da fronteira terminal. Crucialmente, nenhuma geração de código por LLM ocorre no tempo de deployment; o repositório executa como um controlador Python estático (ou um harness fixo para sistemas com LLM no loop).

Principais Contribuições

1. Robotics Harness Optimization (RHO): Um novo paradigma que evolui repositórios neurosimbólicos de múltiplos arquivos interpretáveis em vez de prompts ou funções únicas, deslocando a otimização para o tempo de treinamento para eliminar loops de inferência de LLM no tempo de teste.
2. Tool-Enabled Reflective Mutation (Mutação Reflexiva Habilitada por Ferramentas): O primeiro otimizador evolutivo onde o mutador é um agente de codificação habilitado para ferramentas, capaz de interagir com o ambiente, ler tracebacks e editar múltiplos arquivos dentro de um único passo de mutação.
3. Políticas Robustas e Generalizáveis: Demonstrando que o RHO produz políticas que superam tanto sistemas agentes de múltiplos turnos quanto baselines VLA em avaliações de turno único, particularmente sob mudanças de distribuição.

Resultados Experimentais

Os autores avaliaram o RHO em três benchmarks: CaP-Bench Robosuite, LIBERO-PRO e Robotec's RAI O3DE.

1. CaP-Bench Robosuite (Manipulação)

• Configuração: Execução de turno único (S4) sem chamadas de geração de código de LLM no deployment.
• Desempenho: O RHO alcançou uma taxa de sucesso de 70,0% (490/700 tentativas).
• Comparação: Isso excede o registro mais forte publicado de múltiplos turnos (68,29% pelo CaP-Agent0, que exigia até 66 chamadas de LLM por tentativa). Quando o CaP-Agent0 foi restrito à execução de turno único, seu desempenho colapsou para 24,0%.
• Eficiência: O RHO alcançou isso com zero chamadas de LLM durante o loop de controle no deployment.

2. LIBERO-PRO (Generalização sob Perturbação)

• Configuração: Tarefas de pick-and-place perturbadas (trocas de objeto/objetivo/espacial e mudanças na descrição da tarefa) onde os VLAs tipicamente falham.
• Desempenho: O RHO alcançou 45,0% de sucesso (1351/3000 tentativas) após 63 gerações de treinamento em dados não perturbados.
• Comparação:
  • 2,5$\times maior que o SOTA anterior de CaP de múltiplos turnos (CaP-Agent0 com 18,17%).
  • **3,5$\times** maior que$\pi_0.5$ (12,83%).
  • Superou significativamente o OpenVLA (0,0%).
• Significância: O RHO generaliza para configurações perturbadas onde os VLAs colapsam, sem exigir demonstrações para as tarefas perturbadas.

3. RAI O3DE (Implantação com LLM-in-the-Loop)

• Configuração: Um benchmark de manipulação ROS 2 onde o loop de controle inclui um LLM.
• Desempenho: O RHO evoluiu um repositório de múltiplos arquivos de prompts, ferramentas e código de controle, melhorando o sucesso em dados não vistos de 23,5% para 44,3%.
• Eficiência: Alcançou isso com 20% menos tempo de relógio (wall-clock time) e 27% menos chamadas de ferramenta comparado ao baseline.
• Ablação: Uma ablação de arquivo único (estilo GEPA) aumentou as chamadas de ferramenta em 16% e o tempo de relógio em 34%, demonstrando a superioridade da estrutura de repositório de múltiplos arquivos.

Análise de Prior Estrutural

Experimentos comparando repositórios de múltiplos arquivos contra stubs de arquivo único ou priors estruturais rígidos (Árvores de Comportamento, Máquinas de Estados Finitos) mostraram:

• Repositórios de múltiplos arquivos (70,0%) superaram significativamente os stubs de arquivo único (63,86%).
• Priors rígidos (Árvores de Comportamento: 33,86%, FSMs: 18,14%) colapsaram, sugerindo que a estrutura do repositório fornece o equilíbrio certo de scaffold para guiar o agente para a modularidade sem restringir o espaço de solução.

Significância e Alegações

O artigo afirma que o RHO representa uma mudança fundamental na forma como as políticas robóticas são descobertas:

• Do Tempo de Teste para o Tempo de Treinamento: Ao antecipar a busca e o refinamento para o treinamento, o RHO elimina a latência e a instabilidade da inferência iterativa de LLM durante o controle em tempo real.
• Interpretabilidade e Depurabilidade: Ao contrário dos VLAs de ponta a ponta, o RHO produz código neurosimbólico onde heurísticas avançadas (ex: geometria robusta ao quantil, pré-gating de viabilidade de IK, validação cruzada de dupla percepção) são explicitamente descobertas e codificadas. Esses mecanismos são legíveis por humanos e verificáveis.
• Generalização: O RHO demonstra que a busca evolutiva sobre repositórios de múltiplos arquivos pode descobrir estratégias robustas que generalizam para novos arranjos de objetos e descrições de tarefas, superando tanto os stacks de agentes atuais quanto os modelos VLA.
• Escalabilidade: O framework escala a "experiência" coletada por um agente. Enquanto o CaP-Agent0 coleta feedback turno a turno no deployment, o RHO coleta essa experiência uma única vez durante a busca evolutiva e a compila em um repositório estático e eficiente.

Os autores concluem que, embora o RHO herde as limitações de raciocínio espacial do LLM subjacente, ele consegue recuperar a estrutura modular necessária para o planejamento de tarefa e movimento, oferecendo um caminho para o controle robótico robusto, interpretável e implantável.