Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

O artigo apresenta o framework Act-Observe-Rewrite (AOR), no qual um agente de linguagem multimodal melhora políticas de manipulação robótica sintetizando e reescrevendo código executável entre tentativas com base em observações visuais e falhas estruturadas, alcançando alto desempenho em tarefas sem necessidade de demonstrações, engenharia de recompensas ou atualizações de gradiente.

O essencial

Imagine que você tem um robô que precisa aprender a pegar objetos e colocá-los em lugares específicos. Normalmente, para ensinar um robô assim, os cientistas precisam fazer duas coisas difíceis: ou mostram milhares de vídeos de humanos fazendo a tarefa (como um professor repetindo a lição) ou criam um sistema de recompensas complexo (como dar um "ponto" quando o robô acerta e "tirar ponto" quando erra).

Agora, imagine um robô que não precisa de professor, nem de vídeos, nem de pontos. Ele apenas tenta, erra, olha para o erro, pensa sobre o que aconteceu e reescreve o próprio manual de instruções para tentar de novo.

É exatamente isso que o paper "Act–Observe–Rewrite" (Agir–Observar–Reescrever) propõe. Vamos usar uma analogia simples para entender como funciona:

A Analogia do "Mecânico que Escreve o Manual"

Imagine que você tem um carro (o robô) e um mecânico muito inteligente, mas que nunca dirigiu aquele carro antes (a Inteligência Artificial).

1. Agir (Act): O mecânico deixa o carro tentar subir uma ladeira. O carro escorrega e cai.
2. Observar (Observe): O mecânico olha as fotos do acidente, vê que o pneu patinou e que o motor estava muito fraco. Ele não apenas diz "falhou". Ele olha para o manual de instruções do carro (que é escrito em código de computador) e percebe: "Ah! O manual diz para apertar o acelerador de um jeito que não funciona nessa ladeira!"
3. Reescrever (Rewrite): Em vez de apenas dizer "tente de novo", o mecânico pega uma caneta, pega o manual, rasga a página antiga e escreve uma nova página com as instruções corrigidas. Ele muda a lógica: "Agora, quando a ladeira for íngreme, aperte o freio antes de acelerar".
4. Repetir: O carro tenta de novo com o novo manual. Se acertar, ótimo. Se errar, o mecânico olha de novo, entende o novo erro e escreve uma nova versão do manual.

O Grande Diferencial: O "Manual" vs. "Ajuste de Parafuso"

A maioria dos robôs modernos funciona como se você estivesse tentando ajustar um rádio antigo. Se o som está ruim, você gira um parafuso (muda um número) e espera que melhore. Se não melhorar, gira outro. É lento e você não sabe por que o som está ruim.

O método deste paper é diferente. O robô não apenas "gira parafusos". Ele reescreve a música inteira.

• O que a IA faz: Ela lê o código do robô (o manual) e diz: "Olha aqui, a fórmula matemática que calcula a posição do objeto está errada porque o robô está usando a convenção de 'cima' do mundo real, mas a câmera está usando a convenção de 'baixo' do computador. Vamos corrigir essa linha de código."
• O resultado: O robô aprende a ver o mundo corretamente, não apenas a tentar mais vezes.

Os Experimentos (A Prova de Fogo)

Os pesquisadores testaram essa ideia em três tarefas de "simulação" (um mundo virtual de robôs):

1. Levantar um cubo: O robô tentou, errou porque estava calculando a altura errada. A IA olhou, percebeu o erro de cálculo no código, corrigiu e, na próxima tentativa, acertou 100% das vezes.
2. Pegar uma lata de refrigerante: O robô confundiu a lata com um marcador vermelho no chão. A IA olhou as fotos, percebeu que o código estava procurando "qualquer coisa vermelha" e reescreveu o código para procurar "a coisa vermelha maior". Acertou 100%.
3. Empilhar cubos (A tarefa difícil): O robô conseguiu pegar o cubo, mas ao soltar, esbarrava no outro cubo e derrubava tudo. A IA percebeu o problema visualmente: "O robô está descendo muito rápido e batendo no outro cubo". Ela tentou várias soluções. Conseguiu chegar a 91% de sucesso, mas travou no último 9% porque não conseguiu inventar uma estratégia nova para não bater no cubo (talvez precisasse de um movimento mais lateral, mas a IA não "pensou" nisso).

Por que isso é incrível?

• Sem Treinamento Pesado: Não precisou de supercomputadores rodando por meses.
• Sem Demonstração Humana: Ninguém precisou mostrar como fazer.
• Explicável: Se o robô errar, você pode ler o código que a IA escreveu e entender exatamente onde ela errou. É como ler um diário de bordo.
• Auto-Correção: A IA consegue encontrar erros de "lógica" que um humano demoraria dias para achar, como uma fórmula matemática invertida.

Resumo Final

Este paper apresenta um robô que é como um aluno muito estudioso e autodidata. Ele não espera o professor corrigir a prova. Ele olha para a prova errada, entende por que errou, pega a caneta, reescreve a regra que usou para resolver o problema e tenta de novo.

É um passo gigante para robôs que precisam trabalhar em ambientes novos, onde não temos vídeos de como fazer a tarefa, mas onde eles precisam aprender a pensar e a corrigir seus próprios "manuais de instrução" sozinhos.

Resumo técnico

Título: Act–Observe–Rewrite (AOR): Agentes de Codificação Multimodal como Aprendizes de Política em Contexto para Manipulação Robótica

1. O Problema

A integração de modelos de fundação (Foundation Models) na manipulação robótica enfrenta dois desafios principais:

1. Adaptação e Diagnóstico: Quando modelos pré-treinados falham em uma configuração específica de implantação, diagnosticar a causa raiz e adaptar o sistema sem re-treinamento (fine-tuning) ou engenharia de recompensa manual permanece um problema não resolvido.
2. Custo e Iteração: O custo computacional e de dados para pré-treinar modelos Vision-Language-Action (VLA) impede que pesquisadores iterem rapidamente em novas tarefas de manipulação.

Abordagens existentes baseadas em reflexão verbal (como Reflexion) funcionam bem em ambientes simbólicos, mas falham em manipulação física contínua, onde o sucesso depende de cinemática precisa, física de objetos e geometria de sensores, que não podem ser facilmente descritos apenas em linguagem natural.

2. Metodologia: O Framework Act–Observe–Rewrite (AOR)

O AOR propõe um paradigma onde a implementação completa do controlador de baixo nível (código executável) é a unidade de raciocínio do agente de IA, em vez de selecionar habilidades pré-definidas ou ajustar parâmetros.

Arquitetura de Dupla Escala de Tempo:

O sistema opera em dois ciclos:

1. Loop Rápido (Execução): O robô executa um episódio sob um controlador Python. O controlador processa observações (RGB-D) e estados proprioceptivos para gerar ações.
2. Loop Lento (Raciocínio e Reescrita): Entre os episódios, um Agente LLM Multimodal (usando Claude Code no experimento) analisa:
   • Imagens-chave (key-frames) capturadas durante a execução.
   • Dados estruturados de saída (logs de fases, recompensas, distâncias mínimas, flags de oscilação).
   • O código-fonte do controlador atual.

O Processo de "Rewrite" (Reescrita):

O LLM não apenas descreve o erro, mas sintetiza um novo código Python executável para o controlador. O processo segue três etapas críticas:

1. Diagnóstico: Identificar a causa raiz da falha (ex: viés na visão, lógica de controle incorreta, parâmetros inadequados).
2. Reescrita: Gerar uma nova classe de controlador que corrige a falha específica (ex: corrigir uma fórmula de retroprojeção, alterar a lógica de fechamento da garra).
3. Validação e Compilação: O novo código é compilado em um ambiente isolado (sandbox). Se falhar na compilação ou violar restrições de segurança, o sistema reverte para o controlador anterior.

Mecanismos de Segurança:

• Sandbox de Compilação: Garante que o código gerado seja sintaticamente correto e tenha a interface necessária.
• Clampagem de Ação: Limita as ações de saída (ex: deltas cartesianos e abertura da garra) para evitar movimentos perigosos.
• Reescritas Limitadas: O agente é instruído a fazer alterações direcionadas, preservando a estrutura geral do controlador anterior para evitar reescritas holísticas instáveis.

3. Contribuições Principais

1. Mudança de Abstração: Demonstra que tratar o código de controle motor como a unidade de aprendizado em contexto permite diagnósticos qualitativamente superiores. O agente pode identificar erros lógicos específicos (ex: "o sinal da coordenada Y está invertido na retroprojeção devido à convenção OpenGL") em vez de apenas ajustar ganhos ou selecionar habilidades.
2. Aprendizado sem Demonstração ou Gradientes: O sistema aprende e melhora sem dados de demonstração humana, sem engenharia de recompensa manual e sem atualizações de gradiente (backpropagation).
3. Depuração Autônoma de Percepção: O agente foi capaz de descobrir e corrigir bugs sutis de calibração de câmera (como a convenção de eixos entre OpenCV e OpenGL) que causavam erros sistemáticos de 5-8 cm, algo difícil para métodos de ajuste de parâmetros tradicionais.
4. Interpretabilidade Total: Como a política é código legível por humanos, o processo de falha e correção é transparente e auditável.

4. Resultados Experimentais

Os experimentos foram realizados no simulador Robosuite (MuJoCo) com um braço UR5e, utilizando três tarefas de complexidade crescente:

Tarefa	Descrição	Resultado (Sucesso)	Iterações (Chamadas LLM)	Observações
Lift	Levantar um cubo vermelho.	100%	3	O agente corrigiu um viés de profundidade de 2,5 cm e a lógica de "pressão para baixo" durante o fechamento da garra.
PickPlaceCan	Pegar uma lata e colocar em um recipiente.	100%	2	O agente corrigiu a identificação de cor (a lata aparecia vermelha, não prateada) e filtrou ruídos de marcadores vermelhos no recipiente.
Stack	Empilhar um cubo vermelho sobre um verde.	91%	20	O agente corrigiu bugs de visão (retroprojeção e matriz extrínseca) e dinâmicas estocásticas.

Falha Residual (Stack):
O sistema atingiu um platô de 91%. O agente diagnosticou corretamente que a falha restante era causada pelo contato dos dedos da garra com o cubo alvo (verde) durante a descida. No entanto, o agente não conseguiu descobrir uma estratégia de colocação (ex: ângulo de descida mais íngreme ou liberação lateral) que evitasse esse contato, ficando preso em um ótimo local.

Comparação de Agentes:
O experimento mostrou que a capacidade do LLM subjacente é crucial. Um agente substituto (Codex/GPT-5) falhou em resolver qualquer uma das tarefas dentro do mesmo orçamento de iterações, destacando que o raciocínio geométrico e de código do agente principal (Claude Code) foi um fator determinante.

5. Significado e Conclusão

O artigo estabelece que agentes de codificação multimodal ocupam um espaço distinto no aprendizado robótico:

• Profundidade vs. Amplitude: Enquanto os modelos VLA (como RT-2, OpenVLA) otimizam para amplitude (generalização em centenas de tarefas via pré-treinamento massivo), o AOR otimiza para profundidade e interpretabilidade, alcançando alto desempenho em tarefas específicas através de raciocínio direcionado.
• Complementaridade: O AOR pode ser usado para depurar e adaptar configurações específicas onde um modelo VLA falha, sem a necessidade de re-treinamento completo.
• Viabilidade: A prova de conceito demonstra que é possível criar políticas de manipulação robustas e corretas apenas através de tentativa, erro, observação visual e reescrita de código, eliminando a necessidade de grandes conjuntos de dados de demonstração.

O trabalho sugere que, à medida que os modelos de linguagem melhoram em raciocínio sobre física e geometria, a combinação de diagnóstico verbal e síntese de código se tornará uma ferramenta vital para a implantação de sistemas de IA física no mundo real.