⚡ electrical engineering

Test-Driven Agentic Framework for Reliable Robot Controller

Este trabalho apresenta um framework agênico orientado a testes que sintetiza controladores de robôs confiáveis para tarefas de navegação, utilizando uma estratégia de reparo dual para refinar iterativamente o código com base em feedback de testes e superar as limitações de gerações únicas.

Autores originais: Shivanshu Tripathi, Reza Akbarian Bafghi, Maziar Raissi

Publicado 2026-03-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shivanshu Tripathi, Reza Akbarian Bafghi, Maziar Raissi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a andar por uma casa cheia de móveis e chegar até a cozinha sem bater em nada. Antigamente, para fazer isso, um engenheiro teria que passar dias escrevendo o código, ajustando parâmetros manualmente e testando, testando e testando até que o robô não caísse ou batesse. Era como tentar ensinar alguém a andar de bicicleta apenas com um manual de instruções teórico, sem nunca deixá-lo pedalar.

Este artigo apresenta uma nova maneira de fazer isso, usando uma espécie de "estagiário superinteligente" (uma Inteligência Artificial) que aprende com os erros, em vez de apenas tentar adivinhar a resposta certa de primeira.

Aqui está a explicação do método deles, usando analogias do dia a dia:

1. O Problema: O "Estagiário" que Alucina

Quando você pede para uma Inteligência Artificial (IA) escrever o código para o robô, ela tenta adivinhar. Às vezes, ela acerta, mas muitas vezes ela "alucina".

A analogia: Imagine que você pede a um cozinheiro iniciante para fazer um bolo. Você diz: "Faça um bolo". Ele tenta, mas esquece o fermento, usa sal em vez de açúcar ou quebra a tigela. Se você só der uma chance (o que chamam de "tentativa única"), o bolo vai dar errado. O robô, então, bate na parede ou trava.

2. A Solução: O "Treinador" com Lista de Exercícios

Os autores criaram um sistema onde a IA não trabalha sozinha. Eles montaram uma equipe com dois papéis principais:

O Gerador (O Estagiário): Escreve o código do robô.
O Testador (O Treinador Rigoroso): É um conjunto de testes automáticos (como uma lista de exercícios de matemática) que verifica se o código funciona.

Como funciona o ciclo de aprendizado:

Tentativa: O "Estagiário" escreve o código.
O Exame: O "Treinador" roda o robô em um simulador (uma realidade virtual) e aplica os testes.
- Exemplo: "O robô bateu na parede? Teste falhou." "O robô chegou à cozinha? Teste passou."
O Feedback (A Correção): Se o robô falhar, o "Treinador" não apenas diz "errou". Ele diz por que errou. "Você esqueceu de desviar do obstáculo à esquerda" ou "O código tem um erro de digitação".
A Revisão: O sistema usa essa informação para corrigir o código de duas formas:
- Correção Direta: O sistema tenta consertar o erro no código imediatamente (como um professor corrigindo uma conta no caderno).
- Melhoria do Pedido: Se o código não consertar sozinho, o sistema muda o jeito que pede a tarefa para a IA, dando mais detalhes (como dizer ao cozinheiro: "Use açúcar, não sal, e não esqueça o fermento").

Esse ciclo se repete até que o robô passe em todos os testes. É como um aluno estudando para uma prova: ele erra, recebe a correção, estuda o erro e tenta de novo até tirar 10.

3. Os Dois Cenários de Teste

Os autores testaram essa ideia em dois mundos diferentes:

O Mundo 2D (Mapa de Papel):
Imagine um mapa impresso em preto e branco. O robô é um carrinho de brinquedo. O sistema primeiro "olha" para a foto do mapa, entende onde são as paredes (pixels escuros ou claros) e cria uma grade digital. Depois, pede para a IA criar o código para o carrinho andar nesse mapa.
- Resultado: Mesmo começando com instruções vagas, o sistema conseguiu criar robôs que andavam perfeitamente após algumas tentativas.
O Mundo 3D (Simulador Webots):
Aqui é como um videogame realista. O robô é um modelo físico (como o famoso robô e-puck) com sensores de infravermelho. O ambiente tem obstáculos 3D, gravidade e física real.
- Resultado: Funcionou ainda melhor! Como o ambiente é mais claro e definido (menos "ruído" do que numa foto de mapa), a IA aprendeu mais rápido a navegar sem bater.

4. Por que isso é importante?

Antes, para ter um robô confiável, você precisava de um engenheiro experiente gastando semanas ajustando o código. Com esse novo método:

Automatização: O processo de "tentativa e erro" é feito pela máquina, não pelo humano.
Segurança: O robô só é liberado para o mundo real depois de passar em todos os testes no simulador.
Robustez: Mesmo que você dê uma instrução meio confusa no começo ("Vá para a cozinha"), o sistema entende o contexto, testa, percebe o que falta e se corrige sozinho.

Resumo Final

Pense nisso como transformar a robótica de uma arte manual (onde cada robô precisa de um artesão) em uma linha de montagem inteligente. O sistema usa a IA para escrever o código, mas usa testes rigorosos como um "chefe de qualidade" que garante que, antes de o robô sair da fábrica, ele saiba exatamente o que fazer e não vá bater em nada.

É como ensinar alguém a dirigir: em vez de apenas dar as instruções e torcer para que ele não bata, você coloca ele em um simulador, deixa ele bater (virtualmente), mostra onde errou, e só depois de ele passar no teste de direção é que você entrega as chaves do carro real.

Visão Geral

O artigo propõe um framework agênico baseado em testes para sintetizar controladores de baixo nível para robôs, focado em tarefas de navegação. O objetivo central é superar as limitações da geração de código "one-shot" (única tentativa) por Grandes Modelos de Linguagem (LLMs), que frequentemente resultam em erros de sintaxe, violações de segurança ou falhas na execução da tarefa devido a prompts subespecificados. A solução introduz um ciclo de feedback fechado onde o código gerado é validado automaticamente e iterativamente refinado até atender a todos os requisitos de segurança e desempenho.

1. O Problema

A navegação autônoma exige que um controlador execute planos de movimento respeitando restrições físicas (sensores discretos, limites de atuadores, etc.). Tradicionalmente, a ponte entre o planejamento teórico e a execução confiável exige muito ajuste manual e depuração.

Desafio dos LLMs: Embora os LLMs possam gerar código de controladores a partir de descrições de alto nível, a geração única é instável. Falhas comuns incluem erros de sintaxe, exceções em tempo de execução e violações de segurança (colisões).
Causa Raiz: A falta de detalhes "aterrados" (grounded details) nos prompts, como dinâmicas do robô, conversão de unidades e contratos de API, leva o LLM a fazer suposições errôneas (alucinações) que não funcionam em ambientes de hardware ou simulação reais.

2. Metodologia

O framework opera através de um fluxo de trabalho agênico fechado, dividido em duas fases principais: Geração e Melhoria (Refinamento).

A. Pipeline de Processamento e Geração

Contexto de Entrada: O sistema recebe especificações de alto nível (início, objetivo, critérios de sucesso) e contexto ambiental (mapas 2D ou arquivos de mundo 3D).
Pré-processamento (Ambiente 2D):
- Imagens de mapas brutas são convertidas em grades de ocupação (occupancy grids) discretas.
- Um pipeline automatizado realiza conversão para escala de cinza, binarização (usando o método de Otsu), avaliação de polaridade (obscuro vs. claro como obstáculo), operações morfológicas e inflação de obstáculos.
- Um algoritmo de busca (A*) valida a conectividade entre início e fim antes da geração do código.
Geração do Controlador: Um módulo de síntese (code_gen.py) utiliza um LLM para gerar um script Python (controller.py) baseado em um prompt que combina instruções fixas e contexto dinâmico.

B. Ciclo de Validação e Reparo (O Núcleo Agênico)

O sistema utiliza uma suíte de testes estruturada (PyTest) para validar o controlador gerado. Se o teste falhar, um mecanismo de reparo é acionado:

Feedback Estruturado: Um script (repair.py) executa os testes e gera um relatório detalhado dos erros.
Estratégia de Reparo Dual (Dual-Tier Repair):
- Reparo no Nível de Código: O LLM tenta editar diretamente o arquivo controller.py para corrigir falhas específicas relatadas nos testes. Isso é tentado por um número limitado de vezes (patiência de edição, $J$ ).
- Reparo no Nível de Prompt: Se as edições de código falharem repetidamente, o sistema atualiza o prompt (instruções dadas ao LLM) com regras de reparo automáticas baseadas nos diagnósticos e solicita uma nova geração de código.
Iteração: Este ciclo (Gerar $\to$ Testar $\to$ Diagnosticar $\to$ Reparar) continua até que o controlador passe em todos os testes ou atinja o limite máximo de iterações.

3. Contribuições Principais

Framework Agênico Iterativo: Uma nova abordagem que substitui a geração única por um loop de refinamento automatizado, garantindo correção sintática e conformidade com requisitos de tarefa.
Metodologia Unificada para Dois Cenários:
- Navegação 2D: Pipeline que converte imagens de mapas em grades de ocupação para síntese de controladores.
- Navegação 3D (Webots): Pipeline que utiliza metadados de simulação (arquivos .wbt) para sintetizar controladores para robôs físicos simulados (ex: e-puck).
Validação Empírica: Demonstração experimental em ambientes 2D e 3D, provando que a abordagem supera significativamente a geração "one-shot", especialmente quando os prompts iniciais são vagos.

4. Resultados Experimentais

Os autores avaliaram o framework em duas configurações: navegação em mapas 2D e simulação física 3D no Webots. Foram testados vários modelos LLM (GPT-4o, GPT-4.1, GPT-5.2, Claude-Sonnet-4.5, Claude-Opus-4.5).

Taxa de Sucesso (SR):
- No cenário 2D, o framework iterativo elevou a taxa de sucesso de modelos como GPT-5.2 e Sonnet-4.5 para 45%, enquanto a geração única falhou em muitos casos.
- No cenário 3D (Webots), o modelo Claude-Opus-4.5 alcançou uma taxa de sucesso impressionante de 71% com o método iterativo, superando significativamente a geração única (que variou entre 21% e 60% dependendo do modelo).
Convergência (CS - Sucesso Cumulativo):
- A abordagem iterativa permitiu que a maioria dos modelos alcançasse um controlador confiável (Sucesso Cumulativo = 1) em poucas iterações (entre 2 e 5 iterações para os melhores modelos).
- Modelos que falharam na primeira tentativa (one-shot) conseguiram corrigir seus erros através do loop de feedback, demonstrando robustez.
Comparação: O ambiente 3D apresentou desempenho ligeiramente melhor que o 2D, provavelmente devido à redução de parâmetros desconhecidos e computação de pré-processamento de imagem.

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma na engenharia robótica:

Automação do Desenvolvimento: Transfere o esforço de implementação manual e depuração para um fluxo de trabalho automatizado.
Confiabilidade para Deploy: Ao exigir que o controlador passe em uma suíte de testes antes de ser considerado "pronto", o framework garante que o código final seja seguro e funcional, eliminando a necessidade de intervenção humana contínua ou correção em tempo de execução por um LLM.
Escalabilidade: A abordagem é escalável para diferentes tipos de robôs e ambientes, desde que existam testes estruturados para validação.

Em suma, o paper demonstra que combinar a capacidade criativa de síntese de código dos LLMs com a rigidez de testes automatizados (Test-Driven Development) é a chave para criar controladores robóticos autônomos confiáveis e prontos para implantação.