Resumo Técnico: IA Agêntica para Controle de Robôs: Flexível, mas ainda Frágil

Declaração do Problema

A ponte entre planos abstratos gerados por sistemas de planejamento modernos e o controle físico de robôs em tempo real permanece um desafio significativo. Embora planos abstratos sejam prontamente produzidos, manter e atualizar robustamente as crenças necessárias para o seguimento de planos sob condições de observabilidade parcial, ruído sensorial, estimativas de estado obsoletas e dinâmicas exógenas é difícil. As abordagens existentes frequentemente falham em detectar, interpretar e responder a eventos inesperados enquanto mantêm a consistência e a segurança do plano. Além disso, abordagens de ponta a ponta que mapeiam linguagem e percepção bruta diretamente para o controle de baixo nível carecem de interpretabilidade e verificabilidade. Este artigo aborda a necessidade de uma arquitetura de controle que aproveite as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) operando sobre uma interface de nível superior de habilidades robóticas interpretáveis e predicados de estado verificáveis.

Metodologia

Os autores propõem um sistema de controle agêntico centrado em um único loop de planejador e executor que intercala a construção de planos em linguagem natural, execução fundamentada em ferramentas e monitoramento de execução. O sistema é implantado em duas plataformas físicas: o Mobipick (manipulador móvel interno) e o Valdemar (robô agrícola externo).

Arquitetura

O fluxo de trabalho é acionado por um módulo de reconhecimento de voz e roteado por um LLM leve (gpt-5-mini) para um chatbot ou para o agente principal de Planejador e Executor (usando o modelo de raciocínio o3).

• Planejador e Executor: Este agente utiliza um prompt estruturado para raciocinar sobre um snapshot semântico do ambiente (uma representação de estado impulsionada por sensores) e um catálogo de ações restrito. Ele opera através de um ciclo fechado:
  1. Reflexão: Produz um plano de alto nível estruturado.
  2. Aquisição de Estado: Consulta o estado semântico atual.
  3. Ação: Invoca uma única ferramenta de alto nível (ex: navegar, pegar, colocar).
  4. Verificação de Eventos: Consulta por eventos exógenos discretos baseados em texto.
• Crítico de Conclusão de Objetivo: Um segundo LLM (o4-mini) inspeciona o log de execução para distinguir entre tentativas físicas genuínas e modos de falha "apenas verbais" (onde o modelo explica uma tarefa sem agir). Ele pode solicitar a continuação ou interromper a execução se o objetivo for inviável ou estiver bloqueado.
• Interface de Ferramentas: O agente interage com o robô através de um conjunto mínimo de ferramentas: reflect (introspecção), act (executando uma ação de alto nível), get semantic environment representation snapshot (obter snapshot da representação semântica do ambiente) e check events (verificar eventos).

Engenharia de Prompt

O sistema depende de uma estrutura de prompt modular contendo:

• Modelo de Domínio: Define a corporeidade, semântica de sensoriamento e restrições operacionais (ex: "retrair braço antes da navegação").
• Informação de Estado: Fornece exemplos do snapshot do estado semântico, enfatizando que o conhecimento é incompleto e variável no tempo.
• Instruções Operacionais: Regras que regem o comportamento de execução, invariantes de segurança e manipulação de eventos.
• Acessibilidades (Affordances) e Heurísticas: Propriedades de objetos relevantes para a tarefa e preferências de redução de risco (ex: minimizar ações, adiar o posicionamento).
• Catálogo de Ações: Uma lista definida de operações permitidas que alteram o ambiente.
• Padrões de Falha: Registros curados à mão de falhas passadas para enviesar o agente contra a repetição de erros específicos.

Pipeline de Execução

O sistema assume o acesso a uma API de ação de robô que expõe habilidades atômicas pré-programadas e parametrizadas (ex: navegação baseada em ROS, síntese de preensão). O LLM não aprende o controle de baixo nível; em vez disso, ele orquestra as habilidades existentes. O feedback de execução (sucesso/falha/rastros de erro) é retornado como texto para o agente, permitindo recuperação iterativa e replanejamento sem lógica codificada rigidamente.

Principais Contribuições

1. Integração Agêntica no Mundo Real: Uma demonstração de um planejador-executor traduzindo objetivos em linguagem natural em chamadas de ferramentas sobre stacks de robôs existentes, apresentando recuperação iterativa sob observabilidade parcial e falhas intermitentes.
2. Design de Arquitetura: Uma separação do grounding geométrico/espacial (lidado pela stack de robô subjacente) do raciocínio baseado em linguagem. O LLM raciocina sobre snapshots de estado estruturados e habilidades parametrizadas em vez de geometria bruta.
3. Especificação de Engenharia Reproduzível: Uma definição concreta de estrutura de prompt e contratos de ferramentas (modelos de domínio, acessibilidades, verificação de eventos, padrões de recuperação), acompanhada de uma análise qualitativa dos comportamentos observados e fragilidade.

Resultados e Validação Qualitativa

O sistema foi validado nas plataformas Mobipick e Valdemar através de sete experimentos:

• Mobipick (Interno): O sistema executou tarefas nominais com sucesso (ex: "coloque o multímetro na caixa e leve para a mesa 2") e lidou com comandos ambíguos (ex: selecionar uma ferramenta para "parafusar"). Demonstrou a capacidade de incorporar intervenções do usuário (paradas de emergência, mudanças de preferência) e raciocinar sobre restrições (ex: perceber uma superfície de mesa antes de colocar um objeto para evitar colisões).
• Valdemar (Externo): O sistema realizou varredura de waypoints autônoma e gerenciamento de bateria. Interrompeu missões com sucesso para recarregar quando os níveis de bateria caíram e refutou comandos impossíveis (ex: "Voar para Paris") usando conhecimento de domínio.
• Teste de Estresse de Longo Horizonte: O sistema gerenciou tarefas complexas de múltiplas etapas envolvendo o uso de recipientes e espaços de trabalho obstruídos, recuperando-se de interrupções no nível de execução.

Limitações Observadas (Fragilidade)

Apesar da flexibilidade, o sistema exibiu fragilidade substancial:

• Comportamento Não Determinístico: Planejamento suboptimal (ex: caminhos de busca ineficientes) e verificação de eventos inconsistente (ex: invocações rápidas e repetidas).
• Erros de Seguimento de Instrução: Falhas ocasionais de "apenas verbal", onde o modelo explica uma solução sem executar as ações.
• Sensibilidade ao Prompt: Alta sensibilidade à especificação do prompt; restrições de segurança muitas vezes precisaram ser declaradas redundantemente em múltiplas seções do prompt para serem eficazes.
• Latência e Custo: A dependência de inferência de modelos remotos introduz latência não negligenciável e custo monetário por consulta.
• Assincronia: O sistema usa polling para detecção de eventos, o que significa que ações de longa duração não podem ser interrompidas imediatamente se um evento ocorrer no meio da execução.

Significância e Alegações

O artigo postula que, embora os sistemas agênticos baseados em LLM atuais sejam flexíveis — permitindo a transferência para diferentes domínios robóticos principalmente através de atualizações de prompt e revinculação de API — eles permanecem frágeis em implantações no mundo real.

A significância deste trabalho reside em:

1. Demonstrar a Viabilidade: Mostrar que um único loop de planejador-executor pode lidar com tarefas heterogêneas (manipulação interna vs. navegação externa) com mudanças arquiteturais mínimas.
2. Transparência: A capacidade do sistema de verbalizar seu raciocínio e estado fornece um nível de interpretabilidade para operadores não especialistas que os modelos de ponta a ponta carecem.
3. Utilidade Contextual: Aproveitar as grandes janelas de contexto dos LLMs modernos permite manter um contexto de tarefa rico e rastros de execução dentro de um único loop, possibilitando tarefas de longo horizonte que anteriormente eram menos viáveis.
4. Segurança via Abstração: Ao restringir o LLM à tomada de decisão de alto nível e chamadas de API válidas, o sistema garante um comportamento seguro mesmo se o modelo alucinar, pois ele não pode executar diretamente comandos de baixo nível inválidos.

Os autores concluem que, embora a modelagem de domínio robusta continue sendo trabalhosa e a sensibilidade ao prompt seja um obstáculo, esta abordagem agêntica oferece um caminho viável para integrar o raciocínio de senso comum no controle físico de robôs, desde que as restrições de segurança sejam explicitamente e redundantemente codificadas.