💻 computer science

Cognitively-Grounded On-Device Runtime Learning for Ground Robots in Unknown Physical Environments

Este artigo apresenta o CogRun, um framework autônomo integral de processamento local que permite que robôs terrestres de missão crítica realizem aprendizado em tempo de execução cognitivamente fundamentado em ambientes desconhecidos, sem mapas prévios ou conectividade, ao integrar um novo agente de aprendizado com um agente racional dedicado ao foco em segurança.

Autores originais: Yihao Cai, Yanbing Mao, Christian Lebiere

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yihao Cai, Yanbing Mao, Christian Lebiere

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô enviado para uma floresta que ele nunca viu antes, encarregado de navegar por um caminho repleto de galhos caídos, buracos ocultos e terreno irregular. No mundo da inteligência artificial, esse cenário representa um obstáculo fundamental. A maioria dos robôs hoje é treinada em mundos simulados perfeitos ou laboratórios controlados, aprendendo a se mover em ambientes que são previsíveis e estáticos. Quando essas máquinas são implantadas na realidade caótica e mutável de uma floresta selvagem ou de uma zona de desastre, elas frequentemente enfrentam dificuldades. O conhecimento pré-programado delas torna-se um passivo porque o mundo que enfrentam não corresponde ao mundo em que foram ensinadas. Além disso, esses robôs frequentemente dependem de uma conexão constante com computadores poderosos na nuvem para processar suas decisões. Em terrenos remotos e acidentados, essa conexão é frequentemente interrompida, deixando o robô isolado ou incapaz de se adaptar em tempo real. O desafio, então, é criar uma máquina que possa aprender sobre a hora, inteiramente por conta própria, enquanto permanece segura o suficiente para operar sem intervenção humana.

Uma equipe de pesquisadores abordou esse desafio com um novo sistema chamado CogRun, projetado para permitir que robôs terrestres aprendam com segurança enquanto estão realmente se movendo através de espaços físicos desconhecidos. A ideia central é dar ao robô uma forma de aprendizado imediato que acontece inteiramente em seu próprio computador de bordo, sem a necessidade de enviar dados de volta para um servidor. Essa abordagem permite que o robô se adapte a novos obstáculos e condições de mudança no momento em que os encontra. O sistema é construído sobre o entendimento de que aprender no mundo real é perigoso; um robô que simplesmente tenta coisas novas para ver o que funciona pode cair ou colidir. Para resolver isso, os pesquisadores projetaram um framework onde o processo de aprendizado do robô é constantemente monitorado e guiado por um sistema de segurança separado, que não aprende. Isso garante que, enquanto o robô está descobrindo como se mover melhor, ele nunca dê um passo que possa fazer com que ele tombe ou colida com algo.

O framework opera dividindo o cérebro do robô em três partes distintas que trabalham juntas. A primeira parte é o "Agente de Aprendizado" (Learning Agent), que é o explorador curioso. Ele testa diferentes movimentos, observa os resultados e tenta melhorar seu desempenho com base no que experimenta. No entanto, como este agente ainda está aprendendo, ele pode cometer erros. Para evitar que esses erros se tornem desastres, uma segunda parte, o "Agente Racional" (Rational Agent), atua como um guardião de segurança rigoroso. Este agente não aprende; ele se baseia em regras estabelecidas e comprovadas para garantir que o robô permaneça ereto e evite colisões. Se o Agente de Aprendizado sugerir um movimento que pareça arriscado, o Agente Racional assume imediatamente o controle para executar uma manobra segura. Um terceiro componente, o "Coordenador" (Coordinator), observa o estado do robô em tempo real e decide qual agente está no comando em qualquer dado momento. Se o robô estiver se movendo com segurança, o Coordenador deixa o Agente de Aprendizado dirigir. No momento em que o robô entra em uma situação perigosa, o Coordenador entrega os controles ao Agente Racional até que o perigo passe.

O que torna este sistema único é como ele lida com as memórias de suas experiências. Quando um robô aprende, ele gera uma quantidade massiva de dados sobre o que fez e o que aconteceu em seguida. A maioria dos sistemas armazena esses dados em uma lista simples e escolhe exemplos aleatórios para aprender. Os pesquisadores descobriram que isso é ineficiente, especialmente em um ambiente em mudança, onde dados antigos ou irrelevantes podem confundir o processo de aprendizado. Em vez disso, o CogRun usa um método inspirado em como a memória humana funciona. Ele prioriza memórias com base em três fatores: o quão semelhante uma experiência passada é à situação atual, o quão recente ela ocorreu e com que frequência situações semelhantes ocorreram. Isso permite que o robô foque seu aprendizado nos momentos mais relevantes, como o momento exato em que quase escorregou em uma folha molhada, em vez de perder tempo com dados de horas atrás quando as condições eram completamente diferentes.

Para testar este sistema, os pesquisadores o implantaram em um robô de quatro patas em uma floresta real e desconhecida. O ambiente estava repleto de zonas mortas, depressões profundas no solo e buracos cobertos por folhas que poderiam esconder uma queda. O robô tinha a tarefa de percorrer trinta metros de um ponto de partida até um objetivo. Nesses testes, o robô teve que aprender a navegar pelo terreno sem nenhum mapa prévio. Os resultados mostraram que o sistema conseguiu manter o robô seguro durante todo o processo de aprendizado. Embora um sistema de segurança padrão pudesse impedir o robô de cair, ele era frequentemente cauteloso demais para se mover com eficiência. O sistema CogRun, no entanto, permitiu que o robô aprendesse um caminho suave e eficiente em apenas algumas dezenas de tentativas. O robô aprendeu a ajustar sua marcha e velocidade para lidar com o terreno irregular, eventualmente alcançando seu objetivo muito mais rápido do que poderia ter feito com uma estratégia fixa e pré-programada.

A equipe também testou o sistema em um veículo autônomo fora de estrada em um ambiente de floresta simulado para ver se a abordagem funcionava em diferentes tipos de máquinas. Eles compararam seu sistema com outros métodos de aprendizado avançados que tentam lidar com a segurança. Nessas simulações, os outros sistemas frequentemente perdiam o equilíbrio ou colidiam com obstáculos, muitas vezes falhando em completar a tarefa. Em contraste, o sistema CogRun completou a grande maioria de suas execuções sem quaisquer violações de segurança. O robô aprendeu a navegar através de árvores densas e caminhos rochosos, mantendo a estabilidade mesmo quando o terreno mudava inesperadamente. Os pesquisadores observaram que a capacidade do sistema de misturar as ações baseadas em regras com as ações baseadas em aprendizado foi crucial. Ao misturar cuidadosamente os movimentos cautelosos do guardião de segurança com os movimentos adaptativos do agente de aprendizado, o robô pôde explorar novas soluções sem nunca cruzar a linha do perigo.

Este trabalho demonstra que é possível para robôs aprenderem continuamente no mundo real sem depender de uma conexão com a nuvem ou de um mapa pré-existente do ambiente. Ao combinar um agente de aprendizado que busca melhoria com um agente racional que garante a segurança, e ao usar um sistema de memória que prioriza as experiências mais relevantes, os pesquisadores criaram um framework que permite às máquinas se adaptarem à natureza imprevisível do mundo físico. Os experimentos sugerem que esta abordagem pode melhorar significamente tanto a segurança quanto a eficiência de robôs operando em ambientes complexos e desconhecidos, pavimentando o caminho para máquinas mais capazes que possam auxiliar na recuperação de desastres, exploração e outras tarefas críticas onde o terreno é demasiado perigoso ou imprevisível para operadores humanos.

Resumo Técnico: CogRun – Aprendizado em Tempo de Execução Cognitivamente Fundamentado para Robôs Terrestres em Dispositivos Locais

1. Declaração do Problema

O artigo aborda as limitações dos atuais robôs com IA incorporada ao operarem em ambientes físicos não estruturados, dinâmicos e desconhecidos (ex: florestas selvagens, zonas de desastre pós-evento). Ele identifica três desafios fundamentais:

Ambientes Não Estacionários e Desconhecidos: Os paradigmas atuais de "treinar-então-implantar" sofrem com lacunas de sim-para-real (sim-to-real gaps) e mudanças de domínio, levando à degradação do desempenho em ambientes que não podem ser totalmente caracterizados antes da implantação.
Restrições de Comunicação Limitada: Os atuais frameworks de aprendizado frequentemente dependem de arquiteturas nuvem-borda (cloud-edge). Essa dependência de conectividade sem fio é impraticável para ambientes remotos e caóticos, onde a comunicação é não confiável ou inexistente, e a latência inerente impede a adaptação em tempo real para segurança crítica.
Replay de Experiência Ineficiente: Estratégias padrão de experience replay frequentemente falham ao não considerar a relevância das experiências armazenadas para o estado atual do robô. Em ambientes complexos e não estacionários, a recuperação de dados obsoletos ou irrelevantes degrada a eficiência do aprendizado, enquanto métodos on-policy sofrem com baixa eficiência de amostragem.

2. Metodologia: O Framework CogRun

Para enfrentar esses desafios, os autores propõem o CogRun, um framework para aprendizado cognitivamente fundamentado e em tempo de execução em dispositivos locais. O sistema opera inteiramente em hardware de IA de borda (especificamente NVIDIA Jetson AGX Orin), eliminando a dependência da nuvem. O CogRun consiste em três componentes estreitamente acoplados:

A. O Coordenador (The Coordinator)
O Coordenador atua como o guardião de segurança. Ele monitora o estado em tempo real do robô $s(t)$ contra um Conjunto de Segurança $S$ pré-definido (ex: prevenção de colisões, limites de velocidade).

Se $s(t) \in S$ , o Coordenador executa a ação $a_{learning}(t)$ gerada pelo Agente de Aprendizado (Learning-Agent).
Se $s(t) \notin S$ , o Coordenador imediatamente alterna o controle para o Agente Racional (Rational-Agent), executando $a_{rational}(t)$ para garantir a segurança.
Assim que o estado retorna ao conjunto de segurança, o controle retorna ao Agente de Aprendizado.

B. O Agente Racional (The Rational-Agent)
Este é um módulo não de aprendizado dedicado exclusivamente a funções críticas de segurança. Ele serve como um fallback de segurança verificável (usando, por exemplo, Interactive-FAR ou controladores baseados em modelos físicos). Quando ativado, ele evita falhas catastróficas e compartilha suas "experiências de garantia de segurança" com o Agente de Aprendizado para reduzir a exploração de tentativa e erro arriscada.

C. O Agente de Aprendizado (The Learning-Agent)
Este componente apresenta uma nova arquitetura de aprendizado neuro-cognitiva projetada para adaptação em tempo de execução. Ele integra Aprendizado por Reforço (RL) com Aprendizado Baseado em Instâncias (IBL) através de três inovações principais:

Buffers de Replay Dedicados: Dois buffers separados são mantidos:
- $B_L$ : Armazena experiências orientadas a tarefas da exploração do Agente de Aprendizado.
- $B_R$ : Armazena experiências garantidas por segurança geradas pelo Agente Racional durante intervenções.
- Mini-lotes (mini-batches) para treinamento são construídos amostrando de ambos os buffers, permitindo que o agente aprenda estratégias seguras diretamente das intervenções do Agente Racional.
Amostragem de Lote Impulsionada pela Cognição: Inspirado nos princípios de recuperação de memória humana, o sistema classifica as experiências armazenadas com base em três métricas em relação ao estado atual:
- Similaridade: Similaridade estrutural e de superfície com o contexto atual.
- Frequência: Com que frequência um tipo específico de experiência foi encontrado.
- Recência: Quão recentemente a experiência ocorreu.
- Uma medida de frequência-recência concorrente é computada usando um fator de decaimento de memória e o agrupamento por "família" das experiências.
Mistura de RL-IBL Consciente de Segurança: O agente não depende apenas da saída da rede neural ( $a_{actor}$ ). Em vez disso, ele mistura a ação do ator com uma "ação de experiência" ( $a_{experience}$ ) derivada das instâncias racionais recuperadas. Um parâmetro de mistura dependente do estado $\eta(s)$ , formulado via otimização convexa para garantir as restrições de segurança, pondera dinamicamente essas duas ações:
$a_{learning} = (1 - \eta(s)) \cdot a_{actor} + \eta(s) \cdot a_{experience}$

D. Execução em IA de Borda (Edge-AI Execution)
O framework utiliza uma estratégia de execução de múltiplas taxas desacopladas no dispositivo de borda:

CPU (baseada em ARM): Executa o Coordenador e o Agente Racional em altas frequências (200–1000 Hz) para garantia de segurança em tempo real.
GPU: Executa o Agente de Aprendizado em frequências mais baixas (10–20 Hz) para atualizações de política.
Isso garante consistência temporal e baixa latência, mantendo a eficiência energética.

3. Principais Contribuições

Autonomia Total em Dispositivo Local: O CogRun fornece uma pilha completa de autonomia (percepção, aprendizado, controle) em dispositivos de borda, removendo a dependência de conectividade em nuvem para o aprendizado em tempo de execução crítico para a segurança.
Arquitetura Neuro-Cognitiva: A integração do IBL com o Actor-Critic RL através de buffers dedicados e amostragem impulsionada pela cognição oferece uma abordagem fundamentada para a eficiência de experiência em ambientes não estacionários.
Mistura Consciente de Segurança: O mecanismo de mistura de ações de RL com ações racionais derivadas de IBL permite a adaptação contínua enquanto adere estritamente às restrições de segurança.

4. Resultados Experimentais

Os autores validaram o CogRun através de dois setups experimentais primários:

A. Robô Quadrúpede em Florestas Selvagens Reais

Tarefas: Navegação em tempo de execução e aprendizado de visão-para-ação de ponta a ponta em florestas desconhecidas com obstáculos como zonas mortas, depressões e buracos cobertos por folhas.
Descobertas:
- O CogRun garantiu estritamente a segurança (zero colisões ou quedas) durante todo o processo de aprendizado, enquanto os frameworks de RL tolerantes a falhas de base (Real-DRL, RLM, MPS) sofreram perda de equilíbrio e colisões.
- O robô alcançou navegação estável e eficiente dentro de dezenas de episódios, superando significativamente os baselines em taxas de conclusão de tarefa (19/20 para CogRun vs. 10–11/20 para os baselines).
- O sistema demonstrou robustez ao transferir políticas aprendidas entre três ambientes de floresta distintos e não estacionários sem reinicialização.

B. Veículo Autônomo Off-Road (Simulação Gazebo)

Estudo de Ablação: Os autores compararam o CogRun com três configurações: "Random" (RL padrão), "Cognition" (amostragem impulsionada pela cognição apenas) e "Cognition+Blending" (CogRun completo).
Descobertas:
- O "Cognition" superou consistentemente o "Random".
- O "Cognition+Blending" alcançou as maiores recompensas, confirmando que o mecanismo de mistura RL-IBL consciente de segurança melhora significativamente tanto a segurança quanto o desempenho da tarefa.

5. Significância e Alegações

O artigo afirma que o CogRun representa um passo significativo em direção ao alcance da autonomia de nível humano em ambientes físicos não estruturados. Sua principal significância reside em:

Permitir Adaptação Segura em Tempo de Execução: Permite que robôs aprendam e se adaptem continuamente a condições desconhecidas sem mapas prévios ou conhecimento perceptual, garantindo a segurança através de uma arquitetura de agentes duplos.
Superar Barreiras de Conectividade: Ao operar inteiramente em dispositivos de IA de borda, torna o aprendizado em tempo de execução viável em cenários remotos e com conectividade limitada, onde o aprendizado assistido pela nuvem é impossível.
Melhorar a Eficiência de Amostragem: A abordagem cognitivamente fundamentada do replay de experiência aborda a ineficiência do RL padrão em robôs físicos, permitindo um aprendizado eficaz a partir de interações escassas no mundo real.

Os autores concluem que, embora o framework seja eficaz, o trabalho futuro focará no refinamento da classificação de experiência fundamentada, mecanismos de decaimento de memória e medidas mais eficazes de frequência, recência e similaridade para avançar ainda mais o aprendizado em tempo de execução cognitivamente fundamentado.