💻 computer science

Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

Este artigo apresenta o Acc-CBF-QP, um filtro de segurança de Programação Quadrática baseado em aceleração que impõe restrições de posição de junta, velocidade, torque e colisão em políticas de aprendizado por reforço em implantações robóticas no mundo real sem modificar o treinamento, reduzindo significativamente as violações de segurança enquanto preserva o desempenho da tarefa em hardware como o Unitree H1 e o Kinova Gen3.

Autores originais: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs aprendem a se mover não por serem programados com regras rígidas, mas jogando um jogo de tentativa e erro, exatamente como uma criança aprendendo a andar. Este é o reino do Aprendizado por Reforço (Reinforcement Learning - RL). Neste parquinho digital, um robô tenta milhões de ações, recebendo "pontos" pelo sucesso e "multas" pelo fracasso, eventualmente descobrindo como correr, pular ou agarrar objetos com uma agilidade incrível. No entanto, há um problema: embora esses cérebros de IA sejam brilhantes em aprender novos truques, eles são terríveis em conhecer seus próprios limites. Se você pedir a um robô em aprendizado para correr rápido demais ou alcançar longe demais, ele pode tentar torcer o próprio braço ou bater em uma parede porque ainda não aprendeu a temer as consequências.

Para manter esses robôs seguros, engenheiros frequentemente utilizam Funções de Barreira de Controle (Control Barrier Functions - CBFs). Pense nelas como campos de força invisíveis e inquebráveis ou um algoritmo de "anjo da guarda" que verifica constantemente se o robô está prestremes a fazer algo perigoso. Se o robô tentar cruzar uma linha, o guardião intervém e o empurra gentilmente (ou não tão gentilmente) de volta para a segurança. O grande desafio sempre foi combinar a criatividade selvagem do robô que aprende com as regras estritas do guardião de segurança sem atrasar o robô ou quebrar seu céreさい.

Este artigo apresenta uma solução inteligente chamada Acc-CBF-QP, um filtro de segurança que atua como um árbitro em tempo real para o aprendizado robótico. Os pesquisadores construíram um sistema que se posiciona entre o "cérebro" do robô (a política de RL) e seus "músculos" (os motores). Quando o cérebro do robô envia um comando que parece que pode quebrar uma regra — como mover uma articulação rápido demais ou bater em uma parede — o filtro de segurança recalcula instantaneamente o comando. Ele não interrompe o robô; em vez disso, encontra o movimento seguro mais próximo que ainda se pareça com o que o robô queria fazer.

A equipe testou isso em dois robôs muito diferentes: um braço mecânico de 7 braços (o Kinova Gen3) e um robô humanoide de 19 articulações (o Unitree H1). Eles descobriram que, sem esse filtro, os robôs estavam constantemente quebrando regras de segurança. No robô humanoide real, a IA sem filtro causava violações de segurança cerca de 10 vezes a cada segundo. Mas quando adicionaram o filtro Acc-CBF-QP, essas violações caíram 92%, para menos de uma por segundo. No braço mecânico, o filtro foi tão eficaz que eliminou todas as violações inteiramente.

Crucialmente, os pesquisadores descobriram que essa rede de segurança não tornou os robôs desajeitados. Quando os robôs estavam realizando suas tarefas normais sem atingir zonas de perigo, o filtro permitia que eles se movessem exatamente como a IA pretendia, sem perda de desempenho. Mesmo quando os robôs foram levados aos seus limites com comandos de velocidade agressivos, o filtro evitou que colidissem ou desligassem, permitindo que sobrevivessem muito mais tempo do que sobreviveriam sozinhos. O artigo sugere que este método funciona mesmo quando o mapa interno do corpo do robô não é perfeito, graças a um "observador de perturbações" especial que adivinha quais forças externas estão empurrando o robô.

Os autores também compararam duas maneiras diferentes de o filtro interpretar os comandos do robô: uma que focava em corresponder à força exata (torque) que o robô queria usar, e outra que focava em corresponder à velocidade exata de movimento (aceleração). Eles descobriram que a versão de "correspondência de força" era mais robusta quando o modelo físico do robô estava um pouco errado, enquanto a versão de "correspondência de velocidade" era ligeiramente melhor quando o modelo era perfeito. No entanto, no mundo real, onde os modelos nunca são perfeitos, a abordagem de correspondência de força provou ser a escolha mais confiável.

Em resumo, este artigo não afirma ter resolvido todos os problemas de segurança na robótica, nem diz que treinar robôs para serem seguros desde o início seja uma má ideia. Em vez disso, oferece uma ferramenta prática, do tipo "plug-and-play", que pode envolver qualquer IA de robô existente, tornando-a segura para implantação em hardware real sem a necessidade de retreinar a IA do zero. Ele faz a ponte entre o mundo selvagem e flexível dos robôs que aprendem e a realidade estrita e implacável do mundo físico, provando que você pode ter alto desempenho e segurança rigorosa ao mesmo tempo.

Resumo Técnico: Execução Segura de Políticas de RL via Acc-CBF-QP Baseada em Aceleração

Declaração do Problema

O Aprendizado por Reforço (RL) tem demonstrado um potencial significativo para resolver tarefas complexas de controle robótico, como locomoção ágil e manipulação destreza. No entanto, a implantação de políticas de RL em hardware físico é severamente limitada pela falta de garantias de segurança. Embora existam métodos de Safe RL que incorporam restrições durante o treinamento (por exemplo, via Processos de Decisão de Markov Restritos ou Funções de Barreira de Controle), eles frequentemente dependem de garantias estatísticas que se degradam sob mudanças distributivas. Além disso, restrições de segurança estritas durante o treinamento podem ser excessivamente conservadoras, restringindo a exploração e retardando a convergência. Crucialmente, os métodos existentes frequentemente falham em garantir a satisfação consistente de restrições para estados Fora da Distribuição (OoD) encontrados durante a implantação no mundo real, levando a danos no hardware ou desligamentos do sistema.

O desafio central abordado é como impor restrições explícitas de segurança (limites de posição, velocidade, torque e colisão de juntas) em políticas de RL pré-treinadas em tempo de execução, sem exigir o retreinamento ou a modificação da própria política aprendida.

Metodologia: Acc-CBF-QP

Os autores propõem o Acc-CBF-QP, um filtro de segurança baseado em Programação Quadrática (QP) de aceleração que atua como uma camada de pós-processamento em torno de qualquer política de RL pré-treinada. O framework opera filtrando o comando de RL em tempo real para garantir que ele adira a um conjunto seguro definido por Funções de Barreira de Controle (CBFs).

Componentes Principais

Formulação de QP Baseada em Aceleração:
O problema de controle é formulado como um QP onde as variáveis de decisão são as acelerações generalizadas ( $\ddot{q}$ ). Isso permite a satisfação simultânea de restrições dinâmicas e cinemáticas, que são frequentemente de segunda ordem por natureza. O QP minimiza uma soma ponderada de erros de tarefa sujeito a restrições linearizadas:
$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{sujeito a} \quad A_c \ddot{q} \leq b_c$
Imposição de Restrições (CBFs):
A segurança é definida como a invariância progressiva de um conjunto fechado $\mathcal{C}$ . Os autores formulam restrições para:
- Limites de Torque: Impostos via dinâmica inversa.
- Limites de Velocidade e Posição de Juntas: Impostos usando CBFs padrão para velocidade (grau relativo 1) e CBFs Exponenciais (ECBF) para posição (grau relativo 2).
- Evitação de Auto-colisão: Imposta usando ECBFs na distância entre pares de corpos monitorados.
Integração de RL e Formulações de Tarefa:
Como as políticas de RL tipicamente produzem ações interpretadas como deslocamentos desejados de juntas (que se traduzem em torques via um controlador PD de baixo nível), o QP deve minimizar o desvio do torque de RL efetivo. O artigo introduz duas formulações de tarefa específicas para alcançar isso:
- TorqueTask: Minimiza o desvio entre o torque computado pelo QP e o torque de RL desejado ( $\tau_{RL}$ ). Esta formulação é robusta a erros de modelagem, pois depende da dinâmica inversa.
- Forward Dynamics Task (FDTask): Minimiza o desvio entre a aceleração computada pelo QP e a aceleração implicada pelo torque desejado via dinâmica direta. Esta formulação é mais sensível a imprecisões do modelo, mas teoricamente minimiza o desvio de aceleração quando o modelo é perfeito.
Robustez e Estimativa de Perturbação:
Para lidar com erros de modelagem e perturbações externas (crítico para robôs de base flutuante), o sistema emprega um Observador de Momento Generalizado (GMO) para estimar torques externos ( $\hat{\tau}_{ext}$ ). Esta estimativa é usada no cálculo da dinâmica inversa para compensar a dinâmica não modelada. Os autores fornecem uma análise de robustez mostrando que, sob perturbações limitadas, o sistema mantém a segurança estado-entrada, mantendo as trajetórias dentro de uma vizinhança do conjunto seguro.
Tratamento de Inviabilidade:
Em casos onde o QP se torna inviável (por exemplo, devido a restrições conflitantes ou perturbações severas), o sistema emprega mecanismos de fallback: alternando para um modo de amortecimento ou retornando a um comando de RL saturado em torque.

Principais Contribuições

Framework de Código Aberto: Os autores lançam um pipeline de código aberto (Acc-CBF-QP) que impõe segurança em políticas de RL robóticas via QP baseado em aceleração com restrições CBF.
Duplas Formulações de Tarefa: A introdução de TorqueTask e FDTask fornece controle principiado sobre o compromisso entre segurança e desempenho, permitindo que os usuários escolham entre minimizar o desvio de torque ou o desvio de aceleração dependendo da aplicação e fidelidade do modelo.
Integração de Estimativa de Estado: O framework integra estimativa de estado e observadores de perturbação para recuperar forças externas, o que é essencial para a imposição consistente de CBF em sistemas controlados por torque e de base flutuante.
Segurança em Tempo de Execução Sem Retreinamento: O método atua como uma interface modular que envolve políticas de RL arbitrárias, impondo restrições em tempo de execução sem a necessidade de retreinamento adicional da política ou modificação do processo de treinamento.

Resultados Experimentais

O framework foi validado em duas plataformas distintas: um manipulador Kinova Gen3 de 7-DoF e um robô humanoide Unitree H1 de 19-DoF, tanto em simulação quanto em hardware real.

Kinova Gen3 (Manipulador):
- Usando uma política de RL pronta para uso, treinada sem restrições de segurança, o Acc-CBF-QP eliminou totalmente as violações de restrição (posição de junta, velocidade, torque e colisões) tanto em simulação quanto em hardware.
- O desempenho da tarefa nominal (rastreamento de trajetória cartesiana) foi preservado, com desvios estatisticamente indistinguíveis da repetibilidade intrínseca da política de RL.
Unitree H1 (Humanoide):
- Comparado contra uma baseline de Safe-RL treinada com o método "Constraints as Terminations" (CaT).
- Redução de Violações: Em hardware real, a política de Safe-RL sozinha gerou 10,04 violações/segundo. Aumentar isso com o Acc-CBF-QP reduziu as violações em 92% para 0,80 violações/segundo (TorqueTask).
- Tempo de Sobrevivência: Sob comandos de velocidade agressivos, o Acc-CBF-QP evitou desligamentos causados por restrições, resultando em tempos de sobrevivência mais longos comparado à baseline.
- Robustez: Em terrenos irregulares, a camada de QP deslocou os modos de falha de "violações de restrição" (ex: limites de junta) para "quedas fisicamente plausíveis", sem degradação estatisticamente significativa na duração da sobrevivência em comparação com a baseline.
- Comparação de Formulação de Tarefa: O TorqueTask demonstrou maior robustez a erros de modelagem em hardware, enquanto o FDTask mostrou um rastreamento de aceleração ligeiramente melhor em simulação.

Significância e Alegações

O artigo afirma que o Acc-CBF-QP constitui um passo prático em direção à implantação confiável de comportamentos robóticos no mundo real. Sua principal significância reside em unir a flexibilidade do RL com os rigorosos requisitos de segurança de sistemas físicos.

Modularidade: Fornece uma interface modular entre o controle aprendido e a filtragem de segurança em nível de aceleração, permitindo a modificação dinâmica de restrições de segurança no deploy sem retreinamento.
Segurança vs. Desempenho: Os experimentos demonstram que a imposição de segurança pode ser alcançada sem degradação mensurável no desempenho da tarefa nominal quando as restrições não estão ativas.
Aplicabilidade no Mundo Real: Ao implantar com sucesso em um humanoide complexo de base flutuante (Unitree H1) com modelos dinâmicos imperfeitos, o trabalho valida que camadas de segurança baseadas em otimização podem mitigar efetivamente os riscos associados a estados OoD e imprecisões de modelo em hardware real.

Os autores permanecem modestos quanto às limitações, observando que o framework atualmente lida com a inviabilidade do QP de forma pragmática (via amortecimento ou rollback) em vez de através de garantias formais de estabilidade para o sistema projetado de malha fechada, e que comparações mais amplas com outros métodos de treinamento de Safe-RL são deixadas para trabalhos futuros.