C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

Resumo Técnico: C-STEP

1. Problema Abordado

A navegação segura em ambientes complexos e dinâmicos permanece um desafio central para o Aprendizado por Reforço (RL) em robótica móvel. Métodos existentes frequentemente enfrentam dificuldades ao lidar com:

• Dinâmicas contínuas espaço-temporais: A maioria das abordagens de "empowerment" (poder de agência) tradicionais foi desenvolvida para sistemas discretos e estocásticos.
• Condições ambientais desconhecidas: A necessidade de garantir segurança sem depender de mapas globais ou restrições explícitas rígidas (como Funções de Barreira de Controle - CBFs) que podem ser difíceis de formular.
• Limitações de recompensas tradicionais: Penalidades aditivas por colisão muitas vezes são insuficientes para evitar comportamentos de risco sutis ou não capturam a instabilidade interna do sistema (ex: velocidade excessiva antes de uma colisão).

O objetivo é desenvolver uma função de recompensa intrínseca que promova a segurança de forma interpretável e baseada na física, sem substituir as recompensas de tarefa (navegação), mas sim complementando-as.

2. Metodologia: C-STEP

O artigo propõe o C-STEP (Continuous Space-Time Empowerment for Physics-informed), uma nova medida de segurança centrada no agente para domínios determinísticos e contínuos.

• Reformulação do Empowerment:

  • O Empowerment clássico mede a capacidade de controle de um agente sobre seus estados futuros (capacidade do canal). Em sistemas determinísticos contínuos, a entropia condicional tende a $-\infty$, tornando a medida clássica infinita e inútil.
  • Os autores propõem uma nova definição para agentes determinísticos: o Empowerment é definido como a máxima entropia diferencial da distribuição do estado futuro dada uma distribuição de ações.
  • Matematicamente, isso equivale ao logaritmo do volume do conjunto de estados alcançáveis ($R_{T,free}$) a partir de um estado inicial $x$ dentro de um horizonte de tempo $T$, mantendo-se livre de colisões.

• Aproximação Baseada em Amostragem (Algoritmo 1):

  • Como calcular o volume exato de conjuntos alcançáveis é intratável, o método utiliza uma aproximação baseada em amostragem:
    1. Gera-se $N$ trajetórias de controle admissíveis a partir do estado atual.
    2. Simula-se a dinâmica forward (para frente) para cada trajetória.
    3. Classificam-se as trajetórias em "livres de colisão" e "terminadas" (colisão).
    4. Calcula-se o volume aproximado dos pontos finais das trajetórias livres e subtrai-se o volume das trajetórias que colidiram.
  • Vantagem: Não requer um mapa global de obstáculos; o simulador precisa apenas distinguir se uma trajetória termina (colisão) ou não.

• Função de Recompensa Empoderada:

  • A recompensa final $r(x)$ é obtida multiplicando a recompensa de tarefa $r_d(x)$ (ex: distância ao alvo) pela medida de segurança empoderada:
    $$r(x) := r_d(x) \cdot \log(c \cdot \lambda(R_{T,free}(x)))$$
  • Onde $c$ é um coeficiente de segurança ajustável e $\lambda$ é o volume.
  • Isso cria uma motivação intrínseca: o agente é recompensado por manter estados de onde pode alcançar um grande volume de espaço livre no futuro (alta manobrabilidade), o que naturalmente evita colisões e proximidade excessiva com obstáculos.

3. Contribuições Principais

1. Nova Definição de Empowerment Contínuo: Adaptação do conceito de empowerment para sistemas dinâmicos determinísticos contínuos, resolvendo o problema da entropia infinita.
2. Projeto de Recompensa Física-Informada: Uma função de recompensa intrínseca que incorpora estados internos (como velocidade) e dinâmicas forward para avaliar a segurança, indo além de penalidades baseadas apenas em posição.
3. Independência de Ambiente: O método não exige um mapa prévio ou conhecimento global dos obstáculos; a segurança é inferida pela capacidade de manobra local (volume alcançável).
4. Interpretabilidade: A segurança é quantificada diretamente pelo volume de espaço livre alcançável, oferecendo uma métrica clara para o comportamento do agente.
5. Complementaridade: Diferente de métodos que impõem restrições rígidas (hard constraints), o C-STEP molda o espaço de recompensas, podendo ser usado em conjunto com outros métodos de RL seguro.

4. Resultados Experimentais

Os autores validaram o método em dois ambientes de simulação (2D e 3D) utilizando o algoritmo PPO (Proximal Policy Optimization):

• Ambiente Labirinto de Pontos (2D):

  • Agentes "não empoderados" tendiam a escolher o caminho mais curto e arriscado (estreito), resultando em mais colisões.
  • Agentes "empoderados" aprenderam a escolher rotas mais longas, mas mais seguras (largas), demonstrando uma mudança comportamental clara em direção à segurança.

• Ambiente Drone PyBullet (3D):

  • Testes com coeficientes de segurança $c \in \{0.5, 1, 10\}$ em 100 configurações de mapas aleatórios.
  • Taxa de Sucesso: O agente mais seguro ($c=0.5$) alcançou 99% de sucesso, comparado a 82% do baseline (não empoderado).
  • Tempo de Navegação: Houve apenas um aumento marginal no tempo de travessia (ex: de 6.56s para 7.63s para $c=0.5$).
  • Proximidade a Obstáculos: O agente com $c=1$ passou 72,61% menos tempo a menos de 0.1m de obstáculos em comparação ao baseline, mantendo uma eficiência de tarefa alta.

5. Significado e Conclusão

O C-STEP representa uma mudança de paradigma na segurança de RL para robótica móvel:

• Mudança de "Evitar" para "Manter Opções": Em vez de apenas punir o agente por entrar em estados perigosos, o C-STEP recompensa o agente por permanecer em estados que maximizam suas futuras opções de manobra.
• Robustez Emergente: A segurança emerge naturalmente da política de maximização de recompensa, sem necessidade de restrições explícitas complexas.
• Aplicabilidade: O método situa-se entre o RL puramente model-free e model-based, exigindo apenas um simulador para avaliação de trajetórias de horizonte finito, sem necessidade de funções de transição diferenciáveis.

O trabalho conclui que o C-STEP oferece uma abordagem interpretável e eficaz para moldar recompensas em RL, contribuindo significativamente para a segurança de sistemas robóticos móveis autônomos, com espaço para futuras comparações quantitativas diretas com métodos baseados em CBFs.