CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

Resumo Técnico: CRRL: Uma Estrutura de Aprendizado por Reforço Baseada em Causalidade para Recuperação de Sistemas Autônomos

Declaração do Problema
As políticas tradicionais de aprendizado por reforço (RL) para sistemas autônomos frequentemente carecem de compreensão causal, o que leva a uma generalização deficiente em novos cenários de falha. Uma limitação crítica identificada no artigo é que as políticas de RL padrão, quando treinadas sem consciência de mecanismos de recuperação externos, falham em cooperar efetivamente com eles. Na prática, adicionar módulos de recuperação heurísticos a políticas pré-treinadas frequentemente degrada o desempenho porque a política não consegue antecipar ou se adaptar a intervenções imprevistas. Consequentemente, os agentes podem permanecer estagnados em estados de falha por até 70% de um episódio, e a recuperação baseada em regras isoladamente é insuficiente para ambientes complexos e imprevisíveis. O desafio central não é a falta de mecanismos de recuperação, mas a ausência de políticas treinadas para colaborar com eles.

Metodologia: Estrutura CRRL
Os autores propõem o CRRL (Causal Recovery Reinforcement Learning), uma estrutura híbrida que integra aprendizado por reforço guiado por causalidade com um módulo de recuperação baseado em regras. O sistema segue a arquitetura de ciclo de feedback MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge):

1. Monitor (Coleta de Dados de Sensores): O sistema opera no simulador CARLA, coletando trajetórias de condução em séries temporais a partir de interações entre múltiplos veículos. Os dados incluem telemetria do veículo (velocidade, posição, rotação), entradas de sensores (imagens de câmera processadas via um Autoencoder Variacional) e eventos de segurança (colisões, desvios de faixa).
2. Analyze (Construção do Modelo Causal): Um grafo acíclico dirigido (DAG) é construído a partir dos logs de condução usando a biblioteca CausalNex. Esta rede Bayesiana modela as relações causais entre ações (aceleração, direção), estados (velocidade, aceleração) e resultados (colisões, eventos fora da pista). O modelo é usado para estimar probabilidades condicionais, especificamente $P(\text{colisão} \mid \text{ação}, \text{estado})$, para quantificar o efeito causal das ações nos riscos de falha.
3. Plan/Execute (Treinamento de Política de RL Híbrida): Um agente de Otimização de Política de Proximidade (PPO) é treinado para gerenciar a condução frontal e a evasão de obstáculos. A estrutura introduz duas integrações causais fundamentais durante o treinamento:
   • Modelagem de Recompensa Causal (Causal Reward Shaping): Durante as fases de recuperação, o sinal de recompensa é aumentado com um bônus causal inversamente proporcional ao risco de colisão previsto ($1 - P(\text{falha} \mid \text{ação}, \text{estado})$). Isso fornece feedback denso para guiar a política em direção a manobras mais seguras.
   • Mistura de Ações (Action Blending): Quando um estado de falha é detectado (ex: velocidade estagnada < 0,5 km/h), um módulo de recuperação baseado em regras é ativado. Para ações de recuperação frontal, a ação executada é uma mistura ponderada da seleção classificada por risco do modelo causal (80%) e a saída da política PPO (20%). Para manobras de marcha à ré (com as quais a política PPO não possui experiência), a ação baseada em regra é aplicada diretamente.

O pipeline de treinamento envolve um processo de dois estágios: primeiro, o ajuste da rede Bayesiana causal nos logs de condução discretizados; segundo, o ajuste fino (fine-tuning) da política PPO online usando o sinal de recompensa causal e os mecanismos de mistura de ações.

Principais Contribuições

• Estrutura CRRL: Uma arquitetura híbrida onde modelos causais aprendidos a partir de logs de condução reais moldam o sinal de treinamento de RL, ensinando explicitamente a política a colaborar com módulos de recuperação baseados em regras.
• Pipeline de Três Estágios: Uma metodologia que acopla a modelagem causal de rede Bayesiana com PPO, onde a orientação causal influencia os parâmetros da política durante o tempo de treinamento, em vez de apenas corrigir o comportamento em tempo de execução.
• Validação Empírica: Uma avaliação controlada em três cenários de condução (estrada reta, rotatória, T-junction) usando um estudo de ablação de quatro condições para isolar as contribuições do treinamento causal e dos mecanismos de recuperação.
• Pacote de Replicação: Disponibilização de dados brutos e scripts de análise para apoiar a reprodutibilidade.

Resultos
A avaliação envolveu 20 episódios por condição em três cenários. As principais descobertas incluem:

• Limitações da Linha de Base (Baseline): Sem recuperação, a política PPO vanilla permaneceu estagnada em 26–67% dos episódios, com o cenário de T-junction mostrando a maior taxa de falha (67,45% de tempo estagnado).
• Efetividade do Sistema Híbrido: O sistema híbrido treinado causalmente (Condição C) superou significativamente a linha de base vanilla (Condição A) em cenários complexos. No T-junction, a recompensa aumentou 91,1%, o tempo estagnado diminuiu 51,8% e o tempo fora da pista caiu 43,7%.
• Impacto do Treinamento Causal (RQ4): A descoberta mais significativa foi que o treinamento guiado por causalidade melhora inerentemente a qualidade da política. Nos episódios de "zero-recuperação" (onde o módulo de recuperação nunca foi acionado), a política treinada causalmente percorreu 83% mais distância e alcançou 257% mais recompensa do que a linha de base. Isso confirma que a política aprendeu comportamentos de evasão proativa em vez de depender apenas de intervenção externa.
• Estratégia de Recuperação: A seleção classificada por risco causal (Condição D) superou o ciclo heurístico (Condição B), reduzindo as tentativas de recuperação em 28–39% e aumentando as taxas de sucesso nos cenários de estrada reta e rotatória.
• Compromissos (Trade-offs): Embora as manobras de recuperação tenham aumentado as contagens de colisões (até 606% em algumas comparações), a recompensa líquida permaneceu positiva na comparação total do sistema (Condição D vs. B) em todos os cenários, indicando que os ganhos em progresso frontal e velocidade superaram os riscos de colisão.

Significância e Alegações
O artigo alega que a principal fonte de melhoria na recuperação de sistemas autônomos é o treinamento guiado por causalidade, e não meramente a presença de um módulo de recuperação. O estudo demonstra que políticas de RL padrão treinadas sem contexto causal não conseguem cooperar efetivamente com intervenções baseadas em regras, muitas vezes levando a loops contraproducentes. Ao integrar a estrutura causal no sinal de treinamento, o CRRL permite que as políticas antecipem estados de estagnação e ajustem ações para facilitar a recuperação.

Os autores posicionam o CRRL como um passo para fechar a lacuna entre o raciocínio causal teórico e os sistemas práticos de autocura. Eles enfatizam que, embora a implementação atual dependa de gatilhos projetados manualmente e apresente limitações na transferência sim-to-real (particularmente em relação às taxas de colisão), a estrutura prova com sucesso que modelos causais podem ser usados para moldar políticas de RL para comportamento cooperativo com componentes de segurança crítica. O trabalho destaca a necessidade de treinar políticas para "trabalhar com" mecanismos de recuperação, em vez de esperar que eles funcionem isoladamente.