Resumo Técnico: TraCeS

Declaração do Problema

Garantir o comportamento seguro em Aprendizado por Reforço (RL) é um desafio quando as restrições de segurança são implícitas, não mensuradas ou indisponíveis durante o treinamento. Em muitos domínios de missão crítica (ex: robótica, direção autônoma), restrições codificadas rigidamente e funções de custo modeladas manualmente são frequentemente frágeis e falham em generalizar através de cenários dependentes de contexto. Além disso, a supervisão densa por passo de tempo é frequentemente indisponível; em vez disso, a supervisão limita-se a rótulos binários esparsos de trajetória (coarsos) que indicam se uma trajetória inteira (ou um prefixo dela) permaneceu dentro de um limiar de segurança desconhecido.

A dificuldade central reside no problema de atribuição de crédito: um rótulo ao nível da trajetória (ex: "rejeitado") indica que uma violação ocorreu, mas não especifica quando ou quais comportamentos específicos a causaram. Métodos padrão de Processos de Decisão de Markov Restritos (CMDP) assumem o acesso a uma função de custo por passo conhecida e um limiar, o que não é o caso aqui. O artigo aborda o cenário onde o agente deve aprender uma política segura a partir de rótulos esparsos de aceitação/rejeição ao nível da trajetória, sem conhecimento da função de custo $C$ subjacente ou do limiar de restrição $b$.

Metodologia: TraCeS

Os autores propõem o TraCeS (Trajectory-based Constraint Estimation for Safety), um framework que aprende créditos de violação por passo de tempo a partir de rótulos esparsos de aceitação/rejeição ao nível da trajetória. O método opera através de um loop iterativo envolvendo três componentes principais:

1. Estimador de Violação Sequencial

O TraCeS treina um estimador sequencial para decompor o feedback binário esparso em créditos de violação densos por passo de tempo.

• Abstração de Violação Monótona: O método assume uma estrutura de violação monótona (Assunção 3.1): uma vez que uma trajetória viola uma restrição, ela permanece violada a partir de então. Isso implica que a probabilidade de "ainda não violado" é não crescente ao longo do tempo.
• Fatoração: O estimador prevê a probabilidade de um prefixo de trajetória $\tau_{0:t}$ ainda não ter violado a restrição, denotada como $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$. Esta probabilidade é fatorada em créditos multiplicativos por passo:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  Aqui, $\hat{P}^\Delta_t$ representa a mudança na probabilidade de não violação ao estender o prefixo por um passo. Um valor significativamente menor que 1 indica um passo que induz uma queda abrupta na probabilidade de segurança, efetivamente localizando o crédito da violação.
• Arquitetura: O estimador utiliza um codificador compartilhado $f_w$ para manter um vetor de resumo $h_t$ do prefixo e um decodificador $g_w$ para gerar os parâmetros de uma distribuição log-normal. O log-crédito amostrado é restrito a ser não positivo ($\log \hat{P}^\Delta_t \le 0$), garantindo que a probabilidade cumulativa não aumente.
• Treinamento: O estimador é treinado usando perda de Entropia Cruzada Binária sobre os rótulos binários esparsos (aceitar/rejeitar) de trajetórias ou prefixos, tratando o problema como uma estimativa de máxima verossimilhança da regra de rotulagem desconhecida $\Psi(\cdot)$.

2. Otimização de Política Restrita

Uma vez que o estimador aprende os créditos por passo, o TraCeS os integra em um solver de CMDP padrão.

• Custo Substituto (Surrogate Cost): O log-crédito estimado é transformado em um custo substituto: $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$.
• Reformulação da Restrição: A restrição de chance original (que exige que a probabilidade de uma trajetória aceitável seja pelo menos $d$) é aproximada. Usando a desigualdade de Jensen, os autores derivam um limite inferior tratável que converte a restrição multiplicativa em uma forma aditiva:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  Esta reformulação permite o uso de algoritmos de RL restritos padrão (ex: PPO-Lagrangian) com os custos substitutos aprendidos, mesmo que a verdadeira função de custo seja desconhecida.
• Garantia Teórica: O artigo fornece um limite para a lacuna de aproximação introduzida pela desigualdade de Jensen, mostrando que a lacuna diminui conforme o estimador se torna mais estável e a variância das probabilidades de não violação previstas diminui.

3. Seleção Ativa de Trajetórias

Para reduzir a carga de anotação, o TraCeS emprega uma estratégia baseada em incerteza para selecionar quais trajetórias devem ser rotuladas.

• Coeficiente de Variação (CV): O método calcula o CV do custo substituto ao nível da trajetória sob o ruído de amostragem do estimador. Trajetórias com alto CV (indicando alta dispersão ou incerteza na previsão do estimador) são priorizadas para rotulagem. Isso foca os esforços de anotação humana ou automatizada em rollouts onde o estimador é mais incerto, melhorando a eficiência de dados.

Principais Contribuições

1. Formulação do Problema: O artigo formaliza o problema de aprendizado de política segura a partir de rótulos esparsos ao nível da trajetória sob uma abstração de violação monótona, abordando a lacuna onde nem a função de custo nem o limiar são conhecidos.
2. Método (TraCeS): Um novo estimador sequencial que fatoriza a aceitabilidade ao nível da trajetória em créditos de violação por passo de tempo. Isso permite a transformação de feedback binário grosseiro em um sinal de custo substituto denso compatível com solvers de CMDP padrão.
3. Teoria e Avaliação:
   • Análise teórica da lacuna de aproximação introduzida pelo limite inferior da desigualdade de Jensen.
   • Validação empírica em 12 tarefas de controle contínuo (Safety Gymnasium, MuJoCo, Bullet Safety Gym).
   • Demonstração de robustez em regimes de poucos dados, sob rótulos ruidosos e em configurações com feedback humano.

Resultados Experimentais

Os autores avaliam o TraCeS contra várias linhas de base (baselines):

• Métodos Oracle: PPO-Lagrangian e CPPO-PID (assumem custo e limiar conhecidos).
• Conhecimento Parcial: RLSF (aprende custos, mas assume limiar conhecido).
• Baselines de Conhecimento Zero: Um baseline de Custo-Limiar (C-T) que tenta aprender tanto o custo quanto o limiar do zero.

Principais Descobertas:

• Satisfação de Restrições: O TraCeS aprende consistentemente políticas que satisfazem as restrições de segurança (custo $\le$ limiar) na maioria das tarefas, apesar de ter conhecimento zero do custo ou do limiar.
• Eficiência de Rótulos: O TraCeS é substancialmente mais eficiente em termos de rótulos do que o baseline C-T de conhecimento zero, exigindo significativamente menos trajetórias rotuladas para convergir para políticas seguras.
• Desempenho: O TraCeS alcança trade-offs de recompensa-segurança competitivos em comparação com métodos de conhecimento parcial (RLSF) e aproxima-se do desempenho dos métodos oracle em diversas tarefas.
• Localização: A análise qualitativa mostra que os créditos por passo aprendidos localizam com precisão os eventos de violação, atingindo o pico próximo ao passo de tempo onde o custo cumulativo do oracle cruza o limiar, em vez de espalhar o custo uniformemente.
• Robustez: O método permanece eficaz sob ruído de rótulo moderado (até 10-20%) e em regimes de poucos dados (ex: 1000 trajetórias rotuladas). Também apresenta bom desempenho com feedback humano em um estudo de pequena escala no HalfCheetah.

Significância e Alegações

O artigo afirma que o TraCeS oferece um caminho prático para alinhar agentes de RL com restrições implícitas e dependentes de contexto, quando especificações formais não estão disponíveis. Ao transformar a supervisão de aceitação/rejeição grosseira em créditos de violação por passo de tempo, o TraCeS permite o uso de mecânica de otimização restrita padrão sem exigir funções de custo desenhadas à mão ou limiares conhecidos.

Os autores enfatizam que os créditos aprendidos servem como substitutos de segurança relevantes para o controle, em vez de recuperar identicamente os custos reais ocultos. O método é particularmente significativo para configurações onde a segurança é definida por fatores complexos e dinâmicos (ex: evitar um buraco pode exigir uma desvio temporário na faixa) que são difíceis de codificar como funções de custo fixas, mas que podem ser julgados por um humano ou monitor como "aceitáveis" ou "inaceitáveis" para uma trajetória.

O trabalho sugere que o feedback esparso ao nível da trajetória, quando processado através de um estimador sequencial com seleção ativa, pode efetivamente preencher a lacuna entre julgamentos de segurança de alto nível e otimização de política de baixo nível.