Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

1. Declaração do Problema

Agentes de Aprendizado por Reforço (RL) offline, treinados em conjuntos de dados estáticos (por exemplo, D4RL, DSRL), frequentemente falham ao serem implantados em ambientes do mundo real devido a deslocamentos de distribuição. Mesmo que um agente se comporte bem nos dados de treinamento, pequenas diferenças na dinâmica ou nas transições de estado podem levar a comportamentos inseguros (por exemplo, colisões, ultrapassagem de limites de custo).

As soluções existentes enfrentam limitações significativas:

• Adaptação baseada em crença: Requer retreinamento do zero para modelar incerteza.
• RL Restrito/Conservador: Frequentemente sacrifica o desempenho (retorno) ou exige ajuste fino com sinais de custo adicionais.
• Adaptação em tempo de teste: A maioria dos métodos atuais não consegue adaptar um agente offline pré-treinado a restrições de segurança na implantação sem atualizações de parâmetros ou supervisão humana.

A questão central abordada é: Um agente de RL offline pode ser auto-alinhado para segurança em tempo de teste usando apenas sua distribuição pré-treinada, sem retreinamento?

2. Metodologia: SAS (Auto-Alinhamento para Segurança)

Os autores propõem o SAS, um framework baseado em transformadores que permite adaptação em tempo de teste por meio de auto-alinhamento guiado por Lyapunov. O método opera sem atualizar parâmetros do modelo, confiando em vez disso em aprendizado em contexto e inferência bayesiana.

Componentes Principais

1. Modelo de Densidade de Lyapunov (LDM) para RL Offline:

   • Os autores reformulam a estabilidade de Lyapunov usando medidas de ocupação derivadas de dados offline.
   • Eles definem uma função de energia $E(s, a) = -\log \hat{\rho}_\pi(s, a)$, onde $\hat{\rho}_\pi$ é a medida de ocupação baseada em modelo estimada a partir de trajetórias imaginadas.
   • Um substituto de Lyapunov $G_{SAS}(s, a)$ é construído para garantir que o agente permaneça dentro de um conjunto invariante de controle ($R_{SAS}^G$). Este conjunto garante que as trajetórias não entrem em regiões de baixa densidade (inseguras/fora da distribuição).
   • $G_{SAS}$ é definido como a energia mínima encontrada ao longo de qualquer trajetória, garantindo que a política evite colapsar em regiões inseguras e de baixa probabilidade.

2. Visão de Inferência Probabilística:

   • O artigo interpreta o agente de RL baseado em Transformador como um sistema de RL Hierárquico, onde a política de alto nível seleciona habilidades latentes ($z_t$) e a política de baixo nível executa ações.
   • O aprendizado em contexto é enquadrado como inferência bayesiana sobre essas habilidades latentes. Ao fornecer um prompt (uma sequência de pares estado-ação), o modelo infere a política de alto nível mais provável consistente com esse prompt.
   • Condições de segurança são codificadas como indicadores observáveis ($U_t$ e $V_t$):
     • $U_t$: Indica se o par estado-ação atual está dentro da região de densidade segura ($G_{SAS} > 0$).
     • $V_t$: Indica se a função de Lyapunov é não crescente ($G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$).

3. O Algoritmo SAS (Algoritmo 1):
   O processo envolve dois loops de "imaginação" e seleção:

   • Etapa 1 (Condição $U_t$): A partir de um estado inicial fixo, o transformador imagina $N$ trajetórias. Seleciona o segmento de trajetória que minimiza a energia máxima (risco de pior caso) para formar um prompt inicial.
   • Etapa 2 (Condição $V_t$): Usando o prompt inicial, o transformador imagina $M$ novas trajetórias. Seleciona a trajetória que maximiza o declínio cumulativo de Lyapunov (soma dos indicadores $V_t$).
   • Etapa 3 (Implantação): O segmento seguro selecionado é usado como um prompt em contexto ($p_{1:K}$) para o transformador. O agente então condiciona suas ações a este prompt e ao estado atual, efetivamente "direcionando" a política pré-treinada para um comportamento seguro sem atualizações de gradiente.

3. Contribuições Principais

1. Nova Formulação: Uma definição novel de estabilidade de Lyapunov para RL offline baseada em medidas de ocupação, permitindo que restrições de segurança sejam impostas via densidade de dados em vez de funções de custo explícitas.
2. Framework Teórico: Uma interpretação de RL Hierárquico de RL baseado em Transformadores via inferência bayesiana, onde o prompt corresponde à inferência de habilidades latentes de alto nível. Isso fornece uma base teórica para o motivo pelo qual o aprendizado em contexto funciona para segurança.
3. Método de Adaptação em Tempo de Teste (SAS): Um algoritmo prático que gera prompts guiados por Lyapunov para realinhar o comportamento do agente. Garante segurança ao restringir o agente a conjuntos invariantes de controle derivados de dados offline.
4. Garantia Probabilística de Segurança: Os autores fornecem um limite formal (Teorema 4) mostrando que a probabilidade de o agente sair do conjunto seguro diminui exponencialmente com o número de execuções imaginadas ($N$) e tentativas de reimaginação ($M$).

4. Resultados Experimentais

O método foi avaliado nos benchmarks Safety Gymnasium, MuJoCo e Bullet-Safety-Gym.

• Desempenho vs. Segurança: O SAS reduziu consistentemente o custo e as taxas de falha (até 2x de melhoria) enquanto mantinha ou melhorava o retorno (recompensa) em comparação com bases como Decision Transformer (DT), Constrained Decision Transformer (CDT) e várias bases de RL seguro (BC-Safe, COptiDICE, etc.).
• Generalização: O SAS melhorou a segurança mesmo para backbones (DT) que não foram treinados com sinais de custo explícitos, demonstrando que o guia de Lyapunov baseado em densidade atua como um proxy de segurança implícito.
• Estudos de Ablação:
  • Descida de Lyapunov ($V_t$): Remover a condição de descida aumentou significativamente os custos, provando sua necessidade para estabilidade de longo horizonte.
  • Seleção de Prompt: Prompts aleatórios ou de máxima energia performaram pior do que a seleção guiada por Lyapunov, confirmando a eficácia dos critérios de seleção específicos.
  • Robustez do Modelo: O método mostrou robustez em diferentes comprimentos de prompt, números de trajetórias imaginadas e tamanhos de modelos backbone (de DT a GPT-2).

5. Significado e Impacto

• Ponte entre LLM e RL: O artigo adapta com sucesso o conceito de auto-alinhamento (popular em Modelos de Linguagem de Grande Escala) para o domínio do RL Seguro, permitindo que agentes "raciocinem" sobre segurança usando seus próprios modelos de mundo internos.
• Viabilidade de Implantação: Ao eliminar a necessidade de retreinamento ou ajuste fino, o SAS oferece uma solução escalável para implantar agentes de RL offline em ambientes dinâmicos e incertos onde a segurança é crítica.
• Rigor Teórico: Vai além de verificações de segurança heurísticas ao fornecer uma garantia probabilística de que o agente permanece dentro de um conjunto invariante de controle, fundamentado na teoria de estabilidade de Lyapunov e inferência bayesiana.
• Eficiência: Embora requeira computação em tempo de inferência para imaginação (execuções), evita o custo computacional do retreinamento completo, tornando-o adequado para cenários onde os dados são estáticos, mas o ambiente não é.

Em resumo, o SAS representa um passo significativo para tornar agentes de RL offline robustos a deslocamentos de distribuição, aproveitando a imaginação guiada por Lyapunov para autocorrigir o comportamento em tempo de teste através de aprendizado em contexto.