Resumo Técnico: Alinhamento de Segurança Implícito a partir de Preferências de Multidão

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) dependem de funções de recompensa para alcançar objetivos, mas especificar recompensas que capturem completamente o comportamento desejado — particularmente restrições de segurança implícitas — é notoriamente difícil. Em cenários complexos, os designers frequentemente focam na conclusão da tarefa, omitindo inadvertidamente considerações de segurança (por exemplo, manter margens de segurança ou evitar comportamentos agressivos), levando a comportamentos perigosos do agente.

Embora o Aprendizado por Reforço a partir de Feedback Humano (RLHF) tenha sido desenvolvido para alinhar agentes com preferências humanas, a maioria dos métodos existentes assume um único conjunto unificado de valores do usuário. Na prática, os dados de preferência frequentemente provêm de uma "multidão" de usuários com objetivos de tarefa e padrões comportamentais diversos. No entanto, esses usuários frequentemente compartilham critérios de segurança implícitos (por exemplo, evitar estados inseguros) apesar de seus objetivos diferenciados. O desafio central abordado neste trabalho é como descobrir esses critérios de segurança latentes e compartilhados a partir de dados de preferência de multidão heterogênea e transferi-los para tarefas a jusante onde apenas recompensas de tarefa agnósticas à segurança estão disponíveis.

Os autores identificam uma limitação na abordagem "ingênua" de simplesmente combinar um modelo de recompensa aprendido a partir de preferências de multidão com uma recompensa de tarefa a jusante. Análises teóricas e empíricas revelam que essa abordagem de combinação de recompensas sofre de dois problemas críticos:

1. Viés Específico do Usuário: O modelo de recompensa aprendido captura não apenas critérios de segurança compartilhados, mas também componentes específicos do usuário. Se o conjunto de dados da multidão estiver desbalanceado (por exemplo, um usuário contribui com a maioria dos dados), a recompensa aprendida torna-se enviesada em direção aos objetivos desse usuário específico, degradando o desempenho em outras tarefas.
2. Sensibilidade ao Ponderamento: O desempenho é altamente sensível ao peso de trade-off entre a recompensa aprendida a partir de preferências e a recompensa da tarefa, tornando o método difícil de ajustar.

Metodologia: RL Baseado em Preferências de Multidão Segura

Para superar essas limitações, os autores propõem o Aprendizado por Reforço Baseado em Preferências de Multidão Segura, um framework hierárquico que compõe habilidades em vez de combinar recompensas. A metodologia consiste em três etapas principais:

1. Descoberta de Habilidades a partir de Preferências de Multidão

Em vez de aprender uma única recompensa global, o framework modela comportamentos preferidos por diversos usuários como habilidades de baixo nível.

• Inferência de Variável Latente: Como o verdadeiro contexto do usuário $z$ (que determina preferências específicas) não é observado, o método utiliza um Auto-Encoder Variacional (VAE) para inferir uma variável latente $z'$ a partir dos dados de preferência da multidão. Essa $z'$ serve como um proxy para o contexto subjacente do usuário.
• Aprendizado Condicionado à Latente: O framework aprende uma função de recompensa condicionada à latente $r_\phi(s, a, z')$ ou aprende diretamente uma política condicionada à latente $\pi_\theta(a|s, z')$.
  • Safe-VPL: Utiliza uma abordagem de Aprendizado de Preferência Variacional (VPL) com um modelo Bradley-Terry para aprender uma recompensa condicionada a $z'$, seguida por RL offline (por exemplo, IQL) para aprender a política de baixo nível.
  • Safe-CPL: Uma variante novel que integra Aprendizado de Preferência Contrastiva (CPL) ao framework VPL. Aprende diretamente a política condicionada à latente $\pi_\theta(a|s, z')$ sem uma etapa intermediária explícita de aprendizado de recompensa, evitando instabilidade na otimização de RL.

2. Composição de Política de Alto Nível

Para uma nova tarefa a jusante com uma recompensa agnóstica à segurança $r_{new}$, uma política de alto nível $\pi_h(z'|s)$ é treinada para compor as habilidades de baixo nível aprendidas.

• Seleção de Ação: A política de alto nível produz uma variável latente $z'$, que indexa uma habilidade específica de baixo nível $\pi_l(a|s, z')$ para gerar a ação final.
• Herança de Segurança: Como todas as habilidades de baixo nível são aprendidas a partir de preferências de multidão, elas codificam inerentemente os critérios de segurança compartilhados (por exemplo, evitar pares estado-ação inseguros). Ao restringir o agente a compor essas habilidades, a segurança é imposta sem sinais de segurança explícitos na tarefa a jusante.
• Regularização: Para prevenir que a política de alto nível selecione habilidades fora da distribuição que poderiam levar a comportamentos inseguros, um termo de regularização é aplicado para manter a variável latente selecionada próxima à distribuição a priori aprendida a partir dos dados da multidão.

3. Treinamento a Jusante

A política de alto nível é treinada para maximizar a recompensa da tarefa a jusante $r_{new}$ enquanto adere às restrições impostas pelo espaço de habilidades de baixo nível. Isso pode ser realizado tanto em configurações online (com interação) quanto offline (usando apenas conjuntos de dados existentes).

Principais Contribuições

1. Formulação do Problema: O artigo formaliza o problema de transferir objetivos de segurança compartilhados de preferências de multidão heterogênea para tarefas a jusante, identificando as limitações da combinação direta de recompensas sob desequilíbrio de preferências.
2. Análise Teórica: Os autores fornecem provas teóricas mostrando que:
   • Um único modelo de recompensa aprendido a partir de dados de multidão preferirá trajetórias seguras sobre as inseguras se a penalidade de segurança for suficientemente grande (Teorema 4.2).
   • No entanto, se os dados da multidão estiverem desbalanceados, a ordenação da recompensa aprendida alinha-se com os objetivos específicos do usuário majoritário, levando à degradação do desempenho (Teorema 4.3).
   • A abordagem proposta de composição de habilidades garante segurança se as políticas de baixo nível forem ótimas em relação às suas utilidades condicionadas (Corolário A.6).
3. Framework Algorítmico: A proposta de um framework hierárquico (Safe-VPL e Safe-CPL) que desacopla a descoberta de habilidades da otimização da tarefa, permitindo a reutilização de comportamentos alinhados à segurança através de diversas tarefas.
4. Validação Empírica: Experimentos extensivos em seis ambientes de RL Seguro (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) e uma tarefa conversacional de Modelo de Linguagem Grande (LLM) como prova de conceito.

Resultados Experimentais

O método foi avaliado contra várias linhas de base, incluindo métodos Oracle (treinados com sinais de segurança verdadeiros), Apenas-Tarefa (otimizando apenas recompensas de tarefa), Aprendizado de Preferência Apenas-Segurança (SOPL) e Combinação de Recompensas (RC).

• Desempenho de Segurança: Os métodos propostos (Safe-VPL e Safe-CPL) reduziram substancialmente os custos de segurança em comparação com as linhas de base Apenas-Tarefa. No cenário offline, os custos de segurança normalizados médios caíram de 1,0 (Apenas-Tarefa) para aproximadamente 0,02–0,03, comparável aos métodos Oracle.
• Desempenho da Tarefa: A abordagem alcançou desempenho de tarefa comparável aos métodos Oracle e superou significativamente os métodos de Combinação de Recompensas (RC), especialmente em configurações de preferências desbalanceadas.
• Robustez ao Desequilíbrio: Enquanto o desempenho do RC degradou-se drasticamente quando um usuário contribuiu com a maioria dos dados (afastando-se da fronteira Oracle), o método proposto de composição de habilidades permaneceu robusto e próximo ao desempenho Oracle, independentemente do desequilíbrio de preferências.
• Avaliação em LLM: Em um cenário simplificado de bandit baseado em linguagem, o método evitou com sucesso respostas prejudiciais enquanto alcançava forte desempenho na tarefa, enquanto agentes Apenas-Tarefa selecionaram frequentemente respostas prejudiciais para maximizar a recompensa.

Significado e Alegações

O artigo alega que seu principal significado reside em demonstrar que objetivos de segurança implícitos podem ser descobertos e transferidos a partir de preferências de multidão sem exigir recompensas de segurança explícitas ou demonstrações.

• Reutilização de Dados: A abordagem permite a reutilização de dados de preferência de multidão entre tarefas, mesmo quando essas preferências não foram coletadas para uma tarefa a jusante específica, potencialmente reduzindo o custo da coleta repetida de feedback humano.
• Mitigação de Desafios de Design de Recompensa: Ao aproveitar sinais de segurança implícitos, o método aborda o problema comum de recompensas desenhadas por humanos incompletas ou mal especificadas.
• Escalabilidade: O framework assume que as preferências de multidão refletem um consenso compartilhado sobre segurança. Embora os autores reconheçam que ruído do mundo real ou feedback adversarial possam desafiar isso, argumentam que seu método oferece uma maneira robusta de aprender comportamentos seguros em domínios onde especificações de segurança são difíceis de definir formalmente.

Os autores mantêm uma postura modesta, observando que seus experimentos dependem de preferências anotadas sinteticamente geradas a partir de recompensas verdadeiras, em vez de feedback humano naturalista, e que trabalhos futuros são necessários para validar a abordagem contra dados humanos mais ruidosos e do mundo real.