Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Resumo Técnico: Aprendizado de Comportamento Seguro via Preferências Humanas Justificadas e Consultas Hipotéticas

Definição do Problema
O Aprendizado por Reforço (RL) tradicional baseia-se na exploração de tentativa e erro, o que é frequentemente inviável em domínios do mundo real criticamente sensíveis à segurança (ex: robótica, condução autónoma), onde uma única ação insegura pode causar falhas catastróficas. Embora o RL Seguro tente abordar isso incorporando restrições, ele enfrenta o problema da "exploração segura": os agentes não podem explorar ingenuamente para aprender sem arriscar danos. Além da isso, o RL tradicional sofre frequentemente de ineficiência de amostra e do "problema da especificação de recompensa", onde funções de recompensa desenhadas falham em alinhar-se com a intenção humana.

Abordagens com humanos no ciclo (human-in-the-loop) oferecem uma solução ao alavancar o feedback humano para guiar o aprendizado. No entanto, os métodos existentes que dependem apenas de preferências humanas (ex: escolher entre duas ações) muitas vezes impõem um alto fardo humano e podem ainda falhar em mapear eficientemente as regiões inseguras do espaço de estados. O desafio central abordado neste trabalho é como aprender uma política segura com o mínimo de eventos inseguros (mortes de treinamento) enquanto se minimiza o tempo e a carga cognitiva colocada no treinador humano.

Metodologia: JPAL-HA
Os autores propõem o JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions), um modelo que se baseia na abordagem "Parenting" [11]. Neste paradigma, um agente não treinado (filho) consulta um treinador humano (pai/mãe) por orientação antes de realizar ações. O JPAL-HA introduz dois mecanismos inovadores para aumentar a segurança e a eficiência:

1. Preferências Justificadas:
   Em vez de apenas pedir ao humano para preferir uma ação sobre outra ($P$), o agente também solicita uma justificação binária ($J_P$). O humano indica se a preferência é acompanhada por um "aviso" (uma ação é insegura/catastrófica) ou "sem aviso" (ambas são seguras).

   • Mecanismo: Este sinal binário permite que o agente mapeie a preferência e a justificação para um rótulo de preferência refinado ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$). Um sinal de "aviso" aumenta significativamente a pressão de aprendizado no modelo de política para evitar a ação catastrófica, mesmo que a magnitude da preferência seja pequena.
   • Benefício: Isso fornece sinais de segurança explícitos que ajudam o agente a distinguir entre ações "seguras mas subótimas" e "catastróficas" de forma mais eficaz do que apenas a preferência.

2. Ações Hipotéticas (HAs):
   Quando uma justificação indica um "aviso" (ou seja, pelo menos uma das ações amostradas é catastrófica), o agente aciona um ciclo de Ações Hipotéticas.

   • Mecanismo: Em vez de parar ou reamostrar imediatamente, o agente gera um conjunto de ações hipotéticas ($a_{new}$) que poderiam ter sido tomadas a partir do estado atual. Ele consulta o humano para uma única justificação ($J_{anew}$: segura ou aviso) para estas ações hipotéticas.
   • Inferência: Com base no status de segurança da nova ação hipotética, o agente pode inferir automaticamente a segurança relativa de combinações entre a nova ação e as ações anteriormente identificadas como seguras/catastróficas, adicionando estas ao conjunto de dados de treinamento sem novas consultas de preferência humana.
   • Padrões Mortais: O agente também identifica e armazena "padrões mortais" (combinações de movimentos que levam à catástrofe) para evitar que ocorram em estados futuros sem reconsultar o humano.
   • Benefício: Isso permite que o agente mapeie rapidamente as regiões inseguras do espaço de estados com um único surto de consultas, reduzindo a necessidade de interrupções repetidas no mesmo estado.

O processo de aprendizado utiliza aprendizado supervisionado (minimizando a perda de entropia cruzada baseada no modelo de Bradley-Terry) num conjunto de dados de preferências e justificações humanas. O algoritmo também emprega "Consultas Após o Fato" (ATFQs) para explorar ações potencialmente boas que não foram inicialmente amostradas, atuando como um mecanismo de exploração segura.

Principais Contribuições

1. Novos Paradigmas de Aprendizado: A introdução de Justificações (avisos de segurança binários junto com as preferências) e Ações Hipotéticas (consulta proativa de ações não testadas ao detectar perigo) como conceitos generalizáveis para o aprendizado seguro a partir de preferências humanas.
2. Algoritmo JPAL-HA: Um algoritmo unificado que integra estas funcionalidades, demonstrando que melhora significativamente a segurança durante o treinamento em comparação com métodos de preferência existentes (Parenting, JPAL) e alcança melhor eficiência de amostra do que outros algoritmos de humanos no ciclo de segurança.
3. Compensação Segurança-Fardo Humano: O artigo fornece um hiperparâmetro ajustável ($p_{BTFQ}$) que permite aos utilizadores equilibrar a segurança (número de consultas) contra o fardo humano. Demonstra que o JPAL-HA pode alcançar quase zero mortes de treinamento mantendo tempos de treinamento razoáveis.
4. Validação no Mundo Real: O método foi avaliado não apenas em simulação (ambiente de Navegação de Ilha), mas também com um grupo diversificado de participantes humanos treinando um robô móvel físico Thymio.

Resultados

• Experimentos de Simulação:

  • Segurança: O JPAL-HA reduziu significativamente as mortes de treinamento em comparação com o Q-learning (que sofreu cerca de 16.5 mortes em média) e a abordagem base Parenting. Em configurações conservadoras, o JPAL-HA alcançou uma média de 0.02 mortes por tentativa, com 98% das tentativas com zero mortes.
  • Eficiência: O JPAL-HA encontrou a política ótima em menos episódios (média de 3) comparado ao Q-learning (22.9).
  • Fardo Humano: Embora a adição de justificações tenha aumentado inicialmente o número de consultas em relação ao Parenting, a adição de Ações Hipotéticas no JPAL-HA reduziu o número total de consultas de preferência e os passos totais, compensando efetivamente a carga cognitiva adicional das justificações.
  • Significância Estatística: Testes não paramétricos confirmaram diferenças significativas na segurança e eficiência entre o JPAL-HA e os métodos de base.

• Experimentos com Robô no Mundo Real:

  • Tempo de Treinamento: Um grupo diversificado de 40 participantes (incluindo pessoas sem formação em Ciência da Computação) treinou com sucesso o robô. Com a prática inicial, os tempos de treinamento para JPAL e JPAL-HA foram ligeiramente superiores ao Parenting (30% mais), mas convergiram para níveis semelhantes (4 minutos) após os participantes se adaptarem à interface.
  • Viabilidade: O estudo demonstrou que um grupo diversificado de pessoas conseguiu completar o treinamento em poucos minutos, e o mecanismo de ação hipotética não aumentou significativamente o tempo total de treinamento em comparação com métodos mais simples, mantendo-o dentro de níveis admissíveis.

Significância e Alegações
O artigo afirma que o JPAL-HA oferece uma solução prática para o aprendizado seguro em ambientes criticamente sensíveis à segurança onde o RL tradicional falha devido ao risco de exploração catastrófica. Ao aumentar as preferências humanas com simples justificações binárias e usar consultas hipotéticas para mapear o perigo proativamente, o método alcança um equilíbrio superior entre segurança e esforço humano.

Os autores observam modestamente que, embora o método seja desenhado para espaços de ação discretos, as ideias centrais poderiam ser estendidas. Eles também reconhecem que em domínios altamente complexos (ex: voo de helicóptero), a dependência de treinadores humanos assume a disponibilidade de conhecimento especializado e, em domínios contínuos de tempo real (ex: condução autónoma), mecanismos complementares de segurança de contingência podem ser necessários ao lado deste método. A principal contribuição é a demonstração de que preferências justificadas e consultas hipotéticas permitem que agentes aprendam comportamentos seguros de forma significativamente mais rápida e segura do que as abordagens existentes de humanos no ciclo, sem impor custos de tempo proibitivos aos treinadores humanos.