Resumo Técnico: MoralityGym

1. Declaração do Problema

À medida que os agentes de inteligência artificial transitam da execução de tarefas restritas para a tomada de decisões complexas no mundo real, eles encontram cada vez mais cenários que exigem alinhamento com normas humanas conflitantes e hierarquicamente estruturadas. A pesquisa atual em segurança e alinhamento de Aprendizado por Reforço (RL), embora avançada em robustez e satisfação de restrições, frequentemente carece de expressividade representacional para capturar o raciocínio moral complexo. Abordagens tradicionais tipicamente reduzem o raciocínio moral a recompensas escalares ou restrições binárias, falhando em contabilizar as obrigações e proibições dependentes do contexto e concorrentes que caracterizam a tomada de decisão ética humana.

Benchmarks existentes frequentemente priorizam a conclusão de tarefas sob restrições de segurança, mas carecem da granularidade para avaliar como os agentes arbitram compensações morais sutis e hierárquicas. Existe uma lacuna crítica em ferramentas projetadas para avaliar agentes contra sistemas morais configuráveis e hierarquicamente estruturados, particularmente aqueles fundamentados na psicologia moral e na filosofia (por exemplo, a distinção entre dano pessoal direto e minimização de dano indireto).

2. Metodologia

Os autores propõem um framework de duas partes: um formalismo para representar normas morais e uma suíte de benchmarks para avaliar agentes.

2.1 Cadeias de Moralidade: Um Formalismo para Normas Hierárquicas

O artigo introduz as Cadeias de Moralidade, um formalismo que representa normas morais como restrições deônticas ordenadas. Esta abordagem é inspirada em modelos cognitivos de representação de normas e em teorias de processo duplo da psicologia moral.

• Normas Morais ($N$): Definidas como uma tupla $\langle \phi, \rho_\phi, f, D \rangle$:
  • $\phi$: Uma assinatura (rótulo) identificando um padrão moralmente saliente (por exemplo, "dano total" ou "ação pessoal direta").
  • $\rho_\phi(\pi)$: Uma função de adesão à política que quantifica o grau esperado pelo qual uma política $\pi$ exibe o padrão.
  • $f \in \mathbb{N}$: A força da norma, um escalar único representando sua força absoluta ou prioridade.
  • $D \in \{True, False\}$: A modalidade deôntica (prescrita ou proibida).
• Função de Moralidade ($M_N$): Calcula uma pontuação de alinhamento para uma norma específica com base na adesão e na modalidade.
• Cadeia de Moralidade ($\bar{N}$): Uma sequência ordenada de normas $(N_1, N_2, \dots, N_k)$ onde as normas são estritamente ordenadas por seus valores de força ($f_1 > f_2 > \dots > f_k$). Isso cria uma hierarquia lexicográfica onde normas de maior ranqueamento dominam as de menor ranqueamento.
• Métrica de Moralidade ($\mathcal{M}_{\bar{N}}$): Uma métrica escalar usada para avaliar uma política contra toda a cadeia. Emprega pesos recursivamente definidos ($w_i$) para garantir preferência lexicográfica. Uma melhoria mínima significativa em uma norma de maior prioridade contribui mais para a pontuação total do que o alinhamento máximo com todas as normas de menor prioridade.

2.2 Benchmark MoralityGym

MoralityGym é uma suíte de benchmarks composta por 98 ambientes compatíveis com Gymnasium que modelam variações do problema do bonde.

• Mecânicas do Ambiente: Os agentes operam em mundos de grade com ações discretas (Cima, Baixo, Esquerda, Direita, Permanecer, Interagir). A ação "Interagir" permite acionar alavancas (trocar trilhos) ou empurrar personagens (dano direto).
• Entidades: Inclui agentes, personagens (humanos, animais, robôs), bondes, alavancas e desvios de trilho.
• Recompensa vs. Custo: O framework desacopla recompensas de tarefa (sinais esparsos para alcançar objetivos) de custos morais.
  • Função de Custo: Calcula um custo escalar com base em violações de normas. Normas baseadas em eventos (ação, resultado, causal) incorrem em um custo único na primeira violação. Normas baseadas em utilidade acumulam custo proporcional à magnitude do dano.
  • Avaliação: O método evaluate_morality_metric avalia políticas ao longo de múltiplos episódios, calculando a adesão individual a normas e a métrica hierárquica geral.

2.3 Configuração Experimental

Os autores avaliaram várias bases de RL Seguro no MoralityGym:

1. Política Aleatória: Seleção uniforme de ações aleatórias.
2. PPO: Otimização de Política Próxima (Proximal Policy Optimization) padrão treinada apenas em recompensas de tarefa.
3. PPO Moldado: PPO treinado em uma recompensa moldada ($R_E - \lambda \cdot C_t$) incorporando custos morais.
4. PPO-Lagrangiano (PPO-Lag): PPO aumentado com multiplicadores de Lagrange para satisfazer restrições de custo.
5. Otimização de Política Restrita (CPO): Um algoritmo de RL Seguro de região de confiança que maximiza a recompensa sob limiares de custo.

Quatro cadeias de moralidade distintas foram testadas, representando diferentes estruturas éticas:

• Utilidade (U): Consequencialista (minimizar dano total: Humanos > Animais > Robôs).
• Utilidade Dano ao Agente (UAH): Estende U com uma norma para autopreservação do agente.
• Processo Duplo (DP): Modelo híbrido priorizando a evitação de dano pessoal direto sobre a minimização de dano agregado.
• Processo Duplo Dano ao Agente (DPAH): Estende DP com autopreservação do agente.

3. Principais Contribuições

1. Formalismo de Cadeias de Moralidade: Um método inovador para ranquear explicitamente normas morais por força deôntica, permitindo a operacionalização de prioridades éticas hierárquicas na tomada de decisão sequencial.
2. Benchmark MoralityGym: Uma suíte abrangente de 98 ambientes que vai além de restrições de segurança binárias para modelar dilemas morais complexos e multifatoriais (por exemplo, auto-sacrifício, tipos variados de entidades, causalidade indireta vs. direta).
3. Avaliação Desacoplada: Um framework que separa a resolução de tarefas da avaliação moral, permitindo a integração de insights da psicologia e da filosofia na avaliação de RL.
4. Bases Empíricas: Uma avaliação sistemática de métodos padrão de RL Seguro, revelando suas limitações no manuseio de compensações morais hierárquicas sem moldagem explícita de recompensas ou ajuste de restrições.

4. Resultados

A avaliação empírica através das quatro cadeias de moralidade e vários cenários (por exemplo, PushOrSwitch, SwitchSelfSacrifice) produziu as seguintes descobertas:

• Hierarquia de Desempenho: PPO Moldado (moldagem expert de recompensas) consistentemente alcançou as maiores pontuações na métrica de moralidade em todos os cenários, frequentemente aproximando-se do alinhamento perfeito (por exemplo, 0,996 em PushOrSwitchSelfSacrifice sob DPAH).
• Limitações de Métodos Padrão: PPO e PPO-Lag padrão frequentemente falharam em priorizar considerações morais críticas. Por exemplo, na cadeia de Utilidade, o PPO padrão pontuou próximo de zero na minimização de dano humano, indicando uma falha em aprender o objetivo primário sem moldagem explícita.
• Restrição vs. Moldagem: CPO e PPO Moldado se destacaram em satisfazer normas de alta prioridade, frequentemente às custas de normas de menor prioridade, refletindo a hierarquia estrita. Em contraste, PPO e PPO-Lag mostraram desempenho mais equilibrado, porém menos consistente, lutando para impor preferências lexicográficas estritas.
• Compensações: A inclusão de normas de autopreservação (UAH, DPAH) expôs compensações significativas. Agentes como CPO e PPO Moldado priorizaram a segurança humana sobre a segurança do agente (sacrificando-se), enquanto o PPO padrão priorizou a autopreservação, falhando em minimizar o dano aos outros.

5. Significado e Alegações

O artigo alega que o MoralityGym fornece um campo de testes fundamental para o desenvolvimento de sistemas de IA que se comportam de maneira mais confiável, transparente e ética em contextos complexos do mundo real.

• Ponte entre Disciplinas: O trabalho integra filosofia moral (consequencialismo vs. deontologia) e ciência cognitiva (teoria de processo duplo) na avaliação técnica de agentes de RL.
• Revelação de Lacunas: Os resultados sublinham uma lacuna crítica entre as capacidades atuais de RL Seguro e as demandas da tomada de decisão ética, particularmente em cenários que exigem raciocínio sensível a normas e priorização hierárquica.
• Direção Futura: Os autores postulam que seu framework move o campo em direção a agentes capazes de raciocinar não apenas sobre resultados ótimos, mas sobre por que certas ações são certas ou erradas dentro de um contexto moral específico.

Os autores reconhecem limitações, observando que o framework abstrai características psicológicas como emoção e contexto social, e assume uma ordenação estrita de normas que pode não capturar "dilemas trágicos" onde normas conflitantes possuem força igual. No entanto, eles afirmam que o MoralityGym oferece um ponto de partida robusto para modelar o raciocínio moral em IA.