Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

Resumo Técnico: Aprendizado de Sistemas de Valores de Sociedades com Aprendizado por Reforço Multi-objetivo Baseado em Preferências

1. O Problema

A inteligência artificial (IA) deve ser capaz de reconhecer e se adaptar aos sistemas de valores humanos para garantir o alinhamento ético. No entanto, os valores são complexos: são contextuais, sociais e diversos. A maioria das abordagens de alinhamento foca em um único perfil de usuário ou tenta agregar todos os valores de uma sociedade em um único modelo, o que ignora a pluralidade e a existência de grupos com preferências distintas (ex: diferentes culturas ou grupos sociais).

O desafio central abordado é: como aprender de forma eficiente e concisa os sistemas de valores de uma sociedade composta por múltiplos agentes, permitindo que a IA identifique grupos (clusters) de usuários com preferências similares e aprenda comportamentos (políticas) que respeitem esses diferentes sistemas de valores?

2. Metodologia Proposta

Os autores propõem o SVSL-P (Social Value System Learning with Preference-based Multi-objective Reinforcement Learning). A abordagem é fundamentada em Processos de Decisão de Markov (MDPs) e utiliza uma estrutura de aprendizado de dois níveis:

• Representação de Valores e Sistemas:

  • Grounding (Aterramento): Define como um conjunto de valores (ex: benevolência, segurança) é traduzido em recompensas em um ambiente. O modelo assume um "aterramento social" (consenso sobre o significado dos valores).
  • Sistemas de Valores: Representados por pesos lineares sobre os valores. Cada agente tem seu próprio sistema de pesos.
  • Sistema de Valores da Sociedade: Definido como a combinação de um aterramento social e um conjunto de clusters, onde cada cluster representa um grupo de agentes com sistemas de valores similares.

• O Algoritmo SVSL-P:
  O algoritmo resolve um problema de otimização bi-nível que busca equilibrar dois objetivos: Representatividade (quão bem os clusters descrevem os agentes) e Concisão (usar o menor número possível de clusters para descrever a sociedade).

  • Aprendizado Online (Human-in-the-loop): Diferente de métodos puramente offline, o SVSL-P solicita feedback humano através de comparações de trajetórias (preferências pareadas). O usuário indica se prefere a trajetória A ou B em termos de alinhamento com valores e em termos de seu próprio sistema de valores.
  • Expectation-Maximization (EM): Utilizado para atualizar os pesos dos sistemas de valores e a atribuição dos agentes aos clusters.
  • Envelope Q-Learning (EQL): Utilizado para aprender uma política multi-objetivo que seja eficiente de Pareto, permitindo que a IA execute comportamentos otimizados para cada cluster identificado.

3. Principais Contribuições

1. Modelo de Sociedade de Agentes: Uma formulação matemática que permite representar a diversidade de valores de uma sociedade através de clusters de preferências.
2. Algoritmo SVSL-P: Um método inovador que integra o aprendizado de recompensas multi-objetivo com agrupamento (clustering) de usuários, otimizando o equilíbrio entre precisão e simplicidade.
3. Abordagem de Feedback Simplificada: O método exige menos esforço do usuário, pois solicita apenas preferências sobre o alinhamento de valores e o sistema de valores pessoal, em vez de pedir para o usuário avaliar cada objetivo individualmente.

4. Resultados

O método foi avaliado em dois ambientes sintéticos complexos: Firefighters (Bombeiros) e Multivalued Car (Carro Multivalorado).

• Desempenho de Agrupamento: O SVSL-P superou os baselines (SVSL e PbMORL) em termos de coerência de aterramento e representatividade. Ele conseguiu identificar melhor a diversidade dos sistemas de valores da sociedade.
• Eficiência de Pareto: As políticas aprendidas pelo SVSL-P aproximaram-se significativamente da "Fronte de Pareto" real (o conjunto de comportamentos ideais). Embora o PbMORL também tenha tido bons resultados, o SVSL-P apresentou clusters mais bem distribuídos e significativos ao longo da fronteira de eficiência.
• Métrica Ray-Turi: O SVSL-P obteve os melhores resultados na métrica de compromisso entre representatividade e concisão, provando ser capaz de descrever a sociedade de forma eficaz sem criar clusters redundantes.

5. Significância

Este trabalho é significativo para o campo da IA Alinhada (AI Alignment) porque move a discussão de um "alinhamento único e universal" para um "alinhamento pluralista". Ele fornece uma base computacional para que sistemas de IA possam operar em sociedades humanas diversas, reconhecendo que diferentes grupos de pessoas têm diferentes prioridades éticas e sendo capaz de adaptar seu comportamento de forma respeitosa e matematicamente rigorosa a cada grupo.