Accounting for Context: Shaping Moral Credences for Value Alignment

Resumo Técnico: Contabilizando o Contexto: Moldando Credenciais Morais para o Alinhamento de Valores

Declaração do Problema
O alinhamento de valores visa garantir que agentes inteligentes se comportem de acordo com os valores éticos humanos. No entanto, as sociedades humanas exibem pluralismo moral, onde indivíduos e grupos avaliam ações através de teorias éticas conflitantes (por exemplo, deontologia vs. utilitarismo). As abordagens atuais para o alinhamento pluralista dependem frequentemente de um pipeline que elicita preferências, deriva funções de utilidade e as agrega usando frameworks de incerteza moral. Esses frameworks tipicamente atribuem "credenciais morais" (pesos) estáticas a diferentes teorias éticas com base em proporções populacionais ou confiança individual.

O problema central identificado neste artigo é que os mecanismos de agregação padrão sob incerteza moral ignoram fatores contextuais. Especificamente, a aplicabilidade e a confiabilidade de uma teoria ética podem variar significamente dependendo da situação específica que um agente enfrenta. Por exemplo, teorias consequencialistas (como o utilitarismo) exigem a previsão precisa de resultados, o que pode ser computacionalmente inviável ou epistemicamente incerto em ambientes do mundo real com limites de recursos. Inversamente, regras deontológicas podem permanecer robustas sob as mesmas restrições. Tratar as credenciais morais como valores estáticos e independentes de contexto pode levar a erros de agregação, onde o processo de tomada de decisão do agente falha ao não considerar a confiabilidade diferencial das teorias em contextos específicos.

Metodologia
Os autores formalizam um framework para credenciais morais ajustadas pelo contexto dentro do modelo de decisão de incerteza moral (baseando-se em MacAskill, Bykvist e Ord 2020).

1. Definições Formais:

   • Framework Ético: Definido como um par $\langle T, c \rangle$, onde $T$ é um conjunto de teorias éticas e $c$ é uma função de credencial que mapeia teorias para pesos que somam 1.
   • Perfil de Credencial: Para acomodar o contexto, os autores definem um perfil de credencial $C = \langle c_a, c_b, \dots \rangle$, onde cada $c_x$ é uma função de credencial específica para uma ação particular $x$. Isso permite que os pesos variem por ação com base no contexto.
   • Características Contextuais: Definidas como funções $g: A \times T \to (0, 1]$ que modulam a confiabilidade de uma teoria $t$ em relação a uma ação $a$. Um valor próximo a 1 implica alta confiabilidade/adequação, enquanto valores mais baixos indicam redução de confiabilidade devido a restrições (ex: limites de recursos, incerteza, novidade).
   • Funções de Ajuste: O artigo introduz dois mecanismos para atualizar as credenciais iniciais $c$ em credenciais ajustadas pelo contexto $c_x$ com base em um contexto $con = \langle g_1, \dots, g_m \rangle$:
     • prod: Multiplica a credencial inicial pelo produto de todas as características contextuais, seguido de normalização. Este é "neutro ao risco", permitindo que valores altos em uma característica compensem valores baixos em outra.
     • mini: Toma o mínimo entre a credencial inicial e todas as características contextuais, seguido de normalização. Este é "avesso ao risco", garantindo que a credencial ajustada não exceda a confiabilidade do fator contextual mais fraco.

2. Teoria Metanormativa:
   Os autores utilizam a Maximização da Esperança de Escolhavelidade (MEC - Maximizing Expected Choiceworthiness) como a principal função de agregação. A MEC ordena ações com base na média aritmética ponderada (WAM) da escolhavelidade através das teorias, usando as credenciais ajustadas pelo contexto do perfil de credencial.

3. Exemplo de Execução (FROBO):
   O artigo emprega um cenário envolvendo um robô bombeiro (FROBO) em um hospital em chamas sob um bloqueio militar. FROBO deve escolher entre salvar um único paciente inconsciente (Quarto Direito) ou preservar insulina para muitos pacientes futuros potenciais (Quarto Esquerdo).

   • Contexto: Limites de recursos limitam a capacidade de FROBO de calcular consequências de longo prazo com precisão.
   • Efeito: A característica contextual para limites de recursos ($rb$) reduz significamente a credencial para o utilitarismo em relação ao Quarto Esquerdo (onde a previsão complexa é necessária), mas mantém essa credencial alta para o Quarto Direito (onde a consequência é imediata e certa).

Principais Resultados
O artigo demonstra que a incorporação de credenciais ajustadas pelo contexto leva a uma violação do Princípio de Pareto Fraco, uma propriedade padrão na teoria da escolha social que afirma que, se todas as teorias preferem a ação $b$ sobre $a$, o agregado também deve preferir $b$ sobre $a$.

• Violação do Pareto Fraco: Os autores provam que, para uma ampla classe de teorias metanormativas (especificamente aquelas que são inter-teoricamente responsivas) e funções de ajuste (especificamente aquelas que são contextualmente sobrejetivas, incluindo prod e mini), o princípio de Pareto Fraco é violado.

  • Mecanismo: É possível construir um cenário onde cada teoria ética individual prefere a ação $a$ sobre $b$ ($t(a) < t(b)$ para todo $t$), mas a agregação ajustada pelo contexto prefere $b$ sobre $a$.
  • Exemplo: No cenário FROBO, mesmo que o utilitarismo e a deontologia ambos nominalmente prefiram o Quarto Esquerdo (insulina) ao Quarto Direito (paciente) em um vácuo, as restrições de recursos podem reduzir a credencial utilitarista para o Quarto Esquerdo tão drasticamente que a preferência deontológica pelo Quarto Direito domina a WAM agregada, fazendo com que o agente escolha o Quarto Direito.

• Interpretação do Paradoxo de Simpson: Os autores interpretam essa violação não como uma falha, mas como uma manifestação do Paradoxo de Simpson. Assim como dados agregados podem reverter tendências presentes em subgrupos (ex: taxas de admissão por gênero vs. departamento), agregar avaliações morais através de diferentes contextos (ações) pode reverter as preferências das teorias individuais. A violação ocorre porque o "peso" de uma teoria muda dinamicamente com base no contexto da ação, permitindo que uma teoria com uma credencial inicial menor domine em um contexto específico onde ela é mais confiável.

Significância e Alegações
O artigo argumenta que a violação do princípio de Pareto Fraco neste contexto não é indesejável, mas sim uma consequência inevitável e necessária de contabilizar os fatores contextuais.

1. Limitações da Agregação Insensível ao Contexto: Os resultados destacam que os mecanismos de agregação padrão, que ignoram como o contexto impacta a confiabilidade das teorias éticas, são insuficientes para o alinhamento de valores no mundo real. Ignorar o contexto pode levar a resultados "fanáticos" ou não confiáveis, onde agentes seguem teorias que são computacionalmente ou epistemicamente inadequadas para a situação específica.
2. Novo Direcionamento de Pesquisa: O trabalho motiva uma mudança na pesquisa de incerteza moral em direção à escolha social ponderada pelo contexto. Sugere que os critérios para avaliar métodos de agregação (como o Pareto Fraco) devem ser reavaliados quando o contexto é uma variável.
3. Espessamento das Representações Éticas: O artigo postula que a necessidade de ajuste de contexto surge porque os modelos atuais representam as teorias éticas de forma "fina" (apenas como funções de utilidade). Ao ajustar as credenciais com base em fatores contextuais (como viabilidade computacional), os autores estão efetivamente "engrossando" essas avaliações para refletir as realidades algorítmicas e epistêmicas das teorias.
4. Integração Futura: Os autores sugerem que este formalismo poderia ser integrado com diálogos baseados em argumentação. Em vez de uma elicitação de preferência estática, os agentes poderiam ajustar dinamicamente as credenciais morais "on the fly" através de diálogos estruturados que exploram nuances contextuais, apoiando assim um alinhamento de valores mais robusto tanto em sistemas estreitos quanto superinteligentes.

O artigo conclui que, embora a violação de axiomas padrão de escolha social pareça contraintuitiva, ela revela as limitações conceituais de ignorar o contexto e fornece uma base formal para uma tomada de decisão moral mais realista e sensível ao contexto.