Resumo Técnico: Moralidade Limitada

Definição do Problema

As abordagens tradicionais para formalizar a moralidade em sistemas artificiais tipicamente codificam teorias éticas estabelecidas (ex: utilitarismo, deontologia) como regras estáticas ou funções de valor. Esta estratégia trata o desacordo moral como um problema de seleção da teoria correta, falhando frequentemente em explicar como o raciocínio moral é de fato realizado, como ele escala com a capacidade cognitiva ou por que teorias distintas persistem através das culturas. Embora a pesquisa sobre racionalidade limitada tenha demonstrado que o julgamento humano reflete trocas adaptativas sob restrições computacionais, o "lado da demanda" do raciocínio moral permanece subespecificado: especificamente, quais características das situações morais impõem os encargos informacionais e computacionais que tornam necessárias essas trocas (trade-offs).

Este artigo aborda a lacuna na caracterização da estrutura de demanda dos problemas morais. Ele questiona como as situações morais variam de formas que aumentam ou diminuem sistematicamente o fardo computacional do raciocínio moral para agentes finitos.

Metodologia

Os autores propõem a Moralidade Limitada, um arcabouço formal que modela o raciocínio moral como uma inferência sob restrições de demandas situacionais. A metodologia procede em três estágios:

1. Definindo o Espaço de Demanda

O arcabouço identifica duas dimensões ortogonais que definem as demandas computacionais das situações morais:

• Amplitude Moral (Moral Breadth): O escopo da representação moral. Captura quais entidades, grupos, escalas temporais ou abstrações são tratados como moralmente relevantes (ex: incluir grupos externos, animais não humanos ou gerações futuras).
• Profundidade Moral (Moral Depth): A complexidade inferencial. Captura quão ricamente, recursivamente e coerentemente as entidades e suas interações são representadas e sobre as quais se raciocina (ex: raciocínio contrafactual, deliberação de múltiplos passos ou integração de múltiplas perspectivas).

Evidências empíricas da psicologia do desenvolvimento, neurociência e teoria da escolha social são utilizadas para demonstrar que essas dimensões são dissociáveis, mas conjuntamente limitadas por recursos cognitivos finitos.

2. Modelagem Formal

Os autores formalizam o raciocínio moral como um sistema dinâmico controlado em um grafo:

• Grafo de Interação Moral ($G^*$): Um grafo onde os nós representam entidades moralmente relevantes e as arestas representam relações de influência direta.
• Valor Verdadeiro (Ground-Truth Value): Definido como a soma descontada do bem-estar sobre trajetórias infinitas, onde o bem-estar é uma função estruturada em grafo de potenciais de nós e arestas.
• Aproximação Limitada: Agentes finitos não conseguem computar a verdade fundamental (ground truth). Em vez disso, eles empregam:
  • Abstração ($G$): Uma projeção de grão grosso de $G^*$ via um mapa de agregação $\pi_V$, reduzindo o número de entidades e interações distintas (Amplitude).
  • Horizonte Truncado ($H$): Uma profundidade de rollout que especifica quantos passos da dinâmica são explicitamente avaliados (Profundidade).
• Modelo de Custo: Um modelo de custo canônico é introduzido onde o custo computacional total é $Cost(b, H) = \alpha b + \beta b H^p$. Isso estabelece uma lei de escala inversa: sob um orçamento fixo $B$, aumentar a amplitude representacional ($b$) reduz estritamente a profundidade ($H$) alcançável, e vice-versa.

3. Estratégia e Arrependimento

• Estratégia Moral: Definida como uma regra de alocação $\rho$ que mapeia estados do mundo e orçamentos de recursos para pares específicos de $(G, H)$.
• Arrependimento Moral (Moral Regret): A diferença entre o valor moral da intervenção ótima da verdade fundamental e o valor alcançado pela estratégia limitada.
• Progresso Moral: Definido não como a convergência para uma verdade moral única, mas como a redução do arrependimento esperado dentro de um orçamento de recursos fixo (melhor alocação) ou o deslocamento da fronteira viável para fora através de mudanças tecnológicas ou institucionais.

Contribuições Principais

1. A Troca Amplitude–Profundidade

O artigo estabelece uma fronteira de Pareto formal para a computação moral. Demonstra que, para agentes finitos, expandir o escopo da preocupação moral (amplitude) necessariamente restringe a profundidade da inferência, e aprofundar a inferência requer estreitar o escopo. As teorias éticas são reinterpretadas não como relatos concorrentes da verdade moral, mas como estratégias localmente eficientes adaptadas a diferentes regimes de demandas de recursos ao longo desta fronteira.

2. Reinterpretação das Teorias Éticas

O arcabouço mapeia as teorias éticas canônicas para regiões específicas do espaço amplitude–profundidade:

• Utilitarismo do Ato: Alta amplitude, profundidade moderada. Prioriza representar muitos partes interessados com agregação aditiva simples.
• Deontologia: Amplitude moderada, profundidade moderada. Baseia-se em restrições rígidas para podar o espaço de busca, muitas vezes exigindo um escopo limitado para manter a viabilidade.
• Contratualismo: Baixa amplitude, alta profundidade. Foca em poucos partes interessados, mas aloca recursos significativos para deliberação profunda e análise de objeção de pior caso.
• Ética da Virtude: Amplitude mínima, profundidade zero. Desloca a computação para o modo offline em meio a disposições aprendidas (inferência amortizada), eliminando o rollout online.
• Ética do Cuidado: Amplitude local, profundidade moderada. Foca em estruturas relacionais densas dentro de uma vizinhança local, em vez de enumeração global.

3. Formalizando o Desacordo Moral e o Progresso

• Desacordo: O arcabouço sugere que o desacordo moral persistente pode surgir mesmo entre agentes que compartilham os mesmos valores. O desacordo pode refletir diferentes alocações de recursos limitados (diferentes pontos na fronteira amplitude–profundidade) em vez de conflitos fundamentais de valores.
• Progresso: O progresso moral é redefinido como (i) reduzir o arrependimento ao melhorar a alocação de recursos dentro de restrições fixas, ou (ii) expandir a fronteira viável através de avanços culturais ou tecnológicos que aumentam a capacidade disponível.

4. Implicações para o Alinhamento de IA

O artigo argumenta que o alinhamento de IA não deve focar apenas em imitar julgamentos humanos, que são, eles próprios, limitados e potencialmente subótimos. Em vez disso, o alinhamento deve focar em projetar sistemas onde a capacidade de raciocínio moral escale com os recursos representacionais e computacionais. O objetivo é replicar a relação de escala entre recursos e capacidade moral, em vez de copiar os resultados específicos de agentes humanos limitados.

Resultados e Alegações

O artigo não apresenta novos dados experimentais ou validação empírica de sistemas de IA específicos. Em vez disso, seus "resultados" são derivações teóricas:

• Lei de Escala Inversa: Uma derivação matemática mostrando que, sob um orçamento fixo, a profundidade escala inversamente com a amplitude ($H \leq C b^{-1/p}$).
• Minimização de Arrependimento: A definição de progresso moral como a minimização do arrependimento esperado em relação a um ideal ilimitado, dadas restrições de recursos específicas.
• Classificação de Estratégia: Um mapeamento conceitual das teorias éticas em relação aos compromissos estruturais de amplitude, profundidade e agregação.

Significância

O artigo afirma oferecer uma descrição unificadora do raciocínio moral que une ética, psicologia e IA. Sua significância reside em:

1. Reenquadramento da Falha Moral: Desloca a explicação para as deficiências morais (ex: rigidez, negligência de partes interessadas distantes) de valores defeituosos ou irracionalidade para alocações racionais de recursos computacionais limitados.
2. Desacordo Não-Relativista: Fornece uma explicação estrutural para o desacordo moral que não exige pluralismo moral; agentes podem discordar enquanto compartilham valores, simplesmente operando em diferentes pontos viáveis na fronteira amplitude–profundidade.
3. Lente Computacional para a Ética: Oferece uma lente computacional mínima para integrar insights da ética e da psicologia, tratando as teorias éticas como estratégias para gerenciar as trocas inerentes a agentes finitos.
4. Ferramenta Diagnóstica para IA: Fornece um vocabulário técnico para analisar por que o comportamento moralmente competente falha em sistemas artificiais, sugerindo que falhas de alinhamento podem advir de descompassos entre a computação moral e o contexto, em vez de objetivos incorretos.

Os autores afirmam explicitamente que o arcabouço não defende nenhum valor moral ou teoria ética específica. Em vez disso, estuda as restrições operacionais que qualquer agente moral finito — humano ou artificial — deve enfrentar quando as demandas situacionais excedem o tempo, a informação e a capacidade computacional disponíveis.