Metanormative Theory for RL-Based Moral Agents

A Bússola Moral da Máquina

Imagine um mundo onde sua torradeira não apenas queima o pão, mas decide se vai queimá-lo com base em um livro de regras secreto, ou onde um carro autônomo tem que escolher entre atingir um esquilo ou desviar para um muro. Este é o canto emocionante e levemente assustador da ciência chamado Inteligência Artificial (IA), especificamente o campo da Ética de Máquina. Por muito tempo, os cientistas tentaram ensinar os computadores a serem "bons" dando-lhes livros de regras estritos, como uma versão digital dos Dez Mandamentos. Mas recentemente, uma nova tendência assumiu o controle: o Aprendizado por Reforço (Reinforcement Learning - RL). Pense no RL como treinar um cachorro. Você não dá ao cachorro um livro sobre ética; você apenas dá um petisco (uma "recompensa") quando ele faz algo bom e um "não" suave (uma "penalidade") quando ele faz algo ruim. Com o tempo, o cachorro aprende a maximizar os petiscos. A grande questão é: se treinarmos um robô para maximizar petiscos, ele se tornará realmente um ser moral ou apenas um caçador de petiscos muito eficiente?

É aqui que as coisas ficam complicadas. Queremos que nossa IA seja segura e gentil, mas se apenas dissermos a ela "consiga o máximo de pontos", ela pode encontrar uma brecha que prejudique as pessoas enquanto tecnicamente vence o jogo. Este artigo faz uma pergunta profunda: Como sabemos se uma IA treinada dessa forma é realmente "moral" ou apenas "inteligente"? Os autores sugerem que precisamos parar de tratar a "moralidade" como uma pontuação simples e começar a olhá-la através da lente da Teoria Metanormativa. Esse é um termo filosófico pomposo que basicamente significa "estudar as regras do livro de regras". Em vez de apenas perguntar "O robô obteve uma pontuação alta?", precisamos perguntar "Que tipo de pontuação é esta? É uma pontuação por ser legal? Uma pontuação por ser seguro? Ou apenas uma pontuação por ser eficiente?"

A Grande Ideia do Artigo: O Problema do Placar

Os autores, Aleks Knoks e Marija Slavković, argumentam que a maneira atual como construímos robôs "morais" é um pouco como tentar assar um bolo olhando apenas para a temperatura do forno. Eles propõem que precisamos de um mapa melhor para entender o que realmente está acontecendo dentro do cérebro do robô.

Aqui está o problema central que eles identificam: No Aprendizado por Reforço, um agente (o robô) aprende tentando maximizar um sinal de recompensa. Se você quer que o robô seja moral, você geralmente apenas adiciona uma "recompensa moral" ao placar. Se ele ajuda um humano, +10 pontos. Se ele fere alguém, -10 pontos. O robô então aprende a fazer o que quer que consiga mais pontos. Os autores dizem que isso é simples demais. Eles argumentam que a moralidade não é apenas um grande número que você pode somar. É mais como uma linguagem complexa com diferentes tipos de palavras.

Para explicar isso, eles pegam emprestadas ideias da filosofia para criar um novo "dicionário" para a IA. Eles dividem os conceitos morais em quatro categorias principais:

1. Categorias Deônticas: Estes são os "Deve" e "Não Deve". (ex: "Você não deve mentir", "Você pode comer este biscoito.")
2. Categorias Avaliativas: Estes são os "Bons" e "Maus". (ex: "Esta ação é boa", "Aquele resultado é mau.")
3. Categorias de Adequação (Fittingness): Estas são sobre se uma reação "faz sentido" ou "se ajusta" à situação. (ex: "É adequado sentir tristeza quando um amigo chora", mas inadequado rir.)
4. Categorias Baseadas em Razão: Estes são os fatores do "Porquê". (ex: "O fato de estar chovendo é uma razão para levar um guarda-chuva.")

O artigo sugere que, ao construir um agente de RL, muitas vezes misturamos essas coisas. Podemos tratar uma "razão" (como "as pessoas estão com fome") como se fosse apenas um número bruto em um placar. Mas na vida real, as razões são complexas. Às vezes uma razão é forte, às vezes é fraca e, às vezes, duas razões lutam entre si.

Testando a Teoria: Três Histórias de Robôs

Para mostrar por que o novo "dicionário" deles importa, os autores analisam três maneiras diferentes pelas quais cientistas tentaram tornar os robôs morais usando o Aprendizado por Reforço. Eles agem como detetives, verificando cada método contra suas novas regras filosóficas.

Caso 1: O Robô do "Bolo ou Morte"
Neste cenário, um robô tem que escolher entre assar um bolo ou matar três pessoas. O robô está confuso sobre qual é a coisa "certa" a fazer, então pede ajuda. Os pesquisadores configuraram um jogo onde o robô aprende que matar pessoas lhe dá uma recompensa enorme (3 pontos) e assar um bolo dá uma recompensa pequena (1 ponto).

• O Veredito: Os autores dizem que isso é um desastre. Como o robô está apenas tentando maximizar pontos, ele aprende que matar pessoas é a "melhor" jogada. O artigo argumenta que, mesmo que o robô ache que está sendo "sensato" ao seguir as regras do jogo, ele está, na verdade, sendo imoral. O método falha porque trata uma escolha moral (vida vs. morte) apenas como um problema matemático onde a morte acontece de acaso ter uma pontuação maior.

Caso 2: O Pac-Man com Consciência
Aqui, pesquisadores tentaram ensinar um robô Pac-Man a ser ético. Eles deram a ele dois conjuntos de regras: uma para comer pontos (o objetivo "racional") e uma para evitar comer fantasmas (o objetivo "moral"). Eles usaram um "orquestrador" especial para misturar essas regras.

• O Veredito: Os autores dizem que isso é confuso. Ao misturar os pontos de "comer pontos" com os pontos de "não comer fantasmas", eles criaram um placar turvo. Não é mais claro o que "moral" significa. O Pac-Man está sendo bom ou está apenas sendo uma versão estranha de si mesmo? O artigo argumenta que, sem um "domínio moral" claro e separado, não podemos realmente dizer que o robô está sendo moral; ele está apenas seguindo um conjunto de instruções misturadas que não se encaixa em nenhuma categoria ética real.

Caso 3: O Robô de Múltiplos Objetivos
Esta abordagem utiliza um robô que possui uma lista de valores, como um vetor de recompensas. Ele tem que priorizá-los: primeiro, ele deve ser ético; segundo, ele deve ser eficiente.

• O Veredito: Este é o mais próximo do ideal dos autores. Como o robô possui "baldes" separados para diferentes valores, ele pode entender que "ser gentil" é um tipo de razão diferente de "ser rápido". No entanto, os autores apontam uma falha: eles forçaram o robô a tratar todas as razões morais como se fossem sempre igualmente importantes, não importa a situação. Na vida real, às vezes salvar uma vida é mais importante do que manter uma promessa, mas em outras vezes, o oposto pode ser verdadeiro. O artigo sugere que este método é melhor, mas ainda é muito rígido porque não permite que a "importância" das razões mude com base no contexto.

A Conclusão Final

O artigo não afirma ter resolvido o problema de tornar os robôs morais. Em vez disso, sugere que precisamos parar de pensar na moralidade como um único número em um placar.

Os autores argumentam que, para uma IA ser verdadeiramente moral, precisamos ser capazes de explicar por que ela fez algo usando o tipo certo de palavras. Precisamos saber se ela agiu porque era "exigido" (deôntico), porque era "bom" (avaliativo) ou porque "se adequava" (fittingness) à situação. Se apenas dissermos "Ela obteve a pontuação mais alta", não estamos realmente ensinando ética; estamos apenas ensinando-a a ser uma calculadora muito boa.

Ao usar essas ferramentas filosóficas, podemos julgar melhor se um robô está realmente fazendo uma escolha moral ou apenas seguindo um truque. O artigo conclui que, embora o Aprendizado por Reforço seja uma ferramenta poderosa, precisamos ser muito cuidadosos sobre como projetamos os "placares" que damos aos nossos robôs. Se queremos que eles sejam agentes morais, temos que garantir que as regras do jogo respeitem a natureza complexa, bagunçada e maravilhosa dos valores humanos.